cdeclog

https://cdecl.github.io/ 로 이전 합니다.

Visual Studio Code, Python 개발환경 구축 1. Visual Studio Code vscode MS가 배포하는 Electron Framwork 기반 Cross-Flatform Code editing 1.1. 설치 https://code.visualstudio.com/ vscode chocolatey 설치 choco install vscode -y ※ Developer Survey Results 2018 : https://insights.stackoverflow.com/survey/2018/ 1.2. 특징 Fast, Powerful Editing Linting, multi-cursor editing, parameter hints, and other powerful editing feat..

Gitlab Backup & Restore 방법참고: https://gitlab.com/gitlab-org/gitlab-ce/blob/master/doc/raketasks/backup_restore.md1. Backup 방법sudo gitlab-rake gitlab:backup:create 백업을 하면 아래 경로에 백업 파일이 생성/var/opt/gitlab/backups/drwxr-----. 2 git root 4096 2017-01-06 09:22 . drwxr-xr-x. 13 root root 4096 2017-01-05 13:39 .. -rw-------. 1 git git 732047360 2017-01-06 09:20 1483662009_2017_01_06_gitlab_backup.tar 2...

1. 기본 설정 # JAVA 설치 - OS에 맞춰 설치(다운로드) 후 JAVA_HOME 환경변수 설정 # Hadoop 실행 계정 생성 및 SSH Key 등록 - 노드에서 다른 노드로 접속(ssh) 시 패스워드 없이 접속을 위해 키 생성 및 등록 - ssh localhost 명령에서 패스워드가 없이 접속이 되어야 성공 $ useradd hadoop $ su - hadoop$ ssh-keygen -t rsa$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys$ chmod 0600 ~/.ssh/authorized_keys $ ssh localhost # 패스워드 없이 접속이 되어야 함 # Hadoop Download - http://hadoop.apache.org/relea..

# VisualVM- JAVA의 VM을 모니터링 할 수 있는 GUI 툴 - JDK 1.7 이상의 경우 JAVA_HOME/bin 밑에 포함 되어 있음 (e.g. windows - jvisualvm.exe)- 별도로 다운 받을 경우 : https://visualvm.java.net/ # 원격접속 준비 (서버)- 원격으로 접속을 할 경우 host 서버측에 rmiregistry 및 jstatd 데몬 실행을 실행 시켜 놓아야 함- jstatd 데몬 실행을 위한 policy 파일 작성 (tools.policy)grant codebase "file:${java.home}/../lib/tools.jar" { permission java.security.AllPermission;}; - rmiregistry 실행 및 j..

# Scala 를 이용한 Spark Self-Contained Applications 테스트 # 설치 - Scala 다운로드 : http://www.scala-lang.org/download/all.html (2.10.6 버전)- SBT(Scala Build Tool) 다운로드 : http://www.scala-sbt.org/download.html- 두개의 프로그램 모두 공백이 없는 경로에 설치 하거나 mklink를 이용하여 공백이 없는 경로에 접근 가능하게 작업- 각각의 "scala\bin" "sbt\bin" 디렉토리를 PATH 설정 # 빌드 준비 - 아래와 같은 Spark 빌드 환경 설정을 위해 .sbt 파일을 작성- Scala 버전 2.10.6, Spark 버전 1.5.2 name := "App"..

# Apache Tajo - Apache Tajo™: A big data warehouse system on Hadoop- http://tajo.apache.org/ # Apache Tajo 설치 - Download : http://tajo.apache.org/downloads.html- 최신 바이너리(Latest Release 0.11.0) 를 받아서 압축을 풀기 - conf/tajo-env.cmd 파일의 HADOOP_HOME 과 JAVA_HOME 세팅 @rem Hadoop home. Requiredset HADOOP_HOME=%HADOOP_HOME% @rem The java implementation to use. Required.set JAVA_HOME=%JAVA_HOME% # Apache Tajo..

** Apache Hadoop을 Windows 10에 설치 및 테스트 # Apache Hadoop for Windows - 깃헙에서 소스를 받아 빌드 작업을 해야 하지만, 친철하게 Windows용 64비트 비공식 빌드가 있어 해당 바이너리를 다운로드 - karthikj1/Hadoop-2.7.1-Windows-64-binaries https://github.com/karthikj1/Hadoop-2.7.1-Windows-64-binaries- Single Node Cluster, Pseudo-Distributed Mode 로 설치 # 설치- 다운로드 받은 파일을 공백이 없는 위치에 압축 풀기- HADOOP_HOME , JAVA_HOME 환경번수 세팅 - PATH에 HADOOP_HOME\bin 경로 추가 * ..

# Spark 어플리케이션 실행 방법- Spark 어플리케이션을 실행 하기 위해서 3가지 방법을 제공- http://spark.apache.org/docs/latest/quick-start.html 1. Spark Shell 을 이용한 인터랙티브한 환경에서 실행 (scala : bin/spark-shell, python: bin/pyspark)>> bin\pyspark Python 3.5.0 (v3.5.0:374f501f4567, Sep 13 2015, 02:16:59) [MSC v.1900 32 bit (Intel)] on win32 Type "help", "copyright", "credits" or "license" for more information. 15/11/11 20:05:54 WARN N..

# Apache Spark - http://spark.apache.org/- Apache Spark™ is a fast and general engine for large-scale data processing. - Spark 의 핵심은 무엇인가? RDD! : http://www.slideshare.net/yongho/rdd-paper-review- Spark programming guide (번역) : http://www.raonbit.com/spark-programming-guide/ # Spark 설치 (Standalone, Python 기준) - Java 설치 (1.8)# Ubuntu sudo apt-get install python-software-propertiessudo add-apt-rep..