dn01의 루트계정에서 # cd /tmp # wget http://apache.mirror.cdnetworks.com/spark/spark-2.4.5/spark-2.4.5-bin-hadoop2.7.tgz # tar xzvf spark-2.4.5-bin-hadoop2.7.tgz # mkdir -p /opt/spark/2.4.5 # mv spark-2.4.5-bin-hadoop2.7/* /opt/spark/2.4.5/ # ln -s /opt/spark/2.4.5 /opt/spark/current # chown -R hadoop:hadoop /opt/spark/ # su - hadoop # vi ~/.bash_profile ###### spark ###################### export SPARK..

하둡 기준 import, export 스쿱 다운로드 Sqoop은 1버전이 복잡해서 간소한 것이 2버전이라 1버전으로 dn01의 root 계정에서 # cd /tmp # wget http://mirror.apache-kr.org/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz # tar xzvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz # mkdir -p /opt/sqoop/1.4.7 # mv sqoop-1.4.7.bin__hadoop-2.6.0/* /opt/sqoop/1.4.7/ # ln -s /opt/sqoop/1.4.7 /opt/sqoop/current MYSQL Connector 다운로드 및 sqoop 의 lib로 복사 sqoop은 데이..

# hive > use kdatademo; create table mobilephones( id string, title string, cost float, colors array, screen_size array); INSERT INTO table mobilephones SELECT "galaxynote20", "galaxy note 20", 300, array("white","red","black"), array(float(4.5)) UNION ALL SELECT "iphone10", "iphone plus", 500, array("gold","black"), array(float(4.5), float(5.5)) > select * from mobilephones; > select title,colo..

# yum install mariadb-server mariadb # rpm -qa | grep maria # systemctl enable mariadb.service 엔터 Y 비밀번호 비밀번호 n n n Y root계정 비밀번호는 아까 설정한 비밀번호 # vi /etc/my.cnf 재시작 # systemctl restart mariadb.service # mysql -u root -p 비밀번호 입력

Hive의 메타데이터를 저장하는 db를 durbyDB를 MySQL로 바꿀 예정 dn01에서 MariaDB실행 # mysql -u root -p 로 로그인 > grant all privileges on *.* to hive@"dn01" identified by "hive" with grant option; > use mysql >select user,host from user; >exit 1. dn01 노드의 root 계정에서 # cd /tmp # wget http://apache.mirror.cdnetworks.com/hive/hive-2.3.7/apache-hive-2.3.7-bin.tar.gz # tar xzvf apache-hive-2.3.7-bin.tar.gz # mkdir -p /opt/hive..

10초마다 bitthumb의 public api에서 값을 받아와 하둡에 올린 뒤 hadoop에서 쉘 스크립트로 주기적 실행 https://apidocs.bithumb.com/docs/ticker No.1 가상자산 플랫폼, 빗썸 비트코인, 이더리움, 비트코인캐시, 리플, 라이트코인, 대시, 모네로, 비트코인골드, 이오스, 이더리움클래식, 퀀텀, 제트캐시, 실시간 시세, 쉽고 안전한 거래 www.bithumb.com api로 값을 받아오면 이런식으로 JSON형식으로 값을 받아옴 1. Maven 프로젝트 만들기 2. pom.xml덮기 3. temp폴더 옮기기 4. Maven - > update Project 후 Run as -> maven Install (2번) 5. winSCP에서 dn01에 jar 파일 옮..

1. java 코드 import java.io.IOException; import java.util.HashMap; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileIn..

1) HDFS 명령어 ☞ HDFS를 제어할 수 있는 쉘 명령어 ​ 2) 도움말 보기 ☞ hdfs dfs -help ​ 3) 파일목록 보기 ☞ ls, lsr - ls : 지정한 디렉토리에 있는 파일의 정보를 출력한다. - lsr : 하위 디렉토리 정보까지 출력한다. ex) hdfs dfs -ls [디렉토리|파일] ex) hdfs dfs -lsr [디렉토리|파일] 디렉토리나 파일을 지정하지 않을 경우 해당 계정의 홈 디렉토리를 조회한다. 4) 파일 용량 ☞ du, dus - du : 지정한 디렉토리나 파일의 사용량을 확인한다. (출력결과 바이트 단위) - dus : 전체 합계 용량을 출력한다. ex) hdfs dfs -du [디렉토리|파일] ex) hdfs dfs -dus [디렉토리|파일] 디렉토리나 파일을..