10초마다 bitthumb의 public api에서 값을 받아와 하둡에 올린 뒤 hadoop에서 쉘 스크립트로 주기적 실행 https://apidocs.bithumb.com/docs/ticker No.1 가상자산 플랫폼, 빗썸 비트코인, 이더리움, 비트코인캐시, 리플, 라이트코인, 대시, 모네로, 비트코인골드, 이오스, 이더리움클래식, 퀀텀, 제트캐시, 실시간 시세, 쉽고 안전한 거래 www.bithumb.com api로 값을 받아오면 이런식으로 JSON형식으로 값을 받아옴 1. Maven 프로젝트 만들기 2. pom.xml덮기 3. temp폴더 옮기기 4. Maven - > update Project 후 Run as -> maven Install (2번) 5. winSCP에서 dn01에 jar 파일 옮..

1. java 코드 import java.io.IOException; import java.util.HashMap; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileIn..

1) HDFS 명령어 ☞ HDFS를 제어할 수 있는 쉘 명령어 ​ 2) 도움말 보기 ☞ hdfs dfs -help ​ 3) 파일목록 보기 ☞ ls, lsr - ls : 지정한 디렉토리에 있는 파일의 정보를 출력한다. - lsr : 하위 디렉토리 정보까지 출력한다. ex) hdfs dfs -ls [디렉토리|파일] ex) hdfs dfs -lsr [디렉토리|파일] 디렉토리나 파일을 지정하지 않을 경우 해당 계정의 홈 디렉토리를 조회한다. 4) 파일 용량 ☞ du, dus - du : 지정한 디렉토리나 파일의 사용량을 확인한다. (출력결과 바이트 단위) - dus : 전체 합계 용량을 출력한다. ex) hdfs dfs -du [디렉토리|파일] ex) hdfs dfs -dus [디렉토리|파일] 디렉토리나 파일을..

https://thinmug.tistory.com/24 로그아웃으로 su로 로그인 계정을 로그아웃하고 다시 root로 갈 수 있다. 멀티환경을 해제하고 # vi /etc/pam.d/su 10~ 12번 째 줄 주석 모든 가상머신 전부 똑같게 하기 (환경 설정할 때는 멀티환경을 왠만하면 쓰지 않는다) 이제 su로 root계정에 갈 수 있다. 하둡, 자바 환경변수 설정 하둡계정에서 # vi ~/.bash_profile 이후 멀티를 푼다. (오류예방) Shift G로 맨 끝으로 이동 후 o 단축키로 다음줄로 이동 다음 오른쪽밑에 글을 그대로 복사해서 오른쪽클릭하면 복사가 된다. 3가상머신 모두 입력 #### HADOOP 2.7.7 start ############ PATH=$PATH:$HOME/bin expor..