hadoop ecosystem/Hadoop
1. java 코드 import java.io.IOException; import java.util.HashMap; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileIn..
1) HDFS 명령어 ☞ HDFS를 제어할 수 있는 쉘 명령어 2) 도움말 보기 ☞ hdfs dfs -help 3) 파일목록 보기 ☞ ls, lsr - ls : 지정한 디렉토리에 있는 파일의 정보를 출력한다. - lsr : 하위 디렉토리 정보까지 출력한다. ex) hdfs dfs -ls [디렉토리|파일] ex) hdfs dfs -lsr [디렉토리|파일] 디렉토리나 파일을 지정하지 않을 경우 해당 계정의 홈 디렉토리를 조회한다. 4) 파일 용량 ☞ du, dus - du : 지정한 디렉토리나 파일의 사용량을 확인한다. (출력결과 바이트 단위) - dus : 전체 합계 용량을 출력한다. ex) hdfs dfs -du [디렉토리|파일] ex) hdfs dfs -dus [디렉토리|파일] 디렉토리나 파일을..
https://thinmug.tistory.com/24 로그아웃으로 su로 로그인 계정을 로그아웃하고 다시 root로 갈 수 있다. 멀티환경을 해제하고 # vi /etc/pam.d/su 10~ 12번 째 줄 주석 모든 가상머신 전부 똑같게 하기 (환경 설정할 때는 멀티환경을 왠만하면 쓰지 않는다) 이제 su로 root계정에 갈 수 있다. 하둡, 자바 환경변수 설정 하둡계정에서 # vi ~/.bash_profile 이후 멀티를 푼다. (오류예방) Shift G로 맨 끝으로 이동 후 o 단축키로 다음줄로 이동 다음 오른쪽밑에 글을 그대로 복사해서 오른쪽클릭하면 복사가 된다. 3가상머신 모두 입력 #### HADOOP 2.7.7 start ############ PATH=$PATH:$HOME/bin expor..
미리 리눅스에서 분산모드를 구축 해 놓은 뒤 시작한다. https://thinmug.tistory.com/23 직렬화 라이브러리 protobuf 설치! #yum install -y autoconf automake libtool curl gcc-c++ unzip 3개에 전부 실행 #cd /tmp 폴더로 이동 #yum install wget #wget https://github.com/protocolbuffers/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.gz 설치 #tar -zxvf protobuf-2.5.0.tar.gz mv protobuf-2.5.0 /opt/ /opt로 이동 #cd /opt/protobuf-2.5.0 로 이동 후 #./configur..
