1. java 코드 import java.io.IOException; import java.util.HashMap; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileIn..

1) HDFS 명령어 ☞ HDFS를 제어할 수 있는 쉘 명령어 ​ 2) 도움말 보기 ☞ hdfs dfs -help ​ 3) 파일목록 보기 ☞ ls, lsr - ls : 지정한 디렉토리에 있는 파일의 정보를 출력한다. - lsr : 하위 디렉토리 정보까지 출력한다. ex) hdfs dfs -ls [디렉토리|파일] ex) hdfs dfs -lsr [디렉토리|파일] 디렉토리나 파일을 지정하지 않을 경우 해당 계정의 홈 디렉토리를 조회한다. 4) 파일 용량 ☞ du, dus - du : 지정한 디렉토리나 파일의 사용량을 확인한다. (출력결과 바이트 단위) - dus : 전체 합계 용량을 출력한다. ex) hdfs dfs -du [디렉토리|파일] ex) hdfs dfs -dus [디렉토리|파일] 디렉토리나 파일을..

https://thinmug.tistory.com/24 로그아웃으로 su로 로그인 계정을 로그아웃하고 다시 root로 갈 수 있다. 멀티환경을 해제하고 # vi /etc/pam.d/su 10~ 12번 째 줄 주석 모든 가상머신 전부 똑같게 하기 (환경 설정할 때는 멀티환경을 왠만하면 쓰지 않는다) 이제 su로 root계정에 갈 수 있다. 하둡, 자바 환경변수 설정 하둡계정에서 # vi ~/.bash_profile 이후 멀티를 푼다. (오류예방) Shift G로 맨 끝으로 이동 후 o 단축키로 다음줄로 이동 다음 오른쪽밑에 글을 그대로 복사해서 오른쪽클릭하면 복사가 된다. 3가상머신 모두 입력 #### HADOOP 2.7.7 start ############ PATH=$PATH:$HOME/bin expor..

미리 리눅스에서 분산모드를 구축 해 놓은 뒤 시작한다. https://thinmug.tistory.com/23 직렬화 라이브러리 protobuf 설치! #yum install -y autoconf automake libtool curl gcc-c++ unzip 3개에 전부 실행 #cd /tmp 폴더로 이동 #yum install wget #wget https://github.com/protocolbuffers/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.gz 설치 #tar -zxvf protobuf-2.5.0.tar.gz mv protobuf-2.5.0 /opt/ /opt로 이동 #cd /opt/protobuf-2.5.0 로 이동 후 #./configur..

VirtualBox 5.2버전 다운로드 홈페이지접속(https://www.virtualbox.org/) 왼쪽 다운로드 클릭 5.2 빌드 클릭 windows 호스트버전 다운로드 계속해서 넥스트를 누르면 다운로드가 완료됨 VirtualBox 다운로드 완료 VirtualBox에 베이그란트 를 이용해 가상장치 다운로드 Vagrant(베이그랜트)란 경량화된 Virtual machine 관리 서비스이다OS를 직접 하나씩 설치하지 않고 단순히 이미지 형태로 OS를 설치할 수 있다는 것을 말한다그래서 Vagrant를 이용하기 위해서는 가상머신이 설치되어 있어야 한다참고로 default는 virtual box이다 https://www.vagrantup.com/ Vagrant by HashiCorp Vagrant enab..

자바 설치 CentOS7에는 기본적으로 java가 설치되어 있다. 하지만 개발버전이 빠져있단다. 그래서 다시 설치하겠다. 이번에는 yum을 통해 다운받을 생각이다. 먼저 yum list java*jdk-devel 로 다운받을 수 있는 자바 버전을 확인한다. 나는 java 1.8.0 openjdk x86_64 를 다운받겠다. 먼저 하기 전 yum 패키지를 업데이트 해준다 yum update 입력 엄청 긴 창이 뜬다. y를 눌러 업데이트 동의 하고 업데이트한다. 아까 뜬 모든 패키지들이 업데이트 된다. 성공메시지가 나오면 이제 자바를 설치하겠다. yum install java-1.8.0-openjdk-devel.x86_64 입력 후 엔터 y를 입력하여 자바를 설치한다. 그 후 java -version, ja..

CentOS7에 오라클 11g XE를 설치하려고 한다.메모리를 많이 차지하고 특히 swap용량(가상메모리)이 충분해야한다.(5g이상) http://www.oracle.com> Download> Database > Database 11g Express Edition먼저 VMware에서 CentOS7에 root 계정으로 로그인 하고 firefox로 오라클 홈페이지에 들어간다. 이제 터미널을 키고 /usr/local에 oracle 디렉토리를 만들고 그 안에 압축을 푼 Disk1파일을 mv명령어로 옮긴다.이제 Disk1 폴더로 이동 후 안에 있는 자동 설치프로그램(rpm)을 실행시키겠다. 명령어는 rpm -ivh oracle-xe-11.2.0-1.0.x86_64.rpm명령어를 입력하면 설치가 시작된다.100퍼센..

CentOS7에 기본적으로 openJDK가 설치 되어있다. 하지만 개발버전이 빠져있다. 따라서 자바 개발버전을 yum으로 다운 받겠다 먼저 yum list java*jdk-devel 명령어로 다운받을 수 있는 자바 개발버전을 확인 yum install java-1.8.0-openjdk-devel.x86_64 하면 설치가 시작됨 /etc/profile (root계정 : 모든 사용자에게 적용) /etc/bashrc (root계정 : 모든 사용자에게 적용) ~/.bashrc (사용자계정 : 해당 사용자에게만 적용) ~/.bash_profile (사용자 계정 : 해당 사용자에게만 적용) 스크립트파일 적용 명령어 :source //환경변수 설정 and 톰켓 wget설치 아이피가 두개 뜨는데 둘 다 사용가능 VMw..