• 티스토리 홈
  • 프로필사진
    홀쑥
  • 방명록
  • 공지사항
  • 태그
  • 블로그 관리
  • 글 작성
홀쑥
  • 프로필사진
    홀쑥
    • 분류 전체보기 (57)
      • Language & Framework (14)
        • Java (1)
        • Python (13)
      • DataBase (4)
        • NoSQL (1)
        • RDBMS (3)
      • Big Data & Ecosystem (9)
        • Hadoop (5)
        • Hive (2)
        • Sqoop (1)
        • Zeppelin (1)
      • Data Engineering (1)
        • Airflow (1)
      • Cloud & DevOps (1)
        • AWS (0)
        • GCP (1)
      • Monitoring & Logging (2)
        • ElasticSearch (2)
      • Infrastructure (12)
        • OS (12)
        • Docker (0)
        • Kubernetes (0)
      • Algorithm & CS (7)
        • 백준 알고리즘 (6)
      • Troubleshooting (5)
        • 오류 모음 (5)
  • 방문자 수
    • 전체:
    • 오늘:
    • 어제:
  • 최근 댓글
      등록된 댓글이 없습니다.
    • 최근 공지
        등록된 공지가 없습니다.
      # Home
      # 공지사항
      #
      # 태그
      # 검색결과
      # 방명록
      • [하둡] 하둡 설치 (1)
        2020년 06월 22일
        • 홀쑥
        • 작성자
        • 2020.06.22.:13

        미리 리눅스에서 분산모드를 구축 해 놓은 뒤 시작한다.

        https://thinmug.tistory.com/23

        직렬화 라이브러리 protobuf 설치!

        #yum install -y autoconf automake libtool curl gcc-c++ unzip 3개에 전부 실행

        #cd /tmp    폴더로 이동

        #yum install wget

        #wget https://github.com/protocolbuffers/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.gz 설치

        #tar -zxvf protobuf-2.5.0.tar.gz

         

        mv protobuf-2.5.0  /opt/                    /opt로 이동

        #cd /opt/protobuf-2.5.0      로 이동 후

        #./configure

         

        #make

        # make install

        #protoc --version  다운로드 확인

         

         

        JDK 설치

        #cd /tmp

        tmp폴더로 이동 후

        #yum install -y vim wget unzip

        #wget --no-check-certificate --no-cookies - --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz
        ( Local에 이미 다운로드 한 경우 Winscp를 이용하여 업로드 )

         

         

        # tar -xvzpf jdk-8u131-linux-x64.tar.gz

        # mkdir -p /opt/jdk/1.8.0_131

        # mv jdk1.8.0_131/* /opt/jdk/1.8.0_131/

        # ls /opt/jdk   이동 확인

        # ln -s /opt/jdk/1.8.0_131 /opt/jdk/current 심볼릭 링크걸기

        Java install

        alternatives명령어 : centos의 yum을 통해 java를 install하게 되면 버젼관리 대상으로 들어간다. 
        그리고 centos는 버젼관리를 위한 명령어를 제공하는데 그것이 바로 alternatives라는 명령어이다.

         

        # alternatives --install /usr/bin/java java /opt/jdk/1.8.0_131/bin/java 2

        # alternatives --config java

        1을 입력 후 엔터

        # alternatives --install /usr/bin/jar jar /opt/jdk/1.8.0_131/bin/jar 2

        # alternatives --install /usr/bin/javac javac /opt/jdk/1.8.0_131/bin/javac 2
        # alternatives --set jar /opt/jdk/1.8.0_131/bin/jar
        # alternatives --set javac /opt/jdk/1.8.0_131/bin/javac

        # java -version

        하둡 설치

        # cd /tmp

        # wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

        # wget http://apache.tt.co.kr/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

         

        하둡 tar파일의 설치가 끝남

        # tar -xvzf hadoop-2.7.7.tar.gz

        //이후 압축을 풀고 디렉토리를 만들어 java와 같이 심볼릭링크를 만들기

        # mkdir -p /opt/hadoop/2.7.7

        # mv hadoop-2.7.7/* /opt/hadoop/2.7.7/

        # ln -s /opt/hadoop/2.7.7 /opt/hadoop/current

        하둡 사용자 추가

        # useradd hadoop

        # passwd hadoop ( 비밀번호도 hadoop 으로 - 비밀번호 입력시는 글자표시 안됨  )

        # chown -R hadoop:hadoop /opt/hadoop/  ( 루트에서 만든 파일의 권한을 hadoop에게 권함)

        # su - hadoop (- : 환경변수를 다 가지고 계정이동)

         

         

        자바 및 Hadoop 환경 변수 추가는 다음 글

         

        다음글
        다음 글이 없습니다.
        이전글
        이전 글이 없습니다.
        댓글
      조회된 결과가 없습니다.
      스킨 업데이트 안내
      현재 이용하고 계신 스킨의 버전보다 더 높은 최신 버전이 감지 되었습니다. 최신버전 스킨 파일을 다운로드 받을 수 있는 페이지로 이동하시겠습니까?
      ("아니오" 를 선택할 시 30일 동안 최신 버전이 감지되어도 모달 창이 표시되지 않습니다.)
      목차
      표시할 목차가 없습니다.
        • 안녕하세요
        • 감사해요
        • 잘있어요

        티스토리툴바