데이터 & 인프라

CDP PvC Install #3 - CDP PvC Trial Install

작성자: 김영찬

Cloudera PvC Trial 버전을 설치하고 setup하기 위한 절차와 내용을 설명합니다.

// Cloudera CDP Installation Procedure : for CDP PvC trial

  • Install DBMS for CDP
  • Run CDP database setup shell scrips - mysql-setup.sql (MySQL과 MariaDB는 동일)
  • Install Cloudera Manager servers and agents
  • Run Cloudera manager server database setup shell script - scm_prepare_database.sh
  • Start Cloudera Manager admin console and build clusters

// Cloudera CDP Private Cloude Base Trial 설치(Production에서는 빠져야됨)

// Cloudera Manager Server Database setup(설치한 DBMS에 CMS database 생성)

  • 설치 순서 : cloudera-manager-installer.bin --> scm_prepare_database.sh --> http://cmhost:7180 --> Add cluster
  • sudo systemctl disable cloudera-scm-server > /dev/null 2>&1 // DB 설정 전에 Cloudera Manager Server 다운
  • sudo systemctl stop cloudera-scm-server // DB 설정 전에 Cloudera Manager Server 다운
  • sudo /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm password 실행

scm_prepare_database.sh

chmod u+x ./scm_prepare_database.sh

sudo ./scm_prepare_database.sh -h****tools.futuresoft.co.kr -P****3306 -u****root -p****futuresoft#00 mysql scm scm password

(port 3306은 대문자 P, 암호 futuresoft#00은 소문자 p)

  • Syntax for scm_prepare_database.sh

-h : EXTERNAL DBMS Server address(DBMS가 cmhost와 동일한 서버에 있지 않는 경우)

-P : EXTERNAL DBMS Server port(mariadb default 3306)

-u : CREATE/GRANT 권한이 있는 user(default는 root)

-p : -u 권한을 가진 사용자의 password

DBMS : mysql -- external DBMS로 MySQL/MariaDB를 사용. MariaDB도 mysql로 지정

database : scm -- Cloudera Manager Server Database Name(mysql-setup.sql 에서 지정한 Database Name)

user : scm -- mysql-setup.sql에서 지정한 scm database user name

password : password -- mysql-setup.sql에서 지정한 scm database password(default는 password)

- /etc/cloudera-scm-server/db.properties 파일에 Cloudera Manager Server에 대한 production DBMS 설정 정보 등록 확인

  • db.properties 설정 내용(scm_prepare_database.sh 실행 후 내용 확인)

com.cloudera.cmf.db.type=mysql

com.cloudera.cmf.db.host=localhost -- tools.futuresoft.co.kr:3306

com.cloudera.cmf.db.name=scm

com.cloudera.cmf.db.user=scm

com.cloudera.cmf.db.setupType=EXTERNAL

com.cloudera.cmf.db.password=password

  • systemctl restart cloudera-scm-server // Cloudera Manager Server 재시작
  • Cloudera Manager Server 설치 후 클러스터 구성전 반드시 시작 전에 이 스크립트를 실행해야됨

// Cloudera SCM agent 재설치(manually)

  • sudo yum install cloudera-manager-agent cloudera-manager-daemons

  • /etc/cloudera-scm-agent에서 config.ini 파일 편집

  • server_host : Cloudera Manager Server host name

  • server_port : Cloudera Manager Server port(default)

  • /var/lib/cloudera-scm-agent의 uuid 파일의 uuid를 일치하도록 수정

  • sudo systemctl start cloudera-scm-agent

  • sudo systemctl enable cloudera-scm-agent

// Cloudera Manager Admin Console

목록으로 돌아가기