Data 세상바라보기

-- sample data dfs 로딩[hadoop@hadoop01 ~]$ hadoop fs -put input & [hadoop@hadoop01 ~]$ tar -zxf apache-hive-0.13.1-bin.tar.gz [hadoop@hadoop01 ~]$ ln -s apache-hive-0.13.1-bin hive - configuration 설정 $ vi hive/conf/hive-env.shHADOOP_HOME=/home/hadoop/hadoop [hadoop@hadoop01 ~]$ hive/bin/hiveLogging initialized using configuration in jar:file:/home/hadoop/apache-hive-0.13.1-bin/lib/hive-common-0.1..

HADOOP 2017. 8. 24. 16:19

Flume Architecture - Flume Download[hadoop@hadoop01 ~]$ tar -zxf apache-flume-1.5.0-bin.tar.gz [hadoop@hadoop01 ~]$ ln -s apache-flume-1.5.0-bin apache-flume - Flume Configuration $ vi apache-flume/conf/flume-env.sh JAVA_HOME=/usr/java/javaFLUME_CLASSPATH=/home/hadoop/apache-flume/libexport PATH=$PATH:/home/hadoop/hadoop/bin $ cd apache-flume/conf/ $ vi flume_hdfs.txt# Name the components on thi..

HADOOP 2017. 8. 24. 11:45

hadoop 1.0 vs 2.0 아키텍처 리뷰 하둡 2.0 의 리소스 관리 플랫폼인 YARN은 하둡 클러스터의 각 어플리케이션에 필요한 리소스를 할당하고 모니터링하는 업무에 집중함으로써 다양한 어플리케이션이 하둡 클러스터의 리소스를 공유할 수 있도록 하는 핵심 요소이다. 하둡의 변화를 한 눈에 알 수 있는 그림으로 하둡 2.0 YARN 은MapReduce 2.0 을 포함하여 다양한 분산처리 환경을 지원한다. YARN 의 특징을 알아 보도록 하자.JobTracker를 Resource Manager와 Application Master로 분리 하둡 1.0 MapReduce 프레임워크의 JobTracker는 두가지 기능을 수행하고 있다. 하나는 클러스터 전체의 리소스 관리이고 다른 하나는 여러 잡(Job)을 수..

HADOOP 2017. 8. 22. 10:43

Ø Package 저장소 업데이트 (저장소인덱스 : /etc/apt/sources.list)$ sudo apt-get update Ø Package 최신 업데이트 설치$ sudo apt-get upgrade Ø Package 의존성 검사 후 최신 업데이트 설치$ sudo apt-get dist-upgrade Ø Package 설치$ sudo apt-get install 패키지명 Ø Package 재설치$ sudo apt-get --reinstall install 패키지명 Ø Package 삭제 (설정파일 제외)$ sudo apt-get remove 패키지명 Ø Package 삭제 (설정파일 포함)$ sudo apt-get --purge remove 패키지명 Ø Package 검색$ sudo apt-cac..

LINUX 2016. 1. 6. 23:58

1. Build binaries * cd scr ; make ( you should have mysql_config available in $PATH) 2. Load data * create database mysqladmin create tpcc1000 create database tpcc1000 * create tables mysql tpcc1000 < create_table.sql or mysql -uroot -p tpcc1000 < create_table.sql * create indexes and FK ( this step can be done after loading data) mysql tpcc1000 < add_fkey_idx.sql * populate data - simple step t..

카테고리 없음 2014. 11. 23. 22:24