Data 세상바라보기

-- sample data dfs 로딩[hadoop@hadoop01 ~]$ hadoop fs -put input & [hadoop@hadoop01 ~]$ tar -zxf apache-hive-0.13.1-bin.tar.gz [hadoop@hadoop01 ~]$ ln -s apache-hive-0.13.1-bin hive - configuration 설정 $ vi hive/conf/hive-env.shHADOOP_HOME=/home/hadoop/hadoop [hadoop@hadoop01 ~]$ hive/bin/hiveLogging initialized using configuration in jar:file:/home/hadoop/apache-hive-0.13.1-bin/lib/hive-common-0.1..

HADOOP 2017. 8. 24. 16:19

Flume Architecture - Flume Download[hadoop@hadoop01 ~]$ tar -zxf apache-flume-1.5.0-bin.tar.gz [hadoop@hadoop01 ~]$ ln -s apache-flume-1.5.0-bin apache-flume - Flume Configuration $ vi apache-flume/conf/flume-env.sh JAVA_HOME=/usr/java/javaFLUME_CLASSPATH=/home/hadoop/apache-flume/libexport PATH=$PATH:/home/hadoop/hadoop/bin $ cd apache-flume/conf/ $ vi flume_hdfs.txt# Name the components on thi..

HADOOP 2017. 8. 24. 11:45

hadoop 1.0 vs 2.0 아키텍처 리뷰 하둡 2.0 의 리소스 관리 플랫폼인 YARN은 하둡 클러스터의 각 어플리케이션에 필요한 리소스를 할당하고 모니터링하는 업무에 집중함으로써 다양한 어플리케이션이 하둡 클러스터의 리소스를 공유할 수 있도록 하는 핵심 요소이다. 하둡의 변화를 한 눈에 알 수 있는 그림으로 하둡 2.0 YARN 은MapReduce 2.0 을 포함하여 다양한 분산처리 환경을 지원한다. YARN 의 특징을 알아 보도록 하자.JobTracker를 Resource Manager와 Application Master로 분리 하둡 1.0 MapReduce 프레임워크의 JobTracker는 두가지 기능을 수행하고 있다. 하나는 클러스터 전체의 리소스 관리이고 다른 하나는 여러 잡(Job)을 수..

HADOOP 2017. 8. 22. 10:43