하둡 에코 시스템 - 데이터 저장/코디네이터/관리
- Apache Hadoop
- Apache Zookeeper
- Apaceh Ambari
<하둡 에코시스템 2.0>
이미지 출처: http://blrunner.com/99
데이터 수집
\(1\) Flume
\(2\) Kafka
\(3\) Scribe
\(4\) Sqoop
\(5\) Hiho
\(6\) Chukwa
데이터 처리
\(1\) Pig
\(2\) Mahout
\(3\) Spark
\(4\) Impala
\(5\) Presto
\(6\) Hive
데이터 저장
\(1\) Hbase
\(2\) Kudu
워크플로우 관리
\(1\) Oozie
\(2\) Airflow
\(3\) Azkaban
데이터 시각화
\(1\) Zepplin
데이터 직렬화
\(1\) Avro
\(2\) Thrift