하둡 에코 시스템 - 수집

• apache flume
• apache kafka
• ....

로그를 수집하는 다양한 방법이 있다.

• SFTP, FTP 등을 이용한 전통적인 방법
• 실시간 로그 수집기를 통한 실시간 로그 수집 방법
• Syslog 등의 프로토콜을 이용한 로그 수집 방법
• ELT 등의 솔류션을 통해 로그를 수집하는 방법
• 기타 등등..

그 중의 Flume은??

Apaceh Flume은 Hadoop EcoSystem의 표준 로그 수집기 이다.

하지만 수집 대상이 되는 서버에 Flume Agent를 추가해야 하므로 실제 환경에서 매우 부담

Agent가 CPU와 Resource도 많이 사용하며, 로그 손실 가능성도 있다.