Apache Flume 분산 로그 데이터 수집
1. 개요로그 데이터를 중앙으로 전달하고 저장하는 툴 비교2. Apache Flumehttps://flume.apache.org/Flume은 수로라는 뜻으로 로그를 수로를 통해서 한곳에 모은 다는 뜻으로 풀이 될 수 있다.Flume은 과거 Cloudera에서 제작하여, 지금은 Apache 톱레벨 프로젝트가 되었다.Flume OG(v0.9.x 이하)의 경우 master 노드를 통해서, 제어되는 방식이었으나, NG(v1.x 이상)로 변경되면서, Agent에서 직접 제어 방식으로 변경되었다.JAVA로 만들어졌고, 이벤트 방식으로 제작되었다.(로그 한 줄이 하나의 이벤트)tail 명령어로 데이터를 읽어올 수 있고, Syslog, Scribe 등을 통해서 로그를 가져올 수 있다.Thrift를 이용해서 직접 어플리..
빅데이터
2016. 8. 5. 17:53
warpmemory
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
페이지
TAG
- limits
- Windows
- 예제
- 명령어
- error
- PowerShell
- Python
- configuration
- File
- Linux
- command
- 코드
- code
- Module
- example
- 번역
- monitoring
- deview
- Web
- engineering
- httpd
- RESTful
- Ansible
- check
- 외부링크
- mysql
- 이슈처리
- apache
- client
- MariaDB
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
글 보관함