Log Aggregator

여러 머신에서 쌓인 로그들을 한 번에 분석할 수 있도록 수집하여 주는 시스템을 말한다.

Solutions

• Graylog
  • ElasticSearch - 로그 저장소
  • MongoDB - 메타데이터 저장소
  • Log4j 로그 스트리밍을 위해 GELF 라이브러리를 사용합니다.
• Splunk - 로그 관리 및 분석
• Flume
• Fluentd (CNCF; EFK)
• Logstash (ELK)
• Rsyslog
• Syslog-ng
• Papertrail
• CloudWatch
• Sentry
• GlitchTip - Sentry API 호환 에러 트래킹 플랫폼 오픈소스
• Grafana Loki - Like Prometheus, but for logs.

Log Management

• 5 Data Storage Solutions for Better Log Management

Data Storage Solutions 를 활용한 로그 관리

• ClickHouse (OLAP)
• PrestoDB
• InfluxDB
• Apache HBase
• Tarantool

Tools

• Best Log Aggregator Tools in 2020
• SolarWinds Papertrail
• Logstash
• Fluentd
• Graylog
• ManageEngine EventLog Analyzer
• Sumo Logic
• LogDNA
• log metric - Real-time log monitoring in your browser
• angle-grinder - 로그를 실시간으로 파싱, 집계, 합계, 평균, 최대/최소, 정렬 가능한 뷰어 - graphite/kibana/honeycomb/splunk 등이 없을 때 간단하게 정교한 분석 수행 가능

로그 적재기

서비스 전 구간을 아우르는 로그 관리 솔루션을 구축하기 위해 다른 도구와 결합될 수있는 로그 적재기가 있으며, 로그 적재 도구마다 기능이 다릅니다.

• Logstash - 로그 파일을 수집하고 적재하는 데 사용할 수 있는 강력한 데이터 파이프라인 도구입니다.
• Fluentd
• 로그스파우트 (Logspout) - Logspout은 Docker 내부에서 실행되는 Docker 컨테이너 용 로그 라우터입니다.

로그 스트림 처리기

스트림 처리 기술은 필요에 따라 로그 스트림을 즉시 처리하는 데 사용됩니다.

• Flume
• Kafka를 Storm 또는 Spark Streaming과 함께 사용합니다.
• Log4j에는 로그 메시지를 수집하는 데 유용한 Flume appenders가 있습니다.
• Spring Cloud Stream
• Spring Cloud Stream Modules
• Spring Cloud Data Flow

Storage

• ElasticSearch
• HDFS
• MongoDB
• Cassandra

Dashboard

• Kibana (ElasticSearch)
• Graphite (Grafana)

Projcts

• Scribe
• Apache Flume
• Fluentd
• Logstash

See also

• syslog
• Logging (Log file; Log level, etc ...)
• Metrics Aggregations (Stats Aggregation)
• Log Aggregator
• Log management
• LogFX - 멀티플랫폼 오픈소스 로그 뷰어
• tailspin - 로그 파일 highlighter

Favorite site

• Log Aggregator 비교 - Scribe, Flume, Fluentd, logstash
• 한시간에 만드는 대용량 로그수집 분석 시스템
• 데이터 전문가 지식포털 DBGuide.net - DB구축가이드 - 로그 데이터 수집
• 멀티클라우드를 이용한 로그 분석 플랫폼 개발하기
• [추천] (MSA) 마이크로서비스 로깅 및 모니터링 ¹
• Log Aggregation – Best Tools and Practices in 2020
• Airbnb의 이벤트 로그 처리

References