WarpStream
Kafka는 죽었다, Kafka 만세!
Features
- Kafka is dead, long live Kafka - WarpStream
- S3 위에 직접 구축된 Kafka 프로토콜 호환 데이터 스트리밍 플랫폼인 WarpStream을 소개합니다.
- WarpStream은 단일, 상태 없는(Stateless) Go 바이너리로 제공되어, 로컬 디스크 관리, 브로커 재균형 및 ZooKeeper 운영의 필요성을 제거합니다.
- 이 플랫폼은 데이터를 직접 S3로 스트리밍함으로써 인프라 비용을 크게 줄이고, 클라우드에서 Kafka보다 5-10배 저렴합니다.
- Kafka의 현대 작업 부하에 대한 적합성을 비판하며
- 경제성: 설계상 Kafka의 복제 전략은 막대한 AZ간 대역폭 비용을 발생 시킴
- 운영 오버헤드: Kafka 클러스터를 운영하는 것은 별도 팀 및 복잡한 커스텀 도구를 필요로 함
Hacker News 의견
- Kafka is dead, long live Kafka | Hacker News
- 데이터 스트리밍 기술인 Kafka의 이분법적 성격에 대한 기사
- 기술 회사 대부분이 Kafka를 사용하는지에 대한 논쟁
- 각 메시지를 S3에 직접 푸시하는 것의 비용 효율성과 각 AZ에서 Kafka 클러스터를 운영하는 문제
- S3 위에 바로 구축된 Kafka 프로토콜 호환 스트리밍 시스템인 WarpStream의 공동 창립자 및 CTO, Ryan Worl에 의한 소개
- WarpStream의 비용 효율성, 상태를 가진 디스크/노드의 운영 필요성 없음, 데이터 재균형 또는 ZooKeeper 필요성 없음, 감소된 크로스-AZ 대역폭 요금 강조
- 클라우드 공급자에서 별도의 VM에서 Kafka를 운영하는 비용에 대한 비판
- 제공자의 중복성을 활용하기 위해 제대로 설계된 Hadoop/Kafka 클라우드 관리 서비스에서 스토리지 어댑터 사용에 대한 논의
- Kafka가 전문가 팀과 큰 예산을 필요로 한다는 기사의 주장에 대한 일부 사용자들의 불평
- Kafka에서 파티션 수를 변경할 수 있다는 사실 강조
- Kafka 운영이 대규모 엔지니어 팀을 필요로 한다는 기사의 주장에 대한 논쟁
- WarpStream이 서비스를 어떻게 관리하는지, 클라우드 공급자 또는 베어 메탈을 사용하는지, 메타데이터 스토어에 foundationdb를 사용하는지에 대한 의문
- Kafka의 API의 잠재력과 클러스터 관리의 복잡성을 추상화하는 가능성에 대한 논의
- 대규모 ML 트래픽을 S3로 이동시키는 것의 비용 절감, 한 사용자는 약 90%의 비용 절감을 보고함
- 새로운 기술의 도입을 반영하여 "Kafka는 죽었다. 왕이 될 Warpstream."으로 기사 제목 변경 제안