Sqoop

스쿱은 구조화된 관계형 데이터 베이스와 아파치 하둡간의 대용량 데이터들을 효율적으로 변환하여 주는 명령 줄 인터페이스 애플리케이션이다.

Apache
Sqoop
Kafka - 아파치 카프카는 아파치 소프트웨어 재단이 스칼라로 개발한 오픈 소스 메시지 브로커 프로젝트이다. 이 프로젝트는 실시간 데이터 피드를 관리하기 위해 통일된, 높은 처리량, 낮은 지연시간을 지닌 플랫폼을 제공하는 것이 목표이다.
Hive - 아파치 하이브는 하둡에서 동작하는 데이터 웨어하우스 인프라 구조로서 데이터 요약, 질의 및 분석 기능을 제공한다. 초기에는 페이스북에서 개발되었지만 넷플릭스등과 같은 회사에서 사용되고 있으며 개발되고 있다.
Hadoop - 아파치 하둡은 대량의 자료를 처리할 수 있는 큰 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 프리웨어 자바 소프트웨어 프레임워크이다. 원래 너치의 분산 처리를 지원하기 위해 개발된 것으로, 아파치 루씬의 하부 프로젝트이다.
Oozie - 아파치 우지는 하둡의 잡을 관리하기 위한 서버 기반의 워크플로 스케줄링 시스템이다. 우지의 워크플로는 워크플로 정의 안에 ${inputDir} 등의 변수를 사용하여 파라미터화할 수 있다. 워크플로 잡을 제출할 때 파라미터의 값들을 지정해야 한다.
RedPanda - Kafka랑 동일한 인터페이스, 빠르고 데이터 손실없고 wasm으로 다양한 언어 지원.

See also