Lance
Modern columnar data format for ML and LLMs implemented in Rust. Convert from parquet in 2 lines of code for 100x faster random access, vector index, and data versioning. Compatible with Pandas, DuckDB, Polars, PyArrow, with more integrations coming..
ML 워크플로우에 최적화된 최신 Columnar 데이터 포맷
Features
- Parquet 에서 2줄의 코드로 변환되며, 100배 빠른 랜덤 억세스, 벡터 인덱스/검색, 데이터 버저닝등을 지원
- pandas, duckdb, polars, pyarrow 등과 호환
- 제로 카피, 자동 버저닝
- 최적 용도
- 검색엔진 및 피쳐 스토어 작성
- 고성능의 IO 와 셔플을 필요로 하는 대형 ML 모델 훈련
- 로보틱스, 대형 Blob(이미지, Point-cloud,..) 등의 복잡한 중첩 데이터를 저장/쿼리/조사