Any-llm

다양한 LLM 프로바이더를 위한 단일 인터페이스

About

Mozilla AI팀이 만든, 20개 이상의 LLM 프로바이더를 하나의 함수로 사용할 수 있는 Python 라이브러리
- OpenAI, Anthropic, Google, Mistral, AWS Bedrock 등의 모델 교체 시 provider_id/model_id만 바꾸면 됨
공식 프로바이더 SDK를 우선 활용해 호환성 문제를 최소화하며, 프록시/게이트웨이 서버를 별도로 설치할 필요가 없어 pip 설치 후 바로 사용할 수 있음
개발자 친화적으로 완벽한 IDE 타입 힌트, 직관적 예외 처리, 커스텀 예외, 문서 및 빠른 가이드 제공
경량화된 라우터로 프레임워크 비종속적이며, 별도 프록시/게이트웨이 서버 불필요(API Key만 있으면 바로 사용)
기존 솔루션의 문제를 해결하며, 액티브한 유지보수 진행중 : Mozilla의 any-agent 등 실제 제품에 사용 중임
- LiteLLM: 공식 SDK 대신 직접 구현 → 호환성/버그 우려가 있음
- AISuite: 모듈러 구조지만 관리 및 타이핑 미흡
- 프레임워크 종속형: 프로젝트별로 또다시 파편화
- 프록시 전용: 별도 서버 필요, 복잡성 증가