FreeLLMAPI
lastmod 2026-11-17created 2026-11-171 edits
FreeLLMAPI는 Tashfeen Ahmed 가 만든 오픈 소스 LLM 라우터이다. 여러 AI 제공자의 무료 티어 API 키를 등록해 두면 OpenAI 호환 /v1 엔드포인트 하나로 묶어, 요청마다 쓸 수 있는 모델을 고르고 한도에 걸리면 다음 제공자로 넘긴다. 자기 컴퓨터에서 혼자 쓰는 로컬 우선 구조이며, README 는 개인 실험·학습용이고 프로덕션용이 아니라고 밝힌다.
About
- 2026년 11월 중순 README 기준 87개 제공자, 모델 계열 736개, 무료 엔드포인트 1,313개(채팅 1,137·이미지 29·오디오 41·임베딩 68 등), 월 약 101억 토큰 분량의 무료 티어를 추적함. 바로 전까지는 34개 제공자, 모델 계열 474개, 엔드포인트 635개였음
- Google, Groq, Cerebras, OpenCode Zen, Mistral, OpenRouter, Cloudflare, Cohere, Z.ai, NVIDIA, HuggingFace 등. llama.cpp·LM Studio·vLLM·Ollama 같은 OpenAI 호환 엔드포인트도 custom 제공자로 추가 가능
- 라우터는 우선순위가 높고 한도가 남은 키를 골라 호출하고, 429/5xx 가 오면 그 키를 쉬게 한 뒤 체인의 다음 모델로 재시도함. 라우팅 전략 6가지,
auto:<profile> 로 코딩용·비전용 같은 폴백 체인 선택 -
(platform, model, key)단위로 RPM/RPD/TPM/TPD 를 세어 무료 한도 안에서만 보냄. 같은 대화는 30분 동안 한 모델에 고정 -
/v1/chat/completions,/v1/responses, 임베딩·이미지·영상·음성 API 와 Anthropic Messages(/v1/messages), Gemini/v1beta, Ollama 에뮬레이션 제공. Claude Code·Codex CLI·Gemini CLI 를 무료 모델 풀에 붙일 수 있음 (npx freellmapi setup-claude) - 가상 모델
fusion은 프롬프트를 여러 무료 모델에 병렬로 보내고 판정 모델이 초안들을 답 하나로 합침 - 제공자 키는 SQLite 에 AES-256-GCM 으로 암호화해 저장하고 앱에는 통합 키(
freellmapi-…) 하나만 줌. 응답 헤더X-Routed-Via로 실제 처리한 제공자·모델 확인 - 모델 카탈로그는 freellmapi.co 의 서명된 파일을 하루 두 번 받아 갱신함. 무료 설치는 30일 늦은 월간 스냅샷, 유료 Premium(연 $19 또는 평생 $49)은 당일 반영
- React 관리 대시보드(키 관리·플레이그라운드·p50/p95 분석, 60개 언어)와 macOS·Windows 메뉴바 앱. Docker 원라이너 설치, Node 20 이상, 유휴 시 메모리 약 40MB
- 프런티어 모델은 없고 지연 시간이 일정하지 않음. 상위 모델이 일일 한도에 걸리는 늦은 시간대에는 답의 수준이 떨어졌다가 UTC 자정에 초기화됨. 각 제공자 약관 준수는 사용자 책임
- MIT 라이선스
See also
- LLM
- OpenRouter
- LiteLLM
- OmniRoute - 흩어진 무료/저가 AI 티어를 하나로 묶는 게이트웨이