LocalAI
Self-hosted, community-driven, local OpenAI-compatible API. Drop-in replacement for OpenAI running LLMs on consumer-grade hardware. Free Open Source OpenAI alternative. No GPU required. LocalAI is an API to run ggml compatible models: llama, gpt4all, rwkv, whisper, vicuna, koala, gpt4all-j, cerebras, falcon, dolly, starcoder, and many other
셀프호스트 가능한 OpenAI 호환 API
Features
- OpenAI와 호환되는 REST API로 다양한 LLM들을 이용 가능
- GPU 없이도 가능. llama.cpp 호환 LLM에서는 GPU 가속 지원
- 다중 모델을 지원하며, 오디오 트랜스크립션, 텍스트 생성, 이미지 생성(Stable Diffusion) 지원
- 한번 로딩되면 모델을 메모리에 저장해두고 빠른 추론 지원
- ggml 호환 모델들 모두 지원: llama, gpt4all, rwkv, whisper, vicuna, koala, gpt4all-j, cerebras, falcon, dolly, starcoder, ...