LocalAI

Self-hosted, community-driven, local OpenAI-compatible API. Drop-in replacement for OpenAI running LLMs on consumer-grade hardware. Free Open Source OpenAI alternative. No GPU required. LocalAI is an API to run ggml compatible models: llama, gpt4all, rwkv, whisper, vicuna, koala, gpt4all-j, cerebras, falcon, dolly, starcoder, and many other

셀프호스트 가능한 OpenAI 호환 API

Features

• OpenAI와 호환되는 REST API로 다양한 LLM들을 이용 가능
• GPU 없이도 가능. llama.cpp 호환 LLM에서는 GPU 가속 지원
• 다중 모델을 지원하며, 오디오 트랜스크립션, 텍스트 생성, 이미지 생성(Stable Diffusion) 지원
• 한번 로딩되면 모델을 메모리에 저장해두고 빠른 추론 지원
• ggml 호환 모델들 모두 지원: llama, gpt4all, rwkv, whisper, vicuna, koala, gpt4all-j, cerebras, falcon, dolly, starcoder, ...

See also

• ChatGPT
• OpenAI
• LLM
• llama
• llama.cpp
• LM Studio
• LangChain - LLM을 외부와 연결해주는 라이브러리
• Open WebUI
• ollama - 사용 편의성, 다양한 모델 지원, 효율적인 리소스 관리
• vLLM - 고성능 추론, 메모리 효율성, 대규모 배치 처리
• LocalAI - 다양한 모델 유형 지원 (텍스트, 음성, 이미지)
• FastChat - 다양한 오픈소스 모델 지원, 웹 UI 제공

Favorite site

• go-skynet/LocalAI