LM Studio
LLM을 로컬에서 쉽게 실행하게 해주는 도구
Features
- 로컬에서 LLM 을 찾고, 다운로드 하고, 오프라인으로 실행 지원
- LLaMa, Falcon, MPT, StarCoder, GPT-Neo-X 등의 모델
- (예: Llama 2, Orca, Vicuna, Nous Hermes, WizardCoder, MPT 등).
- Apple Silicon Mac (M1/M2/M3) macOS 13.6 이상
- Windows / Linux PC (AVX2 지원하는 프로세서)
- 16GB+ 이상 램 권장. PC 에선 6GB+ VRAM 권장
- NVIDIA/AMD GPUs 지원
LM Studio 개인정보 보호 및 사용
- LM Studio는 사용자의 데이터를 수집하거나 모니터링하지 않으며, 모든 데이터는 사용자의 기기에 로컬로 남아 있음
- 개인적인 용도로는 무료이며, 업무용으로 사용하고자 할 경우 팀에 연락해야 함
GN⁺의 의견
- LM Studio는 개인정보 보호를 중시하는 사용자에게 매력적인 솔루션으로, LLM을 오프라인으로 실행할 수 있는 기능이 가장 중요함.
- 사용자의 데이터가 로컬에만 저장되고, 다양한 모델을 지원하는 점이 흥미롭고, 개인 사용자에게 무료로 제공되는 점이 유익함.
- 하드웨어 요구 사항이 상대적으로 높아 최신 기기 사용자에게 적합하며, 업무용 사용을 계획 중인 점이 긍정적임.
Hacker News 의견
- Ollama와 UI를 사용하여 오픈 소스 코드와 동일한 작업을 수행할 수 있음을 보여주는 링크 공유.
- LM Studio에 대한 긍정적인 평가와 그 특징들:
- 로컬 모델 런타임
- 모델 카탈로그
- 모델과 쉽게 대화할 수 있는 UI
- OpenAI 호환 API
- RAG(ChromaDB 사용) 등의 플러그인 포함
- OS 생태계의 새로운 기능을 활용할 수 있는 좋은 위치에 있음
- 아쉽게도 LM Studio 자체는 오픈 소스가 아님
- 채팅박스 필드의 기본 상태 개선 필요
- 모델 로딩 전 CUDA 가속 설정 방법 불명확
- 일부 HuggingFace 모델이 나열되지 않고 이유가 명시되지 않음
- 인터페이스의 아코디언 부분 스크롤이 마우스 휠에만 반응
- 서버 탭이 초기 디버깅에 매우 유용함