MLC LLM
Enable everyone to develop, optimize and deploy AI models natively on everyone's devices.
LLM모델을 어떤 디바이스에든 배포 가능하게 해주는 오픈소스 솔루션
Features
- 누구나 AI 모델을 개발하고 최적화해서 어떤 디바이스에든 배포 가능하게 만드는 것을 목표
- MLC(Machine Learning Compilation) 와 Apache TVm Unity 를 이용
- 지원 플랫폼
- 아이폰/아이패드/안드로이드
- Metal GPU 와 Intel&ARM 맥북
- AMD/Intel 및 NVidia GPU(윈도우/리눅스에서 Vulkan)
- NVidia GPU(윈도우/리눅스에서 CUDA)
- 브라우저의 WebGPU