Skip to content

Sidekick

A native macOS app that allows users to chat with a local LLM that can respond with information from files, folders and websites on your Mac without installing any other software. Powered by llama.cpp.

맥용 로컬 퍼스트 LLM 챗봇 애플리케이션 오픈소스

About

  • 사용자의 파일, 폴더, 웹사이트를 기반으로 정보를 제공하며 완전 오프라인에서도 동작
  • 설치형 모델 추론 엔진이 내장되어 있으며, 필요 시 OpenAI 호환 API 키를 연결하여 외부 모델도 활용 가능
  • LLM이 문맥 정보를 기반으로 보다 정확한 답변을 제공할 수 있도록 설계
  • llama.cpp 기반

주요 기능

  • 로컬 우선 챗봇
    • 모든 대화는 오프라인에서 이루어짐, 데이터 유출 우려 없음
    • 별도 설치 없이 파일, 폴더, 웹사이트에서 직접 정보 검색
    • GPT 프롬프트나 설정 지식이 전혀 없어도 사용 가능
    • 내장 추론 엔진으로 Apple Silicon에서 빠르게 실행됨
  • 전문가 기반 문맥 관리 (Expert System)
    • 주제별로 전문가(Expert) 생성 가능 (Computer Science, History 등)
    • 각 전문가에 무제한 자료 등록 가능 (RAG 기반)
    • 드래그앤드롭으로 쉽게 문서 추가
    • 필요 시 웹 검색도 포함하여 최신 정보 반영 가능
  • 다양한 모델 지원
    • Alibaba의 QwQ-32B, DeepSeek-R1 등 다양한 로컬 추론 모델 사용 가능
    • OpenAI 호환 API 키 입력 시 외부 모델 호출 가능
  • 코드 인터프리터 내장
    • 모델이 작성한 코드를 직접 실행하여 결과를 반영
    • 수학, 논리 기반 질문에 정확도 향상
  • Canvas
    • 웹사이트, 코드, 텍스트를 시각적으로 생성 및 편집 가능
    • 텍스트 선택 후 LLM에게 선택적 편집 요청 가능
  • 이미지 생성
    • 텍스트 프롬프트를 통해 자동 이미지 생성
    • 별도 모드 전환 없이 프롬프트만으로 자동 인식
    • macOS 15.2 이상에서 CoreML 기반으로 동작
  • 인라인 쓰기 도우미
    • Command + Control + I로 어느 앱에서나 인라인 지원 가능
    • Microsoft Word에서 과제 질문 입력 후 자동 답변 가능
  • 고급 Markdown 렌더링
    • LaTeX 수식 렌더링 지원
    • 데이터 시각화: 표 기반 자동 그래프 생성 (바 차트, 라인 차트, 파이 차트 등)
    • 코드 하이라이팅, 코드 복사/내보내기 지원
  • Toolbox 도구 모음
    • Detector: AI 생성 여부 판별 및 재작성 가이드 제공
    • Diagrammer: 프롬프트로 복잡한 관계 다이어그램 생성
    • Slide Studio: 프롬프트 한 줄로 슬라이드 제작, PDF/PowerPoint로 내보내기 가능
  • 성능 및 추론 최적화
    • llama.cpp 기반 추론으로 Apple Silicon에서 매우 빠른 속도
    • Speculative decoding으로 속도 추가 향상 가능
    • 맥북에서 배터리 수명 연장 및 연산 분산 기능 제공

설치 및 요구사항

  • Mac + Apple Silicon (M1 이상)
  • RAM 8GB 이상
  • Releases 페이지에서 .dmg 다운로드 후 실행

개발 목표

  • 누구나 쉽게 사용할 수 있는 개인용 로컬 AI 도우미
  • 인터넷 연결 없이도 동작하는 완전한 오프라인 시스템
  • 설정 없이 폴더, 파일, 웹사이트를 즉시 인식
  • 프라이버시 보호, 대화 내용 추적 없음
  • 오픈소스 프로젝트로 투명성과 확장성 확보

See also

Favorite site