Guidance

LLM 제어를 위한 안내 언어

Features

• 기존 프롬프트보다 더 효과적으로 언어 모델을 제어할 수 있는 언어.
• Handlebars 템플릿 기반으로 출력 구조와 방법을 지정하고, 논리적 흐름을 제어할 수 있음.
• 프롬프트 내부에서 키/값 캐시를 사용하고, 원하는 부분만 추론하도록 하여 추론 성능 향상.
• 단순한 출력 구조 제어를 넘어 JSON 등 유효한 구문 보장까지 가능.
• HuggingFace 모델과 손쉬운 통합을 지원.

See also

• LLM

Favorite site

• microsoft/guidance: A guidance language for controlling large language models.
• A guidance language for controlling LLMs | Hacker News
  • 저장소에 가면 예시들이 많은데, 예시만 봐도 상당히 흥미롭습니다. 특히 구조화된 출력이 필요한 경우 LLM이 전체가 아니라 딱 내용 부분만 생성하게 해서 추론 시간을 반으로 줄였다는 부분이 좋아 보이네요.