Skip to content

Llama 2

Meta, 차세대 언어모델 Llama 2 공개

Features

  • 연구 및 상업용도 모두 사용가능한 오픈소스 대규모 언어모델
  • Llama 1 대비 40% 많은 2조개의 토큰 데이터로 훈련
  • 2배의 컨텍스트 길이: 4096
  • 세가지 크기의 모델: 7B, 13B, 70B
  • 추론, 코딩, 숙련도, 지식테스트등 많은 벤치마크에서 다른 오픈소스 언어 모델보다 훌륭한 성능(MPT, Falcon, Llama-1)
  • 공개된 데이터 소스로 훈련되었으며, 파인튜닝된 Llama-2-chat 역시 공개된 명령어셋 및 백만개가 넘는 사람의 주석을 활용
  • 다운로드에 포함된 것들
    • Model code
    • Model Weights
    • README (User Guide)
    • Responsible Use Guide
    • License
    • Acceptable Use Policy
    • Model Card

Llama 2 Uncensored 버전을 로컬에서 실행하기

ML 엔지니어인 Eric Hartford가 2023년 5월에 "Uncensored Models"라는 블로그 글을 작성해서 인기를 끔.

언센서드 모델을 운용하는 것에 대한 장점과 생성방법을 정리

  • Llama 2 의 언센서드 모델을 운용하는 방법과 센서드 모델과의 비교
  • 현재 운용 가능한 언센서드 모델
    • Fine-tuned Llama 2 7B model
      • uncensored/unfiltered Wizard-Vicuna conversation dataset 을 이용
    • Nous Hermes Llama 2 13B
      • 30만개의 명령으로 파인튜닝된 Llama 2 13B 모델
      • 장문의 응답, 더 적은 할루시네이션 비율, OpenAI 센서십 메커니즘 없는 것이 특정
    • 에릭 하트포드의 Wizard Vicuna 13B uncensored
      • Llama 1 13B 모델을 alignment를 제거하기 위해 파인튜닝
  • 7B Llama 2 모델과 7B Llama 2 언센서드 모델을 같은 프롬프트로 질문하여 응답을 비교
    • 영화, 요리(위험할 정도로 매운 마요네즈 레시피), 종교, 의학(타이레놀 제조 방법은?), 일반 정보(마크주커버그와 일런머스크가 시합을 하면 누가 이길것 같음?)
  • 언센서드 모델은 종종 더 자세하고 유익한 응답을 제공하지만, 위험 요소를 가지고 있으므로 적절하게 사용되어야 함

See also

Favorite site