Skip to content

LLaMA

Meta가 공개한 65b 파라미터 LLM

Cateogries

  • Llama 2 - Meta, 차세대 언어모델 Llama 2 공개
  • Llama 3 - Meta, 차세대 언어모델 Llama 3 공개
  • Llama 3.1
  • Llama 3.2 - Revolutionizing edge AI and vision with open, customizable models (메타가 '라마' 시리즈 중 이미지와 텍스트를 모두 이해하는 첫번째 대형멀티모달모델(LMM)을 출시했다)
  • Llama 3.3 - 70B로 이제 GPT-4급 모델을 노트북에서 실행가능
  • nano-llama31 - nanoGPT 스타일의 Llama 3.1 버전

Features

  • 7B, 13B, 33B, 65B 의 4가지 사이즈로 공개
  • 훨씬 작은 규모지만, 데이터 학습 강화 및 파인 튜닝하여 더 큰 규모의 모델과 비교가능한 효율적인 모델
  • 33B/65B는 1조 4천억개의 토큰으로 훈련됨(7B는 1조)
  • "13B 모델이 175B인 GPT-3보다 뛰어나고, 65B는 훨씬 더 큰 Chinchilla70B 및 PaLM-540B 와 경쟁 가능"
  • 인공지능 연구등 비상업적 용도로만 활용 가능(신청하여 승인 필요)

Downloads

Linux: 

curl -o- https://raw.githubusercontent.com/shawwn/llama-dl/56f50b96072f42fb2520b1ad5a1d6ef30351f23c/llama.sh | bash

참고로 내가 answerver 에서 다운받았을 때 걸렸던 시간은 약 157분 이며, 220G 용량을 차지했다.

See also

Favorite site