Falcon

180B 모델 공개 (1800억개의 파라미터가 포함된 최대 규모의 공개 언어 모델)

Features

1800억개의 파라미터가 포함된 최대 규모의 공개 언어 모델
공개 모델중에선 리더보드 1위에 랭크. Llama 2 70B 및 GPT-3.5를 능가하며 PaLM-2와 경쟁
TII의 RefinedWeb 데이터 세트(대부분 영어)를 이용하여 3.5T 토큰으로 훈련
- Llama 2 보다 2.5배 더 크고 4배 이상의 컴퓨팅 파워로 훈련했음(Amazon SageMaker 로 4096개의 GPU 이용)
Falcon 180B 는 상업적으로 이용은 가능하지만, "호스팅 사용"을 제외하고 매우 제한적인 조건에서만 사용 가능. 라이센스 확인 필수
하드웨어 요구사항
- 풀 파인튜닝: 메모리 5120GB, 8x 8x A100 80GB
- LoRA with ZeRO-3: 1280GB, 2x 8x A100 80GB
- QLoRA: 160GB, 2x A100 80GB
- 추론 BF16/FP16 : 640GB, 8x A100 80GB
- 추론 GPTQ/int4 : 320GB, 8x A100 40GB