LoRA
(센서 네트워크용 무선통신 기술은 LoRa('a'가 소문자) 항목을 참조)
LoRA: Low-Rank Adaptation of Large Language Models
요약
LoRa는 스테이블 디퓨전의 파인튜닝 기술 중 하나이다.
훈련에 사용되는 파라미터를 줄여 파인튜닝을 더 빠르고 효과적이게 할 수 있다. (7GB VRAM에서도 훈련할 수 있다고 한다.)
드림부스와 마찬가지로 약간의 이미지를 입력하면 해당 스타일로 그림을 만들 수 있다.
LoRa는 Low-Rank Adaptation 의 약자이다. Low rank adaptation은 훈련에 사용되는 파라미터를 줄일 수 있는 수학적 기법이다. 모델간의 차이(diff)를 만들어 전체를 저장하지 않는 효과적인 방법이라고 생각하면 된다. Lora는 마이크로소트트의 연구자들에 의해 개발되었고 Simo Ryu에 의해 stable diffusion에 적용되었다.
Abstract
사전 훈련된 모델 가중치를 동결하고 transformer architecture의 각 계층에 훈련 가능한 rank decomposition matrix를 주입하여 다운스트림 작업에서 피라미터의 수를 크게 줄이는 Low-Rank Adaptation(LoRA) 제안.
Introduction
LoRA는 Measuring the Intrinsic Dimension of Objective Landscapes에서 영감을 받았다.
연구진은 모델 적응 중의 가중치 변화가 낮은 intrinsic rank를 갖고 있다고 가정하고 LoRA(Low-Rank Adaptation)를 제안했다.
Documentation
- [2106.09685] LoRA - Low-Rank Adaptation of Large Language Models
- https://arxiv.org/abs/2106.09685
See also
- Stable Diffusion
- Textual Inversion
- Dreambooth
- LoRA
- (IoT 분야의) LoRa - ('a'가 소문자)
Favorite site
- Github - LoRA
- LoRA: Low-Rank Adaptation of Large Language Models
- AI로 실제사진 만들어 내는 방법. 너무 쉽고 간단해서 바로 할 수 있습니다. - YouTube
- How to Fine-tune Stable Diffusion using LoRA | by Ng Wai Foong | Feb, 2023 | Medium
- 멀티 LoRA 모델을 하나의 이미지로 통합 생성하기 | GeekNews