[AI 그림 만들기] stable diffusion webui LoRA 사용법

썸네일

LoRA model이 무엇인지, stable diffusion webui에서 어떻게 사용하는지 알아보겠습니다.

---

LoRA model이 뭔데?

LoRA(Low-Rank Adaptation)는 stable diffusion model을 미세 조정하기 위한 훈련 기법입니다.
그래서 LoRA만 사용할 수 없고 model 체크포인트(예: stable-diffusion-v1-5) 파일과 함께 사용해야 합니다.

이미 LoRA와 같은 역할을 하는 Dreambooth(wiki)와 Textual Inversion(github) 훈련 기술이 있습니다.
하지만 모든게 장단점이 있듯이 Dreambooth는 강력하지만 model 파일 용량이 2~7GB정도로 너무 크고 Textual Inversion은 파일 크기는 작지만(약 100KB) 할 수 있는 작업이 많지 않습니다.
그래서 파일 크기와 훈련 성능 사이에서 적절한 절충점으로 제공되는게 LoRA입니다.
LoRA의 파일 크기는 관리하기 쉬운 수준(2~200MB)이며 교육 효과도 괜찮습니다.

---

LoRA model 사용법

(1) 우선 사용할 LoRA model을 아래 폴더로 다운로드 하세요.

stable-diffusion-webui/models/Lora

LoRA model 정보는 Civitai(homepage)에서 찾는걸 추천드립니다.

Civitai LoRA filter

(2) prompt에서 아래 형식에 맞게 LoRA model 사용
(예: <lora:shuV2:0.8>)

<lora:filename:multiplier>

• filename : 확장자를 제외한 LoRA model 파일명
• multiplier : LoRA model이 적용되는 가중치입니다. 기본값은 1이고 0으로 가까워 질수록 model 가중치가 줄어듭니다.

또 다른 방법으로 아래 이미지의 1~3번 순서대로 따라하시면 webui를 통해 LoRA model prompt를 추가할 수 있습니다.

LoRA model prompt 추가

 

(3) prompt 입력 후 Generate!!!!

<lora:Moxin_10:0.7>, ((shuimobysim, traditional chinese ink painting)), masterpiece, best quality, fullbody, 1girl, wearing white techwear jacket, modelshoot style, posing for a picture, long legs, (standing in a chinese garden)

좌(LoRA 적용) 우(LoRA 없음)

 

(추가내용) LoRA model을 한번에 여러개 사용할 수도 있습니다.

<lora:Moxin_10:0.7>, <lora:Moxin_Shukezouma11:0.8>, ((shuimobysim, traditional chinese ink painting)), masterpiece, best quality, fullbody, 1girl, wearing white techwear jacket, modelshoot style, posing for a picture, long legs, (standing in a chinese garden)

LoRA model 여러개 적용한 결과물