안녕하세요 여러분, 물범쌤입니다 :)
얼마전에 이미지를 빠르게 생성할 수 있는 lcm로라를 알려드렸었는데요,
lcm로라도 물론 우수한 모델이지만
SDXL에서 적용하면 1.5모델보다 이미지 생성속도가 조금 더딘 감이 었었거든요
(아마도 이미지 최적화 크기(1024*1024) 때문이라고 생각합니다.)
그래서 SDXL에서도 어마무시한 속도로 이미지를 생성할 수 있는
SDXL_ Lightning을 소개드리려고 합니다.
사실, SDXL_ Lightning을 사용하는 방법은 어렵지 않습니다.
확장 프로그램을 다운로드 하고, 적용해서 바로 사용하기만 하면 끝입니다.
먼저 SDXL_ Lightning 모델의 설치 페이지 URL을 안내드리겠습니다.
https://huggingface.co/ByteDance/SDXL-Lightning
URL로 이동하시면
Files and Versions 탭에 여러가지 파일들이 있는것을 보실 수 있습니다.
당황하지 마시고, 자세히 보면 파일들이
1step, 2step, 4step, 8step 별로 뭉쳐져 있는 것을 보실 수 있습니다.
우리가 lcm로라를 사용할때, Sampling Steps를
4~8사이로 낮게 설정했던거 기억하시나요?
SDXL_ Lightning 모델 또한 동일한 이미지 생성 방식을 사용하기 때문에
각 스텝별 이미지 생성에 맞는 파일들이 나눠져 있습니다.
만일 2Step만 사용해서 이미지를 뽑고싶으시다면
2Step 파일에 있는 Safetensors 파일과 Lora 파일만 받아주시면 됩니다.
스텝이 낮은 파일일수록 속도는 더 빠르지만,
당연히 이미지 품질은 조금 떨어질 수 밖에 없습니다.^^
저는 딱 중간이라고 생각되는 4Step을 기준으로 다운로드 받아볼게요!
각각의 파일들은 체크포인트와, 로라파일입니다.
Web-UI를 사용하시는 분들은 확장파일들을 저장하시는 폴더에 넣어주시면 되시고,
스테빌리티 매트릭스를 사용하시는 분들은 lcm 로라 포스팅에서 말씀드렸듯이
프로그램상에서 바로 드래그 앤 드롭으로 추가해주시면 됩니다.
이제 본격적으로 사용해보겠습니다.
ComfyUI를 켭니다. 여러분들이 쉽게 따라하실 수 있게
'Load Default' 의 노드 구성으로 알려드리겠습니다.
가장 먼저 체크포인트를 sdxl_lightning_4step으로 바꿔주시고,
Ksampler의 steps 값을 체크포인트와 동일한 '4'로 바꿔주셔야 합니다.
프롬프트는 간단하게 'Cute baby Cat'으로 입력하겠습니다.
이제 이미지를 생성해주면?
짜잔! 뒤틀린 황천의 키메라가 되었습니다.
허허
Q. 오이오이 물범 양반, 나를 속인거야? 앙?
확 마 (대충 나쁜말)....
A. 진정하세요.
모델 사용 권장 사항을 지키지 않아서 벌어진 일입니다.
다시 한번 살펴보도록 하지요.
위에서 알려드린 모델 파일 다운로드 페이지로 이동하시면
Model card 탭에 sdxl_lightning 모델에 대한 사용법이 나와있습니다.
Euler 샘플링 모델과 sgm_unifrom 스케줄러를 사용하라고 하네요.
다시 돌아와서 KSampler를 조정해줍니다.
그리고 다시 생성하면?
진정하세요 아직 안끝났어요!
lcm 로라에서 적용해줬던것처럼 Cfg 스텝도 낮춰줘야만 한다고 하네요.
마지막으로 KSampler의 cfg 스텝값을 1로 바꾸고 다시 생성해줄게요
제대로 나왔으니까 이제 들어가세요, 눈알선생님ㅠㅠ
Q.쌤! 그런데 체크포인트만 쓸거면 로라는 왜 다운받은 건가요?
같이 써야 하는것 아닌가요?
A. 라이트닝 모델의 로라 파일은
sdxl기반의 다른 모델을 체크포인트로 사용하기 위해서 만들어진 파일입니다.
같이 한번 실습해볼까요? :)
빈 공간을 더블클릭해서 Load Lora노드를 검색, 추가해주세요
기존에 프롬프트 노드와, KSampler 노드로 연결되던 선들을 Load Lora 노드로,
Load Lora 노드에서 프롬프트 노드와 KSampler 노드로 연결해주세요.
(체크포인트를 SDXL 기반의 다른 모델로 바꿔주도록 할게요!)
이제 프롬프트를 바꿔주고 이미지를 생성해보도록 할게요!
짜잔! 우주를 담은 커피잔이 아주 멋지게 완성되었네요
물론 sdxl_lightning_4step 체크포인트 모델도 우수하지만,
그림체나 분위기가 다른 SDXL의 모델들을 조합해서 사용할 수 있다는것 또한
매우 큰 매리트라고 생각되네요!
참고로 Web-ui를 사용하시는 분들께서는
1.8 버전 이상을 사용하셔야 스케쥴러를 따로 설정하실 수 있으니 참고해주시기 바랍니다.
또한 Forge버전에서는 따로 스케줄러를 설정할 수 없는데,
Euler a나 DPM++ 3M SDE 모델을 사용하시면 비교적 준수한 모델을 생성하실 수 있으실겁니다.
오늘은 SDXL기반의 고속 이미지 생성모델 SDXL Lightning에 대해 알아보았습니다.
이 컨텐츠가 유익하셨다면
커피값은 기업들에게 받을테니
광고 한번씩만 눌러주시면 감사드리겠습니다 :)
그럼 모두들 좋은하루 되세요! ^^
'스테이블 디퓨전(StableDiffusion)' 카테고리의 다른 글
| 이미지에 빛을 넣어보세요 IC-lighting (comfyUI) (4) | 2024.07.23 |
|---|---|
| ComfyUI 이미지가 이상하게 나오시나요? Ksampler를 확인해보세요! (0) | 2024.07.20 |
| 아직도 LCM 로라를 모르신다구요? (2) | 2024.07.12 |
| ComfyUI로 고품질 이미지 생성하기 (0) | 2024.07.05 |
| ComfyUI를 알아봅시다. (0) | 2024.06.25 |