안녕하세요 여러분. 물범쌤입니다 :)
stability.ai 에서 , 6월 12일 부로 스테이블 디퓨전 3 버전의 축소판인
스테이블 디퓨전3 미디움 사용이 가능해졌습니다.
https://stability.ai/news/stable-diffusion-3-medium
Stable Diffusion 3 Medium — Stability AI
We are excited to announce the launch of Stable Diffusion 3 Medium, the latest and most advanced text-to-image AI model in our Stable Diffusion 3 series.
stability.ai
비상업적 용도로 사용되는 SD3 및 SD3로 인한 생성물은
모두 무료로 사용이 가능하며,
상업적 이용을 원할시에는 별도의 라이센스를 신청해야 합니다.
Q. 우와! 쌤! 그러면 SDXL을 사용했던것처럼,
SD3도 체크포인트 파일을 받으면, 저도 바로 사용할 수 있는건가요?
A. 안타깝게도 우리가 사용하면 web-ui에서는
아직 스테이블 디퓨전 3를 사용할 수 없어요.
현재 스테이블 디퓨전3 버전이 지원되는 패키지는 comfyUI 뿐입니다.
*많은 분들이 civitai에 있는 SD3체크포인트 파일을 설치해보시곤 하시는데,
리뷰에 보시면 제대로 구동되지 않는다고 하니 낚이지 마시길 바랍니다.
일전에 소개드렸던 스테빌리티 매트릭스를 토대로
comfyUI를 사용해서 SD3를 구동하는걸 보여드릴게요
(알려드리는게 아니라 보여드린다고 말씀드리는 이유는,
아직 comfyUI가 초심자분들에게 어렵고 복잡한 툴이기 때문입니다.
처음부터 무리해서 따라하려고 하지 마시고
ComfyUI 사용법에 대해 어느정도 공부해보시고, 진행해주셔도 늦지 않습니다.)
스테빌리티 매트릭스를 모르시는 분은 아래주소의
포스팅에서 중,상단 내용을 참고해 주세요 :)
https://healtable.tistory.com/14
어느 세월에 뽑아요ㅠ.. 스테이블 디퓨전 이미지 생성 속도 Up! 하는 방법!
안녕하세요 여러분. 물범쌤입니다.간만에 포스팅으로 찾아뵈었는데요.집안 어르신께서 별세하셨기에, 장례식을 치르느라 포스팅 업로드가 지연되었습니다.미리 공지드리지 못해 죄송합니다.
healtable.tistory.com
자, 그럼 본격적으로 시작해 볼게요!
1. 먼저 comfyUI를 업데이트 해줘야 해요!
SD3 버전은 가장 최신의 comfyUI에서만 진행되기 때문에
업데이트를 꼭 진행해주세요!
2.그 다음, 본격적으로 스테이블 디퓨전 3 모델을 받으러 이동해보겠습니다.
https://huggingface.co/stabilityai/stable-diffusion-3-medium
stabilityai/stable-diffusion-3-medium · Hugging Face
Stable Diffusion 3 Medium Model Stable Diffusion 3 Medium is a Multimodal Diffusion Transformer (MMDiT) text-to-image model that features greatly improved performance in image quality, typography, complex prompt understanding, and resource-efficiency. For
huggingface.co
허깅페이스라는 파일 공유 사이트이고,
계정이 없는 경우에는 만들어주셔야 다운로드 받을 수 있습니다.
가입 후 ' Files and versions' 탭으로 이동해 주세요.
여기에서 벌써 safetensors 파일이 여러개 보이죠?
전부 SD3 체크포인트이긴 한데, 각각 성능이 다릅니다.
하나씩 설명드릴테니 걱정하지 마세요 :)
● sd3_medium.safetensors :
MMDiT 및 VAE 가중치를 포함하지만 텍스트 인코더는 포함하지 않습니다.
● sd3_medium_incl_clips_t5xxlfp16.safetensorsT5XXL :
텍스트 인코더의 fp16 버전을 포함하여 필요한 모든 가중치가 포함되어 있습니다.
● sd3_medium_incl_clips_t5xxlfp8.safetensors :
품질과 리소스 요구 사항 간의 균형을 제공하는
T5XXL 텍스트 인코더의 fp8 버전을 포함하여
필요한 모든 가중치가 포함되어 있습니다.
● sd3_medium_incl_clips.safetensorsT5XXL :
텍스트 인코더를 제외하고 필요한 모든 가중치를 포함합니다.
최소한의 리소스가 필요하지만
T5XXL 텍스트 인코더가 없으면 모델 성능이 달라집니다.
텍스트 인코더는 사용자의 프롬프트를 읽어주는 필수적인 요소입니다.
따라서 텍스트 인코더가 없는 버전의 체크포인트를 받으면,
별도로 텍스트 인코더는 다운로드 받아야 합니다.
굳이 그럴필요가 없겠죠
우리는 아래의 두 모델에만 집중해 보도록 하겠습니다.
● sd3_medium_incl_clips_t5xxlfp16.safetensorsT5XXL :
텍스트 인코더의 fp16 버전을 포함하여 필요한 모든 가중치가 포함되어 있습니다.
● sd3_medium_incl_clips_t5xxlfp8.safetensors :
품질과 리소스 요구 사항 간의 균형을 제공하는
T5XXL 텍스트 인코더의 fp8 버전을 포함하여
필요한 모든 가중치가 포함되어 있습니다.
t5xxlfp16 그리고 t5xxlfp8 가 네이밍의 차이점이라고 할 수 있는데
16버전은 사용자의 컴퓨팅 리소스를 최대한 사용하는 방향이고
8버전은 품질과 컴퓨팅 리소스의 균형을 조절해서 사용한다고 하네요
본인의 컴퓨터가 고스펙(CPU:i7,GPU :40번대) 라면 16버전을 받으셔도
크게 무리는 없을겁니다 :)
저는 CPU : i5 , GPU:3060 인데,
16버전으로 사용할때 이미지 생성시 팬 소음이 좀 나는 편입니다.
(PC가 조금 버거워 한다는 뜻이죠)
3. 자, 여기까지 오셨다면 어느정도는 끝난거구요.
마지막으로 SD3에서 준비한 워크 플로우 파일들도 다운로드 받아주도록 하겠습니다.
폴더 안에 3 가지 예제를 모두 다운로드 받아 주세요!
4. 이제는 파일 추가 입니다.
다운로드 받은 체크포인트 파일(8버전 혹은 16버전이겠죠?)을
StabilityMatrix\Data\Packages\ComfyUI\models\checkpoints 경로에 넣어주세요
(스테빌리티 매트릭스 폴더를 열고, 파일경로창 뒷부분에 붙여넣기 하시면 됩니다.)
그 후에 comfyUI를 실행시켜 주세요!
회로도 같이 생겨서 복잡하죠?
comfyUI는 UI자체가 복잡하게 생겨서 많은 분들이 진입장벽을 느껴하시는 버전입니다.
이 부분에 대해서도 포스팅을 준비중이니 조금만 기다려 주세요!
5. 가장 먼저 우리가 다운로드 받았던 예제 워크 플로우를
(아마 다운로드 파일에 있겠죠?)
comfyUI의 까만색 영역 아무데나 드래그 앤 드랍 해줍니다.
그럼 프롬프트가 자동으로 입력되고, 노드들이 저절로 생겨날거에요.
만약 에러가 뜬다면 파일경로나 텍스트 인코더 문제일 확률이 높습니다.
그것도 아니라면 comfyUI 를 다시 업데이트 해주세요
체크 포인트가 SD3로 잘 설정되었는지 확인해주세요
저랑 똑같지 않아도 됩니다.
저는 텍스트 인코더를 따로 다운로드 받아서 파일명이 짧습니다.
또 한가지,
체크 포인트 밑에 Triple Clip Loader라는 노드가 없는 분들은
체크 포인트에서 나오는 Clip선을 아래 이미지와 같이 연결해주세요
(점에서 점으로 드래그 하시면 됩니다)
6. 이제 예제 이미지를 출력해 봅시다.
오른쪽의 명령창에서 Queue Prompt를 눌러주세요
아참, 처음으로 이미지를 출력할때에는
이미지 생성에 필요한 기본 파일들을 다운로드 받기 때문에
시간이 꾀 걸립니다.
오류가 난줄알고 계속해서 Queue Prompt 버튼을 누르지 않도록 주의해주세요 :)
이렇게 워크 플로우는 comfyUI사용자가 손쉽게 이미지를 출력할 수 있도록
노드 및 프롬프트를 지정해놓은 파일이라고 볼 수 있습니다.
civitai에 여러가지 워크 플로우 파일들이 있으니
그런것들은 한번 실습해보셔도 좋을것 같습니다.
나머지 예제에 대한 결과물들도 올려드릴게요!
두 번째 예제는 다중 프롬프트 인식에 관한 예제였습니다.
이번 SD3 는 프롬프트 인식에 대한 기능이 크게 개선되었다더니 사실인것 같네요 :)
마지막 예제는 업스케일링에 관한 예제인데,
아마 comfyUI매니저가 없으신 분들은 당장 따라오시기에는 힘드실 겁니다.
따라서 이 부분은 추후에 ComfyUI 소개 포스팅에
더불어서 소개드리도록 하겠습니다 :)
마지막으로 제가 직접 SD3를 활용해서 생성한 몇가지 이미지를 소개드리고
오늘 포스팅 마무리 하겠습니다.
오늘은 스테이블 디퓨전 3 모델에 대해 알아보았습니다.
어서 빨리 web-ui에서도 사용이 가능해졌으면 좋겠네요 :)
이 컨텐츠가 유익하셨다면 공감(♡) 및 댓글 부탁드립니다.
그럼, 모두들 좋은 하루 되세요! ^^
'스테이블 디퓨전(StableDiffusion)' 카테고리의 다른 글
| ComfyUI로 고품질 이미지 생성하기 (0) | 2024.07.05 |
|---|---|
| ComfyUI를 알아봅시다. (0) | 2024.06.25 |
| 스테이블 디퓨전으로 컬러링북을 만들어 볼까요? (0) | 2024.06.15 |
| 스테이블 디퓨전 간편하게 만들어주는 꿀 도구들 (7) | 2024.06.09 |
| 초 고퀄리티의 이미지를 뽑고 싶다구요?그렇다면..(스테이블 디퓨전 XL) (0) | 2024.06.03 |