안녕하세요 여러분, 물범쌤입니다:)
오늘은 ComfyUI의 최신 기능 중 하나인 HiDream-E1에 대해 알아보겠습니다.
이 기능은 텍스트 프롬프트만으로 이미지를 편집할 수 있는 혁신적인 도구로,
마스크나 복잡한 설정 없이도 원하는 이미지 변화를 손쉽게 구현할 수 있습니다.
HiDream-E1은
기존의 HiDream-I1 모델을 기반으로 개발된 이미지 편집 전용 모델입니다.
이 모델은 자연어 프롬프트를 통해 이미지의 스타일이나 요소를 변경할 수 있으며,
마스크나 추가적인 제어 없이도 편리하게 사용할 수 있습니다.
그럼 바로 시작해볼까요?
1. 모델 다운로드 및 설치
comfy.org 블로그에 해당 기능에 대한 상세한 포스팅이 있습니다.
이곳에서 모델과 클립모델,Vae등을 손쉽게 받으실 수 있는데요
사이트 이동 필요없이,
필요한 항목들을 링크로 남겨드릴게요!
clip_g_hidream & clip_l_hidream
t5xxl_fp8_e4m3fn_scaled.safetensors
llama_3.1_8b_instruct_fp8_scaled.safetensors
hidream_e1_full_bf16.safetensors(Vram 16GB 이상 권장)
링크를 보시면 아시겠지만 E1모델은 Vram 사용량이 매우 높습니다.
따라서 Vram이 낮은 분들은 아래에 안내드리는 gguf 모델을 다운로드 받아서
사용하시는 것을 권장드립니다.
gguf모델은 Q2에서 Q8로 갈수록 퀄리티가 올라가지만, Vram사용량이 높아지므로
본인의 Vram용량에 맞춰서 적당한 모델은 다운로드 받으시기 바랍니다.
(만일 Vram용량이 8GB이시면 4Q정도로 받으시는걸 추천드립니다)
다운로드 받은 파일들의 경로는 아래에서 보여드리겠습니다.
2.워크플로우 구성
워크플로우는 이미지 파일로 제공되고 있는데,
Json파일로도 만들어서 두 가지 정보로 제공드리겠습니다.
(두 워크플로우는 동일하니까, 하나만 받으셔도 됩니다)
1)이미지 워크플로우
2)Json파일 워크플로우
아래는 기본 워크 플로우의 모습입니다(입력이미지는 임의의 이미지 입니다)
좌측 상단에 보시면 다운받은 파일들을 어디에 넣어야 하는지
파일 경로를 보여주고 있습니다.
(이미지를 누르시면 크게 보실 수 있습니다)
워크 플로우 시작부분에 Load Diffusion Model노드가 있는데
위에서 말씀드렸다시피 Vram의 용량이 넉넉하지 않기때문에
이부분을 gguf방식으로 수정해주어야 합니다.
Unet Loader 노드를 통해 gguf로 변경
입력된 프롬프트는 업로드된 이미지의 인물이 VR기기를 쓰고있는 모습으로
수정하는 내용의 프롬프트 입니다.
그대로 돌리면 이런식으로 인물의 일관성이 훼손되는 결과를 보실 수 있는데요
이 부분은 이미지보다 프롬프트 가중치가 높게 적용된 부분이기 때문에
CFG수치를 낮춰서 적용해 보겠습니다.
Dual CFG Guider 노드에서 cfg_conds 값을
2정도로 수정해보고 다시 생성해 보겠습니다
이번에는 이미지 일관성은 어느정도 유지되지만
퀄리티가 만족스럽지 못하다는것을 보실 수 있습니다.
게다가 추가로 이미지 생성시간을 보시면
대략적으로 3분 30초 정도가 소요되는것을 보실 수 있는데요
이런 부분이 굉장히 비효율적이기 때문에
조금의 수정을 거쳐보도록 하겠습니다.
이미지 생성파트의 대부분의 노드를 삭제하고
우리에게 익숙한 Ksampler로 대체하였습니다.
스케쥴러와 샘플러는 이미지를 크게 확대하셔서 똑같이 설정해주세요
노드 수정 결과 이미지 생성 시간은 1분 남짓으로 양호하게 줄어들었지만
이미지에 보시는 대로 퀄리티가 매우 아쉽게 제작되는것을 보실 수 있습니다.
프롬프트 Cfg 수치가 디테일하게 조정되지 못하기 때문인데요
Ksampler의 'model'수치 입력 앞에
rescale CFG 노드를 추가해줍니다.
ComfyUI 코어노드이기 때문에 별도의 설치가 필요하지 않습니다.
프롬프트에서 CG그래픽에 대한 내용을 삭제하고
그냥 여인이 VR 기기를 쓰고있다는 내용만 남겨둔채 다시한번 생성합니다.
이번에는 일관성과 퀄리티 모두 준수한 이미지가 출력되는것을 보실 수 있습니다.
한가지더, 하이드림의 매력적인 기능인'스타일변경'을 위해서는
이미지 프롬프트 앞에 원하는 스타일을 작성해주면 되겠습니다.
저는 'turn in to Disney pixar style' 문구를 넣어서
해당 이미지의 스타일 변화를 유도했습니다.
아래와 같이 잘 적용된 모습을 확인하실 수 있습니다.
오늘은 이미지로 여러가지 스타일 변화와 이미 생성된 이미지에
특정한 사물을 추가/삭제할수 있는 기능의 하이드림을 알아보았습니다.
이 컨텐츠가 유익하셨다면
커피값은 기업들에게 받을테니
광고 한번씩만 눌러주시면 감사드리겠습니다 :)
그럼 좋은 하루 되세요! ^^
'생성형 AI 팁' 카테고리의 다른 글
| AI 일관성 유지가 제일 힘드시죠?(flux Kontext) (0) | 2025.06.15 |
|---|---|
| kohya_ss 설치했는데 LoRA 학습이 안 될 때, 가장 먼저 확인해야 할 7가지 (1) | 2025.06.03 |
| 이미지 일관성? 이제 간단하게 해결하세요! (0) | 2025.05.06 |
| 지금은 AI영상 서비스의 시대(gen-4) (0) | 2025.04.15 |
| 지브리사진,아직도 GPT로 만드세요? (2) | 2025.04.11 |