안녕하세요 여러분, 물범쌤입니다:)
최근 이래저래 강의가 늘어나고 있어서
블로그 포스팅 시간이 줄어들었는데,
감사하게도 기다려주시는 분들을 위해
최대한 양질의 포스팅으로 찾아뵙도록 하겠습니다.
오늘은 AI영상 패키지, 그중에서도 인간의 움직임에 특화된
학습모델, Skyreels를 소개드리도록 하겠습니다.
Skyreels는 사이트 개요에도 설명되어 있듯이
최초이자 가장 진보된 오픈소스 인간 중심 비디오 기반 모델입니다.
AI영상 생성 기능 중의 하나인 HunyuanVideo를 기반으로 동작한다고 합니다.
조금 더 알기 쉽게 정리해 보자면 아래와 같겠네요
*SkyReels만의 차별화 포인트
1. 오픈소스
누구나 코드 분석 & 모델 수정 가능
2. 모션 중심 훈련 방식
Motion Score Distillation 기법으로
"움직임이 더 자연스럽고, 덜 어색함"
3. 짧고 집중도 있는 영상 생성
짧지만 스토리텔링이나 시각적 임팩트가 높은 영상 제작에 적합
4. 경량화된 구조
초거대 모델(Sora 등)보다 상대적으로 가볍고 빠르게 실행 가능
그럼 본격적으로 사용 방법을 알아볼까요?
kijai라는 사용자가 해당 기능을 쉽게 사용할 수 있도록
각 모델 파일과예제를 허깅페이스에 등록해 놓았습니다.
우리는 Img2video 기능을 기준으로 실습을 진행해볼 예정이기 때문에
예제와 fp8버전의 모델을 다운로드 받도록 하겠습니다.
다운받은 모델은 models/diffusion model 폴더에 넣어주시기 바랍니다.
예제를 ComfyUI로 드래그 앤 드롭 하시면
복잡해보이는 워크플로우가 보여지는데,
이곳에서 초반 부분을 보시면
아직 이 워크플로우 구동에 필요한 추가적인 파일이 필요한 것을 알 수 있습니다.
diffusion model 노드에는 방금 다운로드 받은 skyreels모델을 넣으면 되지만
vae,clip은 따로 다운로드 받아야 한다는것을 알 수 있습니다.
해당 모델들은 아래의 url에서 다운로드 받으시면 되겠습니다.
아래쪽에 보시면 이미지 리사이즈 노드를 통해서
640*640 사이즈의 정사각형 영상이 생성되는데
이부분을 참고하셔서 원본 이미지를 넣으시거나
사이즈를 조절하시는걸 추천드립니다.
추가적인 사항으로,
AI영상같은 경우 그래픽카드의 Vram 용량이 최소 8GB정도는 되셔야
이상없이 영상을 생성하실 수 있습니다.
실제로 skyreels영상 같은 경우 평균적으로 6~7GB의 Vram이 소모되고 있으며
이때에 영상을 원활히 생성하기 위해
vram사용량에 리미트를 걸어주시는편이 좋은데요
우선, 저를 따라서 스테빌리티 매트릭스를 사용중이신 분들은
패키지 탭에서 설정(톱니바퀴)를 눌러주시고
로컬 버전이신 분들은 아마 배치파일에 추가하셔야 할 것입니다.
설정창 가장 아래의 인수추가 창에서
아래와 같이 타이핑 후 저장해주세요
AI작업물 생성시, vram이 100% 다 쓰이게 되면
out of memory 에러가 뜨거나,
아니면 생성속도가 굉장히 느려지기 때문에
강제로 리미트를 걸어서 생성속도를 안정화 시킬 수 있습니다.
아래의 스카이릴스 워크플로우를 보시면 특이하게도
sampler노드를 2개로 사용하고 있는 것을 보실 수 있습니다.
이해하기 쉽게 설명드리자면,
첫 번째 샘플러는 입력된 이미지와 사용자의 프롬프트를 통해
일종의 가이드 비디오를 생성하는 과정이고,
두번째 샘플러는 가이드 비디오를 입력 받아서
완성된 비디오를 만드는 과정이라고 보시면 되겠습니다.
두번째 샘플러 노드에는 이미지 변화를 만들지 않기위해
noise입력이 false로 되어있는 것을 보실 수 있습니다.
사용방법은 이미지를 넣고, 프롬프트를 입력하신 후
생성버튼을 누르기만 하면 되기 때문에 상당히 간단합니다.
skyreels를 통해 생성된 영상들을 보여드릴게요!
오늘은 AI영상에서 사람의 움직임에 특화된
Skyreels를 알아보았습니다.
이 컨텐츠가 유익하셨다면
커피값은 기업들에게 받을테니
광고 한번씩만 눌러주시면 감사드리겠습니다 :)
그럼 좋은 하루 되세요! ^^
'스테이블 디퓨전(StableDiffusion)' 카테고리의 다른 글
| 지브리사진,아직도 GPT로 만드세요? (0) | 2025.04.11 |
|---|---|
| 놀라운 기능의 무료 툴을 알고 계신가요?(whisk) (2) | 2025.03.20 |
| 옷갈아입히기 끝판왕! Vton 기능을 사용해보세요 (0) | 2025.03.03 |
| Flux 이미지를 더욱 빠르게 생성해 보세요! (0) | 2025.02.18 |
| 이미지 일관성이 고민이시라구요?(PulID) (1) | 2025.02.07 |