"AnimateDiff: 텍스트-이미지 모델을 애니메이션으로 변환하는 혁신적인 AI 도구, 스테이블 디퓨전 (stable diffusion)"

스테이블 디퓨전 (stable diffusion) AnimateDiff는 텍스트-이미지 확산 모델을 애니메이션 생성기로 변환하는 혁신적인 AI 도구입니다. 추가 훈련 없이 다양한 커뮤니티 모델을 활용하여 생동감 넘치는 애니메이션을 만들어 보세요. 설치 방법과 사용 예제를 지금 확인하세요.

"AnimateDiff: 텍스트-이미지 모델을 애니메이션으로 변환하는 혁신적인 AI 도구"

 

AnimateDiff: 텍스트-이미지 모델을 애니메이션으로 변환하는 혁신적인 도구
최근 몇 년 동안 AI 기술의 발전은 눈부신 속도로 이루어졌습니다. 그 중에서도 텍스트-이미지 생성 모델은 사용자에게 입력된 텍스트를 바탕으로 놀라운 이미지를 생성하는 능력으로 많은 주목을 받았습니다. 이제 이러한 모델을 애니메이션으로 확장하는 새로운 도구, AnimateDiff가 등장했습니다. 이 글에서는 AnimateDiff의 주요 기능과 설치 방법, 사용 예제에 대해 자세히 알아보겠습니다.

 

1. AnimateDiff란 무엇인가?

AnimateDiff는 텍스트-이미지 확산 모델을 애니메이션 생성기로 변환할 수 있는 모듈을 제공합니다. 가장 큰 장점은 추가적인 훈련 없이 대부분의 커뮤니티 모델을 애니메이션 생성기로 변환할 수 있다는 점입니다. 이를 통해 다양한 텍스트-이미지 모델을 더욱 흥미롭고 생동감 있게 활용할 수 있습니다.

 

2. 주요 기능

AnimateDiff는 다음과 같은 주요 기능을 제공합니다:

> 텍스트-이미지 모델 애니메이션 변환: 추가적인 훈련 없이 다양한 커뮤니티 모델을 애니메이션 생성기로 변환할 수 있습니다.

> 다양한 버전 제공: Stable Diffusion V1.5용 v1, v2, v3 및 Stable Diffusion XL용 sdxl-beta 버전이 제공됩니다.

> Domain Adapter LoRA: 이미지 모델의 특정 속성을 조정할 수 있는 기능으로, 애니메이션 생성 시 더욱 유연한 조작이 가능합니다.

> SparseCtrl 인코더: 다양한 조건 맵을 사용하여 생성 과정을 세밀하게 제어할 수 있습니다.

3. 설치 및 설정 방법

AnimateDiff를 사용하기 위해서는 몇 가지 준비 과정이 필요합니다. 다음은 설치 및 설정 방법입니다:

 

먼저, 스테이블 디퓨전 (stable diffusion)을 실행합니다.

extension -> avilable -> load from 클릭 -> 이후 검색창에서 아래에 있는 파일 검색 후 설치하기 

 

1) " sd-webui-animatediff " 설치

 
2) " stable-diffusion-webui-prompt-travel " 설치

그리고,

travel 을 사용하기 위해 

아래 파일을 다운로드 합니다.

" mm_sd_v15_v2.ckpt "

guoyww/animatediff at main

 

" mm_sd_v15_v2.ckpt " 파일을 다운 받은 후,

" model "파일로 옮겨주기

(extensions -> sd webui animatediff -> model 로...)

 

그리고 스테이블 디퓨전 (stable diffusion)을 재설정 해주기

" Apply and restart UI " 클릭

 

적용을 하게 되면, " AnimateDiff " 가 나타난 걸 확인 할 수 있습니다.

 

이후 아래와 같은 prompt 와 비율을 이용해서 생성하기 (변경 가능)

 

 

생성된 이미지를 " img 2 img "로 보내기

 

이후 prompt 에 추가하기

 

< 프롬프트 추가 내용 >
0: surprised face
8: angry face
16: closed eyes, smile
24: big smile

 

* 비율이나 

특히, denoising 값은 나타난 이미지를 보고 재설정.

 

그리고,

AnimateDiff 설정해 주기 

> Motion module = " mm_sd_v15_v2.ckpt "

> Enable AnimateDiff 활성화

> Number of frames = 32

> FPS = 8

(32 나누기 8 => 4 이기 때문에 4초 정도 영상)

> A = 영상 마지막 사진 동일 

> 나머지는 초기값으로 유지. 

 

설정을 마친 후 적용하기 

" Generate " 를 클릭해서 생성하기 

4. 사용 예제

AnimateDiff를 활용하여 다양한 애니메이션을 생성할 수 있습니다. 몇 가지 예제를 통해 사용 방법을 살펴보겠습니다: 

 

; denoising 값을 0.8로 해서 생성함.

denoising 값을 0.8로 해서 생성함.

 

ADetailer 기능 추가 사용

 

5. 제약 사항 및 커뮤니티 기여

AnimateDiff는 현재 몇 가지 제약 사항이 있습니다:

> 약간의 깜박임 현상이 발생할 수 있습니다.

> 일반 텍스트-비디오 설정에서는 시각적 품질이 제한적일 수 있습니다.

하지만, 커뮤니티의 기여로 인해 다양한 확장과 인터페이스가 개발되었습니다:

> A1111 Extension sd-webui-animatediff (by @continue-revolution)

> ComfyUI Extension ComfyUI-AnimateDiff-Evolved (by @Kosinkadink)

> Google Colab (by @camenduru)

6. 결론

AnimateDiff는 텍스트-이미지 생성 모델을 애니메이션으로 변환하는 혁신적인 도구로, 사용자에게 놀라운 가능성을 제공합니다. 추가적인 훈련 없이 다양한 커뮤니티 모델을 활용할 수 있다는 점에서 많은 사용자들에게 큰 관심을 받고 있습니다. 앞으로의 발전이 더욱 기대되는 프로젝트입니다.

공식 GitHub 리포지토리에서 더 많은 정보를 확인하고 AnimateDiff를 직접 사용해 보세요: AnimateDiff GitHub.

 

"Segmentation 색시트 칼라코드: 이미지 분할과 데이터 분석의 필수 도구"

"Segmentation 색시트 칼라코드: 이미지 분할과 데이터 분석의 필수 도구"