잡음제거모델DDPM(Diffusion
현재는 DDPM방식을 이용해 이미지 확산 생성 모델
-> 잡음을 하나씩 제거해서 해당하는 텍스트가 반영된 최종 이미지 생성
-> 마치 석상을 조각하는 것처럼 잡음을 하나씩 제거.
즉, 확산모델은 생성모델이긴 하지만 주어진 이미지에서 잡음을 없애는 회귀모델의 일종이라고도 볼 수 있다.
-조건부 생성
:잠재변수를 생성할 때 여러가지 조건(텍스트, 이미지 등)을 추가로 주입
-> 기존 조건부 생성 모델에서 사용되는 기법을 사용
->입력 조건을 은닉층에 결합하여 Cross-attention을 적용하여 정보 주입
->잡음을 제거할 때 주어진 조건에 의존적인 정도(Guidance)를 조절하는 것이 가능해짐
-공개된 대규모 텍스트-이미지 쌍 데이터셋
ex)LAION-400M, LAION-5B
Stable Diffusion: Stability AI 에서 LDM을 LAION-5B로 학습시킨 모델
-확산 생성 모델 응용: 이미지 복원
Inpainting
->이미지의 일부분을 자연스럽게 채워주는 모델을 확산 생성 모델로 제작 가능
->이미지에서 지우고 싶은 영역을 조건으로 넣어서 특정 영역에만 이미지를 생성도록 학습
->이렇게 학습된 모델은 특정 영역에 나머지 영역과 자연스럽게 어우러지는 이미지를 생성.
확산 생성모델 응용: contro l net, dream booth
<이미지 기반 생성형 AI 요약>
-확산 생성 모델: 완전한 잡음으로 부터 이미지를 조금씩 만드는 모델
-확산 생성 모델에 추가적인 입력을 조건으로 주어 원하는 과제를 해결
->이미지의 일부분을 생성모델에 입력-> 이미지 복원
->선으로 적당히 그린 스케치를 모델에 입력 -> 스케치를 바탕으로 완성된 그림 생성
->사람이 취할 수 있는 자세 입력 -> 주어진 자세를 취한 사람 실사 이미지 생성
-> 특정 피사체의 사진들을 입력 -> 피사체의 다른 이미지가 생성
...