[20260804 통합세미나] Efficient Adaptation of Pre-trained Diffusion Models …
페이지 정보
본문
[일시] 2026.08.04.
[세미나 주제]
Efficient Adaptation of Pre-trained Diffusion Models for Image Restoration
[발표자]
김희지
[요약]
본 발표에서는 diffusion 기반 image restoration의 높은 계산 비용과 긴 sampling 시간 문제를 다루고, 이를 해결하기 위한 FLUX-IR과 DOD를 소개하였다.
FLUX-IR은 전체 restoration trajectory를 개선한 뒤 one-step 또는 few-step으로 압축하는 방법이다. 먼저 modulated SDE로 여러 trajectory 후보를 생성하고, 최종 복원 품질이 가장 좋은 경로를 선택한다. 이후 deterministic ODE trajectory가 선택된 경로를 따라가도록 학습한다. 다음으로 low-quality image를 initial state와 negative guidance에 활용해 초기 high-noise 구간의 distillation 부담을 줄이고, 개선된 trajectory를 적은 step으로 압축한다. 또한 이를 12B FLUX-DEV에 적용해 하나의 모델로 여러 restoration task를 처리하는 Unified FLUX-IR을 구성하였다.
DOD는 pretrained Stable Diffusion을 one-step all-in-one image restoration에 적용한 방법이다. MFM은 pretrained DDPM의 feature에서 degradation 정보를 추출하고, CLoRA는 이 condition에 따라 Stable Diffusion UNet의 LoRA feature를 다르게 조절한다. 이후 VAE decoder의 detail enhancement module이 one-step sampling에서 손실된 구조와 texture를 보완한다. 학습 과정에서는 reconstruction loss와 perceptual loss뿐 아니라 distribution matching loss를 사용해 one-step output이 clean image distribution에 가까워지도록 한다.
결과적으로 FLUX-IR은 좋은 trajectory를 탐색하고 압축하는 방법이며, DOD는 degradation에 따라 Stable Diffusion을 적응시켜 한 번에 복원하는 방법이다. 두 연구 모두 diffusion restoration의 sampling 비용을 줄이면서 복원 품질을 유지하는 것을 목표로 한다.
Q. DOD의 diff loss는 어떤 역할을 하나요?
A. Real denoiser와 fake denoiser의 score 차이를 이용해, DOD의 one-step output이 real clean image distribution에 가까워지도록 학습하는 loss입니다. Reconstruction loss가 개별 정답 이미지와의 차이를 줄인다면, diff loss는 출력 전체가 자연스러운 clean image 분포를 따르도록 합니다.
Q. CLoRA는 condition에 맞는 Stable Diffusion이 되도록 학습하는 역할인가요?
A. MFM에서 추출한 degradation condition에 따라 같은 LoRA의 feature update가 다르게 적용되도록 하는 역할입니다. 따라서 하나의 Stable Diffusion이 rain, haze, noise 등 서로 다른 degradation에 동적으로 적응할 수 있도록 합니다.
[관련 논문]
- Learning Efficient and Effective Trajectories for Differential Equation-based Image Restoration
- Diffusion Once and Done: Degradation-Aware LoRA for Efficient All-in-One Image Restoration
[녹화 영상]
https://us06web.zoom.us/rec/share/gnhKnhlAcIEGrylR3GScB2dPQIkT9q54dy2UaoSNc_tNvgVCvTwOABaOL1YJgKg.c6YNFLPyHel4e9cj
[세미나 주제]
Efficient Adaptation of Pre-trained Diffusion Models for Image Restoration
[발표자]
김희지
[요약]
본 발표에서는 diffusion 기반 image restoration의 높은 계산 비용과 긴 sampling 시간 문제를 다루고, 이를 해결하기 위한 FLUX-IR과 DOD를 소개하였다.
FLUX-IR은 전체 restoration trajectory를 개선한 뒤 one-step 또는 few-step으로 압축하는 방법이다. 먼저 modulated SDE로 여러 trajectory 후보를 생성하고, 최종 복원 품질이 가장 좋은 경로를 선택한다. 이후 deterministic ODE trajectory가 선택된 경로를 따라가도록 학습한다. 다음으로 low-quality image를 initial state와 negative guidance에 활용해 초기 high-noise 구간의 distillation 부담을 줄이고, 개선된 trajectory를 적은 step으로 압축한다. 또한 이를 12B FLUX-DEV에 적용해 하나의 모델로 여러 restoration task를 처리하는 Unified FLUX-IR을 구성하였다.
DOD는 pretrained Stable Diffusion을 one-step all-in-one image restoration에 적용한 방법이다. MFM은 pretrained DDPM의 feature에서 degradation 정보를 추출하고, CLoRA는 이 condition에 따라 Stable Diffusion UNet의 LoRA feature를 다르게 조절한다. 이후 VAE decoder의 detail enhancement module이 one-step sampling에서 손실된 구조와 texture를 보완한다. 학습 과정에서는 reconstruction loss와 perceptual loss뿐 아니라 distribution matching loss를 사용해 one-step output이 clean image distribution에 가까워지도록 한다.
결과적으로 FLUX-IR은 좋은 trajectory를 탐색하고 압축하는 방법이며, DOD는 degradation에 따라 Stable Diffusion을 적응시켜 한 번에 복원하는 방법이다. 두 연구 모두 diffusion restoration의 sampling 비용을 줄이면서 복원 품질을 유지하는 것을 목표로 한다.
Q. DOD의 diff loss는 어떤 역할을 하나요?
A. Real denoiser와 fake denoiser의 score 차이를 이용해, DOD의 one-step output이 real clean image distribution에 가까워지도록 학습하는 loss입니다. Reconstruction loss가 개별 정답 이미지와의 차이를 줄인다면, diff loss는 출력 전체가 자연스러운 clean image 분포를 따르도록 합니다.
Q. CLoRA는 condition에 맞는 Stable Diffusion이 되도록 학습하는 역할인가요?
A. MFM에서 추출한 degradation condition에 따라 같은 LoRA의 feature update가 다르게 적용되도록 하는 역할입니다. 따라서 하나의 Stable Diffusion이 rain, haze, noise 등 서로 다른 degradation에 동적으로 적응할 수 있도록 합니다.
[관련 논문]
- Learning Efficient and Effective Trajectories for Differential Equation-based Image Restoration
- Diffusion Once and Done: Degradation-Aware LoRA for Efficient All-in-One Image Restoration
[녹화 영상]
https://us06web.zoom.us/rec/share/gnhKnhlAcIEGrylR3GScB2dPQIkT9q54dy2UaoSNc_tNvgVCvTwOABaOL1YJgKg.c6YNFLPyHel4e9cj
첨부파일
-
20260804_김희지_Efficient Adaptation of Pre-trained Diffusion Models for Image Restoration.pdf (2.0M)
DATE : 2026-08-07 11:44:33
댓글목록
등록된 댓글이 없습니다.