[20250416 통합세미나] Solving inverse problems using diffusion models
페이지 정보
본문
[일시]
2025.04.16
[세미나 주제]
Solving Inverse Problems Using Diffusion Models
[발표자]
장효영
[요약]
본 발표는 저조도 이미지 향상, 초해상도와 같은 inverse problem을 해결하는데 있어서 diffusion model을 활용한 방법론을 소개한다.
Diffusion model은 점진적으로 노이즈를 주입하여 해당 노이즈 샘플들에 대한 학습을 바탕으로 이미지를 생성하는데 있어서 매우 높은 성능을 자랑한다. 다만 likelihood 기반의 diffusion model은 넓은 모드 커버리지로 많은 연산량이 필요되며 output에 있어서 높은 diversity가 나타난다.
저조도 이미지 향상과 초해상도와 같은 이미지 복원 관점의 inverse problem을 해결하는데 있어서 가장 중요한 것은 이러한 diversity를 최소화하고 certainty를 최대화하는 것이 최우선 목표이다. 첫번째로 소개한 Image Super Resolution via Iterative Refinement 논문에서는 이러한 certainty를 최소화하고 샘플들에 대한 학습을 연산 효율적으로 수행하고자 conditional diffusion model와 원본 이미지 신호에 대한 누적 보존량 파라미터인 감마를 활용하여 학습을 수행하였다.
다만 이 과정에서 여전히 많은 학습시간(15일)과 추론시간(10분)이 소요되었으며, 이를 완화하고자 두번째 논문인 Latent Diffusion model을 소개하였다. Latent diffusoin model은 두 단계로 진행되며 첫번째 단계로 이미지의 구조적인 특징들을 잘 뽑을 수 있는 perceptual loss와 adversarial loss를 기반으로 auto-encoder 모델을 학습하여 이미지의 구조적인 특징들을 뽑은 후 두번째 단계로 latent space상에서 diffusion model을 적용하였다. 결과적으로 기존 초해상도 모델 대비 3배이상 학습 파라미터가 단축되었으며, 해상도 개선 또한 큰 차이 없이 나타났다.
diffusion model 기반의 두 논문 모두 noise estimation loss를 통해 학습을 진행하였으나, 이미지의 구조적인 측면과 아티팩트를 최소화하기 위한 loss는 제시되지않았다. 나는 앞서 소개한 Latent conditional diffusion model의 아키텍처에서 conditional input과 inference image간의 structure aware loss를 추가하여 이미지 내 구조적인 특징들에 대한 학습을 보완하였다.
[Q&A]
Q) stage1에서 Auto-encoder를 학습 시 adversarial loss에 대한 설명을 해주 실 수 있나요 GAN을 함께 활용한건가요?
A) 본 연구에서는 auto-encoder를 학습할때 이미지의 시각적 유사성을 반영하기 위한 Perceptual loss와 패치 단위의 지역적 디테일 보존을 위한 adversarial loss를 함께 사용하였습니다. adversarial loss는 GAN과 유사한 구조처럼 patch 단위로 realism을 평가하며 학습되는 loss로 GAN과 유사한 구조로 discriminator를 함께 사용하지만 실제 학습에서는 Generator에 대한 adversarial loss만 포함이되었습니다. GAN을 함께 사용하였다기 보다는 GAN의 손실함수를 유사하게 활용하였다고 생각해주시면 될 것 같습니다.
[관련 논문]
- Image Super Resolution via Iterative Refinement
- High-Resolution Image Synthesis with Latent Diffusion Models
- LightenDiffusion: Unsupervised Low-Light Image Enhancement with Latent-Retinex Diffusion Models
[녹화 영상 링크]
https://us02web.zoom.us/rec/share/HtQ5RGfz_ykzcz92Mn_RxEgRTzHVwWMGO0k0YFbooZ-DBSUcqchCYYuOSXwPobcn.cG3BtMaXJYlZp_q9
2025.04.16
[세미나 주제]
Solving Inverse Problems Using Diffusion Models
[발표자]
장효영
[요약]
본 발표는 저조도 이미지 향상, 초해상도와 같은 inverse problem을 해결하는데 있어서 diffusion model을 활용한 방법론을 소개한다.
Diffusion model은 점진적으로 노이즈를 주입하여 해당 노이즈 샘플들에 대한 학습을 바탕으로 이미지를 생성하는데 있어서 매우 높은 성능을 자랑한다. 다만 likelihood 기반의 diffusion model은 넓은 모드 커버리지로 많은 연산량이 필요되며 output에 있어서 높은 diversity가 나타난다.
저조도 이미지 향상과 초해상도와 같은 이미지 복원 관점의 inverse problem을 해결하는데 있어서 가장 중요한 것은 이러한 diversity를 최소화하고 certainty를 최대화하는 것이 최우선 목표이다. 첫번째로 소개한 Image Super Resolution via Iterative Refinement 논문에서는 이러한 certainty를 최소화하고 샘플들에 대한 학습을 연산 효율적으로 수행하고자 conditional diffusion model와 원본 이미지 신호에 대한 누적 보존량 파라미터인 감마를 활용하여 학습을 수행하였다.
다만 이 과정에서 여전히 많은 학습시간(15일)과 추론시간(10분)이 소요되었으며, 이를 완화하고자 두번째 논문인 Latent Diffusion model을 소개하였다. Latent diffusoin model은 두 단계로 진행되며 첫번째 단계로 이미지의 구조적인 특징들을 잘 뽑을 수 있는 perceptual loss와 adversarial loss를 기반으로 auto-encoder 모델을 학습하여 이미지의 구조적인 특징들을 뽑은 후 두번째 단계로 latent space상에서 diffusion model을 적용하였다. 결과적으로 기존 초해상도 모델 대비 3배이상 학습 파라미터가 단축되었으며, 해상도 개선 또한 큰 차이 없이 나타났다.
diffusion model 기반의 두 논문 모두 noise estimation loss를 통해 학습을 진행하였으나, 이미지의 구조적인 측면과 아티팩트를 최소화하기 위한 loss는 제시되지않았다. 나는 앞서 소개한 Latent conditional diffusion model의 아키텍처에서 conditional input과 inference image간의 structure aware loss를 추가하여 이미지 내 구조적인 특징들에 대한 학습을 보완하였다.
[Q&A]
Q) stage1에서 Auto-encoder를 학습 시 adversarial loss에 대한 설명을 해주 실 수 있나요 GAN을 함께 활용한건가요?
A) 본 연구에서는 auto-encoder를 학습할때 이미지의 시각적 유사성을 반영하기 위한 Perceptual loss와 패치 단위의 지역적 디테일 보존을 위한 adversarial loss를 함께 사용하였습니다. adversarial loss는 GAN과 유사한 구조처럼 patch 단위로 realism을 평가하며 학습되는 loss로 GAN과 유사한 구조로 discriminator를 함께 사용하지만 실제 학습에서는 Generator에 대한 adversarial loss만 포함이되었습니다. GAN을 함께 사용하였다기 보다는 GAN의 손실함수를 유사하게 활용하였다고 생각해주시면 될 것 같습니다.
[관련 논문]
- Image Super Resolution via Iterative Refinement
- High-Resolution Image Synthesis with Latent Diffusion Models
- LightenDiffusion: Unsupervised Low-Light Image Enhancement with Latent-Retinex Diffusion Models
[녹화 영상 링크]
https://us02web.zoom.us/rec/share/HtQ5RGfz_ykzcz92Mn_RxEgRTzHVwWMGO0k0YFbooZ-DBSUcqchCYYuOSXwPobcn.cG3BtMaXJYlZp_q9
첨부파일
-
20250416_장효영_Solving inverse problems using diffusion models.pdf (2.6M)
DATE : 2025-04-17 12:37:04
댓글목록
등록된 댓글이 없습니다.