• 목록

[일시]
2024.08.20

[세미나 주제]
Low Light Image Enhancement Via Residual Denoising Diffusion model

[발표자]
장효영

[요약]
본 발표는 Denoising diffusion model에 residual term을 적용한 두 논문을 소개하였다. 특히 저조도 이미지 향상에 대해 이미지 복원 관점에서 접근하고자 두 논문을 소개하였으며, 두 논문 모두 기존 노이즈 기반의 denoising diffusion model에 residual concept을 적용하여 기존 image generation에 초점을 두었던 diffusion model에 대해 image restoration으로의 활용 가능성을 제시하였다.
Residual Denoising Diffusion Model(RDDM)은 Reisidual에 대한 개념을 소개하며, 이전에 다양성만을 고려했던 노이즈 기반 이미지 생성과정에 residual을 통해 확실성을 추가함으로써 image restoration에 대한 성능을 향상시켰다. Residual과 noise를 분리하는 Dual probability process를 통해 task에 specific한 스케줄링을 도입할 수 있는 좀 더 유연한 프레임 워크를 구축하였다. 
다만 Resfusion의 경우 이러한 noise와 residual에 대하여 task에 맞게 수정해야하는 독립적인 스케줄링 방식에 대해 의문을 제기하였고, 독립적인 아키텍처가 아닌 노이즈와 잔차사이의 정량적 관계를 명시하는 resnoise를 계산하여 이를 활용해 이미지 복원 과정에서의 최적화를 도모하였다.  또한 diffusion process에서 smooth equivalence transformation을 수행하여 실제 gaussian white distribution 까지의 확산 과정 T가 아닌 그와 근사한 T' 까지의 확산 및 역추론 과정을 수행하여 추론 과정에서의 효율성을 증대하였다.
다만 image restoration 관점에서의 저조도 이미지 향상은 이미지 수준에서의 인간의 인식에 대해 최적화된 방법론이며, 이를 computer vision task에서 활용되었을 때 검증 성능은 확인할 수 없었다. 좀 더 computer vision task에 적합한 day-night domain adaptation의 방법론과 비교 실험을 통해 저조도 이미지 향상에 대한 좀 더 효과적인 방법론을 탐색하고자 한다.

[관련 논문]
- RDDM: Residual Denoising Diffusion Model
- Resfusion: Denoising Diffusion Probabilistic Models for Image Restoration Based on Prior Residual Noise

[녹화 영상 링크]
https://us02web.zoom.us/rec/share/y1QNOu3M9Md4gxU1YA9xyaCdph19Hz12yVL8bBs84WcLkJXiGavIBCOEYH9ktV50.faV-RHtEY4aRWiv5
암호: aiaas2024!