• 목록

[일시]
2024.12.23

[세미나 주제]
LightendDiffusion: Unsupervised Low-Light Image Enhancement with Latent-Retinex Diffusion Models

[발표자]
장효영

[요약]
본 발표에서는 Diffusion model을 활용하여, 저조도 이미지 향상(Low-Light Image Enhancement, LLIE) task에 활용한 연구를 다루었다.
LLIE의 경우 크게 지도학습 방식과 비지도학습 방식이 존재한다. 다만 지도학습 방식의 LLIE의 경우 paired dataset이 요구되며 따라서 낮은 일반화 성능이 나타난다는 한계점이 존재한다. 따라서 비지도학습 방식의 LLIE의 방법론을 제안한다. 비지도학습 방식의 LLIE는 보통 unpaired image를 활용한 모델을 통해 저조도 이미지에 대한 inference를 수행할 시, 학습된 이미지들에 대한 artifact가 나타나 이미지 정보가 왜곡 될 수 있다는 치명적인 한계점이 존재한다. 따라서 본 방법론은 unpaired image에 대해 잠재공간에서 이미지 내 구조정보를 포함하는 reflectance map과 이미지 내 조도 정보를 포함하는 illumination map으로 분리하여 diffusion model에 적용하는 LLIE 방법론을 제안한다. 또한 self-constrained consistency loss를 제안하여, reflectance map에서 정보를 최대한 유지하며, illumination map에 잔존하는 이미지 구조 정보를 완전히 제거하여 artifact의 발생을 최소화시켰다. 실험적으로도 paired dataset과 unpaired dataset에 대한 여러 opendataset에서 강건한 성능이 도출됨을 확인하였다.
다만, 초기 학습 과정에서 조도와 저조도에 대한 mapping 구조의 학습이 불가피한점이 아쉬운 점으로 생각되었고,
향후 연구로는 illumination map을 굳이 여러 조도 이미지에서 하나하나 뽑기보다, 특정 하나의 이미지에서 고정된 illumination map을 산출하여 다양한 저조도에서 같은 조도를 가지는 조도 이미지로 복원해내는 방식이 좀 더 효율적인 아키텍처가 될 수 있을꺼라 생각되었다. 또한 Low-Light Image Enhancement와 같은 이미지 복원에 대한 연구 뿐이 아닌 저조도 source image에서 좀 더 세부적인 정보를 포착하는 Low-light object detection 측면에서도 연구를 좀 더 찾아보고자 한다.

[관련 논문]
- Denoising Diffusion Probabilistic Models
- RDDM : Residual Denoising Diffusion Models
- LightendDiffusion: Unsupervised Low-Light Image Enhancement with Latent-Retinex Diffusion Models

[발표 영상]
https://us02web.zoom.us/rec/share/GlSOnzIR7JiW78qO0k5IVMB_USMTF09AgqgVTJ4sdIGO2mNYLut_eY8oGAqUqCBl.AQKe67wOLFqk7VpQ