• 목록

[일시] 2025.11.26

[세미나 주제] Advances in Fast ODE-Based Sampling for Diffusion Models

[발표자] 조연경

[요약]
이번 발표에서는 확산 모델의 느린 샘플링 속도를 근본적으로 개선하기 위한 고속 ODE 기반 샘플링 기법들을 두 논문(DPM-Solver++과 AMED-Solver)을 중심으로 정리하였다. 공통된 문제의식은 기존 Diffusion Probabilistic Models(DPMs)가 고품질 이미지를 생성하기 위해 수백~수천 스텝의 반복 샘플링을 요구한다는 점이며, 이로 인해 실제 응용에서 대규모 생성이 어렵다는 데 있다. 이러한 한계를 극복하기 위해 최근 연구들은 확률적 역과정을 ODE로 해석하고, 이를 효율적으로 적분하는 높은 정확도의 Solver 설계 또는 데이터 기반 보조 모델을 통한 추론 단축에 집중하고 있다.

DPM-Solver++는 기존 DDIM이나 1차 Solver가 지닌 낮은 정확도와, 고차 Solver가 guided sampling 환경에서 보이는 불안정성 문제(large guidance scale에서의 발산)를 명확히 분석하고 이를 해결한 접근이다. 핵심은 기존의 노이즈 예측 대신 data prediction 모델 기반 ODE를 재정의하여 고차 도함수 계산의 불안정성을 줄이고, single-step(2S) / multistep(2M) 구조를 통합적으로 설계해 guided setting에서도 안정적인 고품질 샘플을 유지하도록 한 점이다. 또한 thresholding 기법을 통합해 큰 guidance scale로 인해 발생하는 문제를 억제하였으며, 이를 통해 고해상도/latent-space 모델에서도 10~20 NFE 수준으로 기존 DDIM 대비 큰 성능 향상을 보였다. 실험에서도 multistep 방식은 large guidance 하에서 더 빠른 수렴성을 보였고, thresholding은 모든 설정에서 품질 향상에 기여하는 것으로 나타났다.

두 번째 연구는 기존의 고차 Solver들이 스텝 수를 극단적으로 줄일 경우(예: 5-step) 발생하는 truncation error의 본질적 한계를 지적하며, 이를 극복하기 위해 샘플링 경로의 기하학적 특성을 분석한 접근이다. 연구진은 확산 ODE의 샘플링 경로가 고차원 공간 전체를 쓰는 것이 아니라 거의 2D 평면(subspace)에 거의 완전히 포함된다는 강한 구조적 규칙성을 발견하였다. 이 관찰은 각 단계에서의 변화 방향이 크게 복잡하지 않다는 의미이며, 이를 이용해 각 스텝에서 “평균적 방향(mean direction)”을 예측하는 single-step 전용 solver(AMED-Solver)를 설계하였다. AMED-Solver는 별도의 대형 모델이 아닌 소규모 predictor(약 9k parameters)를 이용해 teacher trajectory의 평균 이동 방향을 학습하며, 실험에서 기존 single-step 및 multi-step solver보다도 작은 NFE(3,5,7,9)에서 더 좋은 품질을 보여주었다. 또한 이를 일반 solver에 적용할 수 있도록 일반화한 AMED-Plugin은 DPM-Solver, iPNDM, DDIM 등 다양한 ODE solver의 gradient direction을 보정하는 방식으로 동작하며, Stable Diffusion과 같은 대형 모델에서도 품질 향상을 달성하였다.

두 방법 모두 “확산 모델의 샘플링을 빠르게 하려면 ODE 관점의 정교한 설계나 구조적 활용이 필요하다”는 공통된 방향성을 갖는다. 그러나 접근 방식은 근본적으로 다르다. DPM-Solver++는 기존 ODE 프레임워크 안에서
이론적 안정성 + data prediction model 기반 고차 근사라는 수학적으로 정교한 Solver 설계에 가까우며, 훈련을 요구하지 않는다. AMED-Solver는 샘플링 경로의 기하학적 특성을 데이터 기반으로 학습하여 평균적 방향을 추정하는 방식으로, 고차 ODE의 복잡성을 작은 predictor가 대체하는 형태이다. 즉, DPM-Solver++는 엄밀한 수학적 ODE 기법을 개선한 training-free 솔버이며, AMED-Solver는 데이터가 보여주는 규칙성을 활용한 data-driven 솔버(초소형 모델 기반)이라는 대비가 성립한다. 결과적으로 두 연구는 고속 샘플링 문제를 ODE 수학적 개선 vs. 데이터 기반 구조 학습이라는 서로 다른 관점에서 해결하며, 향후 diffusion sampling 가속화 연구에 중요한 비교 기준을 제공한다.

Q : step과 order (차수)의 차이가 무엇인가요?
A : Diffusion model에서 step은 샘플링 과정에서 모델이 반복적으로 수행하는 횟수를 의미하며, 일반적으로 하나의 step마다 한 번 이상의 함수 평가(NFE: Neural Function Evaluation)가 포함됩니다. 반면, order(차수)는 수치 해석적 방법에서 사용되는 개념으로, solver가 사용하는 근사 기법의 정확도를 나타냅니다. 따라서 step은 얼마나 자주 계산을 반복하는가에 대한 개념이고, order는 한 번의 계산에서 얼마나 정밀한가를 나타냅니다.

Q : DDIM이 왜 single-step solver인가요?
A : DDIM은 각 step에서 현재 시점의 정보만을 사용하여 다음 시점을 예측하는 방식의 solver로, 이전 step의 정보나 예측값을 사용하지 않기 때문에 single-step solver로 분류됩니다. 이는 DPM-Solver 등과 같은 multi-step solver들이 여러 시점의 예측값을 조합하여 더 정확한 추정을 수행하는 방식과는 대조적입니다. 따라서 DDIM은 구조적으로 single-step 방식의 1차 ODE solver로 이해되며, 간단하고 빠르지만 높은 품질의 샘플을 위해서는 많은 수의 step이 필요하다는 한계도 가집니다.

[관련논문]
- DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models
- Fast ODE-based Sampling for Diffusion Models in Around 5 Steps

[녹화영상]
https://us06web.zoom.us/rec/share/fZJzmssqHrrXfC-YPcqrQtRQ-EtNzTluDlG99rc8XObW-kdB_OiL5_OSfMv9dJ6M.CJ2CstR-filddsbC