• 목록

[일시] 2026.02.25

[세미나 주제] Trajectory Modeling for Few-Step Diffusion

[발표자] 조연경

[요약]
이번 발표에서는 확산 모델의 few-step 가속화를 trajectory 관점에서 재해석한 두 연구인 Trajectory Distribution Matching(TDM)과 PeRFlow를 중심으로 정리하였다. 두 연구는 diffusion sampling을 단순히 수치적으로 빠르게 만드는 것을 넘어서, 생성 과정의 trajectory 자체를 하나의 구조적 객체로 보고 이를 학습하거나 재구성하려는 공통된 관점을 가진다.

첫 번째 논문인 TDM은 기존의 trajectory distillation과 distribution matching을 연결하는 새로운 프레임워크를 제시한다. 핵심은 teacher와 student의 생성 경로를 개별 샘플 단위가 아니라 분포 수준에서 정렬하는 것이다. 이를 위해 역방향 KL의 기울기를 두 모델의 score 차이 형태로 표현하고, 직접 계산이 어려운 student score를 근사하는 별도의 네트워크를 도입한다. Generator 업데이트는 한 단계 ODE 보정 형태로 이루어지며, 전체 경로에 대해 역전파하지 않고 단일 스텝만 학습함으로써 메모리 효율성을 확보하였다. 또한 importance sampling을 통해 trajectory 분포의 분산을 안정화하고, sampling step 수 자체를 학습에 포함시키는 step-aware 설계를 도입하여 서로 다른 step 예산 간 간섭 문제를 완화하였다. TDM은 특정 solver에 의존하지 않고 학습되지만, 추론 단계에서 정교한 ODE solver와 결합하면 추가적인 성능 향상이 나타난다. 이는 trajectory 수준의 학습과 수치적 solver 개선이 상호 보완적임을 보여준다.

두 번째 논문인 PeRFlow는 pretrained diffusion 모델을 plug-and-play 방식으로 가속화하는 접근이다. 기존 모델에서 시작해 student를 학습한 뒤, 두 모델의 가중치 차이만을 별도의 가속기처럼 활용한다. 이 구조는 LoRA와 유사하게 원래 모델을 크게 수정하지 않으면서 few-step 생성을 가능하게 하며, ControlNet이나 IP-Adapter와 같은 기존 diffusion 생태계와도 자연스럽게 결합된다.

결론적으로 TDM은 trajectory를 분포 수준에서 정렬하는 이론적 distillation 프레임워크를 제시하고, PeRFlow는 이를 실용적 가속 구조로 확장한다. 두 연구는 diffusion 가속화가 단순한 solver 개선을 넘어 생성 경로 자체를 모델링하는 방향으로 발전하고 있음을 보여준다.

Q: 'Image-Free?'가 의미하는 바는 무엇인가요?
A: 이는 해당 방법론이 학생 모델 학습 시 실제 이미지 데이터셋을 추가적으로 요구하는지 아니면 사전 학습된 교사 모델의 지식만으로 증류하는지를 나타냅니다.

Q: Diffusion 샘플링을 위해 LoRA를 사용한 미세 조정(fine-tuning)이 일반적인가요?
A: 네, LoRA는 적은 파라미터로 높은 효율성을 제공하며, 다양한 스타일을 유연하게 적용할 수 있어 Diffusion 모델의 사용자화에 널리 활용되는 표준적인 방법입니다.

[관련논문]
- Learning Few-Step Diffusion Models by Trajectory Distribution Matching
- PeRFlow: Piecewise Rectified Flow as Universal Plug-and-Play Accelerator

[녹화영상]
https://us06web.zoom.us/rec/share/ZepKRLZbfscyc90sDdRnDe2iAjIBtGNw6Vf9whElcAWrGECLnpD_JLSrwNePzVXM.72DdPJIbNglXeGxZ