• 목록

[일시]
2024.09.30

[세미나 주제]
Study on Optimization of  Talkinghead Generation  Based on  Mouth Shapes in Initial Images

[발표자]
고예진

[요약]
TalkingHead Generation 분야에서 초기 이미지의 입모양은 결과에 큰 영향을 미친다.
이 연구는 TalkingHead Generation 모델이 입모양(Lip-Sync) 측면에서 좋은 성능을 낼 수 있는  초기 이미지의 입모양 생성에 관한 연구이다.
웃고 있는 이미지 또는 입을 크게 벌린 이미지 등의 이미지를 StyleCLIP을 활용하여 무표정(expressionless)의 이미지로 변환한다.
이때, StyleCLIP의 임계값 Alpha(조작강도), Beta(분리 임계값)을 Bayesian Optimiation을 활용하여 최적의 값을 찾는다.
이렇게 생성된 이미지를 TalkingHead Generation 모델의 초기 이미지로 활용하였을 때, 정성적 평가에서 좋은 성능을 보였으며,
향후 입 모양 관련 평가지표인 LSE-C와 LSE-D를 통해 정량적 평가를 진행할 계획이다.


[관련 논문]
- StyleCLIP: Text-Driven Manipulation of StyleGAN Imagery
- SadTalker: Learning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation
- A Tutorial on Bayesian Optimization

[녹화 영상 링크]
https://us02web.zoom.us/rec/share/yadEvnkD8LBbSsSVN_eZZgFZDFb0iZenBWQW5D0eD_u3vzFcEFWCUrYKRAXrjNg.Sval4FFf3ULRT8CE?startTime=1727669117000