• 목록

[일시]
2024.04.23

[세미나 주제]
Multi Domain Mixup based Semi-supervised Multi-teacher Knowledge Distillation

[발표자]
정화용

[요약]
본 발표는 기존 single teacher 구조의 semi-supervised learning 및 knowledge distillation의 한계점을 극복하기 위한 multi-teacher based pseudo labeling 기법을 제안하고자 2가지 논문을 소개했다. MixPL은 object detection task 에서 pseudo labeling의 어려움과 더불어 mixup 기법을 포함한 다양한 augmentation을 활용하여 objectness 측면에서의 강건함을 가져갈 수 있는 기법에 대해 제안했으며, AMTML의 경우 single teacher based KD 의 구조적 한계점인 single teacher 에 편향된다는 한계 극복을 위해 다수의 teacher model 을 활용하여 다양한 teacher 모델로부터 강점을 학습하고 약점을 보완할 수 있도록 설계한 기법에 대해 제안한다.
2가지 논문의 아이디어를 기반으로, object detection task 에서의 pseudo label 생성 방식 또한 teacher model 들의 구조적 강점을 취하도록 multiple 한 teacher 구조의 pseudo label 방식에 대해 제안한다.

[녹화 영상 링크]
https://us02web.zoom.us/rec/share/N3c5iDxGibAs9VmhRzcLrRz5hqcDez1j1By780iNhNu3NwiK4YNgK0lNJEk9oF2T.K2oXiNWx9AaoepKl