• 목록

[일시]
2024.07.23

[세미나 주제]
Flexible Knowledge Distillation

[발표자]
정화용

[요약]
본 발표는 일반적인 Teacher-Student 구조의 one-way knowledge distillation 기법의 한계점을 극복하고자 Mutual 한 구조의 KD인 MKD와 더불어 2개의 모델이 서로 확신하는 정보만을 전달할 수 있도록 Selective 한 구조인 SMKD에 대해 다뤘다. SMKD는 특히 학습 단계에 따라 점진적으로 더욱 엄격한 기준으로 지식을 증류시킬지 동일한 수준으로 선택할지에 대해 SMKD-P와 SMKD-S로 구분하고 있다. 또한 모델 상호간의 신뢰성에 대해 다룰뿐만 아니라 Knowledge Source, 즉 학습데이터의 noise 까지를 고려하여 MyLC라는 구조를 통해 전체 데이터에 대한 모델의 global confidence 를 기준으로 label을 업데이트 하는 구조를 통해 이를 해결하였다.

[녹화 영상 링크]
https://us02web.zoom.us/rec/share/PrnhTupeECvqLYB80qnjGjJYVm1-rY_u9aMXcsNE_VJpODqE3Sw_CfjGGvrMxPis.JX4QlLuFBAldsAeQ