• 목록

[일시] 2023.08.16

[세미나 주제] Exploration for preparing the overall foundation for perfect calibration research

[요약]
여러가지 모델 경량화 방법 중 사전에 훈련된 teacher 모델이 상대적으로 더 가벼운 stident 모델을 지식을 전달하여 더 간단한 모델로도 유사한 성능을 달성하는 기법인 knowledge distillation (지식 증류) 기법이 있습니다. 하지만, 지식이 전이되는 과정에서 과연 Teacher 모델을 100% 신뢰해도 되는지, 또 Teacher 모델이 잘 학습하는 샘플과 잘 학습하지 못하는 샘플에 대해서 구분없이 student 모델에게 지식을 전달해도 되는지 의문이 생겨 이를 해결하기 위해 먼저 모델의 over confidence를 줄이기 위한 calibration 개념에 대해 먼저 알아보았습니다. 따라서 본 발표는 경량화 관련 연구 주제 확립을 위해 필요한 사전 지식들을 설명하는 형식으로 구성이 되어있습니다.


[참고 논문]
- Calibrating Deep Neural Networks using Focal loss
- On Calibration of Modern Neural Networks
- Focal Loss for Dense Object Detection