• 목록

[일시] 2023.10.12

[세미나 주제] How to Apply Curriculum Learning on Knowledge Distillation

[요약]
지식 증류는 pre-trained Teacher 모델에서 Student 모델로 Teacher가 기존에 학습했던 Knowledge 정보를 효과적으로 증류하는 기법이다. 이번 세미나에서는 지식 증류가 기존의 가지고 있던 한계점 및  증류를 더 효율적으로 이전할 수 있는 방안으로 Curriculum Leanring 기법을 적용하는 방안에 대해서 논의한다. 기존의 KD 학습 과정에 적용하였던 curriculum learning 기법에 대한 연구를 소개하며, 보다 더 나은 제안 기법에 대해서 설명한다.

[참고 논문]
- Distilling the knowledge in a neural network
- Knowledge Distillation via Route Constrained Optimization
- Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification