• 목록

[일시] 2023.07.19

[세미나 주제] Robust Knowledge Distillation through Focal Loss and Curriculum Learnning

[요약]
모델 경량화의 대표적인 기법에는 지식 증류가 있다. 그러나 지식 증류과정에서 발생하는 과잉 적합 문제와 더불어 teacher 모델을 과잉 의존하는 문제가 존재한다. 이를 해결하기 위한 지식 증류 학습 방식을 curriculum learning 방식으로 teacher와 student의 distribution을 어느 임계치만을 학습하고 focal loss를 적용하여 hard  sample들에 대해서 dynamic weight를 적용하는 개선된 알고리즘을 고안하고자 한다.

[참고 논문]
-Guo, C., Pleiss, G., Sun, Y., & Weinberger, K. Q. (2017, July). On calibration of modern neural networks. In International conference on machine learning (pp. 1321-1330). PMLR.
-Stanton, S., Izmailov, P., Kirichenko, P., Alemi, A. A., & Wilson, A. G. (2021). Does knowledge distillation really work?. Advances in Neural Information Processing Systems, 34, 6906-6919.-
-Bengio, Y., Louradour, J., Collobert, R., & Weston, J. (2009, June). Curriculum learning. In Proceedings of the 26th annual international conference on machine learning (pp. 41-48).
-Jiang, L., Meng, D., Zhao, Q., Shan, S., & Hauptmann, A. (2015, February). Self-paced curriculum learning. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 29, No. 1).
-Li, Z., Li, X., Yang, L., Zhao, B., Song, R., Luo, L., ... & Yang, J. (2023, June). Curriculum temperature for knowledge distillation. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 37, No. 2, pp. 1504-1512).
-Mukhoti, J., Kulharia, V., Sanyal, A., Golodetz, S., Torr, P., & Dokania, P. (2020). Calibrating deep neural networks using focal loss. Advances in Neural Information Processing Systems, 33, 15288-15299.