[230724논문리뷰] Knowledge Distillation with the Reused Teacher Classifier
페이지 정보
본문
일시 : 2023년 7월 24일
발표자 : 오수빈
제목 : Knowledge Distillation with the Reused Teacher Classifier
요약 : 본 논문의 큰 아이디어는 teacher 모델의 classifier를 student model에서 재사용하여 좋은 성능을 이끌어내고, loss를 단순화하자라고 생각한다. classifier에 student model의 feature를 맞추기 위해서 projector를 사용하는데 이를 통해 pruning과 유사한 효과도 보여주고 있는 내용을 담고 있다.
발표 영상(슬랙에 암호 있음)
https://us02web.zoom.us/rec/share/BPRDDgwadrWvsmJl4z-EFeT91r5J7UiBb8USzcedoHHPVv3wXkMqlAoLdWhFiMfl.Xhdv0OjqMKO-avYA
발표자 : 오수빈
제목 : Knowledge Distillation with the Reused Teacher Classifier
요약 : 본 논문의 큰 아이디어는 teacher 모델의 classifier를 student model에서 재사용하여 좋은 성능을 이끌어내고, loss를 단순화하자라고 생각한다. classifier에 student model의 feature를 맞추기 위해서 projector를 사용하는데 이를 통해 pruning과 유사한 효과도 보여주고 있는 내용을 담고 있다.
발표 영상(슬랙에 암호 있음)
https://us02web.zoom.us/rec/share/BPRDDgwadrWvsmJl4z-EFeT91r5J7UiBb8USzcedoHHPVv3wXkMqlAoLdWhFiMfl.Xhdv0OjqMKO-avYA
첨부파일
-
Knowledge Distillation with the Reused Teacher Classifier.pdf (1.6M)
DATE : 2023-07-24 19:16:00 -
SimKD20230724오수빈.pdf (1.2M)
DATE : 2023-07-24 19:16:00
댓글목록
등록된 댓글이 없습니다.