[20230217 통합세미나] TRANSFERRING INDUCTIVE BIASES THROUGH KNOWLEDGE DISTI…
페이지 정보
본문
[일시] 2023.02.17
[세미나 주제] TRANSFERRING INDUCTIVE BIASES THROUGH KNOWLEDGE DISTILLATION
[요약]
knowledge distillation을 이용하여 inductive bias를 전달할 수 있을 지에 대해 다룬 논문입니다.
knowledge distillation이 경량화에 효과적이라 알려져 있지만 이 외에도 다른 모델과 함께 쓰게 되면 accuracy 향상에 기여를 한다는 점을 inductive bias를 통해 입증을 하려 했고, 두 개의 시나리오(RNN과 Transformer, CNN과 MLP)를 세팅해 실험 해본 결과 quantitive, qualitative 측면에서의 증명을 성공했습니다.
[세미나 주제] TRANSFERRING INDUCTIVE BIASES THROUGH KNOWLEDGE DISTILLATION
[요약]
knowledge distillation을 이용하여 inductive bias를 전달할 수 있을 지에 대해 다룬 논문입니다.
knowledge distillation이 경량화에 효과적이라 알려져 있지만 이 외에도 다른 모델과 함께 쓰게 되면 accuracy 향상에 기여를 한다는 점을 inductive bias를 통해 입증을 하려 했고, 두 개의 시나리오(RNN과 Transformer, CNN과 MLP)를 세팅해 실험 해본 결과 quantitive, qualitative 측면에서의 증명을 성공했습니다.
첨부파일
-
Tranferring Inductive Biases Through Knowledge Distillation.pdf (1.8M)
DATE : 2023-02-21 01:06:30
- 이전글[20230223 경량화] Model Compression 23.02.24
- 다음글[20230208 최적화] RL for Bin Packing Problem 23.02.15
댓글목록
등록된 댓글이 없습니다.