• 목록

[일시] 2024.02.15

[리뷰 논문] DETRDistill: A Universal Knowledge Distillation Framework for DETR families

[요약]
해당 논문은 Visual Task에 대해 자연어 처리에서 좋은 성능을 보인 Transformer를 적용한 DETR 을 기반으로 한 다양한 모델에 대해서 Knowledge Distillation을 적용하고자 DETRDistill 방식을 제안합니다. DETRDistill 방식은 Hungarian-matching logits distillation, Target-aware feature distillation, Query-prior assignment distillation의 구조를 제안하여 성능의 개선을 증명했습니다. 해당 연구에서는 MS COCO dataset을 통해 다양한 조건 하에서 실험을 진행하였으며 결과적으로 해당 연구에서 DETR 구조에 대해 기존의 Knowledge Distillation보다 더 좋은 성능을 보였습니다.


[녹화 영상 링크]
https://us02web.zoom.us/rec/share/O9KeTIFZbqgidqUhw4NRDoE-sqAloLTqqpiM_wBJuRpCx4Y7_RA4rijGhV2F_7jW.1TvvmV-c3RnnfapX?startTime=1707971745000