• 목록

[일시] 2024.02.29

[리뷰 논문] Gradient-Guided Knowledge Distillation for Object Detectors

[요약]
본 세미나는 Object detection의 효과적인 Knowledge distillation을 위하여 가치 있는 중요한 feature를 선택해서 KD를 진행해야 됨을 설명합니다.
Teacher의 모든 feature가 유용하고 관련성이 있는 것은 아니기 대문에 단순히 모든 feature를 추출하게 되면 student 모델 학습에 방해가 될 수 있다고 주장하며 gradient를 사용해서 마지막 final detection에 기여하는 knowledge에 가중치를 크게 부여하면서 feature를 선택하는 방법론을 제안하고 있습니다. 뿐만 아니라 detection시에 background feature가 너무 많이 포함되어 있어 distillation을 방해하는 문제를 해결하기 위해서 FlatGauss Mask라는 추가적인 방법론 또한 언급되고 있습니다.

[녹화 영상 링크]
https://us02web.zoom.us/rec/share/HfRS1OtprENjGKIMfY4qjDQrgmrAk9xTAMQo4hPf27eZ4eUR6Z7AlTMHm8Kgd2AL.GJhPUqHUbnnoMkHY?startTime=1709175903000