• 목록

[일시]
2024.12.30

[세미나 주제]
Neural Architecture Search via Distillation

[발표자]
장유나

[요약]
본 세미나에서는 Neural Architecture Search에서 distillation이 적용된 연구의 사례에 대해서 알아본다. 우선 탐색 과정 중에서 distillation이 적용될 수 있는 방법에 대해서 크게 세가지로 분류화를 할 수 있다. 첫번째 분류는 고정된 teacher model로부터 network architecture에 대한 knowledge를 distillation 받는 구조를 취할 수 있다. 이에 첫번째로 소개한 논문의 저자는 모델의 지식은 network parameter에만 존재하는 것이 아니라 network architecture에도 존재할 수 있다는 전제 하에 architecture의 탐색 과정에서 teacher model의 architecture를 모방할 수 있도록 한다. 이러한 방법론에 기반한 두번째 논문에서는 multi-fidelity 개념을 적용하여 low-fidelity 에 대한 evaluation 단계에서 distillation을 받는 방식을 통해서 개선된 탐색을 할 수 있도록 지도한다. NAS에서 distillation을 받는 두번째 분류로는 self distillation으로 탐색되는 과정 중에 이전 epoch의 architecture를 마치 teacher처럼 사용하는 방식을 의미한다. 특히 해당 세번째 논문의 저자는 multi-teacher의 개념을 적용하여 k 개의 이전 step의 architecture가 teacher로 동작해 현재 step의 student를 안내할 수 있다고 본다. 마지막 분류로는 NAS를 통해 탐색이 완료된 arhictecture의 성능을 개선하기 위해서 추가적으로 distillation을 받는 방식인데, 해당 방식의 경우 탐색의 과정 중에서 .distillation을 받는 방식은 아니기 때문에 본 세미나에는 다루지 않는다.

[관련 논문]
- Block-wisely Supervised Neural Architecture Search with Knowledge Distillation
- Multi-Fidelity Neural Architecture Search with Knowledge Distillation
- Improving Differentiable Architecture Search via Self-Distillation

[발표 영상]
https://us02web.zoom.us/rec/share/VMA9W7jZ7rtS7LGgPwVKLCgySX83DV4_ZxWgK4lNCgyZMX9kc04HcqH7uui47vlY.zYjerw9HiW2Flc1k?startTime=1735533690000