• 목록

[일시]
2024.07.17

[세미나 주제]
Neural Architecture Search for Imbalanced Datasets

[발표자]
장유나

[요약]
본 발표는 Neural architecture search 중 performance estimation 단계에서의 label 정보를 활용하지 않는 비지도 및 자기지도 기반의 탐색 기법을 제안하는 Un-NAS/SSWP-NAS 모델을 소개한다. 기존의 NAS의 탐색 과정에서는 searching algorithm 을 통해서 찾은 architecture의 성능을 평가하고자 데이터와 label 정보를 활용하여 평가하는 과정을 진행하게 되는데 이 과정에서 label 정보가 없이도 supervised 기반의 방식에 준하는 성능을 보일 수 있다는 것을 논문의 실험을 통해 증명한다. Un-NAS에서는 pretext task를 통한 unsupervised 기반의 학습으로 성능 평가를 진행하는 방식을 도입하여 세가지 pretext task에 대해서 supervised 기반의 방식에 준하는 성능을 보인다. SSWP-NAS에서는 self-supervised기반의 방식으로 SimCLR의 구조를 채택한 표현학습을 수행하고, 추가적으로  weight preserving의 개념을 적용하여 탐색을 수행하는 방법론을 제안한다. 해당 방법론 또한 supervised 기반의 방식들 뿐만 아니라 기존에 제안되었던 다른 NAS 기법의 성능보다도 좋은 성능을 보인다. 이러한 실험들의 결과를 통해서 Neural architecture search에서 label 정보가 꼭 필요하지 않을 수 있다는 것을 알 수 있다.

[관련 논문]
- Are Labels Necessary for NAS?
- Towards Self-supervised and Weight-preserving Neural Architecture Search

[녹화 영상 링크]
https://us02web.zoom.us/rec/share/OCVgHmHGSNGTVo0fVPTOGK-4IZ6DmBUf10GUk6lKZxy3besIvMD-q1XhQsd0cXKG.1Nd2zCG2nNqlqmYg