• 목록

[일시]
2024.06.18

[세미나 주제]
Neural Architecture Search

[발표자]
장유나

[요약]
본 발표는 자동적으로 최적의 신경망을 찾는 기법인 Neural Architecture Search에 대해서 소개한다. 특정 데이터셋과 과업을 위한 적절한 network를 찾는 기법인 Neural Architecture Search(NAS)는 크게 Search space, Search Algorithm, Precision Evaluation으로 이뤄져 있으며, 본 발표에서는 각 요소에서 아이디어를 제안하여 좋은 결과를 보인 논문 3편을 소개한다. 먼저 DARTS는 기존의 NAS의 search space를 미분 가능한 연속적인 공간으로 보아 선택에 있어 확률을 통해 완화할 수 있도록 하여 NAS  분야에서 많은 발전을 이뤄냈으며 이후에 등장한 DrNAS는 DARTS의 방식을 dirichlet distribution을 활용한 분포의 학습 문제로 바꿔 효율적인 연산을 가능하게 보였다. 추가적으로 Precision Estimation 분야에서는 zero-shot 기반의 scoring 기법을 제안한 Zen-NAS 논문을 소개하며, NAS의 전 분야에 대해서 알아보는 시간을 갖는다.

[관련 논문]
- DARTS: Differentiable Architecture Search
- DrNAS: Dirichlet Neural Architecture Search
- Zen-NAS: A Zero-Shot NAS for High Performance Image Recognition

[녹화 영상 링크]
https://us02web.zoom.us/rec/share/xtqQpUxq_SJD7evI5Ri3aCQn3hvCsI1r54Cl_mGXbAmUdHZ-Ev-TW6W2OKq4XNf5.pebcsc1Kwj2sJpCu