• 목록

[일시]
2025.03.13.

[세미나 주제]
Does Unsupervised Architecture Representation Learning Help Neural Architecture Search?

[발표자]
김정년

[요약]
본 논문은 Unsupervised Representation Learning을 통해 Search Sample들의 구조를 학습한 후 Search Algorithm을 적용하여 기존 NAS 방식의 문제를 해결하고 성능을 높이고자 하였다. 기존 NAS 방법론들은 탐색된 구조를 평가하여 정확도와 같은 지표를 뽑은 후 이를 Label로 사용하여 Search Algorithm을 학습한다. 그러나 이 학습 과정에는 Encoder와 Decoder가 포함되어 있어, Search Algorithm의 학습에 사용되는 Label(Accuracy)와 같은 정보를 같이 보게되어 NAS의 학습이 편향될 수 있다. 따라서 본 논문에서는 Representation Learning과 Architecture Search를 분리하는 방법을 제안하였다. Representation Learning에서는 Variational Graph Isomorphism AutoEncoder인 arch2vec을 사용하여 그래프의 동형성을 보장하고 더 강력한 표현학습이 가능하도록 하였다.
Architecture Search 알고리즘이 아닌 앞부분의 Representation Learning을 수행하여 NAS의 속도와 성능을 올렸지만 arch2vec의 학습과정에 많은 시간이 소요될 것으로 보여 이 부분을 고려해야할 것이라고 생각된다.

[관련 논문]
- Does Unsupervised Architecture Representation Learning Help Neural Architecture Search?

[녹화 영상]
https://us02web.zoom.us/rec/share/RLW6TwdrTZjRWOk5Au5mWvf-3PsrLXvO7Q07a4zFrXHse32irYP2i7e4Ck_IqVem.8v_v_Qmu_Jy18m-6