[20260902 통합세미나] Neural Architecture Search for Efficient Inference
페이지 정보
본문
[일시]
2026.09. 02
[세미나 주제]
Neural Architecture Search for Efficient Inference
[발표자]
장도영
[요약]
본 발표에서는 edge 환경에서 딥러닝 모델을 효율적으로 배포하기 위한 Neural Architecture Search(NAS)를 다루고, knowledge distillation과 hardware 특성을 각각 고려한 Search to Distill과 MobileDets를 소개하였다.
Search to Distill은 주어진 teacher의 지식을 가장 잘 전달받을 수 있는 student architecture를 직접 탐색하는 방법이다. RNN 기반 actor-critic agent가 다양한 architecture를 탐색하고, 각 후보를 distillation한 뒤 accuracy와 latency를 이용해 reward를 계산한다. 이를 통해 GT 기반으로 좋은 architecture와 KD에 적합한 architecture가 다를 수 있으며, teacher에 따라 선호되는 student 구조 역시 달라질 수 있음을 보였다.
MobileDets는 이를 object detection과 target hardware 환경으로 확장한 방법이다. SSDLite head는 고정한 채 backbone을 탐색하며, IBN, Fused IBN, Tucker block을 search space에 포함한다. 또한 실제 hardware에서 측정한 latency를 기반으로 predictor를 학습하고 이를 NAS의 reward에 활용한다. 실험 결과 CPU와 accelerator가 선호하는 operator 구성이 다르며, FLOPs만으로 실제 inference efficiency를 판단하기 어렵다는 점을 확인하였다.
결과적으로 Search to Distill은 teacher에 적합한 student architecture를, MobileDets는 detection 성능과 hardware latency를 함께 고려한 architecture를 탐색한다. 두 연구 모두 teacher, task, hardware 등의 조건에 따라 최적의 compact architecture가 달라질 수 있음을 보여준다.
[Q&A]
Q : 두 번째 논문에서는 architecture의 latency를 예측하기 위해 predictor를 사용하는데, 이 predictor는 어떤 모델과 데이터, 학습 방법을 사용하는지 궁금합니다.
A : MobileDets에서는 각 target hardware에서 수천 개의 random architecture를 실제 실행해 latency를 측정하고, 이를 데이터로 linear regression 모델을 학습합니다. Layer type과 input/output channel interaction 등을 feature로 사용하며, 논문에서는 모든 platform에서 높은 예측 성능을 보였습니다. 최종 architecture의 latency는 실제 hardware에서 다시 측정합니다.
Q : FLOPs가 실제 latency를 잘 반영하지 못한다는 것은 서로 다른 종류의 hardware를 비교할 때의 문제이고, 동일한 종류의 hardware 내에서는 여전히 유의미한 지표가 아닌지 궁금합니다.
A : 동일한 hardware에서도 FLOPs는 참고 지표로 사용할 수 있지만 latency를 완전히 대변하지는 못합니다. Operator 종류, memory access, parallel utilization 등에 따라 FLOPs가 더 많아도 실제 실행 속도가 더 빠를 수 있습니다. 따라서 MobileDets에서는 FLOPs보다 target device에서의 실제 latency를 주요 지표로 사용합니다.
Q : 첫 번째 논문인 Search to Distill에서는 student architecture를 탐색하기 위해 어떤 search space를 사용했는지 궁금합니다.
A : Search to Distill에서는 7개 block으로 구성된 factorized hierarchical search space를 사용합니다. 각 block마다 repeat count, convolution 또는 skip operation, kernel size, squeeze-and-excitation ratio, input/output filter 수 등을 선택하며, 이 조합을 통해 다양한 student architecture를 탐색합니다.
[관련 논문]
- Search to Distill: Pearls are Everywhere but not the Eyes
- MobileDets: Searching for Object Detection Architectures for Mobile Accelerators
[녹화 영상]
https://us06web.zoom.us/rec/share/pJVljR3jbs3JwSFWN9Jkh_yuMd5wNdZilBTLrYIkVi2FY4r6MsGyOP0YGfKGaEMK.fXIPHPgwZnvYgHzd
2026.09. 02
[세미나 주제]
Neural Architecture Search for Efficient Inference
[발표자]
장도영
[요약]
본 발표에서는 edge 환경에서 딥러닝 모델을 효율적으로 배포하기 위한 Neural Architecture Search(NAS)를 다루고, knowledge distillation과 hardware 특성을 각각 고려한 Search to Distill과 MobileDets를 소개하였다.
Search to Distill은 주어진 teacher의 지식을 가장 잘 전달받을 수 있는 student architecture를 직접 탐색하는 방법이다. RNN 기반 actor-critic agent가 다양한 architecture를 탐색하고, 각 후보를 distillation한 뒤 accuracy와 latency를 이용해 reward를 계산한다. 이를 통해 GT 기반으로 좋은 architecture와 KD에 적합한 architecture가 다를 수 있으며, teacher에 따라 선호되는 student 구조 역시 달라질 수 있음을 보였다.
MobileDets는 이를 object detection과 target hardware 환경으로 확장한 방법이다. SSDLite head는 고정한 채 backbone을 탐색하며, IBN, Fused IBN, Tucker block을 search space에 포함한다. 또한 실제 hardware에서 측정한 latency를 기반으로 predictor를 학습하고 이를 NAS의 reward에 활용한다. 실험 결과 CPU와 accelerator가 선호하는 operator 구성이 다르며, FLOPs만으로 실제 inference efficiency를 판단하기 어렵다는 점을 확인하였다.
결과적으로 Search to Distill은 teacher에 적합한 student architecture를, MobileDets는 detection 성능과 hardware latency를 함께 고려한 architecture를 탐색한다. 두 연구 모두 teacher, task, hardware 등의 조건에 따라 최적의 compact architecture가 달라질 수 있음을 보여준다.
[Q&A]
Q : 두 번째 논문에서는 architecture의 latency를 예측하기 위해 predictor를 사용하는데, 이 predictor는 어떤 모델과 데이터, 학습 방법을 사용하는지 궁금합니다.
A : MobileDets에서는 각 target hardware에서 수천 개의 random architecture를 실제 실행해 latency를 측정하고, 이를 데이터로 linear regression 모델을 학습합니다. Layer type과 input/output channel interaction 등을 feature로 사용하며, 논문에서는 모든 platform에서 높은 예측 성능을 보였습니다. 최종 architecture의 latency는 실제 hardware에서 다시 측정합니다.
Q : FLOPs가 실제 latency를 잘 반영하지 못한다는 것은 서로 다른 종류의 hardware를 비교할 때의 문제이고, 동일한 종류의 hardware 내에서는 여전히 유의미한 지표가 아닌지 궁금합니다.
A : 동일한 hardware에서도 FLOPs는 참고 지표로 사용할 수 있지만 latency를 완전히 대변하지는 못합니다. Operator 종류, memory access, parallel utilization 등에 따라 FLOPs가 더 많아도 실제 실행 속도가 더 빠를 수 있습니다. 따라서 MobileDets에서는 FLOPs보다 target device에서의 실제 latency를 주요 지표로 사용합니다.
Q : 첫 번째 논문인 Search to Distill에서는 student architecture를 탐색하기 위해 어떤 search space를 사용했는지 궁금합니다.
A : Search to Distill에서는 7개 block으로 구성된 factorized hierarchical search space를 사용합니다. 각 block마다 repeat count, convolution 또는 skip operation, kernel size, squeeze-and-excitation ratio, input/output filter 수 등을 선택하며, 이 조합을 통해 다양한 student architecture를 탐색합니다.
[관련 논문]
- Search to Distill: Pearls are Everywhere but not the Eyes
- MobileDets: Searching for Object Detection Architectures for Mobile Accelerators
[녹화 영상]
https://us06web.zoom.us/rec/share/pJVljR3jbs3JwSFWN9Jkh_yuMd5wNdZilBTLrYIkVi2FY4r6MsGyOP0YGfKGaEMK.fXIPHPgwZnvYgHzd
첨부파일
-
20260903_Neural Architecture Search for Efficient Inference.pdf (2.6M)
DATE : 2026-09-09 12:31:00
댓글목록
등록된 댓글이 없습니다.