• 목록

<청취 후기>
- On Model Compression for Neural Networks: Framework, Algorithm, and Convergence Guarantee
본 연구는 모델 경량화의 중요성에 대해 언급하며 대표적인 기법 중 Pruning과 Low-rank approximation 2가지 기법을 결합하는 방법론에 대해 다루었다. Pruning은 불필요한 가중치를 제거하여 모델 크기를 줄이는 방법이지만, 이 과정에서 정확도 손실이 발생할 수 있고, 최적의 가중치를 잃게 될 위험이 있다. 반면, Low-rank approximation은 고차원의 데이터를 저차원으로 근사시킴으로써 모델의 복잡성을 줄이는 기법에 해당하는데, 이러한 특징으로 인해 학습 과정에서 global minima 가 아닌 local minima에 취약해지는 단점이 있다. 따라서, 본 연구는 이러한 한계점을 해결하기 위해 nonconvex optimization과 NN-BCD를 결합한 방법론을 제안한다. 기본적으로 low-rank approximation을 활용해 고차원의 데이터를 저차원으로 근사시키되, pruning을 활용해 NN을 제거하는 방법을 활용하며, 이 과정을 전체 NN에 적용시키는 것이 아닌 다수의 보다 작은 block으로 나누는 NN-BCD를 통해 NN의 부분씩을 경량화하여 local minima 문제를 극복하고자 했다. 대표적인 경량화 기법 중 하나인 knowledge distillation을 연구하는 입장에서 다른 경량화 기법들을 들여다볼 수 있는 흥미로운 발표였다.

- Mutual Knowledge Distillation Framework for Alzheimer&Rsquo;S Disease Diagnosis Using Incomplete Multimodal Images
본 연구는 알츠하이머 진단 시 MRI와 PET, 2가지 데이터를 활용해 학습한 teacher model로부터 지식을 증류받아 MRI만이 제공된 환경에서도 높은 정확도를 제공하는 student model을 생성하는 방법에 대해 다루었다. Knowledge distillation은 복잡한 모델의 분포를 보다 가벼운 모델에게 이전시키는 방법으로, 주로 경량화 측면에서의 고민이 이루어졌다. 본 논문에서는 경량화가 아닌, 보다 많은 정보(multimodal images)를 가지고 학습한 teacher model의 지식을 student model이 단일의 정보만을 가지고도 유사 수준의 성능을 낼 수 있도록 지식을 전달한 기법에 해당하며, 일반적인 KD와는 다른 관점에서 접근한 것에 흥미로운 발표였다.