경량화 세미나에 참여한 첫번째 시간이었다. 오수빈 연구원이 pruning 관련된 좋은 논문 3가지를 발표하였다. 학습모델 경량화의 목적을 생각했을 때 단순 의사결정나무의 pruning 처럼 가장 먼저 살펴보게 되는 기본기가 되지 않는가 싶다. 대다수의 경량화 알고리즘이 그렇듯이 pruning 기법에 있어서 가장 크게 고민스러운 부분은 어떻게 효율적으로 적용하는가의 이슈가 아닌가 싶다. batch set 불확실성을 방지하고 잘못 pruning된 것을 회복하기 위해 iterative fashion을 버릴 수 없으므로, 이를 효과적인 연산으로 가져갈 수 있는 방안을 모색하는 것이 필요하다. 특히, distillation 등과 hybrid approach를 추구하는 방법들도 많이 존재하므로, 연산량을 최소화 하다 pruning 의 순역할을 극대화 할 수 있는 기법에 대해서 고민해보면 좋겠다. 짧은 시간 3편의 논문을 잘 리뷰한 수빈이가 고생 많았고, 이번 기회를 통해서 모델 경량화 연구에 발을 들여 놓을 수 있기를 바란다.