• 목록

<발표 후기>
5월 2일 (목)
세션 : C4. 비즈니스 애널리틱스 분야 (3)
제목 : Efficient Model Training via Multi-Teacher Distillation-Oriented Pseudo-Labeling

이번 연구에서는 객체탐지 분야에서 준지도학습, 경량화 측면에서의 현존하는 한계점을 극복하기 위해 다수의 teacher model을 활용한 pseudo-labeling에 대해 다루었다. 경량화 및 준지도학습 모두 single teacher 구조로 인해 해당 teacher model에 과도하게 의존한다는 한계점이 존재한다. 이를 극복하기 위해 서로 상이한 구조를 갖는 다수의 teacher로부터 획득한 추론 결과물을 활용해 보다 간단한 구조를 갖는 student model을 학습하는 방식으로 해결하고자 하였다. 이때 각 model이 구조적 특징으로 인해 동일한 데이터로부터 서로 다른 특성을 학습한다는 점을 기반으로 서로 상이한 구조를 갖는 teacher model을 선정하였다. 실험 결과 실제 label이 존재하는 데이터를 활용해 학습한 모델 대비 전체적인 성능 측면에서는 약점을 보였으나, 보다 가벼운 구조를 갖춘 모델을 활용하여 빠른 추론 속도를 확보하였으며, 정확도 측면에서도 가능성을 확인할 수 있었다. 후속 연구로는 성능 측면에서 또한 label이 존재하는 데이터를 활용한 모델과 비교 가능한 수준의 성능을 갖추기 위해 domain adaptation을 선행한 후 multi teacher 구조 기반 지식증류기법에 대한 연구를 진행할 계획이다.


<청취 후기>
5월 2일 (목)
세션 : C4. 비즈니스 애널리틱스 분야 (3)
제목 : 딥러닝 모델 경량화를 위한 중요 노드 선정 방법

본 발표는 경량화 기법 중 Pruning 기법을 보다 효율적으로 처리하기 위한 기법에 대한 연구를 다루었다. 분류 문제를 다루었으며, decision boundary와 가장 근접한 데이터 포인트를 분류해내는 것이 classifier 성능에 직접적인 영향을 미친다는 점으로부터 시작하여 해당 데이터 포인트에 보다 민감하게 반응하는 노드, 즉 노드의 출력 값의 variability가 큰 노드를 중요 노드로 판단, 중요 노드를 제외한 나머지 노드에 대해 가지치기를 진행하는 기법에 대한 연구를 다루었다. 경량화의 효과에 있어 성능이 유지되면서 기존 대비 약 90% 수준의 경량화를 이루었다는 점 또한 인상적이었으나, 기존 pruning과는 다르게 노드를 제거한 후 경량화된 모델의 성능을 평가하여 해당 가지치기가 유의미했는지를 반복적으로 탐색하는 비효율적인 방식이 아닌, 제거하면 안되는 노드(중요 노드)를 데이터로부터 분석해내어 보다 효과적으로 경량화를 처리할 수 있다는 점에서 흥미로운 연구에 해당했다.