• 목록

<발표 후기>
11월 3일 (금)
세션 : S4.인공지능
제목 : Focal Calibration Loss-Based Knowledge Distillation for Image Classification

이번 학회는 부산에서 열리게 되었다. 기존에 하던 연구 주제와는 다른 주제로 발표하는 것은 처음이었다. 구두 발표를 통해 많은 피드백을 듣고 싶었지만 아쉽게도 포스터 발표로 변경되게 되었다. 포스터를 제작하는 것은 졸업 프로젝트 이후 처음이었는데 확실히 전체적인 내용을 간략히 정리하는 시간을 가지고 보니 하고 있는 연구의 배경지식에 대해서 좀 더 정확히 찾아볼 수 있었고, 연구의 허점도 많이 찾을 수 있었다. 이번 학회에서 발표하게 된 주제는 Focal Calibration Loss-Based Knowledge Distillation for Image Classification으로 간략한 내용은 경량화 기법 중 하나인 knowledge distillation 방법론의 loss 함수에 focal calibration term을 추가하고 각 loss의 항의 가중치 값들을 수정해가면서 적절한 값을 찾아 ece loss를 줄이기 위한 연구였다. knowledge distillation이란 간단히 말해서 거대하고 복잡한 모델인 teacher 모델을 선 훈련시키고, 훈련된 지식을 상대적으로 가벼운 모델인 student모델로 전달하여 가벼운 모델로도 비교적 높은 정확도를 내기 위한 기법이다. 기존에 knowledge distillation의 loss 함수는 KL-divergence와 Cross entropy 항으로 이루어져 있다. KL-divergence는 teacher 모델이 예측한 결과값과 student 모델이 예측한 결과값의 차이를 나타내고, cross entropy는 student 모델이 예측한 값과 ground truth의 차이를 나타낸다. 여기에 focal calibration term을 추가하여 기존에 모델의 over confidence 문제를 고려하지 않았던 문제점을 보완하고자 하였다. focal loss는 잘못 분류된 것에 대한 차이 값에 감마승을 추가함으로써 더 큰 lsos값을 부여하여 over confidence 문제를 해결하고자 하는 task이다. 본 연구는 모델의 정확도 측면에 초점을 두었다기 보다 정확도는 비슷하되 calibration performance를 증가시키고, calibration정도를 평가하는 평가지표인 ECE loss값을 감소시키고자 하는 목적을 둔다. 이번에는 포스터 발표로 비교적 아쉬운 경험을 하였지만 이를 기반으로 좀 더 보완시켜 완성도 높은 논문을 쓸 수 있도록 연구 방향을 잡게 되었다.


<청취 후기>
11월 3일 (금)
세션 : 초연결·고신뢰 산업지능 연구센터 세션논문
제목 : Dual Supervision을 이용한 이미지 객체 간 관계 추출

이번 발표는 광운대학교 Bigcom연구실의 김민규 연구원님께서 Dual Supervision을 이용한 이미지 객체 간 관계 추출에 관해 발표를 해주셨습니다. 비정형 데이터인 이미지 데이터는 가치 있는 정보를 얻기 위해 구조화 작업이 필요한데 기존 구조화 방법은 많은 컴퓨팅 리소스를 요구하기 때문에 본 연구에서는 이미지 데이터에 대한 구조화 작업을 진행할 때 발생되는 문제점들을 자연어 처리 관계 추출 모델인 Dual Supervision을 이미지에 적용함으로써 적은 리소스로 이미지 관계 추출을 하고자 하는 연구였다. 자연어 처리 분야는 학부생 때를 제외하고는 깊게 연구를 해본 적이 없는데 분야에 관계없이 자연어 처리 모델을 이미지에 적용하는 작업을 보고 좀 더 연구를 함에 있어 폭넓게 생각할 수 있는 계기가 되었다.