• 목록

1. keypoint-RCNN을 이용한 반려견 대퇴골 탈구인식을 위한 수의영상판독 시스템

  현재 내가 진행하고 있는 HPE연구와 가장 유사한 부분이 많아 관심있게 강의를 들었다. 해당 실험은 반려견 대퇴골 탈구인식을 RCNN을 이용해 keypoint 4개를 예측하여 angle을 계산하여 angle값을 이용해 대퇴골 탈구를 판단하는 것이다. 나의 실험진행과 상당히 비슷하며 내가 사용하는 모델과는 다른 모델인 RCNN에 대해 상당히 관심을 갖게 되었다. RCNN은 이미지 1장 당 region proposal의 개수만큼(대략 2000개 가량) CNN 연산이 필요하기 때문에 real-time은 불가하다고 한다. 그래서 발표자의 실험에서도 X-ray 사진으로 실험을 진행했었다.
  현재 사람에 대한 HPE 모델은 빠르게 발전하고 있어 현재 내가 사용하고 있는 blaze pose 모델도 real-time으로 가능하고 상당히 좋은 성능을 보인다. 이처럼 동물에도 적용할 수 있는real-time 의  keypoint prediction 모델에 대한 궁금증이 생겼다. 예전 HPE 논문에서 동물에 대한 real time 으로 가능한 모델이 있다고 봤던 기억이 있는데 찾아봐야 할 것 같다. 만약 X-ray 사진 없이 실제 카메라로 강아지의 대퇴골 탈구인식을 어느정도 추정이 가능하면 굳이 동물 병원까지 가지 않아도 일반인들이 사용할 수 있는 앱을 만들 수 있을 것이다.
  마지막으로 현장에서 한 가지 질문했던 내용은 데이터셋이 약 1500개 가량이었는데 개수가 너무 작아 overfitting이 되었을 것 같다는 내용이었다. 발표자도 내 질문에 overfitting이 되었던 것 같다고 얘기했었다. 이 대답에 나 또한 공감이 되었으며 현재 나도 데이터가 너무 작아 overfitting 문제를 해결하기 위해 데이터를 늘리는 방법을 택하여 진행하고 있는데 다른 방향의 방법들도 한번 생각해봐야겠다는 생각이 들었다.

2. 다중 피부병변 검출 심층학습을 위한 피부병변 합성 기반 데이터 증강 기법

  현재 나도 데이터 증강을 실험하고 있던 터라 어떠한 방법으로 진행할지 궁금함을 가지고 발표를 들었다. 해당 발표에서는 사람 피부 이미지에 피부 병변을 그대로 합성하여 데이터 증강을 진행하였다. 이 때, 병변과 피부의 질감 등이 맞지 않아 부자연스럽게 이미지가 합성되는 경우가 생긴다. 이 문제는 이미지 블렌딩으로 최대한 자연스럽게 만들었다고 했다. 그럼에도 피부 질감과 병변 사이의 차이가 느껴지는 합성 이미지가 되는 한계가 존재하였다. 성능에 대한 부분을 떠나 시도 자체는 정말 좋았다고 생각이 드는 발표였다. 피부병변 데이터는 많이 구하기가 어려웠을 것인데 해당 문제를 어렵지 않은 아이디어로 데이터 증강을 하려 한 아이디어를 높이 사게 된 발표였다.
나는 현재 tabular dataset에 대해 데이터 증강을 VAE를 통해 하고 있다. 그런데 기대와는 다르게 증강된 데이터는 오히려 학습 모델 성능이 낮아지게 만든다. 나는 그 이유를 VAE encoder 부분의 일반화 성능이 좋지 않기 때문이라고 생각한다. 이를 해결하기 위해서는 애초에 VAE 학습 시 training set이 더 많아야 한다. 이 발표를 들으며 현재 tabular dataset에서 각 frame마다 이미지도 다 뽑아놨는데 이미지 데이터 증강을 하고 그 이후 keypoint 추출을 진행하여 tabular dataset을 늘리면 어떨까? 라는 생각을 하게 되었다.