오늘 발표는 유방에 대한 이미지 데이터를 가지고 CNN 모델을 사용하여 patch 기반으로 segmentation하는 task를 수행할 때, 효과적인 모델 DMMN에 대해서 설명한다. 이 모델의 주요 특징은 한 이미지에 대한 여러 배율 데이터를 생성하여 이를 이용해 high level 정보와 low level 정보를 얻어 학습한다는 점이다. 하나의 WSI를 보면 기질, 새포벽 등 여러 class로 나뉘게 되는데 이 때, 위와 같은 학습 방법은 좋은 효과를 가져오게 된다. 하지만 이 때, class imbalance 문제가 존재하는데 당연하게도 class 마다 샘플 수에 차이가 존재한다는 점이다. 그래서 이를  elastic deformation 방법으로 해결한다. 이 방법은 affine transform과 같은 단순한 변형이 아닌 외력에 의해 변경된 즉 탄성 변형 이미지에 대해 탄성력을 역반영하여 원래 형태의 데이터로 변환하는 것이다. 이러한 방법들을 적용하여 segmentation의 성능을 향상시켰다.
 여기서 관심 있게 봤던 부분은 multi-magnification 부분이다. 기존 CNN layer를 통과시켜 얻은 down sampling에 대해 labeling을 하여 또 다른 데이터로 가져온다는 발상은 매우 간단하면서 효과적이라는 생각이 든다. 이미지 학습에 대해 해당 부분을 잘 반영한다면 data augmenation을 한 것과 같은 좋은 효과를 기대해볼 수 있을 것이라 생각되었다.

유방암 진단에 있어서 조직학적 이미지를 computatio pathology 딥러닝을 사용한 연구가 활발히 진행중이다. Whole Slide Image를 그대로 넣어 모델을 돌리기에는 이미지 사이즈에 대한 문제가 존재한다. 해당 한계점을 보완하기 위해서 CNN을 이용해 down sampling하여 사용할 수 있으나 기존 연구들을 보았을 때 병리 진단에 있어 중요한 정보들이 소실되는 문제가 존재하였다. 따라서 본 논문에서는 Slide based 방식보다는 CNN을 사용한 patch based 방식 사용을 제안한다. 한 배율만 볼 수 있는 DSMN뿐만 아니라, 여러 배율의 slide patch 정보를 활용하는 DMMN 기법이 소개되었다. Cellular level의 정보만 제공하는 high magnification은 진단의 어려움이 있기 때문에 보다 세부적인 tissue type이나 architecture growth patterns 등의 정보를 제공하는 low magnification을 함께 결합하게 된다. Partial Annotation 과정을 통해 수작업으로 레이블링이 진행되며 레이블링한 데이터를 original data에 overlapping 하여 이미지를 생성하게 된다. 그러나 해당 이미지를 레이블링하게 되면 각 클래스에 대해 imbalance 문제가 존재한다. 이러한 불균형 문제를 해결하지 않으면 적은 수의 클래스에 대해서는 모델이 정확하게 학습하기 어렵다는 한계점을 가져 augmentation 기법 중 하나인 elastic deformation을 활용하여 클래스 불균형 문제를 해결하고자 하였다.
본 논문을 통해 supervised 방식으로 모델을 훈련하기 위해 진행되는 이미지 레이블링 단계에서 여전히 많은 문제점들이 존재하며 이에 대한 연구의 필요성을 다시 한 번 느끼게 되었다. 또한 병리학 이미지의 특성 상 레이블링이 잘 되었다고 하더라도 class imbalance 문제가 불가피할 것으로 생각된다. 의학에서 주로 이용되는 elastic deformation이 효과적일 것이라는 생각이 들었고 우리가 사용할 데이터에 대해서도 충분히 적용가능할 것이라 생각된다.

오늘 수빈이가 발표한 논문에서 소개하는 기법은 유방암을 진단하기 위한 방법론 중 하나였다. 유방암 진단시 종양의 세포와 같은 형태학적인 부분을 먼저 진단하게 되는데, 이러한 진단을 더욱 정확하게 하기 위해서 현미경을 통한 자세한 이미지를 필요로 하게 되고, 더 많은 시간이 소요된다고 한다. 이러한 조직학적 이미지를 딥러닝을 통해 computational Images로 변환 시킬 수 있는 연구가 많이 진행되고 있다. 이전 발표에서 알 수 있었던 wsi를 마찬가지로 이용해서 딥러닝을 돌리기엔 slide 하나의 사이즈가 너무 커서 wsi를 이용하기에는 사이즈에 대한 문제가 있으며, 본 논문에서는 이를 한계로 말한다. 그래서 논문에서 제안하는 기법의 차별점은 slide based 방식을 사용하지 않고, patch based 접근법을 사용한다는 점이었다. 해당 접근법은 CNN을 사용하며, 슬라이드를 patch별로 쪼개서 pixel 하나하나를 예측하는 형태로 진행된다. 또 해당 기법의 중요한 점은 하나의 배율만 관찰할 수 있는 단순한 patch 기반의 접근이 아닌, patch extraction을 통해 low magnification의 patch정보까지 관찰이 가능하도록 한다는 부분이었다. 그리고 추가적으로, class balancing을 수행해서 더 정확한 결과를 내도록 하는데, 이때 augmentation 기법 중 하나인 elastic deformation을 사용한다고 한다. 사실 발표를 들을 때는 잘 이해가 안 가고 추상적이었지만, 다시 확인해 보니 조금은 정리가 되었다.
* 궁금했지만, 물어보지 못했던 부분이 있었다.
test set에서의 결과가 좋지 못하다고 언급하신 부분에서 알 수 있는 점이 이미지 레이블링 작업이 불가피함을 말해주는 것인지, 혹은 다른 의미가 있는지 확실하게 이해하지 못했다.