유방은은 사망률이 두 번재로 높은 흔한 암이다. 유방암의 등급을 스펙트럼에 따라 진단하는데, 이를 정확하게 파악하는 것은 무척 중요하다. 하지만 병리학자가 직접 진행하기에는 시간이 무척 오래걸리는 어려운 문제다. 자동화가 요구된다는 말이다. CNN을 사용하더라도 적절한 패치 크기, 해상도를 찾는 것에는 한계가 있으며, 생물학적인 맥락을 이해하지 못한다는 단점이 있다.  이를 해결하기 위해 세포의 정보와 상호작용을 설명할 수 있는 그래프를 통해 설명한다. 근데 또 이러한 그래프 기반의 연구에도 한계가 있다. 세포와 조직간의 게층을 활용할 수 없다는 점이다. 그래서 본 논문에서는 세포와 조직간의 계층적인 표현 방법을 활용하는 Hac-Net을 제안한다. 이는 세 단계로 구성되며, 작은 부분부터 큰 부분(tissue)까지 확인하는 network인데, 첫 번째로 preprocessing 단계에서는 색상 정규화를 진행하고, tissue detection과 nuclei detection을 진행한다. 두 번재 단계인 representation 단게에서는 S(cg→tg) : Cell Graph에서 Tissue Graph로 할당하기 위한 단계를 말한다. 그림으로 이해 해야지 알 수 있는 것 같다.. 그리고 마지막의 단계는 Hact Net 구성 단계이다. mult-scale representation을 구성하는 단계이다. 실험 결과로는 Cell graph(Low-level)와 Tissue graph(High-level)의 관계를 파악하는 것이 무척 중요하다는 점을 보여주고 있다. 또한 핵과 티슈 분포의 특성을 모두 활용한 Hact-Net이 다른 method 보다 좋은 성능을 보여줬다.

해당 논문은 병리학 이미지에서 조직의 구조 기반 유방암 예측 모델인 HACT-Net 모델을 제안하였다. 핵심은 CG-graph와 TG-graph 를 각각 구하고 두 graph 사이의 포함 여부를 0,1로 하여 connection을 정의한다. 그 다음 Hact-representation 과정을 거치는데 CG-graph 기반의 embedding space상에서의 정보와 TG-graph 사이의 정보를 해당 connection 기준으로 concat하여 두 가지 정보 모두를 사용하게 된다. 이는 고정 크기의 패치 추출 및 CNN 방법의 한계점인 생물학적 맥락을 이해할 수 없는 부분을 일정 부분 극복하였다. 이로 인해 cell기반의 해석과 동시에 tissue 기반의 해석도 가능하게 된다. 기존 cell 기반 및 tissue 기반으로 따로 하는 것 보다는 확실히 더 좋은 성능을 낼 것이라고 예상이 된다. 크게 복잡하지 않고 이론적으로도 효과적일 것이라는 것이 보여 여러 병리학 task에도 사용 가능성이 높은 모델로 고려될 것 같다.

HCC(Hepatocellular carcinoma)는 2030년에 백만명 이상의 환자들이 사망하게 되는 암으로, 초기 HCC를 조기 탐지하는 것이 매우 중요하다. 이러한 HCC 조기 탐지를 위해서는  WSI(Whole Slide Images)에 대해서 정확하게 segmentation하는 것이 필수적이며, 논문 또한 해당 task에 대한 내용을 다룬다. 기본적으로 수술 전에 간 조직에 대해 segmentation해서 진단을 하고, 수술 후 잘 제거가 되었는지 segmentation 하는 과정을 거치게 된다.
이런 과정에서 HCC lesions가 사람마다 다르기 때문에 시간이 오래 걸리고, 쉽지 않다. 따라서 본 논문에서는 세 개의 branch를 두고 학습하는 hybrid neural network를 사용하였다. 이는 multitast learing과 ensemble learning 을 hybrid하는 방식이다. 정상 조직을 포함해서 정확하지 않은 patch wise 방법보다는 pixel-wise 방법을 선택하였으며, 이러한 기법은 모든 pixel 마다 label이 주어지게 된다. 다시 말해 각 픽셀마다 tumorous 인지 normal인지에 대해 labeling이 되어 있다. 동일한 encoded feature에 다른 task를 공유하게 되는데(MTL), 이는 각각의 개별 task의 성능 향상을 가능하게 하는 장점을 가져온다. 본 논문에서의 Hybrid Networks는 SKM과 scSEM을 Ensemble한 기법을 제안하였고, 여러 실험을 통해 해당 모델이 다른 기법 대비 좋은 성능을 가져오는 것을 확인할 수 있다.