• 목록

<청취 후기>
세션 : FP7 Computer Vision
제목 : Point-DMAE: Point Cloud Self-supervised Learning via Density-directed Masked Autoencoders
본 발표는 포인트 클라우드에서 흔히 사용되던 랜덤 마스킹 기반 MAE가 포인트의 불균일한 밀도 분포를 전혀 고려하지 못한다는 문제의식에서 출발하여, 밀도 정보를 직접 활용하는 self-supervised 학습 기법 Point-DMAE를 제안하였다. 포인트 밀도가 높은 영역을 정보량이 많은 부분으로 간주하고, 전역적으로는 블록 밀도에 따라, 국소적으로는 로컬 블록 밀도에 따라 고밀도 패치/블록을 우선적으로 마스킹하는 density-directed 마스킹 전략을 쓰는 것이 핵심이다. 이를 수용하기 위해 전역, 국소 dual-branch Transformer 아키텍처를 구성하여, 전역 브랜치는 전체 형상 수준의 의미 정보를, 로컬 브랜치는 세밀한 기하 정보를 복원하도록 설계함으로써, 포인트 클라우드의 거시 구조와 미시 구조를 동시에 학습할 수 있게 했다. 실험적으로는 Point-MAE 등 기존 MAE 계열 대비 사전학습 효율이 높고, 특히 ScanObjectNN의 여러 설정(OBJ-BG, OBJ-ONLY, PB-T50-RS)에서 4~5% 수준의 분류 정확도 향상을 달성하여 density-aware 마스킹이 실제 다운스트림 성능에도 기여함을 보였다. 다만 포인트 밀도를 정보량의 근사치로 쓰기 때문에, 밀도는 낮지만 의미적으로 중요한 구조(가느다란 기둥, 희소하지만 결정적인 객체 등)가 있는 경우에는 학습이 상대적으로 부족해질 수 있고, 밀도 추정 단위에 따른 성능 민감도도 남은 과제로 보인다. 또한 완전히 균일하거나 극도로 희소한 장면에서는 density-directed 마스킹의 이점이 줄어들 수 있다는 한계도 존재한다. 그럼에도 Point-DMAE는 기존 MAE 프레임워크를 크게 변경하지 않으면서도 단순한 밀도 지표와 dual-branch 구조만으로 의미 있는 성능 향상을 이끌어냈다는 점에서 확장성이 높다. 향후 병리 분야와 같이 세포, 핵 밀도가 공간적으로 크게 달라지는 이미지에서는, 고밀도 병변, 염증 영역을 우선적으로 마스킹하는 SSL 전략으로 자연스럽게 확장될 수 있어, 병리 연구에 적용해보면 좋겠다는 생각을 하였다.