• 목록

<청취 후기>
세션: FP7 Computer Vision
제목: Point‑DMAE: Point Cloud Self‑supervised Learning via Density‑directed Masked Autoencoders
본 연구는 포인트 클라우드 데이터를 위한 자기지도 학습 방법론으로, 기존 random masking 방식 대신 밀도 기반 masking 기법을 제안한다. 포인트 클라우드 데이터에서 density가 높은 영역을 우선적으로 마스킹하고, 마스킹된 영역을 복원하는 과정에서 모델이 학습할 수 있도록 유도한다. 이 접근은 정보량이 상대적으로 많은 (포인트 클라우드의 경우 밀도가 높은) 영역을 학습 대상으로 삼아 표현력을 강화하는 방식에 해당한다. 다만, 해당 방법론이 데이터의 중요 부분을 masking 하다보니, 모델의 수렴성을 보장할 수 있는 방법에 대한 고민이 추가 필요할 것으로 느꼈다. 해당 연구를 참고하여, 기존 video object detection task에서의 frame sampling과 결합해 병리학 연구에서의 WSI를 patch화한 후 중요한 patch 위주로 sampling 하여 학습에 활용하는 patch sampling에 대해 고민할 수 있었다.

세션: FP39 Transfer Learning 2
제목: TFMAdapter: Lightweight Instance‑Level Adaptation of Foundation Models for Forecasting with Covariates
본 연구는 최근 time-series foundation model이 단변량 예측에서 효과적이지만 외부 변수를 고려하는데 한계가 있음을 지적한다. 이를 해결하기 위해 instance-level adapter를 설계해 foundation model을 fine-tuning 하는 기법을 제안한다. 이때, adapter는 foundation model의 zero-shot 성능을 떨어트리지 않는데 집중한 연구에 해당한다. 제안 방법으로는 단순 회귀모델을 활용해 전 구간에 대한 pseudo-forecast를 생성하고, Gaussian Process regressor를 학습해 foundation 모델의 예측과, 공변량, pseudo-forecast를 통합하여 최종 예측을 수행하도록 설계한다. Time-series foundation model의 PEFT와 관련된 연구 분야를 새로 접할 수 있어 인상 깊었던 발표였다.