• 목록

[일시] 2025.01.16

[리뷰 논문] TENT: FULLY TEST-TIME ADAPTATION BY ENTROPY MINIMIZATION

[요약]
본 논문은 데이터 수집 환경의 변화로 학습 / 테스트 데이터간 분포 차이가 발생했을 시 정확도가 감소하는 dataset shift problem에 대해 엔트로피 최소화에 기반한 모델 업데이트 방식의 Test time adaptation에 대해 소개하였다.
엔트로피는 예측 결과에 기반한 비지도 형태의 목적함수로 레이블 의존적이지 않다는 특징이 있다. 특히 이는 지도학습 된 사전학습 모델의 성능과 직접 연결된다. 본 연구는 이러한 점에 착안하여 타겟 데이터만을 활용하여 엔트로피 최소화를 통해 모델의 불확실성을 감소시키는 새로운 성능 개선 방안을 도출하였다. 해당 과정에서 기존 사전학습 모델의 학습 파라미터는 고정하고, 분포 변화가 발생한 테스트 데이터에 대해 정규화 및 선형 변환을 통해 feature modulation parameter를 업데이트 하는 방식을 활용하였다. 이를 통해 기존 소스 데이터로 학습된 사전모델에 대해 테스트 데이터의 분포적인 변화를 업데이트 함으로써, 사후 분석 및 실시간 분석에 있어서 adaptation 성능을 극대화 하였다. 다만 성능이 사전학습 모델의 상당히 의존적이고, 클래스 상으로 명확히 구별하기 어려운 데이터가 발생할 시 업데이트 성능이 저하될 수 있다는 점이 한계점으로 판단되었다.

[녹화 영상 링크]
https://us02web.zoom.us/rec/share/sbQ-e9q9DvGlGT6GVVMIXRBBYScqBNC2139XSOyj1MP8rRCOsGLyx8Yb_7cHQg5L.nY2rljlSH1e03F6x?startTime=1736827490000