• 목록

[일시]
2025.01.21

[세미나 주제]
TTT and its Limitation

[발표자]
장유나

[요약]
본 발표에서는 Test time training의 컨셉을 제안한 기법과 해당 기법의 한계점을 짚으면서 TTT++ 기법을 제안한 논문에 대해서 소개한다. Training 데이터로 훈련된 모델은  test time에서 서로 다른 distribution에서 오는 data를 마주했을 때에 적절한 모델 성능을 보이지 않을 수 있다는 한계점을 갖고 있다. 이러한 문제점을 해결하기 위해서 test time의 데이터에 대해서 학습하고 적절한 결과를 낼 수 있는 연구 방식론이 제안되었다. image classification 과 같은 main task와 별개로 data 의 distribution을 학습할 수 있는 self supervision auxiliary task를 수행하여 label 이 없는 test 단계에서는 auxiliary task를 통해서 학습한다. 하지만 main task와 auxiliary task 간의 상관관계가 높지 않은 상황에서는 오히려 TTT의 기법이 성능 악화를 보일 수 있다는 점에서 이를 해결하는 feature alignment 기법을 제안하는 TTT++ 연구가 제안되었다. 또한 self supervision task로 contrastive learning을 적용해 성능을 개선할 수 있는 방식론을 제안하여, Test time training의 문제를 해결하면서 개선된 성능을 보일 수 있게 되었다. 추가적으로 training을 적용하는 것이 아닌 adaptation의 관점으로 근본적인 문제를 해결하고자 하는 연구들이 등장하고 있어, 이에 대해 주목할 필요가 있다고 보여진다.

[Q&A]
- online moment matching에서 적용된 dynamic queue의 연산이 어떻게 수행되는가?
: 테스트 시점에서 feature vector의 일부 batch를 포함하는 dynamic queue를 구성하도록 한다. 이러한 과정은 update된 representation에 대한 marginal distribution을 고려할 수 있도록 한다.
이 외에 더 자세한 방식에 대한 언급은 되지 않는다.
- online moment matching에서 batch queue가 어떻게 설정되어 실험이 진행되었는가?
: 자료에 포함되지 않은 내용이었는데, batch queue는 64로 설정되었으며, ablation study로 진행된 실험에서 queue를 적용하지 않은 상황에서 batch size를 키울 때보다 64의 batch queue를 통해 사이즈를 키우는 경우에 성능이 개선되는 것을 확인할 수 있다. (해당 내용은 자료 Appendix로 추가 완료)
- Contrastive Learning을 적용하였을 때 main task와 auxiliary task 간의 관계를 어떻게 정량화할 수 있는가?
: 기존 TTT의 연구에서 사용된 Self supervision task인 rotation prediction task에 대해서 본 연구는 SimCLR의 방식론을 접근하여 대체했다고 설명하고 있다. 이때 rotation에서 적용된 augmentation 데이터를 기반으로 positive sample과 negative sample을 분리하여 연산하는 기법을 적용하여, rotation prediction의 과업과 image classification간의 상관관계를 데이터 간의 contrastive loss를 적용하도록 한다.

[관련 논문]
- Test-time training with self-supervision for generalization under distribution shifts
- Ttt++: When does self-supervised test-time training fail or thrive?

[녹화 영상]
https://us02web.zoom.us/rec/share/aW47SpTMtnWOewkltQDduqkwg7posJfzdaGwVYOpoxO_Ib6j1zwhb2wDkY0U49or.1QmVTycqdImUJ7YZ?startTime=1737432240000