• 목록

[일시] 2024.01.11

[세미나 주제] Self Supervised Representation Learning

[요약]
데이터 구축 획득의 어려움과 데이터 구축 시 human error 등 labeled data를 활용한 지도학습의 한계점을 해결하기 위한 기법 중 하나인 자기지도학습에 대한 전반적인 흐름을 다루었다. 특히, 지도학습은 labeled data 수량에 logarithmic하게 성능이 증가하는 반면 실험적으로 자기지도학습의 경우 unlabeled data임에도 불구하고 logarithmic하게 증가한다는 점에서 모델의 지속적인 성능향상이 기대될 수 있는 학습기법에 해당한다. 자기지도학습을 위해서는 데이터 자체에 대한 이해도를 높이기 위한 pretext task에 대한 설계가 매우 중요한데, 대표적인 pretext task인 masked prediction, transformation prediction, instance discrimination, clustering에 대해 알아보았다. 특히, transformation prediction을 활용하여 학습시킨 feature extractor를 classification task에 적용시킨 RotNet의 경우 class label을 갖고 있는 labeled data로 학습시킨 모델의 attention map과 transformation prediction pretext task로 자기지도학습 후 classification task로 전이시킨 모델이 유사한 위치를 focusing한다는 점에서 자기지도학습 기법의 유효성을 확인할 수 있었다.

[참고 논문]
- Self-Supervised Representation Learning

[녹화 영상 링크]
https://us02web.zoom.us/rec/share/oMiPo7xw_Qi2lkN4BCLSPsVxhJvV3uoPCahlGlOk0hMJaNKXY-9-R4MRg7TDrpX7.urTQnf4TYl9DwIw-