• 목록

일시 : 2023년 7월 20일

발표자 : 이유진

제목 : A cookbook of self-supervised learning

요약: self-supervised learning에 대한 관련된 연구 및 taxonomy에 대해 전체적인 연구 흐름을 소개하였습니다. self-supervised learning을 크게 4개의 카테고리로 나누어 분류하였고, 각 분류된 model들을 요약하였습니다. 또한 SSL을 잘 학습하기 위한 tip에 관련된 내용을 정리하였습니다. 발표를 준비한 이 논문은 전반적인 SSL의 흐름 및 많은 내용들이 작성되어 있기에 SSL의 기초가 되는 논문이라고 생각합니다. 모두 한 번 이 논문을 읽기를 추천 드립니다. 감사합니다 !

추가 내용 :
- projector 개념
: Projector는 학습된 모델의 특성 벡터(feature vector)를 시각화하는 데 사용됩니다. Projector는 학습된 모델의 특성 벡터(feature vector)를 시각화하는 데 사용됩니다. n 차원 인풋을 m 차원으로 보내주는 역할을 한다고 생각하시면 좋을 것 같습니다.
- regularization term을 추가해도 unbalanced 문제를 해결하는 것이 아니라 일반화에 대한 부분을 반영하는 것인데, 어떻게 반영하면 좋을지
: SSL을 학습할 때, unbalanced data에 대해서 성능이 약하게 나오는 문제가 발생합니다. 이 문제를 해결하고자 최근 SSL의 하나의 방법인 MSN에 regularization term을 추가하여 문제를 완화하고자 하였습니다. 그렇지만 질문처럼 이렇게 되면 unbalance에 초점이 맞춰진 것이 아닌 일반화에 대해 반영하게 되는 것이라고 생각합니다. 그래도 하나의 클래스에 초점이 맞춰지는 문제를 일반화 성능을 향상하면서 조금은 도움이 될 것이라고 생각하고, regularization term 추가뿐만 아니라 데이터 샘플에 대한 weight를 고려해보면 좋지 않을까 생각했습니다.
- Oracle에 대한 설명
: SSL의 성능을 향상하는 방법 중에서 augmentation의 noise에 초점을 맞춰 projector를 사용하는 것이 SSL 학습에 효과적이라는 실험 결과를 설명해 드렸었는데, projector와 oracle을 비교하였습니다. 여기서 말하는 oracle은 제 생각으로는 레이블이 지정된 대규모 데이터 세트를 사용하여 사전 학습된 모델을 의미합니다. Oracle로 사용되는 전체 지도 학습으로 사전 학습된 모델의 지식을 활용하여 SSL 모델을 사전 학습할 수 있습니다. 예를 들어, oracle로부터 추출한 특성을 사용하여 SSL 모델을 초기화하거나, oracle의 지식을 포함한 정보를 보조적으로 사용하여 SSL의 학습에 활용할 수 있습니다.
- SimCLR에 대한 설명
: SIM CLR은 ResNet 아키텍처 기반 convolutional network 변형을 사용하여 이미지 representation을 계산합니다. 그 후에 MLP와 같은 네트워크를 사용하여 이미지 representation의 비선형 투영을 계산합니다.
- InfoNCE loss와 SimCLR loos function의 차이
: InfoNCE loss와 SimCLR loss function의 차이점은 InfoNCE loss는 contrastive learning에서 base loss function으로 사용되고 있습니다. SIM CLR는 InfoNCE loss를 사용하여 자기 지도학습 모델을 학습하는 방법입니다. 즉, SIM CLR는 InfoNCE loss를 활용하여 Contrastive Learning 기반의 비지도 학습 모델을 구현한 것이라고 볼 수 있습니다.
- VICReg, image와 text와 같이 다른 데이터셋에 대해서도 적용이 가능한지
: VICReg모델은 image와 text와 같이 다른 데이터 세트에 대해서도 적용이 가능합니다. VIC REG를 제안한 논문을 확인해보니 image to text와 같은 실험을 진행한 것을 확인할 수 있었습니다.