• 목록

[일시]
2024.10.07

[세미나 주제]
Self-supervised learning : Contrastive learning

[발표자]
김정년

[요약]
self-supervised learning에서 contrastive learning을 소개한다. contrastive learning은 각각의 데이터의 증강을 통해 positive pair끼리는 가깝게 negative pair끼리는 멀게 위치시키며 학습하는 방법이다. 본 발표에서는 4가지의 contrastive learning을 소개한다. 첫번째로 SimCLR은 기본적인 contrastive learning의 구조를 제안하였으나, negative sample의 수가 많을수록 성능이 좋아지기때문에 batch size의 크기가 커야한다는 한계가 있다. 두번째 MoCo는 negative sample을 보다 효율적으로 사용하기 위해 momentum encoder를 사용하여 dictionary 구조를 이용해 negative pair를 조절한다. 세번째 BYOL은 negative sample을 사용하지 않고 positive sample만을 사용하며, semi-supervised learning의 Teacher-student model 구조와 비슷하며 EMA를 통해 모델을 업데이트한다. positive pair만을 사용하여 batch-size와 data augmentation에 좀 더 강건한 성능을 보인다. 네번째는 SimSiam으로 BYOL과 거의 동일한 구조이지만 두 개의 online과 target의 encoder를 동일한 encoder를 사용한다.

[관련 논문]
- A Simple Framework for Contrastive Learning of Visual Representations
- Momentum Contrast for Unsupervised Visual Representation Learning
- Bootstrap your own latent: A new approach to self-supervised Learning
- Exploring Simple Siamese Representation Learning

[녹화 영상 링크]
https://us02web.zoom.us/rec/share/y6yYozt7s7LOHikEDb9-cMKitmu2y4RjQThxyCceJyvrfDp4B4kjVzHrFSvIM_kg.MdIKC6JBJvKYBG_j