• 목록

발표일 : 2023년 8월 10일

발표자 : 정종민

제목 : A Simple Framework for Contrastive Learning of Visual Representations

요약 : 해당 논문에서 제안하는 simCLR이라는 framework는 벡터값으로 표현되는 데이터 포인트의 positive pair는 더 가깝게, negative pair는 더 멀게 표현하도록 학습한다. 이를 통해 보다 효율적인 Contrastive Learning의 visual representation이 가능하다.

Supplement
1.Tabular data set에 대한 simCLR 모델 적용 여부
simCLR이 일반적으로 computer vision 분야에 많이 사용되지만 유사한 데이터 포인트를 더 가깝게 표현하도록 학습한다는 점에서, tabular 데이터에도 적용이 가능하다.
이때, 표준화, 정규화 등의 데이터 전처리를 하고, 각 데이터 포인트를 벡터로 표현한 후 데이터 포인터들을 positive,negative pair로 구성하는 과정을 거친다.

2.Cosine similarity의 한계점 여부
simCLR은 두 벡터 사이의 각도를 기반으로 유사도를 측정하는 cosine similarity를 사용한다. 이는 데이터의 분포를 고려하거나, 벡터의 방향이나 패턴이 더 중요한 경우 적절하다. 그러나 cosine similarity의 한계점은 데이터 간의 거리 정보를 완벽하게 표현하지 못하는 것이다. 또한 벡터의 길이가 유사도에 영향을 미치는 경우 단순히 방향만을 고려하다보면 벡터의 크기 차이가 큰 경우에 문제가 될 수 있다. 이러한 한계를 극복하기 위해서는 적절한 정규화나 벡터 길이의 보정이 필요하다.