• 목록

[일시]
2024.07.18

[세미나 주제]
Out-of-Distribution Detection using Vision-Language Model

[발표자]
강지연

[요약]
본 발표는 멀티 모달리티 기반의 Vision-Language 모델을 활용한 Zero-shot Out-of-Distribution Detection 방법을 제안하고 있습니다.
OpenAI에서 개발한 CLIP(Contrastive Language-Image Pre-training)을 베이스 모델로 사용하여 기존의 단일 모달리티 방식에서 벗어나 text의 특성을 이용한 OOD Detection을 진행합니다.
OOD 데이터를 검출하는 방법으로 Maximum Concept Matching(MCM) score를 사용하고 있는데 이는 여러 작업에 일반화가 가능하며 OOD 입력에 대한 사전 정보가 필요 없다는 장점이 있습니다.
또한 softmax 스케일링이 zero-shot OOD Detection에 긍정적인 효과를 미친다는 것을 실험을 통해 입증하였습니다.

[관련 논문]
- Delving into out-of-distribution detection with vision-language representations
- Learning transferable visual models from natural language supervision
- Exploring the limits of out-of-distribution detection

[녹화 영상 링크]
https://us02web.zoom.us/rec/share/4LqkpGT_06MlEZNd3WAi02lVrtfSOOT2UbMmYKiSjZWsqOY2Mv6JzTlJgszNmll2.3mKBRqcWJeTmrtRV