• 목록

[일시] 2026.03.03

[세미나 주제] Seeking Flat Minima: Sharpness-Aware Minimization

[발표자] 장도영

[요약]
현대 머신러닝의 Overparameterization 모델은 Training Loss가 낮더라도 일반화 성능이 보장되지 않는 문제를 겪습니다. 본 논문은 Loss Landscape의 기하학적 구조와 일반화 능력 사이의 상관관계에 주목하여, 손실값과 손실의 날카로움(Sharpness)을 동시에 최소화하는 SAM(Sharpness Aware Minimization) 알고리즘을 제안합니다

SAM은 단순히 낮은 손실값을 갖는 지점을 찾는 대신, 주변 영역의 손실이 균일하게 낮은 평탄한 영역을 찾습니다. 이는 파라미터 미세 섭동에 강인한 지점을 선택함으로써 일반화 성능을 높입니다. 이를 위해 주변부에서 손실을 최대화하는 최악의 섭동을 먼저 찾고, 해당 지점에서의 기울기를 이용해 본래 파라미터를 업데이트하는 2단계 구조를 가집니다.

실험 결과, SAM은 CIFAR-10/100, ImageNet 등 주요 벤치마크에서 기존 최고 성능을 경신했으며, 특히 레이블 노이즈에 대한 강인함을 입증하였습니다.

Q: 논문상의 Figure 2에 해당하는 등고선 다이어그램에 나타난 식은 무엇을 의미하나요?
A: 정해진 p 만큼 이동하기 위한 수식으로, 현재 가중치에서의 기울기 벡터를 그 크기로 나누어 방향벡터로 만들고, 설정한 반경 p를 곱한 형태입니다.


[관련논문]
- Sharpness-Aware Minimization for efficiently improving generalization

[녹화영상]
https://us06web.zoom.us/rec/share/w_KeirmEHswveSbMBzp8ehP1qfmhqYRnb7sm0pWd-Tk6cpLDRGecu2swST8IetnB.3UXx0wbpgXfmUooy