• 목록

[일시] 2024.02.16

[세미나 주제] Linear Algebra and Optimization for Machine Learning: 6. Constrained Optimization and Duality

[요약]
제약 조건을 충족하는 영역에서 최적의 솔루션을 찾아야 하는 Machine learning task에서 제약된 최적화를 다루는 대표적인 방법들인 경사하강법, 좌표하강법, 라그랑지안 완화법들에 대하여 소개하였으며, 경사 하강법은 최적화 문제의 가장 일반적인 형태로서 주로 Convex structure를 가진 최적화 문제에서 잘 작동한다. 좌표하강법은 다변수 최적화 문제를 연속된 일변량 최적화 문제의 시퀀스로 줄이는 방법론을 설명하고 즉 한번에 한변수씩 최적화를 수행하는 구조로 단순화 시킨 방법론이다. 라그랑주 완화법은 복잡한 최적화 문제에서의 제약 조건을 완화하고 목적 함수 내의 제약조건에 대한 위반에 페널티를 부여하는 방식으로 진행되며, primal problem과 dual problem간의 Duality 개념을 바탕으로 weak duality와 strong duality를 설명하였다. 

[녹화 영상 링크]
https://us02web.zoom.us/rec/share/n-yxy7yDyPvJOyy-bzTa8LFhfOv6JApoUAzUl2mCOF0PrvCC28LigDvd0EteLnSr.E5oepRxubNMPB_1I?startTime=1708056401000