• 목록

[일시]
2024.09.23

[세미나 주제]
cs231n Lecture 6 | Training Neural Networks 1

[발표자]
김정년

[요약]
본 강의 리뷰는 Neural Networks의 Training 과정에 대한 설명이다. Activation Function은 input data를 다음 layer에 전달하는 역할을 한다. 본 강의에서는 6개의 activation function을 소개하였으며, 각각의 장단점을 설명하였다.
그 중 ReLu는 가장 자주 사용되는 Activation Function이며, Positive에 대한 saturated하지 않고 max함수만을 사용하여 학습 속도가 빠르다는 장점이 있다.
Data Preprocessing는 학습 전 데이터를 정제하는 과정으로 zero-centered, nomalization이 있다. Image data를 다룰 때에는 Zero-centered만 보통 사용되며, image 자체는 (0,255)라는 틀이 있기 때문에 nomalization을 많이 사용할 필요는 없다.
Weight Initializtion은 가중치는 초기화하는 과정으로 본 강의에서는 Small or large random numbers는 각각의 문제점이 있다. 따라서 본 강의에서는 선형적인 case에서는 Xavier initialization, 비선형적 case에서는 He initialization을 소개한다.
Batch Normalization은 일반적으로 FC or Conv layer 뒤에 적용되며, Mini Batch 단위로 정규화를 수행하여, 데이터의 편향을 줄일 수 있다.

[녹화 영상 링크]
https://us02web.zoom.us/rec/share/cK-V3WuzLHx9X4ts42Z_hokuBQ4woG3sYARyAtHQqO_dkdTQl6RjDBMg1GedSvKH.C_zFms63rmSXO0hX?startTime=1727094344000
암호: aiaas2024!