• 목록

[일시]
2024.09.30

[세미나 주제]
cs231n Lecture 10 | Recurrent Neural Networks

[발표자]
김정년

[요약]
본 강의 리뷰는 Recurrent Neural Networks(RNN)에 대한 설명이다. RNN은 recurrent core cell을 통해 입력 x를 fixed function을 사용하여 input vector와 output vector를 결합하여 새로은 state vector를 만들어냅니다.
이런 방식으로 RNN은 네트워크가 다양한 입출력을 다룰 수있게 해줍니다.
RNN의 Backpropagation은 Truncated Backpropagation을 사용하여 일정한 sub sequence에서만 backpropagation을 하게됩니다. 이를 통해 연산량을 줄일 수 있습니다.
RNN에서는 backprop과정에서 가중치가 중복 계산되기 때문에 문제가 발생하며 이를 해결하기 위해 LSTM이 제시되었습니다.
LSTM의 총 4개의 gate를 이용하며, backprop과정이 단순 연산으로 계산되며, uninterrupted하게 진행됩니다.

[녹화 영상 링크]
https://us02web.zoom.us/rec/share/vaq_ILx-nMGHU_2DcDy4as1bkcDIpE2c--i4hgJw6L96jcTEHXJQkpCTRP7dha8.Z7MoiivFSwhz5csJ?startTime=1727699325000
암호: aiaas2024!

[강의 자료]
https://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture10.pdf