ResNet은 기존의 딥러닝이 가지고 있던 고질적인 문제인 layer를 많이 쌓을 수록 Optimization이 어려워진다는 단점을 해결하기 위해 고안되었습니다.
이런 Degradation problem을 해결하기 위해 ResNet block, Shortcut connection 등의 기법을 보여주었고, 이러한 connection 사이의 dimension 차이가 있는 경우를 위한 projection 방식도 소개되었습니다.
또한 layer를 깊게 쌓음과 동시에 computational cost를 줄이기 위해, 1*1 conv를 사용하여 연산량을 줄이는 bottle neck architecture에 대한 내용도 소개되었습니다.
paper의 실험에서는 plain network와  ResNet구조를 여러 layer의 개수로 나누어 각각 실험을 진행하였고, Degradation Problem을 해결하며 다양한 task에서 범용적으로 활용도가 높은 모델임을 확인하였습니다.
비교적 간단한 구조를 통해 Converge를 돕고 Gradient Vanishing 문제를 해결하는 ResNet을 기반으로, 많은 Architecture들이 더 깊고 성능 좋은 네트워크를 만들 수 있게 되었다는 초석이 되었다는 점에서 큰 의미가 있는 논문이라고 생각됩니다.
좋은 발표 진행해주신 준현님께 감사의 인사를 전하며 후기를 마치겠습니다. - 신규철

기존의 딥러닝 기반 아키텍처에서 레이어가 깊어짐에 따라 나타날 수 있는 Degradation problem이라는 새로운 측면의 문제점을 밝혀내며, 기존의 레이어 구조에 Identity mapping, Shortcut connection 적용하는 간단한 메소드를 통해 최적의 솔루션을 도출해냈다는 것이 매우 인상적이었습니다.
50개이상의 레이어를 적용했을 때에 대해 발생할 수 있는 계산적인 문제들도 Bottle-neck 구조를 적용함으로써 성능 향상에 대한 계산 효율까지 고려한 좋은 모델이라고 생각됩니다. 
152개의 레이어들까지도 layer가 깊어짐에 따라 성능이 향상되었음을 확인하였으며, Classfication, Object detection등 여러 task와 다양한 데이터 셋들에 대해서도 기존의 SOTA보다 더 좋은 성능이 도출됨을 실험을 통해 확인 하였습니다.
Inception 모델에 Identity mapping 구조를 적용하면서 적은 Epoch에도 좋은 성능을 냈음을 확인하였고, Degradation 문제 뿐만 아닌 최적화적인 측면에서도 효과적인 솔루션이었음을 밝혔습니다. 이를 통해 다양한 Convolution layer 아키텍처들에도 적용해 볼 수 있음을 시사하였습니다.
좋은 발표 감사합니다! :)
-장효영-

딥러닝에서 Degradation problem이라는 문제 정의와 함께, 이 문제를 해결하기 위한 Identity mapping을 도입한 것이 인상적인 논문이었습니다. Residual mapping, Shortcut connection 등 입력을 출력에 더하는 구조는 ResNet뿐만이 아닌 다른 모델에서도 흔히 볼 수 있는 구조인데, 자주 사용되는 이러한 구조의 기초적인 내용을 잘 설명해 주셔서 좋았습니다.
또한, 깊은 layer의 연산량을 감소시키기 위해 도입된 bottleneck layer에 대해 새로 알게 되었습니다. 발표에서, 동일한 출력 크기에서의 연산량 차이를 직접 설명해 주시는 부분이 매우 인상 깊었습니다.
간단하지만 효과적인 아이디어로 모델 학습의 많은 부분을 향상시켰다는 것 자체로 굉장히 의미 있는 논문인 것 같습니다. 좋은 발표 감사드립니다.
-김주혁-

ResNet은 layer가 깊어짐에 따라 발생하는 기존 DNN model의 고질적인 문제를 간단한 메커니즘을 통해 해결했던 점이 ResNet이 가지는 혁신이라 생각됩니다. Identity mapping, Shortcut connection의 적용과  undimension matching을 해결하는 projection 기법 등이 소개 되었습니다. 특히, ResNet은 Optimization 측면에서도 접근했는데, layer 깊이에 따른 서로 다른 Architecture 즉, bottle neck의 도입으로 뛰어난 성능과 더불어, 효율성 또한 증진 시켰습니다.
또 layer의 극단적인 깊이에 대해서 오히려 overfitting으로 인한 성능 감소를 야기했습니다. 즉, layer를 단순히 많이 쌓는 게 global한 solution이 되지 않는다는 점을 시사했습니다. 어떻게 보면 depth에 대한 기존 DNN model의 문제점을 완벽하게 해결할 수는 없다는 점이 ResNet을 비롯한 DNN의 한계이나, optimal한 local solution 제공해 줬다고 생각됩니다. 그렇기 때문에 현재까지도 ResNet 기반의 Architecture가 강건하게 사용되고, 그만큼 핵심적인 내용을 가진다는 점에서 의미 있는 논문이라 생각합니다.

양질의 논문과 뛰어난 발표로 많은 점을 배울 수 있게 해주신 준현님께 감사드립니다!
- 윤서환

기존 딥러닝 모델에서 layer가 깊어질수록 degradation 문제가 발생하여 오히려 에러율이 높아지던 문제가 있었습니다. 이러한 문제를 기존에 y값을 예측하던 함수 H(x)에서 잔차를 계산하는 mapping 함수 F(x) 를 구하는 방향으로 전환하여 그 값을 최대한 0으로 적합 시키는 기법을 사용한 것이 인상적이었습니다. 마치 수학에서 변수 값을 쉽게 구하기 위해 우항을 0으로 만들고 해를 구하던 방식이 연상 되면서 생각해 볼 만 한 방법이면서도, 직접 구현에 성공시키기 위해 shortcut connection, identity mapping, projection 기법 등을 추가한 점이 정말 대단하다는 생각이 들었습니다. 기존 모델에 비해 훨씬 깊은 층을 쌓을 수 있다는 점도 인상 깊었습니다.
그리고 이론적으로만 이해하기는 힘드니 발표자 님께서 bottle neck 관련 예제를 준비해서 직접 original block과 연산량을 비교해주신 점이 매우 감사했습니다. 좋은 발표와 다른 연구생 분들의 좋은 질문들 아주 유익한 시간이었습니다. 감사드립니다.
-윤성호

Resent를 “shortcut connection(skip connection)을 통해 layer가 깊은 모델에서 학습률을 높인다.” 정도로만 알고 있었습니다. 이번 리뷰 발표를 통해 구체적인 내용, motivation과 연구의 방향성을 알게 되어 얻어가는 게 많은 발표였습니다.
이전 학습된 X를 학습할 F(X)에 더해주어 H(X)의 수렴을 쉽게 해준다는 간단한 아이디어만으로 정확도를 유의미한 정도로 끌어올린다는 점이 인상 깊은 연구라 생각합니다. 또한 1*1 con을 이용한 bottleneck architecture를 통해 연산량을 상당히 줄일 수 있다는 점도 크게 기억에 남습니다.
마지막에 Inception 모델과 비교하여 resent를 사용하면 수렴 속도 향상에 도움을 준다는 점을 통해 다른 모델에도 충분히 접목하여 이점을 가져다줄 수 있다는 점도 흥미로웠습니다.
좋은 발표 잘 들었습니다.
-  송인섭

여러 layer를 중첩시킬 수록 오히려 error rate가 높아지는 degradation problem이 존재한다는 것을 처음 알게 되어 흥미로웠던 논문이었습니다. short cut이나 Bottle neck architecture는 관련 교양에서 지나가 듯 배운 적 있어 알고는 있었는데, 이번 논문 리뷰를 통해 자세히 알 수 있는 기회가 됐던 것 같습니다. 결국 ResNet은 많은 layer의 중첩 시 발생하는 에러율 증가를 어떻게 하면 줄일 수 있는 지에 대한 연구인데, H(X) = F(X) + X 라는 비교적 간단한 치환을 통해 H(X)의 수렴을 쉽게 했던 점, 또 3x3 conv layer 2개를 1x1, 3x3, 1x1 conv layer로 바꿔 computing cost를 줄이는 방법이 인상적이었습니다. ResNet 이후로 더 발전된 형태의 모델들이 여러 개 나타난 것으로 알고 있는데, 완성도가 높은 ResNet을 기반으로 하였기에 좋은 성과가 있지 않았나 생각이 듭니다.
ResNet에 대해 알 수 있는 좋은 시간이었습니다. 훌륭한 발표 감사합니다.
-황승택

금일 세미나 영상자료를 첨부합니다. 왜 skip connection 구조를 가져오는 것이 residual(잔차)라는 개념으로 이해해야 하는지, 그리고 더 깊은 학습모델에 왜 skip connection이 필수적인지 잘 설명해주었습니다. 수고 많았습니다.

https://us02web.zoom.us/rec/share/aaHlf8dNeGMasA84M6zCOC-Qsn8hhhjd1-icrE1j5ATTem4CKOzgiqb7ApwfQg8P.qHYavuaicXA9nPap
암호: 1$6UQfgL