Inception V4 는 기존의 Inception 아키텍처를 활용하여 더 넓고 깊은 구조로 성능을 향상시키는데 성공하였습니다. 또 Inception 과 ResNet 아키텍처를 혼합 하여, 잔차 연결을 Inception구조에 도입하여, 성능 향상 및 수렴 속도를 좀 더 빠르게 만들어주었습니다.
본 논문에서는 Inception 아키텍처와 ResNet을 결합하였을 때 최적화 과정에서 나타나는 학습의 불안정성을 해결하기 위해 Learning rate 수정과 같이 다양한 시도를 하였고, 최종적으로 Residual Connection 이전 Activation Scaling을 적용하여 이를 해결하였습니다.
추가로 Pure Inception 모델들과  Inception Resnet 모델들을 모델 규모에 맞춰 비교 분석을 진행하였고, 필수적이지는 않지만 data의 다양성, 일반화 성능에 대한 평가를 위해 Number of Crop에도 변화를 주어 실험 분석을 하였습니다.
Inception-ResNet에서 Pure Inception model보다 더 나은 수렴속도를 확인하였고, 또 Model size에 따른 성능 차이 또한 확인 할 수 있었습니다.
마지막에 실험에 적용할 실험 변수들이 다양해지면서 결과 해석 측면에서 어렵게 느껴졌던 논문이었으나 Pure inception, Inception-Resnet에 대해 잘 나눠서 설명해주시고, Number of Crop등을 잘 풀어서 설명해주셔서 쉽게 이해할 수 있었습니다. 좋은 발표 감사합니다 :)
- 장효영 -

지난주 발표해 주셨던 Inception v2, v3의 후속 모델 Inception v4와 Inception-ResNet에 대한 논문이었습니다. BN, LSR, RMSProp, BN-auxiliary 등 Inception v3에 추가된 구조를 제거하고, Inception만을 사용하여 새로운 아키텍처를 설계하고 성능을 높인 부분이 인상 깊었습니다. 또한, instability 문제를 해결하기 위해 간단한 Scaling of the Residuals 방법으로 문제를 해결하는 부분도 인상 깊었습니다. 지난번 ResNet의 residual-connection, 이번 Inception의 scaling 등 간단한 아이디어로 문제를 해결하는 부분이 참 놀랍다고 느껴집니다. 개인적으로 Inception v3에서 v4로 넘어오며 제거되었던 BN, LSR, BN-auxiliary 등의 개념을 Inception v4와 Inception-ResNet에 추가한다면 모델 성능이 어떻게 변화할지 궁금합니다. 좋은 발표 감사드립니다.
-김주혁-

inception v1~v3의 뒤를 잇는 inception v4와 inception-ResNet에 관한 논문이었습니다. inception v2,v3는 GoogleNet의 복잡한 구조를 단순화하고 computing cost를 줄이기 위해 고안된 방법이었는데, inception4에서는 이들이 deep&wide 구조로 이루어져 있다는 점에 의문을 품고 이를 개선하려 했습니다. DistBelief나 Tensorflow의 등장으로 과거 불가능했던 더욱 단순화된 구조가 구현 가능해졌고, 분할학습과 분산학습을 통해 더 많은 inception과 단순화된 구조라는 결과를 얻을 수 있었습니다. 다만 v3까지 존재했던 BN, LSR, BN-auxiliary 등의 개념은 삭제된 것으로 보입니다. inception-ResNet은 inception v4와 구조가 비슷하지만 pure inception blocks 구간에서 차이를 보이는 점이 인상적이었습니다. 해당 논문의 모델 구조에 대한 설명이 친절한 편이 아니라 발표 준비하시는데 고생이 많으셨을 것 같습니다. 좋은 발표 감사드립니다.
-황승택-

CNN 아키텍처 중 하나인 inception-v4는 이미지 분류와 인식 작업을 위해 설계되었으며 구글에서 개발한 Inception 아키텍처의 확장형입니다. 해당 모델은 단일 레이어 내에서 다양한 필터의 크기를 혁신적으로 사용하여 여러 규모의 영역을 캡처하고 계산 복잡성을 효율적으로 줄이는 것을 목표로 설계되었습니다.
또한 inception-resnet은 inception과 resnet의 아이디어를 결합한 CNN 구조로, 두 아키텍처의 장점을 활용하여 높은 정확성과 훈련 비용 측면에서 더 나은 성능을 보여주는 아키텍처입니다. 해당 아키텍처는 residual block 개념을 활용하여 Gradient vanishing 문제를 해결하였고, 이를 통해 깊은 네트워크를 훈련하는 것을 가능하도록 하였습니다.
마지막으로 해당 논문에서 사용된 복잡한 개념들을 이해하기 쉽게 풀어주셔서 해당 논문 리뷰에 큰 도움이 되었던 것 같습니다. 좋은 발표 감사드립니다.
-김지훈-

Inception v1 ~ v3의 다음인 Inception v4와 Inception-ResNet에 대한 논문이었습니다.
Inception-v4는 Inception 신경망을 좀 더 효과적으로 넓고 깊게 만들기 위해서 노력하였고, Inception-v3보다, 더 많은 Inception 모듈을 사용하면서도 단순하고 획일화 된 구조라는 내용을 알게되었습니다. 
Inception-ResNet은 Inception-v4에 residual connection을 결합한 것입니다. Inception-ResNet과 Inception-v4와 비교 결과 학습 속도가 빠르게 상승하면서 Inception-v4 보다 성능이 비교적 좋다는 것을 실험을 통해서 알게되었습니다. 하지만, 모든 데이터셋에서 일반화가 가능한지는 의문입니다.
또한, Fliter의 수가 1000개 초과시 Inception-ResNet instability가 발생할때 문제를 해결하기위해서 Learning rate 조절보다는 Scaling를 조절하는게 유용하다는 사실이 인상적이었습니다.
해당 논문의 내용이 어려웠으나 차근차근 설명해주셔서 논문을 리뷰하는데 수월하였습니다. 좋은 발표 감사드립니다.
-김상수-

지난 주 Inception v2,v3에 이은 Inception v4, Inception-ResNet에 대한 논문이었습니다.
Inception v4는 기존 DistBelief로 분할 학습을 해야했던 한계를 Tensorflow를 이용하여 분산처리방식으로 바꾸어 Simplified Architecture 구현이 가능해 졌습니다.
Residual Inception에서는 ResNet에서 소개되었던 Residure connection 개념을 추가하여 Residual Inception Blocks를 추가하였고, 그 결과 Inception-ResNet은 Inception v4보다도 빠른 학습 수렴 속도를 보여주었습니다.
세미나 시간에 따로 다루지 않았던 Inception v1, 지난주에 다뤘던 Inception v2, v3에 대해 간단히 설명을 하고 시작해 주셔서 이해하는 데 훨씬 수월했던 것 같습니다.
좋은 발표 감사드립니다.
-윤성호