• 목록

[일시] 2025.01.21

[리뷰 논문] Normalizing Flows for Human Pose Anomaly Detection

[요약]
본 논문은 기존 재구축/예측 기반 비디오 이상탐지에서 높은 일반화 성능으로 인해 나타나는 재구축 에러의 한계점과 RGB 데이터를 활용했을 때의 문제점을 언급하며, 연속적인 Human pose에 Spatio-Temporal한 Normalizing flow와 Graph Convolution Network를 활용한 접근법을 제안하였다.
연속적인 pose sequence에 대해서 시간/공간적 골격 keypoint들을 함께 고려하여 계산하였다.
또한 여기서 활용한 Normalizing flow는 복잡한 데이터 분포를 일련의 가역적이고 미분 가능한 변환을 통해 표준분포로 정규화하는 생성모델을 말한다. 본 연구는 이러한 Normalizing flow의 인코더 과정을 분포 변환에 활용하였고, 이를 통해 입력공간과 잠재공간 간의 매핑 함수를 학습하여 정상과 비정상 pose에 대한 고유 특성을 처리하였다.
실험적으로 지도학습/비지도학습에 해당하는 두 데이터 셋에 적용하여 SoTA를 입증하였고, 다양한 환경에서 오직 포즈에만 집중함으로써 강건한 성능을 나타내었다.
다만, 실험에 사용된 데이터가 두 가지로 한정적이고, 상수로 고정된 프레임 내에서 객체가 사라졌을 시, 이는 어떻게 처리될지에 대해 의문이 들었다. 또한 자세 추정기에 의존적이기 때문에 occlusion이 발생했을 시에 대한 처리 방법 또한 필요된다고 생각되었다.

[녹화 영상 링크]
https://us02web.zoom.us/rec/share/XWGKdx2CybiQRvNPrpbutiDTObbZB-tq0p03tiGkosTiVdx0JQe1kr_Ce7YQMQ.ay12Kz5IdebAMemX

[Q&A]
Q : Normalizing flow의 당위성, 그리고 flow-step의 K가 8인 이유
A : 우선 Normalizing flow에 대해 복잡한 데이터 분포를 표준분포로 정규화하여 매핑하는 매핑 함수를 학습하는 것을 본 연구에서는 메인 기여점으로 상정하였고, 이러한 과정을 통해 기존 재구축 오차를 활용한 재구축 기반 방법론에서 비정상 데이터도 정확히 구현하는 일반화 문제를 해결하고자 하였습니다.
Normalizing flow는 정상 데이터의 분포를 명시적으로 학습하여, 정상 데이터는 높은 확률로, 비정상 데이터는 낮은 확률로 모델링하는 구조로 좀 더 복잡한 고차원 데이터를 효과적으로 처리할 수 있다는 장점으로 활용되었다고 생각됩니다.
추가로 flow-step의 K가 8인 이유는 논문에서는 구체화되지 않았으나 실험적으로 정확도와 효율성을 고려해서 설정했을 것으로 추축됩니다.

Q : 만약 객체가 하나있을 시, 이상탐지가 불가능하지 않나요
A : 우선 발표 과정에서 미처 잘못 전달 드려 죄송합니다. 본 nf는 하나의 포즈 시퀀스를 하나의 데이터 포인트로 임베딩하는 것이 아닌 그래프 모델링된 각 개별 키포인트의 공간적 시간적 패턴 정보가 통합된 상태로 분포에 나타납니다. 따라서 하나의 객체가 정상에서 이상으로 향하는 행동을 수행했을 시 이는 이상 데이터 분포로 간주될 수 있습니다.

Q : 만약 비디오 중간에 객체가 사라질 시 주변 객체들과 채널 수가 달라져 모델이 학습이 불가능할 것으로 생각되는데
A : 본 연구에서는 프레임 단위의 객체의 자세 추정이 아닌 전체 프레임 내에서 각 객체들의 정보들을 추출 후 독립적으로 별도의 시퀀스로 처리하기 때문에 학습과정에서 문제가 되지 않습니다.