첫 영문 세미나 발표 준비하시느라 고생하셨습니다. 최근 중대재해처벌법으로 인해 제조업을 중심으로 안전 점검 및 관리 측면에서 AI 기술 도입에 대한 검토가 활발하게 이루어지고 있어 다뤄주신 내용에 대해 아주 얕게 고민해본 적이 있습니다.
현장의 CCTV 영상 정보를 토대로 Anomaly Detection을 하기에는 대응도 늦고 공장별로 워낙 다양한 형태를 띄고 있기 때문에 컴퓨터비전만을 활용하기에 어려움이 있어 IoT 센서를 통해 수집되는 시계열 데이터를 분석하는 방법을 고민했습니다. 센서 데이터에 대한 깊게 고민해본 경험이 없어 누적되는 데이터를 통해 단일 센서에 대한 Reconstruction-based anomaly detection에 대해 검토했습니다. 세미나를 통해 접근 방식의 한계를 이해했고, 같은 Modal 내 다중 센서간 연관성과, 다양한 Modal 간 다중 센서간 연관성을 파악하기 위한 M-GAT 구조에 대해 이해했습니다. 다만, MST-GAT를 통해Spatial Dependecy에 대한 오류를 방지하는 방법에 대해 이해가 부족해 개인적으로 학습해보고 따로 문의 드리도록 하겠습니다. 준비해주셔서 감사합니다!

우선 오늘 발표 너무 잘 들었습니다! 금일 세미나에서 리뷰했던 MST-GAT에 대해서는 오늘 처음 접했는데, 잘 설명해주셨던 것 같습니다.
예전 제가 리뷰했던 N-Beats, N-hits발표 이후 다변량 시계열 데이터를 다루는 알고리즘에 대해 궁금증이 있었는데, 해당 발표를 듣고 이런 접근 방식으로 주로 다루고 있다는 것을 알겠되었습니다. 또한 해당 논문에서는 공장 센서에 대한 데이터를  M-GAT를 이용하여 3개의 부분에서 시계열 데이터를 추출하고 이를 통해 서로의 유사도를 비교하는 방식으로 진행되는 흐름에 대해서도 잘 이해가 됐던 것 같습니다.
본 논문의 background를 들으면서  어떻게 다중 센서의 각 센서에 대해서 dependency에 대한 구분을 명확하게 하여 시계열 데이터를 특징에 맞게 사용할 수 있을까 생각이 들었지만, 시계열 이상탐지 방법 두가지를 통합하여  gat 를 이용해 modal dependencies를 확인하려는 접근 방식이 흥미로웠던 논문이었습니다.

1. 시공간 패턴에 특화된 알고리즘
MST-GAT는 다변량시계열 데이터에서 spatial and temporal pattern을 유추하는데 특화시켜 제안된 알고리즘 입니다. 데이터 분석 분야에서 계속 종사하면 'spatial and temporal pattern'를 자주 접할 겁니다. 단, 그 의미를 다양하게 변형시켜 사용하므로 주의할 필요가 있습니다. 물리적 공간의 인접성과 관련된 연구였다면 spatial은 지역의 인접성에 관한 내용으로 사용합니다. 재원이가 설명해주었던 스마트 공장 사례가 그렇습니다. 하지만, 물리적 인접성 정보가 없더라도 해당 용어를 사용하기도 하는데 변수 간 유의한 상관성을 규명하려는 곳에도 spatial pattern이라는 표현을 사용합니다. 민정이가 작성중인 DA-RNN 논문이 해당 사례입니다. 반면에 temporal pattern에서는 큰 이견이 없어 보이고 일반적으로 short-term (periodic) patterns을 의미합니다. MST-GAT에서의 표현학습은 3개 모듈로 나뉘어 집니다. multi-head, intra-modal, inter-modal attention으로 multi-modality의 특성에 보다 집중하는 아키텍처 특징을 보여줍니다. 만약 학습 데이터 사이즈가 작고 단일 modality를 따른다면 실험 결과는 인상적이지 않을 수 있습니다.

2. 해당 논문의 초고는 저널논문 용도는 아니었을 것 같다.
spatial과 다르게 temporal pattern 추출에 convolution filters를 사용하는데 큰 이견이 없으므로 설명이 길지는 않습니다. 단기적 시계열적 특징 추출에 convolution filter가 더 효과적임은 많은 논문에서 소개된 바 있습니다. 반대로 장기적 시계열적 패턴은 기존 RNN 계열보다는 attention network 계열을 사용하겠지요. 논문의 내용은 가타부타 loss function의 설계를 소개합니다. 여기서 이 논문이 전형적인 컨퍼런스 논문적인 특징을 찾게 되었습니다. 논문의 흐름이 연구분야를 집대성 하듯 달려드는 일반 저널 논문과는 상이하고 전체 taxonomy를 친절하게 설명하지도 않습니다. 특히, 개별 메소드를 차용한 배경이나 설명도 친절하지 않습니다. 그것이 잘못되었다기 보다는 깊고 깊이 본인의 연구 아이디어에 집중하는 것이죠. 친절하지는 않지만 논문이 깔끔하고 읽기 편안합니다. 논문을 작성하는 친구들은 해당 논문을 잘 참고하기를 바랍니다.

3. 영어발표 그리고 specialty
재원이가 첫 영어 발표를 진행했는데, 준비하는 과정도 무척 어색하고 많은 노력과 시간이 들어갔을 겁니다. 수고 많았습니다. 대학원 생활에 학회 참석 및 발표는 무척 중요한데, 특히 해외학회 발표에 앞서서 그 과정을 미리 준비한다고 생각해주세요. 전문 엔지니어에게 필요한 자질에는 전공 지적 능력과 개발 능력 못지 않게 소통 능력이 필요합니다. 전공 지적 능력만 갖추어도 크게 성공할 수 있습니다. 헌데, 개발 능력을 갖추어 내가 생각하는 구현능력을 갖추면 어느 조직에 있던 본인만의 specialty를 갖출 수 있을 겁니다. 하지만, 나이가 들수록 극복하기 어렵고 갈증을 느끼는 것이 소통 능력입니다. 회사가 아닌 연구소나 학교 쪽에 관심이 있다면, 영어 의사소통 능력은 무척 중요하고 본인의 역량을 2~3배 키워줄 수 있습니다. 국내라는 우물 안에 스스로를 가두지 말기를 바라고, 앞으로도 세미나 발표는 영어로 잘 준비해봅시다.

이번 세미나에서는 Graph Attention Network layer를 기반으로 하는 새로운 Multimodal Time Series 이상 탐지 모델 MST-GAT를 소개해 주셨습니다. 다른 과제를 진행할 때 GNN을 접할 기회가 많아서 관심을 가지고 보던 분야라 더욱 관심 있게 들을 수 있었습니다. 이 모델은 공간과 시간 간의 역학 관계를 잘 파악하여 단순한 이상 패턴뿐만 아니라 복잡한 이상 패턴을 가진 데이터에서 높은 성능을 보여주었습니다.
또한, Timeseries의 modality 간 관계를 잘 파악하여 이상 탐지를 수행하였고, 같은 modality끼리 높은 유사도를 가진다는 것을 보여주었다는 점에서 의의가 있다는 생각이 들었습니다. 또 prediction-based method와 reconstruction-based method의 장점을 통합하여 사용했다는 점에서 method들 간의 조합으로 연구 문제를 풀어나가는 경우가 있다는 것을 알 수 있었던 좋은 기회였습니다.

개강 후 영어로 하는 첫 세미나 발표, 고생 많으셨습니다. 감사합니다.

이번 통합 세미나에서 Mutivariate Time series 데이터의 Anomaly Detection을 위해 GNN을 적용한 논문에 대해 소개해 주었습니다. 논문에서 제안하는 MST-GAT는 여러 sensor 데이터들 중 비슷한 특징을 가지는 sensor들을 정량적으로 평가하기 위해 consine similarity 계산합니다. 계산한 유사도를 ordering 하면 비슷한 정보끼리 모이게 되고 이를 기반으로 adjacency matrix를 도출합니다. 해당 matrix에서 top K개를 뽑아 같은 modal로 분류하게 되고 이 부분에서 spatial pattern을 capture 할 수 있게 됩니다. 또한, temporal convolution (GCN) 활용해서 temporal patern에 대해서도 capture 하게 됩니다. 최종적으로 reconsturction 모듈과 prediction 모듈을 결합해서 loss 함수 및 anomaly score 값을 설계하는 방식으로 다변량 시계열 데이터에 대한 이상탐지가 이루어집니다.
이전에도 재원오빠가 GNN 기반의 이상탐지와 관련된 최신 기법(MTAD-GAT, GDN 등)에 대한 논문에 대한 발표를 해줬었는데 이상탐지에 관심을 갖고 연구하고 있는 분야라 도움이 많이 되었습니다. 특히 이상탐지 시 공장 내 설비들끼리의 인접성 정보를 반영해야 한다는 점이 인상 깊었습니다. 좋은 발표 잘 들었습니다. 감사합니다!

이번 통합 세미나에서는 다양한 모달리티를 가진 다변량 time series data를 대상으로 anomaly detection을 하기 위해 GNN 기법을 어떻게 적용했는지에 대해 세미나를 진행했었습니다.
시계열 데이터 분석에서는 데이터의 특성을 잘 이해하고 이를 활용하는 것이 중요합니다. 이를 위해서 MST-GAT 기법을 제안하면서 다양한 modality 간 연관성을 파악하고, 이를 이용해서 공장 내 여러 센서들의 유사도와 spatial-temporal들을 서로 비교하면서 멀티 모달에 대한 다변량 time series에 대해 이상 탐지를 했다는 것이 인상깊었습니다.

이번 통합 랩 세미나에서 이재원 연구원님께서 GNN을 활용한 다변량 시계열 데이터의 anomaly detection에 관한 논문을 소개해주셨습니다.
MST-GAT는 시간, 공간의 패턴을 파악하는데 효과적인 알고리즘이며, 공장 내 여러 sensor 사이의 유사도를 파악하고 이상 탐지를 합니다.
그리고 joint training을  활용하여 detect한 anomal들을 설명하기 위한 reconstruction과 prediction module 장점을 사용합니다.
저는 스마트 공장의 예시가 생소하면서도 흥미롭게 다가왔습니다.

첫 영어 세미나 발표임에도 잘 발표를 해준 이재원 연구원님 고생많으셨고, 감사합니다.

시계열 데이터를 접하면서 시계열 데이터 이상 탐지 방법에 관심이 생겼는데 MST-GAT방법에 대해 잘 들었습니다.
그래프 기반 방법 및 다중 모달 인코딩 및 그래프 어텐션 메커니즘의 활용이 중요함을 느끼는 발표였습니다.
MST-GAT 모델은 다른 시계열 이상 탐지 모델과 비교하여 높은 탐지 성능을 보여주며, 다양한 산업 분야에서의 응용 가능성이 높은 모델인 것 같았습니다.
입력 데이터의 공간 정보를 그래프로 표현하고, 이를 통해 공간 의존성 문제를 해결하고 따라서 모델은 시계열 데이터에서 공간 정보를 고려할 수 있으며, 이를 통해 더 정확한 이상 탐지 결과를 제공할 수 있다는 점이 최근 하는 냉동차량 프로젝트에도 나왔던 아이디어랑 비슷해서 다른 분야에서 기회가 되면 사용해도 좋을  같다는 생각이 들었습니다.

먼저 첫 영어 세미나 발표라 긴장됐을 것 같은데, 발표 정말 잘 들었습니다 ! 이번 랩 세미나에서 다변량 시계열 데이터에서 GNN을 기반으로 anomaly detection할 수 있는 MST-GAT 모델 논문을 설명해주셨습니다. 공장에 있는 많은 센서들의 패턴의 유사도를 측정하여 그 값들을 활용해 이상 탐지를 진행하는 방식으로 진행됩니다. 같은 modality를 가진 센서 데이터들은 서로 비슷한 유사도를 보여줬습니다. 소개해주신 MST-GAT에서  reconstruction module과 prediction module을 합쳐 anomaly score 값을 도출했습니다. 시계열 데이터에 대해 관심이 많았었는데, 이번 발표를 들으면서 많이 배울 수 있었습니다. 시계열 데이터의 패턴들의 유사도 측정과 이를 활용하여 이상 탐지를 하는 방법이라는 것이 유용하게 활용될 수 있을 것이라고 생각했습니다.

연구실 첫 영어 세미나 발표를 잘 준비하고 해주셔서 감사합니다 !