• 목록

[Date] 2023.09.14

[Seminar Topic] ShapeNet for Multivariate Time-Series Classification

[Summary]
 Time-Series Classification은 꾸준히 주목받고 있는 연구 주제입니다. 2009년 기준 nearest neighbor-based approach가 1)구현의 간편함, 2)정확도 등의 이유로 시계열 분류 과업에 많이 사용되었습니다. 그러나 1)높은계산비용(*모든 데이터를 store하고, search 해야함), 2)해석력부족(*object가 particular class로 분류되는 이유를 명확하게 설명하지 못함) 등의 한계점이 존재했고, 이를 위해 'shapelet'이라는 concept이 제안되었습니다.
 shapelet은 short, discriminative한 subsequence로서, 시계열 자료의 class를 가장 잘 represent한다는 특징이 있습니다. shapelet을 산출하는 방법은 window-sliding을 통해 시계열 자료를 decomposition함으로써 shapelet-candidates를 생성하고, 엔트로피 기반 information gain의 값이 가장 높은 shapelet-candidates를 해당 시계열의 shapelet으로 select하게 됩니다. 이러한 shapelet을 정형화된 vector값으로 transform하는 과정을 거친다면 SVM 등의 classifier를 통해 분류를 할 수 있게 됩니다.
 그러나 이러한 shapelet-based approaches는 단변량 시계열 분류 과업에만 국한되어 있었습니다. 그리고 기존의 shapelet 기반 approach를 사용하여 다변량 시계열 분류를 한다면 1)높은 계산비용(variable마다 shapelet을 계산) 2)적절하지 않음(variable 혹은 시계열 instance의 length가 항상 동일하지 않음) 등의 문제점이 발생합니다.
 이를 위해 ShapeNet은 개별적인 변량마다 생성한 shapelet candidates를 MDC-CNN Encoder 통해 unified-space로 embedding 되도록 하고, cluster-wise triplet loss를 통해 MDC-CNN의 unsupervised-learning을 효과적으로  제안하였습니다. 그 후 multivariate shapelet transform을 통한 final shapelet을 산출하게 됩니다.

[Discussion]
기존 shapelet-based approach를 사용한 다변량 시계열 분류는 high-computation cost issue가 있습니다. 해당 문제점을 ShapeNet은 해결할 수 있다고 합니다. 그러나 variable마다 shapelet candidates를 생성하고 cluster-wise triplet loss를 통해 MDC-CNN의 training subset을 구축하는 과정이 정말 high-computation cost issue를 효과적으로 해결할 수 있었는지 의문이 들었습니다. 'Shapenet: A shapelet-neural network approach for multivariate time series classification' 논문에서는 ShapeNet의 accuracy와 interpretability에 관한 실험만을 진행하였기에 이와 관련된 future work의 필요성을 느꼈습니다.
   

[References]
- 1.Ye, L., & Keogh, E. (2009, June). Time series shapelets: a new primitive for data mining. In Proceedings of the 15th ACM SIGKDD international conference on Knowledge discovery and data mining (pp. 947-956).
- 2.Lines, J., Davis, L. M., Hills, J., & Bagnall, A. (2012, August). A shapelet transform for time series classification. In Proceedings of the 18th ACM SIGKDD international conference on Knowledge discovery and data mining (pp. 289-297).
- 3.Franceschi, J. Y., Dieuleveut, A., & Jaggi, M. (2019). Unsupervised scalable representation learning for multivariate time series. Advances in neural information processing systems, 32.
- 4.Bostrom, A., & Bagnall, A. (2017). A shapelet transform for multivariate time series classification. arXiv preprint arXiv:1712.06428.
- 5.Li, G., Choi, B., Xu, J., Bhowmick, S. S., Chun, K. P., & Wong, G. L. H. (2021, May). Shapenet: A shapelet-neural network approach for multivariate time series classification. In Proceedings of the AAAI conference on artificial intelligence (Vol. 35, No. 9, pp. 8375-8383).