[Paper Review] Time Series Anomaly Detection with Multiresolution Ensemble Decoding

Paper Review
작성자
Heejeong Choi
작성일
2021-03-23 22:15
조회
133
[ 발표 요약 ]

1. Topic

Time Series Anomaly Detection with Multiresolution Ensemble Decoding

 

2. Overview

이번 세미나 시간에는 multiresolution decoder를 사용하여 lower resolution에서 복원한 temporal information을 high resolution decoding 단계에서 활용함으로써 기존의 reconstruction-based anomaly detection 모델의 error accumulation 문제를 완화한 recurrent autoencoder with multiresolution ensemble decoding (RAMED) 방법론을 공유하고자 한다. RAMED는 recurrent autoencoder 구조를 기반으로 하며, 여러 resolution에서 다양한 temporal characteristic을 추출하는 여러 개의 decoder로 구성된 multiresolution decoder의 구조를 가지고 있다. 본 연구에서는 coarser decoder의 정보를 finer decoder에 융합하여 ensemble output을 도출하는 coarse-to-fine fusion 방법론을 제안하여 다양한 길이의 multiresolution decoders의 결과를 통합하였으며, DTW loss를 사용하여 각 decoder가 consistent temporal patterns를 학습하도록 하였다.

 

3. 발표자료 및 발표영상

[1] 발표자료 (첨부파일 참고)

[2] 발표영상 (추후 업로드 예정)

 

4. 참고문헌

[1] https://www.aaai.org/AAAI21Papers/AAAI-5192.ShenL.pdf (preliminary version이라 링크로 첨부)
전체 6

  • 2021-03-29 01:03

    Recurrent Autoencoder는 정상 데이터로 훈련을 진행한 다음 Reconstruction Error가 높은 데이터를 이상치라고 판단하는 기법이며, 시계열 데이터를 대상으로 하므로 특정 길이의 시계열에서 이상 시점을 도출해냅니다. 하지만 길이가 긴 데이터에 대해선 Decoding과정에서 Error가 축적되는 문제가 나타나는데 RAMED는 이에 대하여 Multiresolution Ensemble Decoding으로 해결하고자 합니다. 세미나 장표에서 해당 절차를 명확한 그림으로 소개하는데, Resolution은 Sequence Length이며 위에서부터 Low Resolution의 정보를 구성하여 High Resolution으로 전달하며 다양한 시점 정보 활용을 위해 Sparse Skip Connection을 활용하게 됩니다. 즉, 다양한 Resolution의 Representation을 Ensemble하여 Error 축적 문제에 Robust한 모델을 구성하고자 하는 것이 목표입니다. 또한 Resolution들이 Input의 Temporal Shape과 지나치게 달라지는 것을 방지하기 위하여 DTW Distance를 통해 Shape Forcing Loss를 구성하고 MSE Loss로 모델 Input이 잘 복원되도록 학습합니다.
    이전 QA-Net에서는 RNN의 Sequential한 본질에 의해 발생하는 문제를 극복하기 위하여 Convolution과 Attention을 사용하는데, MultiResolution이 문제점을 완벽히 해결하는 것이 아니라 '완화'의 느낌을 주는 것이라면 RNN 이외의 방법을 사용하는 기법은 없나 궁금합니다. 항상 이해를 돕기 위하여 발표 준비와 깔끔한 자료를 제공해주시어 감사합니다.


  • 2021-04-01 20:55

    오늘 세미나는 multivariate time-series의 anomaly detection을 위한 recurrent autoencoder with multiresolution ensemble decoding(RAMED)에 대한 내용으로 진행되었습니다.

    RAMED는 Recostruction-based anomaly detection이 가지는 error accumulation 때문에 긴 시계열 데이터의 디코딩이 어렵다는 한계를 multiresolution ensemble decoding을 통해 극복하고자 합니다.

    time series data에서는 데이터마다 그 길이에 차이가 있을 수 있는데 이를 여러 resolution level에서 다양한 시간적 정보를 추출하기 위해 resolution마다 다른 여러 대의 decoder를 사용합니다. 이를 multiresolution decoder라고 하고, coarse-to-fine fusion방법을 사용해 여러 길이의 decoder의 output을 결합합니다. coarse-to-fine fusion이라함은 coarser decoder의 정보를 finer decoder와 융합해 ensemble을 하는 방식을 말하는데, 이를 통해 다양한 길이의 multiresolution decoder 결과를 효율적으로 통합할 수 있습니다. 여기에 DTW loss를 사용하면 앞 쪽의 coarse한 decoder는 계절성과 같은 큰 패턴을 뽑고, 아랫단에서는 계절성 안에서 더 변동하는 패턴을 학습할 수 있게 됩니다. 최종적으로 Anomaly score로는 정상 데이터의 잔차의 분포에서 얼마나 멀어졌는지를 사용합니다. sequence 길이가 각각 다를 수 있다는 time series 고유의 특성을 반영한 모델이라는 점에서 의의가 있는 것 같고, anomaly score로 잔차의 분포를 사용한 것이 인상 깊었습니다. 좋은 발표 감사합니다.


  • 2021-04-13 04:17

    이번 세미나에서는 시계열 Anomaly detection task에서의 그간 반복되던 문제를 해결한 ‘RAMED” 모델이 소개되었습니다. 그동안 이상치 탐지에서 활용되어온 recurrent autoencoder 구조는 훌륭한 성능을 보여왔지만, decoding과정에서 error accumulation 으로 어려움을 겪어왔던 것으로 알고 있습니다. RAMED는 recurrent autoencoder 구조를 기반으로 ‘coarse-to-fine fusion’ 이라는 decoder의 ensemble 방식을 도입해 이를 해결하고자 합니다. Low resolution과 high resolution 정보를 함께 융합해 다양한 정보를 함께 활용한다는 방식이 인상깊습니다. 더불어 모델의 Encoder에서는 sparse skip connection이 활용되었습니다. 이 과정에서 skip-length와 가중치가 랜덤 샘플링 되어, 학습과정에서 다양한 시점의 정보를 종합적으로 활용할 수 있게 됩니다. 이번 세미나를 통해, anomaly detection에서의 error accumulation 이슈, 그리고 이를 해결하기 위한 encoder, decoder에서의 방법론을 볼 수 있었습니다. 이와 함께 서두에 제시된 길이가 다른 두 시계열 데이터의 거리를 측정하는 방법인 DTW까지, 그동안 잘 알지 못했던 시계열 이상치 탐지에 대한 다양한 방법론을 학습할 수 있었던 시간이었습니다. 좋은 발표 구성해주신 발표자님께 감사드립니다.


  • 2021-04-13 16:17

    오늘 세미나는 다변량 시계열 데이터에서 이상치 탐지 논문 중 하나인 recurrent autoencoder with multiresolution ensemble decoding(RAMED)에 대해 설명해 주셨습니다. 기존 Reconstruction-based anomaly detection 방법론 decoding 과정에서 이전 시점에서 예측된 값이 다음 시점의 input으로 사용되면서 error가 축적되는 문제를 갖고 있습니다. 이를 해결하고자 해당 논문은 multiresolution decoder를 사용하여 lower resolution에서 복원한 temporal information을 higher resolution의 decoding 단계에서 활용합니다. 이 방법론은 Reverse time order로 다양한 길이의 시계열 데이터를 재구성하고 앙상블하여 기존 RAE의 decoding과정에서 발생하는 accumulation error 문제를 히결합니다. 해당 논문에서 가장 인상깊은 것은 Loss를 구성하는 방식입니다. Loss는 모델이 input을 잘 복원할 수 있도록 제한하는 MSE loss, 그리고 모델의 lower resolution에서 생성된 값이 input과 유사하게 만드는 DTW loss입니다. 이미지 분야에서는 다양한 해상도에서 데이터를 분석하는 아키텍처(Unet 등)가 많은데, 해당논문에서 그 아이디어를 Anomaly Detection 분야에 잘 적용한 것 같습니다. 좋은 발표 감사합니다.


  • 2021-03-23 17:40

    이번 세미나에서는 multi-resolution에 대한 decoding 아키텍처를 제안하고 있습니다. 길이가 긴것이 high-resolustion, 길이가 짧은 것은 low-resolution으로 해석이 될수 있는데 이부분을 decoder에 반영한다는 특징이 있습니다. Encoder에서는 현재시점의 hidden state를 선택할때, 바로 이전 시점의 hidden state와 과거에 랜덤하게 선택된 또다른 hidden state를 모두 고려하는 sparse skip connection을 소개해 주었습니다. 이렇게 하면 직전 시점에 대한 overfitting문제를 해결하는것 같습니다. decoder에 대해서 특이한 점은 decoder의 time-step을 reverse sequence로 설정되었습니다. 이 부분은 encoder의 last step과 decoder의 init step이 직접적으로 연결되기 때문에 정보전달에 효과적인 것 같습니다. loss function은 서로 다른 길이를 가진 time series에 대한 비교이기 때문에 reconstucted loss와 DTW loss를 사용하였습니다. anomaly score의 definition은 정상데이터의 분포를 가우시안 분포로 가정하고 이 분포와의 거리를 확률로써 산정하였습니다. 좋은 발표 감사합니다.


  • 2021-03-23 17:59

    금일 세미나에서는 RAMED: Time Series Anomaly Detection with Multiresolution Ensemble Decoding 라는 논문에 대한 발표가 있었습니다. 이 논문에서는 길이가 긴 시계열 데이터의 decoding, finer한 pattern의 정보 활용을 가능하게 하는 architecture를 제안합니다. RAE 구조를 기반으로 각각 다른 decoding step을 가지는 여러 개의 decoder를 사용하는데, 기본적으로 한 decoder 내에서는 LSTM 기반으로 skip connection을 활용하여 random하게 다양한 시점의 정보를 활용하게 됩니다. 그리고, 각 decoder는 순차적으로 low resolution 정보를 high resolution 정보에 가중합을 한, coarse부터 finer한 것이 모두 축적된 정보를 사용하게 됩니다. Loss는 RAE 모델을 위한 loss 인 MSE loss와 pattern 추출 과정에서 input 구조와 유사하게 유지시켜줄 수 있는 DTW loss를 합하여 사용하게 됩니다. 이렇게 학습된 모델을 통해 구해진 abnormal score는 추정된 정상데이터의 잔차의 분포를 벗어나는지 아닌지를 기준으로 해석하게 됩니다. 발표자님도, 교수님도 코멘트해주신 것처럼, 완전히 새로운 아이디어 제안도 좋지만, 기존의 것, 누구나 생각하고 당연하게 생각되는 concept들을 잘 엮은 방법론으로도 좋은 논문이 될 수 있다는 점이 인상깊었습니다. 발표 잘 들었습니다. 감사합니다.


전체 129
번호 제목 작성자 작성일 추천 조회
공지사항
Paper Reviews 2019 Q3
관리자 | 2020.03.12 | 추천 0 | 조회 1222
관리자 2020.03.12 0 1222
공지사항
Paper Reviews 2019 Q2
관리자 | 2020.03.12 | 추천 0 | 조회 447
관리자 2020.03.12 0 447
공지사항
Paper Reviews 2019 Q1
관리자 | 2020.03.12 | 추천 0 | 조회 989
관리자 2020.03.12 0 989
126
[Paper Review] Deep GNNs (3)
Hyungseok Kim | 2021.04.16 | 추천 0 | 조회 33
Hyungseok Kim 2021.04.16 0 33
125
[Paper Review] Don't Stop Pretraining: Adapt Language Models to Domains and Tasks (3)
Takyoung Kim | 2021.04.13 | 추천 0 | 조회 45
Takyoung Kim 2021.04.13 0 45
124
[Paper Review] Uninformed Students: Student–Teacher Anomaly Detection with Discriminative Latent Embeddings (4)
Hyeyeon Kim | 2021.04.07 | 추천 0 | 조회 82
Hyeyeon Kim 2021.04.07 0 82
123
[paper Review] Contrastive Learning for Sequential Recommendation (4)
Jungho Lee | 2021.04.03 | 추천 0 | 조회 121
Jungho Lee 2021.04.03 0 121
122
[Paper Review] Deep Image Retrieval: Learning global representations for image search (5)
Kyoosung So | 2021.03.31 | 추천 0 | 조회 93
Kyoosung So 2021.03.31 0 93
121
[Paper Review] Vq-wav2vec: Self-Supervised Learning of Discrete Speech Representations (6)
Jounghee Kim | 2021.03.24 | 추천 0 | 조회 149
Jounghee Kim 2021.03.24 0 149
120
[Paper Review] Time Series Anomaly Detection with Multiresolution Ensemble Decoding (6)
Heejeong Choi | 2021.03.23 | 추천 0 | 조회 133
Heejeong Choi 2021.03.23 0 133
119
[Paper Review] QANet: Combining Local Convolution with Global Self-Attention for Reading Comprehension (8)
Jina Kim | 2021.03.19 | 추천 0 | 조회 164
Jina Kim 2021.03.19 0 164
118
[Paper Review] SOM-DST  : Efficient Dialogue State Tracking by Selectively Overwriting Memory (7)
Yukyung Lee | 2021.03.13 | 추천 0 | 조회 184
Yukyung Lee 2021.03.13 0 184
117
[Paper Review] A Simple Framework for Contrastive Learning of Visual Representations (10)
Donghwa Kim | 2021.03.10 | 추천 0 | 조회 255
Donghwa Kim 2021.03.10 0 255

Data Science & Business Analytics Lab.
School of Industrial Management Engineering
College of Engineering, Korea University

Contact Us

  • 강필성 교수 (pilsung_kang@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 창의관 801A호 
  • 대학원 연구실 (총무 이유경: yukyung_lee@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 신공학관 220호, 221호, 213호
© 2020 DSBA Lab.