[Paper Review] USAD: UnSupervised Anomaly Detection on Multivariate Time Series

Paper Review
작성자
Heejeong Choi
작성일
2021-01-29 00:47
조회
182
[ 발표 요약 ]

1. Topic

USAD: UnSupervised Anomaly Detection on Multivariate Time Series

2. Overview

이번 세미나 시간에는 autoencoder에 adversarial training을 접목하여 AE-based 및 GAN-based multivariate time series anomaly detection 모델의 한계점을 보완한 “USAD: UnSupervised Anomaly Detection on Multivariate Time Series”를 공유하고자 한다. USAD는 encoder를 공유하는 두 개의 autoencoder로 구성되어 있으며, autoencoder training에 해당하는 phase1과 adversarial training에 해당하는 phase2를 통해 학습된다. 먼저 phase1에서 두 autoencoder는 reconstruction error를 기반으로 정상 데이터의 분포를 학습하며, phase2에서는 autoencoder2는 input과 autoencoder1이 복원한 샘플을 잘 구분하고, autoencoder1는 autoencoder2를 잘 속이도록 적대적으로 학습이 진행된다. 이러한 모델 구조 및 학습 방법을 통해 본 연구에서는 정상 데이터와 유사한 이상치를 탐지할 수 있는 빠르고 안정적인 unsupervised multivariate time series anomaly detection 모델을 제안하였다.

3. 발표자료 및 발표영상

[1] 발표자료 (첨부파일 참고)

[2] 발표영상



4. 참고문헌

[1] Audibert, Julien, et al. "USAD: UnSupervised Anomaly Detection on Multivariate Time Series." Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2020.

[2] Li, Dan, et al. "MAD-GAN: Multivariate anomaly detection for time series data with generative adversarial networks." International Conference on Artificial Neural Networks. Springer, Cham, 2019.
전체 15

  • 2021-02-06 00:03

    오늘 세미나는 UnSupervised Anomaly Detection on Multivariate Time Series를 주제로 진행되었습니다. 먼저 AE based detection의 한계점을 짚어준 것이 굉장히 공감이 갔습니다. 실제로 저희가 생각할 때는 비정상 데이터가 엄청나게 다른 형태로 구성될것 같지만 Real data의 비정상 데이터는 정상과 굉장히 유사한 형태를 가지는 경우가 많습니다. 소개해주신 논문은 이러한 한계점을 극복하기위해 Adversarial training을 접목했습니다. 단순히 성능을 높이기위해 아이디어를 내는 모델도 많지만 문제점을 해결하기위해 논리적으로 문제 해결 아이디어를 구축하는 논문의 흐름을 보며 저도 꼭 이런 부분을 배워야겠다 생각했습니다. 개인적으로는 Adversarial training이 이미지 domain에서 많이 사용된다고 생각하고 논문을 많이 접하지 않았었는데, 세미나를 기점으로 공부 해야겠다는 생각을 하게되었습니다. 좋은 세미나를 구성해준 최희정 박사과정에서 감사의 말을 전하고싶고, 논문을 분석하고 해석하는 능력을 많이 배워야겠다고 느꼈습니다. 감사합니다.


  • 2021-02-08 11:58

    GAN을 좋아하고, AE와 GAN에 대한 개인적인 생각을 정리하여 세미나를 진행한 경험도 있으면서 왜 이런 생각을 하지 못했을까 라는 생각이 드는 논문이었습니다. AE는 anomaly detection에서 많이 사용됩니다. 실제로 성능을 입증한 논문도 여럿 있으며 이러한 흐름에서 자연스럽게 normal instance의 representation을 위한 주류 방법론으로 자리를 잡았습니다. 하지만 최근 AE가 anomaly detection을 위한 표상 방법론으로 적절하지 않다는 연구들이 나오고 있으며 그 이유는 세미나에서 말씀드린 내용과 같습니다. 개인적으로는 그러한 주장들이 매우 설득력 있게 들렸으며 이를 해소하기 위한 본 연구도 흥미로웠습니다. 약간의 컨트리뷰션으로 지속적인 후속 연구가 가능할 것 같아서 개인 연구 주제로 잡고 연구를 지속해도 좋을 것 같다는 생각이 들었습니다.


  • 2021-02-08 13:28

    오늘 세미나는 UnSupervised Anomaly Detection on Multivariate Time Series에 대한 연구주제를 다뤘습니다. 구조는 f-anogan과 유사하지만 목적식과 학습방법이 조금 다른것같습니다. 기존 GAN같은 경우 랜덤노이즈로 이미지를 생성하지만 해당 방법론의 생성방식은 autoenocoders를 활용하여 latent space를 더 효과적으로 표현하는데 목적을 두고 있습니다. 또한 이 autoencoder의 역할을 두개로 나눠 multi-head의 기능을 가지도록 모델 구조를 구성하는것이 흥미로웠습니다. 비슷한 연구주제로 z(latent space)에 대한 constraint network구조 시계열 이상치 탐지와 묶어서 비교해보면 향후 연구방향에 도움이 될 것 같습니다. 좋은 발표감사합니다.


  • 2021-02-08 14:20

    이번 세미나는 하나의 encoder를 공유하는 두개의 decoder이 순차적으로 진행되어 기존의 AE based anomaly detection과 GAN based anomaly detection의 단점을 해결할 수 있는 unsupervised anomaly detection방법론에 대한 세미나였습니다. 노이즈가 작은 경우 reconstruction후 비정상 데이터가 잘 탐지가 안될 수 있다는 AE의 단점을 순차적으로 진행되는 두개의 decoder를 두어 노이즈를 확대시킴으로서 해결하였습니다. 또한 초반에는 reconstruction에 가중치를 두고 후반에는 adversarial training에 가중치를 두어 GAN의 불안정한 학습을 해결하였습니다. Reconstruction based Anomaly Detection에서 이상치 sample도 reconstruction이 정상과 비슷하게 되는 경우가 존재하고, 이를 해결하는 여러 방법론이 고안되는 것 같습니다. 그러면서 GAN의 단점까지 같이 해결해주는 모델이 흥미로웠고 이제는 Anomaly Detection을 할 때 AE, GAN, CNN, LSTM등 사용하는 모델에 대한 단점을 파악하고 이를 해결할 수 있는 AD 방법론이 필요한 것 같습니다. 자세한 발표 감사합니다.


  • 2021-02-08 15:21

    본 세미나는 Multivariate Time Series의 이상치를 탐지하기 위하여 AE / GAN Based 기법에서 각기 나타나는 문제들을 해결하기 위해 두 기법을 혼합한 USAD를 설명하였습니다. 기법이 혼재되어 있기에, 같은 Encoder를 공유하고, Decoder를 분할하여 각기 AE와 GAN의 목적을 달성하려 하여, 다른 AE를 잘 속이려는 모델과, 복원한 데이터와 입력을 구별하려는 모델을 학습하게 됩니다. 다중의 모델 개념이 섞여 있기에 복잡한 모델이며, 이로써 Generalization이 잘 되지 않는 모델이 되지 않을까 싶었지만, 작은 노이즈에 취약한 AE의 단점과 Generator와 Discriminator의 불균형으로 나타나는 불안정한 GAN의 단점을 상호 보완하는 형식으로 오히려 이상치 탐지에 좋은 영향을 끼쳤다고 생각합니다. 항상 Anomaly Detection의 다양한 솔루션을 소개해주시는 발표를 진행해주셔서 감사합니다.


  • 2021-02-08 15:48

    이번 세미나는 multivariate time series에 대한 unsupervised anomaly detection 방법론에 대해 진행되었습니다. 보통 multivariate time series anomaly detection을 위해서는 autoencoder 기반으로 normal data를 잘 reconstruction하는 AE를 학습하여, reconstruction 결과 reconstruction error가 특정 threshold를 넘는 instance에 대해 anomaly로 판단합니다. GAN 기반의 AD 방법론인 MAD-GAN은 unsupervised 방법으로, AE 방법과 같이 normal data만을 사용하여 LSTM 구조의 generator와 discriminator를 학습하여 normal data의 분포를 학습하는 것을 목표로 합니다. 학습이 완료되면, 새로운 input의 optimal latent space를 기반으로 생성한 reconstructed sample과 input의 reconstruction loss와, input에 대한 discrimination loss의 가중합을 anomaly score로 하여, 이 값이 특종 threshold를 초과하면 anomaly로 탐지합니다. 이보다 한 단계 더 나아간 USAD는 AE를 학습하되, adversarial training을 위해 encoder를 공유하고, 각각의 decoder를 가지는 두 개의 AE를 구축합니다. 두 개의 AE 중 하나는 나머지 하나의 AE를 잘 속이도록 적대적으로 학습하여 AE가 normal data와 유사한 abnormal data를 잘 탐지할 수 있도록 하여 기존 AE의 한계를 극복합니다. 안정적인 학습을 위해 초반 학습에는 reconstruction에 가중치를 주고, 후반 학습에는 adversarial training에 가중치를 크게 주는 식으로 학습됩니다. 이러한 방법으로 안정적인 학습이 가능하여 MAD-GAN 에 대해 장점을 가집니다. task의 detection sensitivity에 따라 이 가중치를 조절하여 원하는 detection rate를 조절할 수도 있습니다. normal data와 매우 유사하지만 abnormal인 data를 탐지하는데 큰 장점이 있는 방법론인 것 같습니다. multivariate time series AD가 매우 어려운 task라고 생각하는데 항상 여러 방법론을 설명해주셔서 많은 공부가 되고 있습니다. 좋은 발표 감사합니다.


  • 2021-02-08 16:17

    이번 세미나에서는 Unsupervised Learning을 사용하여 Multivariate Time Series Data로부터 Anomaly Detection을 수행하는 논문에 대해 소개해 주셨습니다.
    해당 논문은 기존 AutoEncoder 기반 방법들이, 정상 데이터를 잘 복원하도록 학습되기 때문에, 이상치가 정상 데이터와 유사하면 탐지하기 어려운 점과, GAN 기반 방법들이 Model Collapse 문문제부터 자유롭지 않음을 지적하며, 이를 해결하기 위한 모델을 설계했다고 주장합니다.
    해당 모델에서는 우선적으로 AutoEncoder를 학습합니다. 이 과정에서 Encoder를 공유하는 두 개의 Decoder를 가진 AutoEncoder를 설계합니다. 이어 한 개의 Decoder Output을 이용하여 Adversarial Traning을 수행합니다. 이후 다른 Decoder를 가진 AutoEncoder를 사용하여, 해당 AE는 Real Data와 첫 번째 AE의 Reconstruction Error를 잘 구분하도록, 첫 번째 AE는 두 번째 AE를 잘 속일 수 있도록 학습을 수행하여, 정상 데이터와 유사한 이상치를 탐지할 수 있도록 학습합니다.
    세미나 시간에도 언급되었지만 문제 제기를 매우 훌륭하게 한 논문이라는 생각이 들었습니다. 좋은 발표 감사합니다.


  • 2021-02-08 16:43

    금일 세미나는 multivariate time series 데이터에 적용할 수 있는 unsupervised anomaly detection 방법론에 대한 소개로 진행되었습니다. Multivariate time series 데이터의 경우, input 을 구성할 때에 각 데이터 포인트를 넣거나 time window 를 정해서 window size만큼씩 잘라서 넣는 경우로 나눌 수 있습니다. 기존 방법론인 AE-based 모델은 이상치가 정상데이터와 유사한 경우 탐지가 어렵고, GAN-based 모델의 경우에는 학습이 불안정한 문제가 있다는 배경에서 USAD를 소개해주셨습니다. 소개해주신 논문에서는 window size만큼을 input 으로 넣어서 그 기간이 정상인지를 판단하게 데이터를 구성하였습니다. 또한, USAD는 two-phase training에서 AE와 adversarial training을 모두 활용하여 정상 데이터와 유사한 이상치를 찾아내면서도, AE 를 통해 안정적인 학습인 가능하게 하였습니다. 기존 방법론의 문제점을 지적하고, 개선된 모델을 소개하는 방식으로 발표가 진행되어, USAD가 제안된 배경과 흐름에 대해 파악하기 좋았습니다. 유익한 발표 감사합니다.


  • 2021-02-08 18:25

    금번 세미나에서는 다변량 시계열 데이터에 대해 anomaly detection을 수행하기 위한 방법론을 소개해주셨습니다. 최근 작성한 제안서와 밀접한 연관이 있어 관심 있게 들었는데, 먼저 autoencoder 기반의 이상치 탐지가 한계점이 많다는 점에 굉장히 공감하였습니다. 정형 데이터의 경우 특히 anomaly가 normal 데이터와 갖는 차이를 인식하기 어렵고, 따라서 autoencoder의 복원을 기반으로 이상치를 탐지하는 것이 쉽지 않다고 생각합니다. 소개해주신 방법론은 여기서 나아가 GAN 기법의 학습에 있어서의 불안정성을 해결하기 위해 decoder를 복수로 구축하여 gan과 유사한 방식으로 학습합니다. 최근에 본 VELC라는 논문의 구조처럼 latent feature를 좀 더 풍부하게 가져감으로써 이상치 탐지에 있어서도 좋은 효과가 있다고 생각합니다. 깔끔한 시각 자료와 함께 좋은 발표 해주셔서 감사합니다.


  • 2021-02-08 19:27

    오늘 세미나는 "Anomaly Detection" 과 관련된 주제입니다. Auto-Encoder를 활용하여 정상데이터를 학습하면 비정상 데이터는 잘 복원하지 못합니다. 이를 활용하여 Anomaly Detection에 활용하는데 일반적으로 정상데이터와 비정상데이터가 매우 닮아 있는 데이터에서는 잘 작동하지 못하는 단점을 갖고 있습니다. 이 한계점을 극복하기 위하여 본 논문인 "USAD"에서는 GAN을 활용합니다. Generator을 이용하여 latente z를 이용하여 원래 데이터와 비슷한 데이터를 생성하게 만들고 AutoEncoder는 복원한 샘플을 잘 구분 할 수 있도록 학습합니다. 이를 통하여 모델이 안정적이고 효과적으로 학습할 수 있도록 하였습니다. 문제점을 정확하게 정의하고 이를 해결하기 위한 논리적인 전개가 인상깊은 논문입니다. 또한 Anomaly Detection에 GAN을 활용한다는 아이디어가 매우 놀라웠습니다. 좋은 발표 감사합니다.


  • 2021-02-08 22:08

    여러 특징을 갖는 multivariate time series 데이터에 anomaly detection을 적용한 논문을 소개해 주셨습니다. AE based 모델은 이상치가 정상 데이터와 유사할 경우 error가 작게 나타나고, GAN based 모델은 많이 알려진 mode collapse 문제가 있어 각각 한계점이 존재했습니다. 본 논문에서는 AE based 모델에 adversarial training 기법을 적용하여 두 단점을 보완하는 시도를 하였습니다. 크게 두 단계로 학습이 진행되는데, 먼저 AE를 학습하여 latent vector를 얻어냅니다. 다만 adversarial training을 위해 동일한 구조의 디코더 2개를 구축합니다. Latent vector는 두 번째 단계의 input으로 활용되며 별도로 학습해 둔 디코더를 통해 adversarial training을 진행합니다. Self-training과 adversarial training 개념을 적절히 AE에 적용한 것 같기도 하였고, 아이디어 자체가 재미있는 논문이었습니다. 좋은 발표 감사합니다.


  • 2021-02-09 03:22

    금일 세미나는 multivariate time series에 대한 unsupervised anomaly detection 방법론에 대해 진행되었습니다. Multivariate time series anomaly detection은 말 그대로 여러개의 시계열 변수들의 이상치를 탐지하는 것으로, m(m≥2)개의 변수로 이루어진 t시점 m차원 벡터가 총 시간T만큼 존재하는 데이터를 이용하여 길이가 K인 time window를 input으로 한 t시점의 normal/abnormal 여부를 예측하게 됩니다.

    Multivariate time series anomaly detection은 크게 autoencoder based와 GAN based가 있는 데 전자의 경우 정상 데이터의 reconstruction error를 기반으로 LSTM-AE를 학습하여 정상 데이터의 분포를 학습하고 새로운 input의 reconstruction error가 threshold를 초과하면 이상치로 탐지를 수행합니다. 후자(MAD-GAN)는 정상 데이터로 LSTM 구조의 generator와 discriminator를 학습하여 정상 데이터의 분포를 학습하고, 새로운 input의 optimal latent space를 기반으로 생성한 reconstructed sample과 input에 대한 discrimination loss의 가중합이 threshold를 초과시 이를 이상치로 탐지합니다. 하지만 각각의 model들은 문제가 있었는데 전자의 경우는 AE는 정상 데이터가 잘 복원하도록 학습이 되기때문에 이상치가 정상 데이터와 유사하면 reconstruction error가 작아 이상치로 탐지되지 않는다는 단점이 있었고, 후자의 경우 GAN 학습이 불안정하여 mode collapse와 non-convergence와 같은 문제가 생기기 쉬운 문제가 있다고 합니다.

    UnSupervised Anomaly Detection on Multivariate Time Series(USAD)는 AE에 adversarial training을 접목하여 AE-based & GAN-based AD 모델의 한계를 극복하기 위해 제안된 논문입니다. AE를 학습하되, adversarial training을 위해 encoder(E1)를 공유하는, 각각 동일한 구조의 독립적인 decoder를 갖는 두 개의 AE를 구축합니다. 두 개의 AE 중 하나(AE1)는 나머지 하나의 AE(AE2)를 잘 속이도록 적대적으로 학습하여 AE가 normal data와 유사한 abnormal data를 잘 탐지할 수 있도록 하여 기존 AE의 한계를 극복합니다. 안정적인 학습을 위해 초반 학습에는 reconstruction에 가중치를 주고, 후반에는 adversarial training에 가중치를 크게 주는 식으로 학습됩니다. 그리고 학습이 완료된 두 AE를 기반으로 anomaly score를 산출하게됩니다. Adversarial Training의 개념을 AE에 접목하여 MAD-GAN과 유사하지만 안정적으로 모델을 만들 수 있고, normal data와 매우 유사하지만 abnormal인 data를 탐지할 수 있게 되었습니다. 단계별로 그림과 함께 차근차근 설명해주셔서 흥미롭게 발표 잘 들을 수 있었습니다. 좋은 발표 감사합니다.


  • 2021-02-09 05:57

    금일 세미나에서는 USAD: UnSupervised Anomaly Detection on Multivariate Time Series 주제로 진행되었습니다. anomaly detection 을 다변량 그리고 시계열 데이터에 대해서 진행하는 방식을 보여 주었습니다. 학습되는 구조에서 몇가지 특이한 경우를 확인 할 수 있었는데, 인코딩 과정 후 오토인코더의 reconstruction error 를 학습하는 디코더가 존재하며, 복원된 데이터는 다시 인코더로 들어가서, adversarial training 을 진행하게 됩니다. 네트워크 상으로는 아마도, 인코더가 2번 업데이트 되는 과정을 거치면서 복원과 이상치를 찾는 두부분을 상호작용을 통해 학습된다고 이해 할수 있을 것 같습니다. 상당히 간단한 방식으로 생각하는데, 여전히 adversarial training 이 가지는 효과는 anomaly detection 에서 유의미한 성능을 내는 것 같습니다. 이를 기존에 해당 도메인에서 사용하는 오토인코더와 적절하게 조화를 잘 이루어낸 방법이라고 생각합니다.


  • 2021-02-09 10:43

    이번 세미나에서는 시계열 데이터에서 이상치 탐지를 주제로 한 논문을 소개해주셨습니다. 논문은 기존의 AE나 GAN 기반 이상치 탐지 모델의 단점을 지적하며 이를 보완할 수 있는 adversarial training과 AE 기반 이상치 탐지 모델을 제안합니다. 해당 모델은 AE의 decoder를 두 개 갖고 있는데 한 decoder가 나머지를 잘 속일 수 있도록 adversarial하게 학습됩니다. 학습 과정에서는 초반에는 reconstruction 위주로, 후반에는 adversarial training 위주로 가중치를 주게 됩니다. 이상치 탐지 관련 프로젝트를 하게 되면 AE를 대부분 바로 사용하게 되는데 AE에 대한 단점을 분석하고 이를 보완할 수 있는 새로운 방법을 제시한 논리 전개가 매우 타당하다고 생각했습니다. 아이디어가 좋은 훌륭한 논문이었습니다. 감사합니다.


  • 2021-02-14 02:15

    기존에 GAN과 관련하여 Anomaly Detection을 연결된 연구 사례는 앞서 소개한 USAD 연구도 있었지만, Anogan 혹 f-AnoGan 등 다양한 연구들이 존재하는 걸로 알고 있습니다. f-AnoGAN과 매우 유사한 모델 프레임 이지만 해당 연구에서는 학습과정에서 Two-phase Training이라는 명칭으로 학습과정에서 reconstruction의 학습과 adversarial 학습에 가중치를 달리 주어 안정적인 학습을 도모한 것이 인상적이였습니다. 실제로 프로젝트 과제 수행과정에서 AnoGan의 학습이 원할하게 진행되지 않아 고생이 많았는데, 이러한 학습 전력은 충분히 의미있는 과정이라고 생각되었습니다.


전체 117
번호 제목 작성자 작성일 추천 조회
공지사항
Paper Reviews 2019 Q3
관리자 | 2020.03.12 | 추천 0 | 조회 1024
관리자 2020.03.12 0 1024
공지사항
Paper Reviews 2019 Q2
관리자 | 2020.03.12 | 추천 0 | 조회 332
관리자 2020.03.12 0 332
공지사항
Paper Reviews 2019 Q1
관리자 | 2020.03.12 | 추천 0 | 조회 825
관리자 2020.03.12 0 825
114
New [Paper Review] BatchEnsemble: An Alternative Approach to Efficient Ensemble and Lifelong Learning (1)
junghoon lee | 2021.02.26 | 추천 0 | 조회 30
junghoon lee 2021.02.26 0 30
113
[paper Review] GNNExplainer: Generating Explanations for Graph Neural Networks (1)
Hoonsang Yoon | 2021.02.24 | 추천 0 | 조회 69
Hoonsang Yoon 2021.02.24 0 69
112
[Paper Review] OOD Detection Using an Ensemble of Self-Supervised Leave-out Classifiers (1)
Kyoungchan Park | 2021.02.23 | 추천 0 | 조회 55
Kyoungchan Park 2021.02.23 0 55
111
[Paper Review] FreeLB: Enhanced Adversarial Training for Natural Language Understanding (1)
Myeongsup Kim | 2021.02.19 | 추천 0 | 조회 83
Myeongsup Kim 2021.02.19 0 83
110
[Paper Review] ICNet for Real-Time Semantic Segmentation on High-Resolution Images (5)
Yunseung Lee | 2021.02.19 | 추천 0 | 조회 69
Yunseung Lee 2021.02.19 0 69
109
[Paper Review] Geometic Graph Convolutional Networks (11)
Hyungseok Kim | 2021.02.09 | 추천 0 | 조회 184
Hyungseok Kim 2021.02.09 0 184
108
[Paper Review] Latent Space Autoregression for Novelty Detection (14)
Hyeyeon Kim | 2021.02.07 | 추천 0 | 조회 129
Hyeyeon Kim 2021.02.07 0 129
107
[Paper Review] Data-Distortion Guided Self-Distillation for Deep Neural Networks (15)
Takyoung Kim | 2021.02.05 | 추천 0 | 조회 152
Takyoung Kim 2021.02.05 0 152
106
[Paper Review] DisenHAN: Disentangled Heterogeneous Graph Attention Network for Recommendation (15)
Jungho Lee | 2021.02.03 | 추천 0 | 조회 124
Jungho Lee 2021.02.03 0 124
105
[Paper Review] Representation Learning with Contrastive Predictive Coding (15)
Jounghee Kim | 2021.02.01 | 추천 0 | 조회 161
Jounghee Kim 2021.02.01 0 161

Data Science & Business Analytics Lab.
School of Industrial Management Engineering
College of Engineering, Korea University

Contact Us

  • 강필성 교수 (pilsung_kang@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 창의관 801A호 
  • 대학원 연구실 (총무 이유경: yukyung_lee@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 신공학관 220호, 221호, 213호
© 2020 DSBA Lab.