[Paper Review] Latent Space Autoregression for Novelty Detection

Paper Review
작성자
Hyeyeon Kim
작성일
2021-02-07 00:44
조회
236
  1. Topic
    • Latent space상의 Autoregression based density probability를 활용하여 novelty detection을 수행하는 방법
  2. Overview
    • 기존의 Reconstruction based Novelty detection외 Autoregression based density probability를 손실함수에 추가하여 novelty detection의 성능의 향상이 됨.
    • Image input과 video input으로 나누어 각 input에 대해 autoregression based CPD(conditional probability density)를 생성하는 방법이 나뉨
    • Ablation study로 해당 방법론의 주장을 뒷받침함.
  3. 발표자료 및 발표영상
    • 발표 자료 : 하단에 있는 첨부파일 참고
    • 발표 영상 : 업로드 예정
전체 14

  • 2021-02-08 01:40

    금일 발표는 "Latent Space Autoregression for Novelty Detection"라는 주제로 진행되었습니다. 본 발표에서는 latent space의 autoregression-based density probability를 활용한 추가적인 representation을 기반으로 anomaly detection을 수행하는 방법론이 소개되었습니다. 먼저 개인적으로 anomaly detection에 관심을 가지고 있기 때문에 집중하여 발표를 청취하였고, 해당 방법론이 새로운 관점에서 아이디어를 제안하였다고 생각해 방법론 자체가 흥미로웠습니다. 본 방법론에서는 encoder를 통해 압축된 latent vector와 autoregression을 기반으로 생성된 latent vector 간의 차이를 통해 정상 데이터와 조금 다른 이상치도 예민하게 탐지할 수 있도록 모델을 구축하였습니다. 이러한 과정은 제가 지난 세미나때 발표한 USAD와 동일한 목적을 가지고 있다고 생각이 되었고, 이를 통해 최근 anomaly detection에서 이상치와 굉장히 작은 차이를 가지는 이상치를 탐지하는 것이 중요한 challenge라는 것을 느낄 수 있었습니다. 다만, 해당 방법론에서 사용된 autoregression 기반의 방법론이 시계열 정보를 가지고 있지 않은 이미지에서 사용되는 것이 적합한가라는 의문이 들었습니다. 또한, latent space 상의 sequential 정보를 사용하고 있는 해당 방법론이 time-series anomaly detection에서 좋은 결과를 도출할 수 있지 않을까하는 생각도 들었습니다. 좋은 발표 감사합니다.


  • 2021-02-08 14:09

    발표를 들으면서 매우 재미있는 접근이라는 생각을 하였습니다. 물론 발표중에 나온 질문처럼 latent vector의 각 차원을 sequential 하게 고려하는 것은 다소 억지스러울 수 있을 것 같습니다. 개인적으로는 이를 VAE의 latent vector를 특정 분포로 강제하는 것과 비슷한 맥락이라고 이해하였습니다. 다시 말해, 저자들은 latent vector를 autoregressive하게 학습함으로써 복원된 데이터 뿐만 아니라 latent vector 또한 정상 데이터의 그것과 유사할 수 있도록 강제하여 기존에 AE만을 사용하여 진행하는 anomaly detection의 한계를 보완하고 있습니다. 이는 매우 재미있는 가정으로 실제 실험 결과에서도 autoregression task의 정합성을 보여줬다고 생각합니다.


  • 2021-02-08 14:19

    해당방법로은 Autoencoders를 활용한 이상치탐지 기법으로 시계열 데이터에 대한 탐지 목적을 가지고 있습니다. 먼저 기존 Autoencoders의 경우는 (x -> z -> x')의 데이터 자기자신을 잘 표현할 수 있는 z latent vector를 찾는 방법인데 해당 방법론은 z를 p(z_{t}| z_{t-1})conditional probability의 autoregression의 구조를 가지고 있었습니다. 개인적으로 연구아이디어는 신선하지만 몇가지 논리적인 근거가 부족하다고 생각됩니다. 오히려 데이터 x에 대한 제약조건(condition)이 부여되어야 해당 관계를 잘 학습하는 z가 형성되지 않을까 생각해봅니다. 오히려 이러한 방식은 z_t (time step)마다의 벡터를 이해(z_1이 값이 높은 경우 낮은 경우)하기위해 활용될 수 있을 것 같습니다. 좋은 발표 감사합니다.


  • 2021-02-08 14:26

    latent space autoregession은 크게 세가지 요소로 구성됩니다. 먼저 latent vector z로 encoding하는 encoder와 autoregressive하게 z의 분포를 추정하는 확률모델, 마지막으로 z로부터 x를 재구축하는 decoder로 이루어졌습니다. 손실함수는 재구축된 x에 대한 reconstruction loss와 z의 log-likelihood loss의 합으로 이루어집니다. 이때 log-likelihood loss term은 실제와 parametric output의 차이와 differential entropy로 다시 표현할 수 있습니다. 따라서 reconstruction error term에 의해 정상 데이터는 autoencoder에 의해 원본 데이터와 유사하게 재구축되고, 실제와 parametric output의 차이 term으로 인해 실제 z와 autoregressive하게 구한 z의 차이를 최소화하여 autoregressive하게 만든 분포가 실제 분포를 학습할 수 있습니다. 마지막으로 differential entropy는 정상 데이터 간 entropy를 최소화 하는 역할을 해 정상 데이터의 latent vector의 차이를 최소화 하게됩니다. 이 논문에서는 anomaly score로 reconstruction error 뿐만 아니라 cross-entropy loss를 여기에 더해 사용함으로써 latent vector의 유사성도 abnoraml을 판단하는데 사용하게 됩니다 latent의 differential entropy를 최소화한다는 점에서 reconstruction error만을 score로 사용하는 다른 AD 방법론들과 차별되는 것 같습니다. 비슷한 기법을 사용한 논문들까지 소개해주셔서 여러 방향으로 생각해볼 수 있었습니다. 좋은 발표 감사합니다.


  • 2021-02-08 15:58

    본 세미나에서는 Autoencoder를 통해 Anomaly Detection을 하는 과정 속에서 나타나는 z, Latent Vector를 Autoregressive하게 구성하는 것이 특징인 모델을 살펴보았습니다. 기존의 AE와 다르게 세 가지 Error를 사용하여 다양한 목적을 달성하려 하며, 1) Reconstruction Error는 기존과 동일, 2) 실제 z를 Autoregressive한 방법으로 구하는 과정 속에서 이전 시점의 Latent만을 반영하여 z를 구성해 나가는 Error, 3) Differential Entropy를 통해 정상 데이터 간의 Entropy를 최소화하여 AE가 취약한 작은 Anomaly 탐지를 가능하도록 합니다. 최근의 USAD 같은 경우만 하더라도, AE의 Encoder를 구성함에 있어 각 데이터들이 Independent하게 활용되어 훈련되었는데, 이전 시점만을 포함하는 조건부 확률을 통해 시계열 이상치 탐지를 위한 Latent를 더 정확히 반영할 수 있지 않을까 싶었습니다. 좋은 발표 감사드리며 수고 많으셨습니다.


  • 2021-02-08 19:15

    금일 세미나에서는 latent space autogression을 이상치 탐지에서 활용하는 방법에 대해 알 수 있었습니다. 기존 autoencoder를 활용한 anomaly detection과는 다르게, 실제 parametric output의 차이와 differential entropy를 추가적으로 고려한 모델을 소개해주셨습니다. 이 모델은 특히 시계열 데이터에서의 이상치를 탐지하는 데에 목적이 있습니다. 구체적인 방법론은 다음과 같습니다. 실제 latent vector 와 autoregressive하게 구한 latent vector 간의 차이를 최소화하는 cross entropy term 과 정상 데이터 간의 entropy를 최소화하는 term을 추가한 것이라 볼 수 있습니다. 이 논문에서 제안한 방법론과 유사한 모델을 소개하는 2 편의 논문을 소개해주셔서 autoencoder 기반의 이상치 탐지에 대해 이해하기 좋았습니다. 좋은 발표 진행해주셔서 감사합니다.


  • 2021-02-08 20:13

    금일 세미나는 "Latent Space Autoregression for Novelty Detection" 논문을 발표해 주셨습니다. 해당 방법론은 총 3가지의 Loss를 이용하여 Auto-Encoder의 모델을 학습하는 방법입니다. 오토인코더에서 일반적으로 적용하는 인코더의 입력과 디코더의 출력의 차이인 Reconstruction Error를 이용하고, Auto-regressive한 방법으로 구한 z와 auto-encoder의 latent vector의 차이를 최소화하는 loss를 적용합니다. 마지막으로 Differential Entropy를 적용하여 정상 데이터의 latent vector의 차이를 최소화함으로써 정상으로부터 조금 벗어난 이상치도 예민하게 탐지가 가능하도록 합니다. 이러한 방식을 이용하면 보다 robust하게 정상과 비정상을 구분하는 오토인코더를 구축할 수 있습니다. latent에서 loss를 추가하여 모델을 robust하게 하는 아이디어가 인상 깊었습니다. 좋은 설명 감사합니다.


  • 2021-02-08 20:40

    Anomaly Detection에는 Reconstruction Error 기반의 모델이 자주 사용됩니다. Reconstruction Error는 AutoEncoder를 가정하고, AE의 Input과 Output간의 차이를 말하며, AE는 정상데이터의 패턴을 많이 학습하기에, 비정상 데이터의 경우 Reconstruction Error가 크다는 점을 이용합니다. 이번 세미나에서 소개해 주신 논문에서는 기존의 Reconstruction Error와 더불어, Encoder와 Decoder 사이에 존재하는 Latent Vector를 이용한 Loss를 추가한 모델을 소개해 주셨습니다. 해당 방법은 Latent Vector를 Autoregressive하다고 가정하고, 이전에 생성된 Latent Vector들을 이용하여 다음번에 등장할 Latent Vector를 예측하는 확률을 구한 뒤, 해당 확률 값들을 Loss에 반영해 줍니다. Novelty Detection에 대한 참신한 아이디어를 접할 수 있어 유익했던 시간이었습니다. 감사합니다.


  • 2021-02-09 04:15

    금일 세미나에서는 latent space
    이번 세미나에서는 Latent Space Autoregression for Novelty Detection 이라는 제목에서도 알수 있듯이, latent space 내에서 sequential 한 정보를 내포하도록 학습하는 방법을 고안하고, 이를 통해 sequence data 에서 anomaly detection 을 수행하는 것 같습니다. 아이디어에서 볼 수 있는 것 중 하나는 제가 발표한 disentangled representation 과 의미적으로 유사한 점이 있었습니다. 결국 각 차원이 특정 시점의 순서를 반영하게 만든 다는 것인데, 이를 vae 와 유사하게 학습 시키는 방법 같습니다. 해당 논문의 reference 중에도 위 내용과 유사한 논문이 있는 것으로 보아 특정 차원에 의미를 부여하는 것을 목표로 두었던것 같습니다. 이를 구현하기 위해 간단하게 분포를 학습할 수 있는 방법을 사용하게 되는데 이 방법 또한 disentangled representation 에서 mutual information 을 최대화 시키는 과정과 유사해서 나름 참신한 아이디어 였던 것 같습니다,


  • 2021-02-09 11:07

    오늘 세미나에서는 Latent space상의 Autoregression based density probability를 활용하여 novelty detection을 수행하는 방법인 “Latent Space Autoregression for Novelty Detection”에 대해 다루어주셨습니다.

    해당 방법론은 encoder를 통해 압축된 latent vector와 autoregression을 기반으로 생성된 latent vector 간의 차이를 통해 정상 데이터와 조금 다른 이상치도 예민하게 탐지할 수 있도록 모델을 구축하였습니다. Loss Function은 reconstruction error + 실제와 parametric output의 difference + differential entropy로 정의되며 각각의 정의는 아래와 같이 정리될 수 있습니다.
    (1) Reconstruction error : 정상 데이터는 AE로 인해 원본 데이터와 매우 흡사하게 재구축됩니다.
    (2) 실제(z)와 parametric output(z’)의 차이 : 실제 z값들과 autoregressive한 방법으로 구한 z’의 차이를 최소화하여 autoregressive 하게 만든 분포가 실제 분포와 비슷하게 합니다.
    (3) Differential entropy : 정상 데이터 간의 entropy를 최소화하여 정상 데이터의 latent vector의 차이를 최소함으로써 정상으로부터 조금 벗어난 이상치도 예민하게 탐지할 수 있도록 합니다.

    Latent에서 loss를 추가하여 모델을 robust하게 하는 아이디어가 인상 깊었습니다. 좋은 발표 감사합니다.


  • 2021-02-09 16:05

    금번 세미나에서는 autoencoder 기반의 시계열 이상치 탐지 예측에 대한 내용을 발표해주셨습니다. 이상치 탐지에서 autoencoder가 잘 쓰이는 것은 알고 있으나, 시계열 데이터에 대해서도 사용이 된다는 점이 흥미로웠습니다. 기존의 reconstruction error는 유지하되 latent space에 auto-regressive하게 feature가 생성됨을 가정하여 다음 시점의 latent vector가 생성될 때 가정된 분포와 비교한 loss가 추가되는 것 같습니다. 이를 통해 latent feature의 생성에 대해서도 정상 데이터에 따르도록 하는 제약을 부여하는 것으로 이해했는데, 실제 데이터에서도 이러한 가정이 잘 통할지는 의문이 들긴 했습니다. 다만 아이디어가 흥미로웠고, 앞으로 프로젝트 하는 데에 도움이 될 것 같습니다. 좋은 발표 감사합니다.


  • 2021-02-10 02:38

    오토인코더의 latent space에서 autoregressive 방법론을 사용하는 접근은 처음 보아서 흥미롭게 들었습니다. 시계열 이상치 탐지에 잘 활용될 수 있는 것 같아 MNIST나 CIFAR 데이터보다 더 다양한 시계열 데이터로 실험하는 게 더 낫지 않을까 싶지만, 시점별 latent space 간 관계를 파악하려는 시도가 새로웠습니다. 논문에서 가정하는 상황에 대한 충분한 이해가 없지만, 해당 방법론이 일반적인 AE가 아닌 denoising AE 등의 형태에서는 잘 적용되지 않을수도 있겠다는 생각이 들었습니다. Latent space가 학습이 진행됨에 따라 어떻게 구성될 수 있는지 확인해볼 수 있는 시도였다고 생각하고, 시계열 데이터와 이상탐지 분야로 공부하시고 공유해주셔서 많은 정보를 얻을 수 있었습니다. 감사합니다.


  • 2021-02-10 15:35

    이번 발표는 latent space를 이용해 autoregression density probability를 이용해 novelty detection을 수행합니다. 구체적으로는 encoder를 통해 축소된 latent space vector와 autoregressive하게 생성된 latent space vector 두 가지의 차이를 줄이도록 학습합니다. 이를 통해 굉장히 작은 이상치도 잘 잡아낼 수 있는 모델입니다. latent space상에서 sequential한 정보를 학습하도록 설계한 모델이라는 점에서 굉장히 기발하다는 생각이 들었습니다. 평소 anomaly detection에 대해 흥미를 갖고 있어 재미있게 청취할 수 있었습니다. 특히 논문에서 제시한 가정이 매우 합당하게 느껴졌으며 실험을 통해 이를 충분히 뒷받침했다고 생각합니다.


  • 2021-02-14 02:04

    해당 세미나에서는 Latent space상의 Autoregression based density probability를 활용하여 novelty detection을 수행하는 방법을 주제로 Latent Space Autoregression for Novelty Detection 을 다루어 보았습니다. Novelty Detection을 위해서 Auto-encoder 구조의 Latent Vector를 이용하는 방법은 계속해서 이용되어 지고 있는 방법으로 일반적으로 Reconstruction Error를 기반으로 수행되게 됩니다. 소개해주신 논문에서는 Video Data에 대해서 auto-regressive하게 생성된 latent vector를 기준으로 수행한 결과를 소개해주고 있었습니다. 앞서서 발표자가 지난 발표에서 소개한 기존 시계열데이터에서와 달리 해당 논문에서 Autoregressive order를 통해 수행하는 점이 흥미로웠고, 이에 대한 증명 실험 역시 납득이 갔습니다. 계속해서 시계열관련해서 이상치 탐지를 연구로 재미있는 연구를 소개해주어 감사의 인사 전합니다.


전체 129
번호 제목 작성자 작성일 추천 조회
공지사항
Paper Reviews 2019 Q3
관리자 | 2020.03.12 | 추천 0 | 조회 1222
관리자 2020.03.12 0 1222
공지사항
Paper Reviews 2019 Q2
관리자 | 2020.03.12 | 추천 0 | 조회 449
관리자 2020.03.12 0 449
공지사항
Paper Reviews 2019 Q1
관리자 | 2020.03.12 | 추천 0 | 조회 990
관리자 2020.03.12 0 990
126
[Paper Review] Deep GNNs (3)
Hyungseok Kim | 2021.04.16 | 추천 0 | 조회 33
Hyungseok Kim 2021.04.16 0 33
125
[Paper Review] Don't Stop Pretraining: Adapt Language Models to Domains and Tasks (3)
Takyoung Kim | 2021.04.13 | 추천 0 | 조회 45
Takyoung Kim 2021.04.13 0 45
124
[Paper Review] Uninformed Students: Student–Teacher Anomaly Detection with Discriminative Latent Embeddings (4)
Hyeyeon Kim | 2021.04.07 | 추천 0 | 조회 83
Hyeyeon Kim 2021.04.07 0 83
123
[paper Review] Contrastive Learning for Sequential Recommendation (4)
Jungho Lee | 2021.04.03 | 추천 0 | 조회 121
Jungho Lee 2021.04.03 0 121
122
[Paper Review] Deep Image Retrieval: Learning global representations for image search (5)
Kyoosung So | 2021.03.31 | 추천 0 | 조회 94
Kyoosung So 2021.03.31 0 94
121
[Paper Review] Vq-wav2vec: Self-Supervised Learning of Discrete Speech Representations (6)
Jounghee Kim | 2021.03.24 | 추천 0 | 조회 149
Jounghee Kim 2021.03.24 0 149
120
[Paper Review] Time Series Anomaly Detection with Multiresolution Ensemble Decoding (6)
Heejeong Choi | 2021.03.23 | 추천 0 | 조회 133
Heejeong Choi 2021.03.23 0 133
119
[Paper Review] QANet: Combining Local Convolution with Global Self-Attention for Reading Comprehension (8)
Jina Kim | 2021.03.19 | 추천 0 | 조회 164
Jina Kim 2021.03.19 0 164
118
[Paper Review] SOM-DST  : Efficient Dialogue State Tracking by Selectively Overwriting Memory (7)
Yukyung Lee | 2021.03.13 | 추천 0 | 조회 185
Yukyung Lee 2021.03.13 0 185
117
[Paper Review] A Simple Framework for Contrastive Learning of Visual Representations (10)
Donghwa Kim | 2021.03.10 | 추천 0 | 조회 255
Donghwa Kim 2021.03.10 0 255

Data Science & Business Analytics Lab.
School of Industrial Management Engineering
College of Engineering, Korea University

Contact Us

  • 강필성 교수 (pilsung_kang@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 창의관 801A호 
  • 대학원 연구실 (총무 이유경: yukyung_lee@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 신공학관 220호, 221호, 213호
© 2020 DSBA Lab.