[Paper Review] Uninformed Students: Student–Teacher Anomaly Detection with Discriminative Latent Embeddings

Paper Review
작성자
Hyeyeon Kim
작성일
2021-04-07 09:15
조회
83
1. Topic
  • Student-Teacher Anomaly Detection
2. Overview
  • Anomaly Detection에 Knowledge Distillation 및 fast dense feature extraction, descriptor compactness를 고려함
  • Descriptor의 output으로 scratch 부터 representation을 학습하는 다른 모델들에 비해 Discriminative embedding을 prior knowledge로 사용하는 것이 더 나음을 실험으로 보임
3. 발표자료 및 발표영상
  • 발표 자료: 첨부파일 참고
  • 발표 영상: (예정)
4. 참고 문헌
  • Uninformed Students: Student–Teacher Anomaly Detection with Discriminative Latent Embeddings(CVPR 2020)
전체 4

  • 2021-04-07 13:22

    도메인이 다르면 이상치라고 정의하는 NLP task로 문제로 정의 하는것이 인상깊었습니다. 위 문제를 해결하기 위해서 Knowledge distillation방법을 triple loss를 이용하여 서로 비슷한 patch는 가깝게 맵핑하고 서로 다른 patch는 멀게 임베딩하는 방법을 사용하였습니다. 일반적인 pooling layer를 다양한 사이즈의 multi pooling layer로 대체한 fast dense local feature extraction 방법론을 제안하였으며 학습속도에 대한 성능을 많이 개선시켰습니다. 직관적으로 해당기법은 이미치 receptive field를 촘촘이 보기 때문에 성능이 향상되지 않았을까 생각해봅니다. 이상치 스코어는 residual error(student's 모델의 feature map 차이)와 student 모델들의 타겟예측의 변동성을 고려한 2D-plot이 인상 깊었습니다. 논문그림을 만들때 참조하면 좋을 것 같습니다. 좋은 발표 감사합니다.


  • 2021-04-07 13:42

    이번 세미나에서는 2020년 CVPR에서 발표한 Uninformed Students: Student–Teacher Anomaly Detection with Discriminative Latent Embeddings 에 대해서 소개해주셨습니다. 본 논문의 주제는 Image 데이터에 대한 Anomaly Detection Task 수행하기 위해 Knowledge Distillation 방법을 적용하였습니다. 데이터는 Patch 단위로 나뉘어 구성되고 모델의 구조는 크게 세 단계로 나뉩니다. 첫 번째로는 Pretrained Model로 부터 Distillation, Metric Learning, Compactness 세 가지 Loss를 활용하여 Teacher_hat Model을 구성합니다. 두 번째는 Teacher_hat으로 부터 Multi-Max Pooling Layers와 Unwarping Layer를 추가하여 새로운 Teacher Model을 구성합니다. 마지막으로 구성된 Teacher Model로 부터 여러 Student Model을 학습합니다. 최종적으로 Student 모델들의 prediction 결과의 평균과 Teacher Model의 결과의 차이를 기준으로 Anomaly Score를 정의하였습니다. 이번 세미나에서 교수님께서 하신 말씀따라 논문은 Top 컨퍼런스임에도 제안한 방법을 실험적으로 증명할 부분이 부족하다고 생각되는 점에서 논문을 볼 때 비판적인 사고를 해야한다는 걸 또 느꼈습니다. 좋은 발표 감사합니다.


  • 2021-04-07 14:37

    금일 세미나애서 다룬 논문은 Uninformed Students: Student–Teacher Anomaly Detection with Discriminative Latent Embeddings입니다. 이 모델은 teacher-student 모델 간의 knowledge distillation을 base로 하고 있습니다. 또한 이상치 탐지를 위해서 student model은 정상데이터로만 학습되고, 여러 student 모델을 앙상블하여 사용하고 있습니다. 먼저, 이 논문에서 제시한 모델은 pre-trained 모델에서 teacher 모델을 학습하고, 그 teacher 모델에서 한번 더 fast dense local feature extraction을 거친 teacher 모델을 사용합니다. 이로부터 student 모델을 학습하게 되는데, 이 때 다양한 scale의 anomaly detection을 위해 feature extraction 과정에서 다양한 receptive field size 를 사용한 student-teacher pair을 도입하게 됩니다. 본 논문에서는 teacher model의 prior knowledge를 활용하여 이상치 탐지의 정확도를 높였고, 다양한 receptive field size로 해상도와 capacity의 손실을 방지했다는 결론을 내리고 있습니다. 다양한 receptive field의 앙상블로 보다 정확한 이상치 탐지를 했다는 점에서 흥미로웠지만 모델 architecture의 각 phase별 단계에 대한 실험적인 입증이 조금 더 필요할 것 같습니다. 교수님께서 언급해주신 것처럼 논문을 볼 때, 제안된 방법론이 논리적인 흐름에서 실험적으로 입증이 되었는지 함께 봐야할 필요가 있음을 배우게 되었습니다. 발표 잘 들었습니다. 감사합니다.


  • 2021-04-11 17:42

    본 세미나에서는 이미지에 대하여 Unsupervised anomaly detection 또는 Pixel단위의 Anomaly Segmentation을 Student-Teacher Based Model로 진행하는 기법을 살펴보았습니다. Anomaly를 판단하기 위하여 Student Network들의 예측 분산 / 에러를 기준으로 하며, 해당 Student Model들을 구성하기 위하여 세 단계를 거치게 됩니다. 먼저 Pretrained Model로부터 Descriptive Embedding Vector를 추출하고, Fast Dense Feature Extractor를 구성해 Teacher Model을 생성합니다. 그 다음 Teacher와 동일한 네트워크 구조를 갖지만 Receptive Field가 Teacher보다 좁은 Student Model을 구성하여 Teacher Model의 결과를 Return할 수 있도록 학습니다. 이상치로 판별되는 원리는 Anomaly가 아닌 데이터 셋들에 대한 Manifold의 바깥에 존재할 경우이며, Student Network 자체의 Uncertainty 역시 추가적인 Score Function에 추가되어 이상치를 탐지하게 됩니다. 이상치 탐지를 연구함에 있어 같은 연구실 인원의 연구 분야와 함께 녹아내려는 시도가 좋았습니다.


전체 129
번호 제목 작성자 작성일 추천 조회
공지사항
Paper Reviews 2019 Q3
관리자 | 2020.03.12 | 추천 0 | 조회 1222
관리자 2020.03.12 0 1222
공지사항
Paper Reviews 2019 Q2
관리자 | 2020.03.12 | 추천 0 | 조회 448
관리자 2020.03.12 0 448
공지사항
Paper Reviews 2019 Q1
관리자 | 2020.03.12 | 추천 0 | 조회 990
관리자 2020.03.12 0 990
126
[Paper Review] Deep GNNs (3)
Hyungseok Kim | 2021.04.16 | 추천 0 | 조회 33
Hyungseok Kim 2021.04.16 0 33
125
[Paper Review] Don't Stop Pretraining: Adapt Language Models to Domains and Tasks (3)
Takyoung Kim | 2021.04.13 | 추천 0 | 조회 45
Takyoung Kim 2021.04.13 0 45
124
[Paper Review] Uninformed Students: Student–Teacher Anomaly Detection with Discriminative Latent Embeddings (4)
Hyeyeon Kim | 2021.04.07 | 추천 0 | 조회 83
Hyeyeon Kim 2021.04.07 0 83
123
[paper Review] Contrastive Learning for Sequential Recommendation (4)
Jungho Lee | 2021.04.03 | 추천 0 | 조회 121
Jungho Lee 2021.04.03 0 121
122
[Paper Review] Deep Image Retrieval: Learning global representations for image search (5)
Kyoosung So | 2021.03.31 | 추천 0 | 조회 94
Kyoosung So 2021.03.31 0 94
121
[Paper Review] Vq-wav2vec: Self-Supervised Learning of Discrete Speech Representations (6)
Jounghee Kim | 2021.03.24 | 추천 0 | 조회 149
Jounghee Kim 2021.03.24 0 149
120
[Paper Review] Time Series Anomaly Detection with Multiresolution Ensemble Decoding (6)
Heejeong Choi | 2021.03.23 | 추천 0 | 조회 133
Heejeong Choi 2021.03.23 0 133
119
[Paper Review] QANet: Combining Local Convolution with Global Self-Attention for Reading Comprehension (8)
Jina Kim | 2021.03.19 | 추천 0 | 조회 164
Jina Kim 2021.03.19 0 164
118
[Paper Review] SOM-DST  : Efficient Dialogue State Tracking by Selectively Overwriting Memory (7)
Yukyung Lee | 2021.03.13 | 추천 0 | 조회 185
Yukyung Lee 2021.03.13 0 185
117
[Paper Review] A Simple Framework for Contrastive Learning of Visual Representations (10)
Donghwa Kim | 2021.03.10 | 추천 0 | 조회 255
Donghwa Kim 2021.03.10 0 255

Data Science & Business Analytics Lab.
School of Industrial Management Engineering
College of Engineering, Korea University

Contact Us

  • 강필성 교수 (pilsung_kang@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 창의관 801A호 
  • 대학원 연구실 (총무 이유경: yukyung_lee@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 신공학관 220호, 221호, 213호
© 2020 DSBA Lab.