[Paper Review] OOD Detection Using an Ensemble of Self-Supervised Leave-out Classifiers

Paper Review
작성자
Kyoungchan Park
작성일
2021-02-23 03:04
조회
273
1. Topic
OOD Detection Using an Ensemble of Self-Supervised Leave-out Classifiers

2. Overview

3. 발표자료 및 발표영상

발표 자료 (첨부파일)
발표 영상 (Link)

4. 참고 문헌
전체 8

  • 2021-03-25 18:57

    발표자분께서 연구하시는 OOD 분야는 Adversarial Attack/Defense나 Uncertainty와 더불어 현실에서 꼭 고려해야 하는 분야이기 때문에 항상 재미있게 듣습니다. 이번 논문에서는 최근 많이 연구되고 있는 self supervised 방법론을 ood에서도 시도하였습니다. SSL 기법이 모델의 robustness를 증가시키면서 앙상블 기법까지 혼합하여 좋은 성능을 보였습니다. 또한 softmax 공간에서는 temperature scaling까지 진행했는데, 예측의 uncertainty를 더 잘 반영하기 위해 neurips 2020에 소개된 beta smoothing을 함께 사용하면 성능 측면에서 더 향상이 있지 않을까 생각했습니다. 감사합니다.


  • 2021-02-22 19:46

    금일 세미나 시간에는 OOD Detection관련하여 OOD Detection Using an Ensemble of Self Supervised Leave-out Classifiers 논문을 주제로 다루어 보았습니다. 발표자가 계속해서 연구를 진행하고 있는 OOD Detection은 훈련데이터와 다른 프로세스 혹은 분포로부터 생성된 Out-of-Distribution을 탐지하여 In-Distribution과 잘 구분하고자 하는 task입니다. 해당 논문에서는 Self-supervised learning방법의 하나인 Roation Net구조를 통해 OOD detection task에 적용하였습니다. 이 과정에서 손실함수는 기존 모델의 Loss와 cross-entropy를 결합하여 학습을 진행하였습니다. 학습과정에서는 K개의 class를 K개의 모델을 논문제목에서와 같이 ensenble하여 학습을 수행하였습니다. OOD detection은 기존의 Anomaly Detection과 많은 것을 공유하기에 흥미롭게 세미나를 잘 참관하였습니다. 열심히 준비해준 발표자에게 감사의 인사 전합니다.


  • 2021-03-02 15:21

    본 세미나에서는 지금까지 진행한 OOD에 대한 정리와 함께 OOD Detection Using an Ensemble of Self Supervised Leave out Classifiers 논문에 대하여 알아보았습니다. 우선 발표자가 follow-up 하고 있는 분야에 대한 맥락을 다시 짚어 주셔서 예전 세미나 기억들을 떠올리며 편하게 들을 수 있었고 메인이 되는 연구 또한 전형적으로 앙상블을 사용하여 문제를 푸는 방식이라 어렵지 않게 들을 수 있었습니다. 개인적으로는 많은 연구분야에서 앙상블을 처음에 시도해보지만 결국 끝까지 사용되는 분야는 없다고 생각합니다. 그리고 그 이유를 DNN을 학습하기 위해서는 굉장히 많은 리소스가 필요한데 앙상블이 이러한 리소스를 감당하는 것에 비해 얻는 이득이 적기 때문이라고 생각합니다. 결국 앙상블을 적용하는 것보다는 DNN에 적합한 앙상블 구조를 고민해보는 것도 재미있는 연구 주제가 되지 않을까 라는 생각이 들었습니다.


  • 2021-03-03 15:12

    이번세미나에서는 OOD Detection Using an Ensemble of Self Supervised Leave out Classifiers를 발표해주셨습니다. 도입부에 OOD task에 self-supervised learning, consistency loss등 요즘 많이 적용되는 것을 보아서 정말 큰 연구분야라는 것을 확인할 수 있었습니다. Ensemble of Self Supervised Leave-out Classifiers의 컨셉은 기존에 많이 사용되는 개념이라 연구분야의 novelty로 쓰이기 좀 예매한점이 있지만 그 성능의 효과는 항상 기대를 저버리지 않는 것 같습니다. 하지만 메모리 효율 및 연산면에서 어떻게 해결을 해야할지에 대한 문제점은 남아 있는 것 같습니다. 좋은 발표 감사합니다.


  • 2021-03-04 16:54

    이번 세미나에서는 학습에서 모델이 본적없는 데이터를 탐지하는 방법과 관련된 연구인 OOD Detection에 대해 발표를 해 주셨습니다. 오늘 발표주신 논문의 핵심은 앙상블을 OOD Detection에 활용하는 것 입니다. 학습 시 N개의 Class를 K개로 분할한 후 K-1개의 집합은 ID로 나머지 1개의 집합은 OOD로 사용하는 방식으로 총 K 개의 모델을 학습하여 구성합니다. 또한 ID에 대한 CE loss 그리고 OOD 집합과 ID 집합 간의 entropy 차이가 커지도록 loss를 설계함으로써 모델이 보지 못한 OOD에 민감하게 만듭니다. 앙상블 모델이 OOD Detection 뿐만 아니라 다양한 분야에 많이 활용되는 기술이며 효과가 있지만 Computing 파워가 많이 필요하다는 점에서 해당 기술을 활용하여 연구하기에는 어렵다는 생각이 들었습니다. 좋은 발표 감사합니다.


  • 2021-03-07 18:10

    본 발표에서는 Out of Distribution Detection에 대해서 개괄적인 소개를 해주었으며, 이는 훈련 데이터와 다른 분포로부터 생성된 데이터를 탐지하는 것을 말하며, 이를 기준 값 OOD Score를 통해 계산해 냅니다. 이에 대한 선행 모델들은 MSP(분류기의 Softmax 값의 max가 낮은 값을 OOD라고 규정)와 ODIN(MSP 방법에 Temperature Scaling / FGSM based Noise on Input)이 있으며, 발표의 논문은 Label이 존재하지 않을 때, 내재 정보를 학습하는 Self Supervised Learning을 활용하여 OOD Detection Task를 진행합니다. 구체적으로, N개의 Class를 K개로 분할 하여 K-1개의 집합은 ID로 나머지 1개의 집합은 OOD로 나타내어(Leave-out) K개의 모델을 학습하며, margin based Loss를 활용하여 OOD와 ID Sample의 평균 Entropy 간의 최소 Margin을 유지하도록 합니다. 이를 통해 SOTA인 ODIN 등의 성능을 여러 Benchmark Dataset에서 앞지르는 성과를 가지지만, 기본적으로 앙상블 기법이 갖는 메모리 효율성 문제, 다양한 ID / OOD Split 방법, Hyperparameter 등의 Future Work이 존재하고 있습니다. 깔끔한 발표 감사드립니다.


  • 2021-03-17 19:32

    오늘 세미나에서는 앞선 OOD detection 발표 내용에 대한 정리와 함께 앙상블을 이용한 OOD detection에 대해 설명해주셨습니다. 이전에 deep-ensemble을 통해서 딥러닝에 앙상블 개념을 도입하는 것과 그 효과에 대해서 설명해주셨는데, 단순히 앙상블을 적용해서 성능, 혹은 uncertainty 예측을 잘 할수도 있지만 무엇보다 소개된 논문처럼 loss가 잘 설계가 된다면 ensemble의 효과가 더욱 극대화 될 수 있다고 생각합니다. 다만 여느 앙상블 모형이 그렇듯이, 특히 딥러닝에 대한 앙상블 적용은 deep-ensemble 논문에서도 짚었다시피 효율성 측면에서 한계가 많다고 봅니다. 연구 관점이 아니라 실무나 현업의 관점에서 이런 한계를 어떻게 극복하는지가 중요할 것 같습니다. 좋은 발표 감사합니다.


  • 2021-03-22 18:31

    금일 발표는 "OOD Detection Using an Ensemble of Self-Supervised Leave-out Classifiers"라는 주제로 진행되었습니다. 본 발표에서는 N개의 Class를 K개로 분할하여 K-1개의 집합은 in-distribution으로 나머지 1개는 out-of-distribution으로 K개의 모델을 학습한 후 이를 앙상블한 모델이 소개되었습니다. 다양한 분야에서 다양한 방식으로 앙상블이 적용되고 있는데 본 발표에서는 전통적인 앙상블 기법이 사용되었는데도 불구하고 좋은 성능을 도출하여 인상적이었습니다. 해당 부분을 통해 간단하고 기초적인 것부터 적용하여 기존 모델의 성능 향상을 확인하는 것이 필수적이라는 생각이 들었습니다. 좋은 발표 감사합니다.


전체 129
번호 제목 작성자 작성일 추천 조회
공지사항
Paper Reviews 2019 Q3
관리자 | 2020.03.12 | 추천 0 | 조회 1222
관리자 2020.03.12 0 1222
공지사항
Paper Reviews 2019 Q2
관리자 | 2020.03.12 | 추천 0 | 조회 447
관리자 2020.03.12 0 447
공지사항
Paper Reviews 2019 Q1
관리자 | 2020.03.12 | 추천 0 | 조회 990
관리자 2020.03.12 0 990
126
[Paper Review] Deep GNNs (3)
Hyungseok Kim | 2021.04.16 | 추천 0 | 조회 33
Hyungseok Kim 2021.04.16 0 33
125
[Paper Review] Don't Stop Pretraining: Adapt Language Models to Domains and Tasks (3)
Takyoung Kim | 2021.04.13 | 추천 0 | 조회 45
Takyoung Kim 2021.04.13 0 45
124
[Paper Review] Uninformed Students: Student–Teacher Anomaly Detection with Discriminative Latent Embeddings (4)
Hyeyeon Kim | 2021.04.07 | 추천 0 | 조회 82
Hyeyeon Kim 2021.04.07 0 82
123
[paper Review] Contrastive Learning for Sequential Recommendation (4)
Jungho Lee | 2021.04.03 | 추천 0 | 조회 121
Jungho Lee 2021.04.03 0 121
122
[Paper Review] Deep Image Retrieval: Learning global representations for image search (5)
Kyoosung So | 2021.03.31 | 추천 0 | 조회 94
Kyoosung So 2021.03.31 0 94
121
[Paper Review] Vq-wav2vec: Self-Supervised Learning of Discrete Speech Representations (6)
Jounghee Kim | 2021.03.24 | 추천 0 | 조회 149
Jounghee Kim 2021.03.24 0 149
120
[Paper Review] Time Series Anomaly Detection with Multiresolution Ensemble Decoding (6)
Heejeong Choi | 2021.03.23 | 추천 0 | 조회 133
Heejeong Choi 2021.03.23 0 133
119
[Paper Review] QANet: Combining Local Convolution with Global Self-Attention for Reading Comprehension (8)
Jina Kim | 2021.03.19 | 추천 0 | 조회 164
Jina Kim 2021.03.19 0 164
118
[Paper Review] SOM-DST  : Efficient Dialogue State Tracking by Selectively Overwriting Memory (7)
Yukyung Lee | 2021.03.13 | 추천 0 | 조회 185
Yukyung Lee 2021.03.13 0 185
117
[Paper Review] A Simple Framework for Contrastive Learning of Visual Representations (10)
Donghwa Kim | 2021.03.10 | 추천 0 | 조회 255
Donghwa Kim 2021.03.10 0 255

Data Science & Business Analytics Lab.
School of Industrial Management Engineering
College of Engineering, Korea University

Contact Us

  • 강필성 교수 (pilsung_kang@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 창의관 801A호 
  • 대학원 연구실 (총무 이유경: yukyung_lee@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 신공학관 220호, 221호, 213호
© 2020 DSBA Lab.