[2019.09.20 - 박경찬 석박통합과정] Selective Classifier

Paper Review
작성자
관리자
작성일
2020-03-12 11:21
조회
222
1. Topic

Selective Classifier: Bias-Reduced Uncertainty Estimation for DNN

2. Overview

Selective Classifier는 분류 결과에 대한 uncertainty estimation을 수행한 후 uncertainty score에 따라 분류 결과를 거부(모른다)할 수 있는 모델이다. 따라서 질 좋은 selective classifier를 위해 질 좋은 uncertainty estimation이 필요하다.

해당 논문은 질 좋은 uncertainty estimation을 하기 위해 NN 학습 과정에서 생성되는 모델을 앙상블하는 방법을 제시한다. 실험을 통해 분류가 어려운 hard point의 경우 NN이 학습되면서 점차 잘 분류하게되는 반면 분류가 쉬운 easy point는 NN 학습 초기에 미리 잘 분류가 되는 것을 확인하였고, 이에 착안하여 모델의 학습 과정에서 생성되는 NN을 앙상블하여 사용하는 방법을 제시하였다. 해당 방법론을 기존의 DNN과 관련한 uncertainty estimation 방법론에 적용한 결과 E-AURC 기준 뚜렷한 성능 향상이 있는 것을 확인하였다.

3. 발표자료 및 발표영상

[1] 발표자료

[2] 발표영상

4. 참고문헌

[1] Younatan Geifman, Guy Uziel, Ran EL-Yaniv. "Bias-Reduced Uncertainty Estimation for Deep Neural Classifiers" ICLR 2019.

[2] Balaji Lakshminarayanan, Alexander Pritzel, Charles Blundell et al. "Simple and Scalable Predictive Uncertainty Estimation Using Deep Ensembles" Nips 2017.

[3] Yarin Gal, Zoubin Ghahramani, et al. "Dropout as a Bayesian Approximation" ICML'16 Proceedings of the 33rd International Conference on International Conference on Machine Learning.

전체 0

전체 129
번호 제목 작성자 작성일 추천 조회
공지사항
Paper Reviews 2019 Q3
관리자 | 2020.03.12 | 추천 0 | 조회 1222
관리자 2020.03.12 0 1222
공지사항
Paper Reviews 2019 Q2
관리자 | 2020.03.12 | 추천 0 | 조회 448
관리자 2020.03.12 0 448
공지사항
Paper Reviews 2019 Q1
관리자 | 2020.03.12 | 추천 0 | 조회 990
관리자 2020.03.12 0 990
36
[Paper Review] Optimizing Instance Selection for Statistical Machine Translation with Feature Decay Algorithms (10)
관리자 | 2020.03.12 | 추천 0 | 조회 322
관리자 2020.03.12 0 322
35
[Paper Review] Adversarial Defense via Learning to Generate Diverse Attack (11)
관리자 | 2020.03.12 | 추천 0 | 조회 379
관리자 2020.03.12 0 379
34
[Paper Review] MixMatch : A Holistic Approach for Semi-Supervised Learning (11)
관리자 | 2020.03.12 | 추천 0 | 조회 2562
관리자 2020.03.12 0 2562
33
[Paper Review] Randomly Wired Neural Network For Image Recognition (9)
관리자 | 2020.03.12 | 추천 0 | 조회 236
관리자 2020.03.12 0 236
32
[Paper Review] Matching Networks for One Shot Learning (11)
관리자 | 2020.03.12 | 추천 0 | 조회 1886
관리자 2020.03.12 0 1886
31
[Paper Review] Addressing Semantic Drift in Question Generation For Semi-Supervised Question Answering (9)
관리자 | 2020.03.12 | 추천 0 | 조회 238
관리자 2020.03.12 0 238
30
[Paper Review] Large Scaled Graph Convolutional Networks (11)
관리자 | 2020.03.12 | 추천 0 | 조회 1119
관리자 2020.03.12 0 1119
29
[2019.12.13 - 양우식 석사과정] Visual Commonsense Reasoning & VilBERT (11)
관리자 | 2020.03.12 | 추천 0 | 조회 1046
관리자 2020.03.12 0 1046
28
[2019.12.06 - 최종현 석사과정] Graph-based Summarization (10)
관리자 | 2020.03.12 | 추천 0 | 조회 907
관리자 2020.03.12 0 907
27
[2019.12.04 - 이정호 석박통합과정] BERT4Rec : Sequential Recommendation with Bidirectional Encoder Representations from Transformer (11)
관리자 | 2020.03.12 | 추천 0 | 조회 1549
관리자 2020.03.12 0 1549

Data Science & Business Analytics Lab.
School of Industrial Management Engineering
College of Engineering, Korea University

Contact Us

  • 강필성 교수 (pilsung_kang@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 창의관 801A호 
  • 대학원 연구실 (총무 이유경: yukyung_lee@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 신공학관 220호, 221호, 213호
© 2020 DSBA Lab.