[Paper Review] Log Likelihood Ratio for Out of Distribution Detection

Paper Review
작성자
Kyoungchan Park
작성일
2020-08-03 20:17
조회
464
1. Topic
  • Log Likelihood Ratio for Out of Distribution Detection
2. Overview
  • OOD detection과 관련한 연구 동향을 살펴보고, generative model based OOD detection 방법론인 논문 "Log Likelihood Ratio for Out of Distribution Detection"에 대해서 알아봄
3. 발표자료 및 발표영상
4. 참고문헌
  • 발표자료 내 별도 정리
전체 11

  • 2020-08-04 20:46

    오늘 세미나는 Generation Model을 이용한 Out of Distribution Detection의 성능을 올리기 위한 Log Likelihood Ratio 방법에 관하여 설명하였습니다. 방법 설명에 앞서 Out of Distribution의 연구 동향 4가지를 설명해 주셔서 해당 분야에 대해 수월하게 이해할 수 있었습니다.
    기존 방법들의 경우 Classification Task에 기반하여 Classifier가 없다면 수행할 수 없지만 오늘 소개한 Generation 기반 방법의 경우 Task에 상관없이 수행할 수 있다는 점에서 활용도가 높다고 생각하였습니다. 이러한 Generation 기반의 OOD Detection의 경우 성능이 높지 않게 나오는데, 해당 논문에서는 이를 극복하기 위해 데이터가 Background와 Semantic으로 구성되어 있다고 간주하고, Semantic 정보를 파괴하는 Perturbation을 주어 별도의 모델을 학습한 뒤, 기존 모델과 Perturbation을 준 모델의 Log-likelihood Ratio를 계산하여 해당 값이 클수록 In-Distribution에 가까운 데이터로 판정하여 OOD Detection을 수행하였습니다.
    상세한 설명과 자료로 이해에 큰 도움이 되었습니다. 감사합니다.


  • 2020-08-05 02:22

    이번 세미나는 Out of distribution detection을 주제로 진행되었습니다. OOD데이터가 들어왔을때 classify되지않고 in distribution 으로 분류하도록 하는것이 OOD의 task라 볼 수 있습니다. 기존에 confidence score를 계산 해낼 수 있는 세가지 방법론 (MSP, ODIN, Mahalanobis) 에 대해 알 수 있었으며 OOD 연구 흐름을 알 수 있었습니다.그중에서도 in distribution과 out of distribution을 나눌 수 있는 적절한 레이어를 찾기위해 로지스틱 리그레션을 사용한 mahalanobis 방법론이 새롭게 다가왔습니다. Classifier에 의존하지 않는 generative model 기반 OOD 방법은 OOD를 찾아낸다는 개념에는 적합할 수 있으나, 성능이 뛰어나지 않았고 소개해주신 논문에서는 이 원인을 background statistic이라 주장하였습니다. 이 부분에 대해 여러가지 의견이 있었는데, 제가 생각하기로는 background와 semantic정보를 OOD 관점에서 보았을때 두가지의 영역을 구분짓지 않고 perturbation을 가하지 않는것이 타당하다고 생각했습니다. 그 이유는 논문이 랜덤하게 perturbation을 가했을 때 background는 noisy가 첨가되어도 영향을 받지 않고, semantic 정보는 noise에 민감하게 반응할 것이라 가정했기 때문입니다. 하지만 이에 대해 근거를 제시하기위해서 semantic정보와 background 정보를 구분하여 segmentation을 진행하여 실험을 했다면 논리적으로 더 타당했을것이라는 의견에는 동의하였습니다.

    최근에 관심을 가지고 있는 분야였는데 궁금했던 논문에 대해 리뷰할 수 있어서 많은 도움이 되었습니다. 감사합니다


  • 2020-08-05 09:40

    세미나에서는 가장 기본적인 softmax에 Temperature scale를 곱해거나, 그래디언의 역방향으로 이미지에 노이즈를 주는 FGSM의 confidence score를 산출하는 방법부터 시작해서 다양한 OOD task에 대해서 설명해 주었습니다. OOD task에 대해 특별했던 점은 일반적으로 outlier라 하면 정상데이터와의 차이가 있는 관측치라고 할 수 있는데 OOD에 대한 데이터를 참조하여 학습하는 방법에서 차이가 있다는 것을 알았습니다. 다양한 방법론들을 설명해 주셨는데 layer별로 weight를 주는 feature representation, generative model기반의 log-likelihood의 OOD 탐지 방법, 그리고 데이터에 노이즈를 줘서 해당 task에 적용했다는점이 인상깊었습니다.


  • 2020-08-06 09:50

    연구중인 분야에 대한 동향을 들을 수 있어서 유익했습니다. 사실 여전히 모델을 튜닝하기 위해서 OOD data를 사용한다는 논리가 이해하 되지 않으나 여러 논문들에서 그러한 방법을 사용하고 있는데는 그만한 이유가 있을거라고 생각합니다. 또한 조금씩 OOD data를 사용하지 않는 방향으로 연구들이 진행되고 있어서 이러한 문제가 해소될 것이라는 발표자의 말씀을 듣고 조금 더 지켜볼 필요가 있다는 생각을 하였습니다. 발표 중 가장 흥미로웠던 부분은 generative model이 분류 모델들에 비해 태생적으로 OOD detection에 유리하다는 점, 이것은 label 정보를 필요로 하지 않기 때문입니다, 이라는 발표자의 설명과 실제 실험 결과는 generative model이 OOD detection 분야에서 제대로 작동하지 않는다는 점이었습니다. 개인적으로도 generative model이 OOD detection에 적합하다는 의견에 매우 동의하기에 퍼포먼스가 낮은 것이 흥미로웠고 그만큼 개선의 여지가 있는 분야라는 생각이 들었습니다.
    또한 기본적으로 이미지를 다루는 대부분의 테스크에서 객체보다 배경이 중요한 역할을 한다는 것은 여러 선행 연구들에서 실험적으로 증명한 내용입니다. 다시 말해, 비행기를 분류하는데 비행기 자체보다 파란색 배경이 더 큰 역할을 하며, 이를 다른 색으로 변경하였을 때 모델의 오분류율이 비약적으로 상승한다는 연구 결과도 있습니다. 이러한 이유는 real world data와는 다르게 분류를 위한 benchmark dataset의 경우에는 객체가 작고 배경의 여백이 큰 이미지들이 많이 들어있기 때문이라고 생각합니다. 논문으로 돌아가서 개인적인 생각을 말씀드리면 in distribution의 객체와 out of distribution의 객체의 분포가 아무리 다르더라도 배경이 같으면 전반적으로 배경의 비중이 높기 때문에 OOD를 제대로 탐지하는 것이 매우 challenge한 문제가 될 것 입니다. 이러한 상황에서 논문의 저자들은 배경에 robust한 모델을 만들고자 image 전체에 perturbation을 가하여 확률을 구하는 모델을 하나 더 생성하여 LLR을 구하고 있습니다. 이때 어차피 두 모델 모두 배경은 잘 학습 '할 것이기 때문에' 이 부분이 cancel out된다고 설명하고 있습니다. 결국 semantic statistic만 남게 되고 이를 통해 성능을 향상 시켰다는 논문의 가정(사실상 선행 연구)과 논리 실험 모두 개인적으로는 문제가 없다는 생각이 들었습니다.
    개인연구도 지속적으로 새로운 아이디어를 제안하고 실험하고 있는 과정인데 세미나를 쭉 들으면서 대부분의 아이디어가 직관적이고 될 것 같은데? 라는 생각이 드는 것들이었습니다. 곧 좋은 결과가 있지 않을까 생각합니다.


  • 2020-08-10 14:55

    이번 세미나 주제는 OOD Dectection과 관련된 연구 동향과 Generative Model Based OOD Detection 논문에 대한 발표입니다. OOD Detection 분야에서 RNN, Pixel CNN++ 와 같은 Generative 모델의 가장 큰 이점은 Class에 대한 정보 없어도 생성모델의 확률값 만으로 OOD를 할 수 있다는 점입니다. 논문에서 제시한 방법은 Nosie를 추가한 이미지로 학습한 모델과 Noise를 추가하지 않은 이미지로 학습한 모델의 LLR차이로 OOD를 수행한다는 것입니다. 이 방법론은 매우 직관적이고 실험을 통해 효과가 있다는 것이 입증되었습니다. Noise를 학습한 모델과 학습하지 못한 모델로 결과를 Robust하게 만드는 해당 방법론은 OOD Detecion 뿐만아니라 NLP 분야에서도 사용할 수 있을 것 같아 유익한 강의였습니다. 감사합니다.


  • 2020-08-11 05:35

    최근 연구실 세미나를 통해서 OOD관련 논문들에 대한 연구동향을 파악할 수 있었는데, 해당 세미나 시간에는 Generative model based OOD detection 방법론인 논문 "Log Likelihood Ratio for Out of Distribution Detection"에 대해서 알아보았습니다. OOD는 결국 Outlier Detection과 그 결을 같이 하기에 Generative model에 유리하다는 논리적 흐름이 자연스럽게 그려졌지만, 아무래도 test 데이터의 label정보를 활용하는 OE관련 논문에 가까이 성능이 나오지 않는 것을 확인 할 수 있었습니다. 또한 배경에 대한 perturbation을 통해서 semantic정보와 background 정보를 구분하여 학습한다는 해당논문의 가정을 일반화 하기에는 실험이 다소 부족하지 않았나 생각이 됩니다. OOD 관련해서 계속해서 재미있는 논문을 소개시켜주어서 정말 감사합니다.


  • 2020-08-12 11:34

    OOD Detection의 최근까지의 흐름에 대해 언급해주셔서 연구자들의 발전된 아이디어와 본인의 연구 접근방식에 대한 논리가 좋았습니다. 기존 방법론인 MSP(softmax 값의 컷오프), ODIN(Temperature scaling: 1 이하로 명확한 분포표현, FGSM 전처리: 반대로 input에 적용했을 때, in distribution의 민감성), Mahalanobis(latent space의 분산을 고려한 거리 비교, logistic을 통한 표현), 지난번 세미나의 Outlier exposure로 요약할 수 있습니다. 하지만 이런 방법론들에 대한 "OOD 유/무" 에 대해 발표자가 언급하였습니다. 저도 프로젝트를 통해 이상치탐지를 진행할 때, 궁극적으로 OOD Detection, Outlier detection 등을 supervised 방법으로 진행하는 것이 아닌 Unsupervised이 맞지 않냐라고 의문을 가지고 있었는데 이에 공감하였습니다. OOD detection에 대한 연구들이 다른 도메인에서 진행된 아이디어를 이용하는 느낌을 많이 받았습니다. 최근에 구글에서 self-supervised learning에 대해 pretext task로 feature들을 쉽게 뽑을 수 있는 방법들에 대해 많은 연구들이 진행되고 있는데 OOD Detection도 적용하는 것이나, 이번 세미나에서 언급한 autoregressive 생성모델(pixel CNN)을 OOD Detection에 적용하는 것처럼 다른 도메인들의 아이디어들을 잘 이용하면 좋은 성능을 거두지 않을까 합니다. 발표 마지막에서 Mixup(data augmentation) 방법을 적용한 방법론도 해당 분야에서 진행되었다고 말씀하셨는데, 발전 가능성이 큰 분야인 만큼 좋은 결과 있길 바랍니다.


  • 2020-08-14 13:23

    금일 발표는 "Log Likelihood Ratio for Out of Distribution Detection"라는 주제로 진행되었습니다. 본 발표는 generative model 기반의 OOD detection 방법론을 중심으로 진행되었습니다. 먼저 발표자가 발표 초반에 OOD detection 연구 동향에 대해 체계적으로 설명해주어 지난 발표까지의 내용에 대해 이해한 상태에서 발표를 들을 수 있어 좋았으며, 최근 deep anomaly detection에 관심을 가지고 있는데 해당 분야에 대해 정리할 수 있는 시간이라 좋았습니다. 더불어 발표에서 self-supervised learning과 Pixel CNN을 OOD에 접목하여 문제를 해결하였는데, 이러한 흐름들을 보면서 제가 연구하고 있는 lifelong learning의 발전 흐름과 비슷하다는 생각이 들었습니다. 지금까지 공부했던 내용들을 OOD에 적용할 수 있을지에 대해 생각해보는 시간을 가지게 해준 발표라 유익한 시간이었습니다. 마지막으로 발표자가 논문을 읽을 때 수용적인 태도를 취하기보다 자신의 생각을 가지고 읽는 것이 느껴저 이 점을 배워야겠다고 생각했으며, 개인 연구 발표에서 본인의 생각을 정리하고 구현까지 이어가는 추진력도 본받아야겠다고 생각했습니다.


  • 2020-08-14 15:09

    박경찬 석박통합과정의 세미나 발표를 들었습니다. 오늘 발표 해주신 논문은 Log Likelihood Ratio for Out of Distribution Detection 이란 논문으로 OOD Detection Task 관련 논문이었습니다. OOD Detection 은 모델이 기존에 학습 했던 데이터의 분포와 전혀 다른 데이터 분포(클래스)를 가지는 데이터 인풋에 대해서는 특정 클래스로 분류하지 않고, OOD 데이터라는 것을 탐지하고자 하는 Task 입니다. 해당 논문은 Noise를 추가한 이미지로 학습한 모델과 Noise를 추가하지 않은 이미지로 학습한 모델의 Log Likelihood Ratio 를 통해서 OOD를 탐지 하고자 하는 논문이었습니다. 논문에서 제시한 아이디어에 대해서 쉽게 잘 설명해주셔서 이해하기 쉬웠습니다. 감사합니다.


  • 2020-08-15 19:29

    OOD(Out-of-distribution detection)에 대한 최근 동향과 Log Likelihood Ratio for Out of Distribution Detection에 대한 세미나 발표를 들었습니다. ood는 간단하게 softmax값 중 가장 큰 확률값을 confidence score로 이용해 이를 기준으로 detection을 하는 MSP가 가장 기본이며 이를 토대로 temperature와 FGSM을 이용한 ODIN, 그리고 mahalanobis distance를 이용한 mahalanobis 방법이 제안됐습니다. 거기에 더불어 발표자가 지난 시간 소개해주신 outlier exposure과 self-supervised에서 사용되는 rotation loss를 이용한 Rotation 방법도 존재합니다. 이번 세미나에서 소개된 논문은 classifier를 기반으로 OOD를 하는 기존 방법론과 달리 generative model을 이용합니다. gaussian mixture와 같은 generative model이 기존 이상치 탐지 방법론에서 많이 사용되었던 것을 생각하면 이는 매우 합리적인 접근 방식이라고 볼 수 있습니다. 본 논문에서는 auto-regressive모델인 pixel cnn을 이용해 데이터가 생성된다고 가정했습니다. 여기에 추가로 log-likelihood ratio라는 방식을 도입했습니다. 논문은 데이터가 특성을 갖고 있는 semantic statistic과 특성과 관련 없는 부분인 background statistic으로 이루어져 있다고 가정합니다. 여기서 semantic statistic에 노이즈를 추가한 뒤 원본 이미지와 likelihood 비를 계산했을 때 이 비율이 큰 경우 generative model이 특징을 제대로 잡지 못한 것이기 때문에 out-of-distribution data일 가능성이 커진다고 합니다. 이를 통해 OOD를 할 때 높은 성능을 보이게 됩니다. 제시한 이론이 합당해 배울 점이 많은 논문이었습니다.


  • 2020-08-21 13:50

    이번 세미나는 OOD detection의 연구 동향를 살펴보고 GAN based OOD detection를 소개하는 세미나입니다. OOD detection 방법으로 기본적인 MSP를 활용한 방법이 있고, MSP에서 더해 OOD 데이터들이 uniform 분포를 나타내게끔 하는 temperature scaling과 FGSM을 활용한 input preprocessing을 통해 성능을 높인 ODIN, 그리고 MSP와 달리 softmax 직전의 layer의 feature를 사용하여 confidence score를 계산하는 mahalanobis 방법이 존재합니다. 그 외에도 label 정보가 부족할 때 self-supervised learning 을 사용하는 방법도 소개되고 있습니다. 여기서는 rotation을 통해 self-supervised learning을 수행하고 있습니다. 이 논문에서 제안하고 있는 모델은 GAN을 기반으로한 OOD detection 모델입니다. Gerative 모델을 활용해 OOD를 탐지하는 것으로 label에 대한 정보가 필요하지 않고 다른 task에도 적용 가능하다는 장점이 있습니다. 또한 background의 정보 때문에 성능이 망가지는 background statistic을 log-likelihood ratio로 해결하는 방법도 담은 세미나였습니다. OOD detection의 동향을 살펴주어서 여러가지 방법론들을 배울 수 있었고, generative 모델을 사용하여 OOD detection 하는 방법에 대한 향후 발전 가능성도 볼 수 있었던 세미나였습니다.


전체 129
번호 제목 작성자 작성일 추천 조회
공지사항
Paper Reviews 2019 Q3
관리자 | 2020.03.12 | 추천 0 | 조회 1223
관리자 2020.03.12 0 1223
공지사항
Paper Reviews 2019 Q2
관리자 | 2020.03.12 | 추천 0 | 조회 449
관리자 2020.03.12 0 449
공지사항
Paper Reviews 2019 Q1
관리자 | 2020.03.12 | 추천 0 | 조회 990
관리자 2020.03.12 0 990
76
[Paper Review] Madnet: Using a mad optimization for defending against adversarial attacks (20)
Kyoungchan Park | 2020.10.09 | 추천 0 | 조회 289
Kyoungchan Park 2020.10.09 0 289
75
[Paper Review] Model agnostic Few shot learning (18)
Joongmin Park | 2020.10.07 | 추천 0 | 조회 438
Joongmin Park 2020.10.07 0 438
74
[Paper Review] Syntax and Semantics in Language Model Representation (18)
Myeongsup Kim | 2020.09.29 | 추천 0 | 조회 403
Myeongsup Kim 2020.09.29 0 403
73
[Paper Review] Unsupervised Graph Anomaly Detection (19)
Hyungseok Kim | 2020.09.25 | 추천 0 | 조회 533
Hyungseok Kim 2020.09.25 0 533
72
[Paper Review] Evaluation Metrics for Time Series Anomaly Detection (19)
Gyuwon Cho | 2020.09.23 | 추천 0 | 조회 513
Gyuwon Cho 2020.09.23 0 513
71
[Paper Review]Graph based Anomaly Detection (19)
Hyeyeon Kim | 2020.09.17 | 추천 0 | 조회 612
Hyeyeon Kim 2020.09.17 0 612
70
[Paper Review] MultiSAGE - Spatial GCN With Contextual Embedding (19)
Jungho Lee | 2020.09.15 | 추천 0 | 조회 713
Jungho Lee 2020.09.15 0 713
69
[Paper Review] Spectral-based Graph Convolutional Networks(GCN) (18)
Jonghyun Choi | 2020.09.08 | 추천 0 | 조회 1671
Jonghyun Choi 2020.09.08 0 1671
68
[Paper Review] Text Augmentation (18)
Jounghee Kim | 2020.08.30 | 추천 0 | 조회 1107
Jounghee Kim 2020.08.30 0 1107
67
[Paper Review] Deep Semi-Supervised Anomaly Detection (10)
Heejeong Choi | 2020.08.29 | 추천 0 | 조회 1638
Heejeong Choi 2020.08.29 0 1638

Data Science & Business Analytics Lab.
School of Industrial Management Engineering
College of Engineering, Korea University

Contact Us

  • 강필성 교수 (pilsung_kang@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 창의관 801A호 
  • 대학원 연구실 (총무 이유경: yukyung_lee@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 신공학관 220호, 221호, 213호
© 2020 DSBA Lab.