2020 NeurIPS - 김혜연

NIPS
작성자
Hyeyeon Kim
작성일
2021-01-18 14:03
조회
113
이번 NIPS학회의 여러 발표들은 다양한 주제에 대한 소개와 최근 트렌드 등을 파악할 수 있는 기회였습니다. NIPS의 주제를 분석해 보면 OOD, 강화학습 분야에 많은 연구가 있었다는 것을 알 수 있었습니다.

그 중에서도 몇 개의 발표에 대해서 간추려봤습니다.
  1. CSI: Novelty Detection via Contrastive Learning on Distributionally Shifted Instances
위 발표에서 소개한 방법론은 shifting transformation을 가한 데이터를 out-of-distribution(OOD) sample인지 효울적으로 탐지하는 방법론입니다. 매일 포인트는 in-distribution sample의 detection score가 OOD sample의 detection score보다 높게 설계하는 것입니다.

Detection score는 cosine similarity에 representation norm을 곱한 것으로, 그 값을 shifting transformation 시켜 앙상블 한 것을 최종 detection score로 사용하고 있습니다.

Shifting transformation은 가장 OOD스러운 transformation으로 선정해주었습니다. 이것은 similarity를 가장 최소화하는 transformation(vanilla SimSLR 의 AUROC를 기준으로 하여)이 되었습니다.

이번 발표를 통해, 저의 연구분야와 밀접한 부분의 연구에서 score의 논리적인 설정과 shifting transformation의 설정에 대한 아이디어를 얻었고, 이러한 작아보이는 설정들이 큰 contribution을 가져올 수 있다는 것을 느꼈습니다.

2. Adversarial Self-supervised Contrastive Learning

이 발표에서 제시한 방법론의 핵심은 Adversarial training에서 cross-entropy loss를 사용하는 것이 아니라 contrastive loss를 사용하는 것입니다. 이는 준지도 학습 기반의 contrastive learning과 adversarial sample들을 통하여 더욱 robust한 representation을 갖도록 하는 것이 목표입니다.



Training할 때는 label를 사용할 수 없고, evaluation할 때는 모델을 freeze시키고 cross entropy값을 linear layer에 통과시키는 작업을 하여 평가를 진행합니다.

또한 white box attack의 결과를 보아 supervised 보다 semi-supervised 방식이 더욱 성능이 높아지는 것을 볼 수 있었습니다. 그리고 black box attack을 통해 adversarial attack만을 진행한 실험과 TRADES로 진행한 실험에서 ROCL이 높은 성능을 보인 것을 보아, 성능을 향상시키는 미세하지만 유효한 adversarial 들을 만들었다는 것을 증명할 수 있었습니다.


이렇게 여러가지 실험이 통해 준지도학습이, 그리고 adversarial attack이 왜 좋은 성능을 일으키는지를 보여주었고, 저도 제가 주장하는 바가 있으면 그것을 세부적으로 여러 개로 나눈 후 각각에 대해 실험 결과로 증명해야한다는 것을 다시한번 느꼈습니다.
전체 0

전체 181
번호 제목 작성자 작성일 추천 조회
181
2020 NeurIPS - 김혜연
Hyeyeon Kim | 2021.01.18 | 추천 0 | 조회 113
Hyeyeon Kim 2021.01.18 0 113
180
2020 NeurIPS - 김형석
Hyungseok Kim | 2021.01.15 | 추천 0 | 조회 74
Hyungseok Kim 2021.01.15 0 74
179
2020 NeurIPS - 김명섭
Myeongsup Kim | 2021.01.14 | 추천 0 | 조회 62
Myeongsup Kim 2021.01.14 0 62
178
2020 대한산업공학회 추계학술대회 - 김명섭
Myeongsup Kim | 2021.01.14 | 추천 0 | 조회 51
Myeongsup Kim 2021.01.14 0 51
177
2020 NeurIPS - 이정호
Jungho Lee | 2021.01.06 | 추천 0 | 조회 92
Jungho Lee 2021.01.06 0 92
176
2020 NeurIPS - 이유경
Yukyung Lee | 2021.01.05 | 추천 0 | 조회 90
Yukyung Lee 2021.01.05 0 90
175
2020 NeurIPS - 최희정
Heejeong Choi | 2021.01.05 | 추천 0 | 조회 74
Heejeong Choi 2021.01.05 0 74
174
2020 대한산업공학회 춘계학술대회 - 이유경
Yukyung Lee | 2021.01.05 | 추천 0 | 조회 56
Yukyung Lee 2021.01.05 0 56
173
2020 대한산업공학회 추계학술대회 - 최희정
Heejeong Choi | 2021.01.05 | 추천 0 | 조회 54
Heejeong Choi 2021.01.05 0 54
172
2020 NeurIPS - 김탁영
Takyoung Kim | 2021.01.04 | 추천 0 | 조회 88
Takyoung Kim 2021.01.04 0 88

Data Science & Business Analytics Lab.
School of Industrial Management Engineering
College of Engineering, Korea University

Contact Us

  • 강필성 교수 (pilsung_kang@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 창의관 801A호 
  • 대학원 연구실 (총무 이유경: yukyung_lee@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 신공학관 220호, 221호, 213호
© 2020 DSBA Lab.