[Paper Review] FreeLB: Enhanced Adversarial Training for Natural Language Understanding

작성자
Myeongsup Kim
작성일
2021-02-19 18:13
조회
83
1. Topic
  • FreeLB: Enhanced Adversarial Training for Natural Language Understanding
2. Overview

3. 발표자료 및 발표영상
  • 발표 자료 (첨부파일)
  • 발표 영상 (Link)
4. 참고 문헌
  • Zhu et al., FreeLB: Enhanced Adversarial Training for Natural Language Understanding, ICLR, 2020 (Link)
전체 1

  • 2021-02-22 16:45

    금일 세미나에는 FreeLB: Enhanced Adversarial Training for Natural Language Understanding라는 논문을 주제로 다루어 보았습니다. 해당 세미나의 서두에는 최근 NLP에서의 연구동향을 발표자가 2개의 Track으로 나누어 정리를 해주었습니다. 모델의 크기를 키워 성능을 키우는 방향과 모델의 사이즈는 벌크업하지 않지만 이 가운데 smart하게 퍼포먼스를 향상시키는 방향으로 나누어서 생각해 볼 수 있었습니다. 전자에 해당하는 논문이 T5, GPT-3로 대표될 수 있으며, 후자의 경우는 SMART(ACL2020), PET 등 이 대표될 수 있을 것 같습니다. 실제 본 논문은 NLP 학습과정에서 FreeLB라 불리는 Adversarial Training방법론을 통해 기존 방법론 대비 invariant한 embedding space의 학습을 도모하였습니다. 이 과정에서의 Adversarial Training은 연구실 세미나에서도 여러 번 세미나시간에 소개되었던 내용이지만, 친절한 자료를 통해서 해당 논문에서 사용된 PGD의 variation인 FreeLB의 학습과정을 잘 전달해주었습니다. 세미나를 위해서 많은 내용을 준비한 것을 확인할 수 있었고, 논문에 대한 고민을 함께 공유할 수 있는 의미있는 시간이었다고 생각됩니다.


전체 117
번호 제목 작성자 작성일 추천 조회
공지사항
Paper Reviews 2019 Q3
관리자 | 2020.03.12 | 추천 0 | 조회 1024
관리자 2020.03.12 0 1024
공지사항
Paper Reviews 2019 Q2
관리자 | 2020.03.12 | 추천 0 | 조회 332
관리자 2020.03.12 0 332
공지사항
Paper Reviews 2019 Q1
관리자 | 2020.03.12 | 추천 0 | 조회 825
관리자 2020.03.12 0 825
114
New [Paper Review] BatchEnsemble: An Alternative Approach to Efficient Ensemble and Lifelong Learning (1)
junghoon lee | 2021.02.26 | 추천 0 | 조회 30
junghoon lee 2021.02.26 0 30
113
[paper Review] GNNExplainer: Generating Explanations for Graph Neural Networks (1)
Hoonsang Yoon | 2021.02.24 | 추천 0 | 조회 68
Hoonsang Yoon 2021.02.24 0 68
112
[Paper Review] OOD Detection Using an Ensemble of Self-Supervised Leave-out Classifiers (1)
Kyoungchan Park | 2021.02.23 | 추천 0 | 조회 55
Kyoungchan Park 2021.02.23 0 55
111
[Paper Review] FreeLB: Enhanced Adversarial Training for Natural Language Understanding (1)
Myeongsup Kim | 2021.02.19 | 추천 0 | 조회 83
Myeongsup Kim 2021.02.19 0 83
110
[Paper Review] ICNet for Real-Time Semantic Segmentation on High-Resolution Images (5)
Yunseung Lee | 2021.02.19 | 추천 0 | 조회 69
Yunseung Lee 2021.02.19 0 69
109
[Paper Review] Geometic Graph Convolutional Networks (11)
Hyungseok Kim | 2021.02.09 | 추천 0 | 조회 183
Hyungseok Kim 2021.02.09 0 183
108
[Paper Review] Latent Space Autoregression for Novelty Detection (14)
Hyeyeon Kim | 2021.02.07 | 추천 0 | 조회 129
Hyeyeon Kim 2021.02.07 0 129
107
[Paper Review] Data-Distortion Guided Self-Distillation for Deep Neural Networks (15)
Takyoung Kim | 2021.02.05 | 추천 0 | 조회 152
Takyoung Kim 2021.02.05 0 152
106
[Paper Review] DisenHAN: Disentangled Heterogeneous Graph Attention Network for Recommendation (15)
Jungho Lee | 2021.02.03 | 추천 0 | 조회 124
Jungho Lee 2021.02.03 0 124
105
[Paper Review] Representation Learning with Contrastive Predictive Coding (15)
Jounghee Kim | 2021.02.01 | 추천 0 | 조회 161
Jounghee Kim 2021.02.01 0 161

Data Science & Business Analytics Lab.
School of Industrial Management Engineering
College of Engineering, Korea University

Contact Us

  • 강필성 교수 (pilsung_kang@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 창의관 801A호 
  • 대학원 연구실 (총무 이유경: yukyung_lee@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 신공학관 220호, 221호, 213호
© 2020 DSBA Lab.