[Paper Review]Metric Learning for Adversarial Robustness

Paper Review
작성자
Seungwan Seo
작성일
2021-03-03 08:41
조회
245
  • Topic
    • Triplet loss를 사용하여 adversarial attack에 robust한 모델을 구축함
 
  • Overview
    • Adversarial example이 representation space에서 어떠한 특성을 가지는지 시각적으로 보임
    • 이러한 문제를 완화하기 위하여 triplet loss를 사용함
    • Anchor를 adversarial example로 사용하고, negative sample을 mini-batch 안에서 anchor와 가장 가까운 false class의 example을 사용함
    • 방어 성능 자체는 매우 높으나 clean image에 대한 분류 성능이 너무 크게 떨어지는 한계가 있음
3. 발표 자료: 첨부파일 확인

4. 발표 영상: [link]
전체 10

  • 2021-03-29 00:37

    DNN은 Adversarial Attack에 대하여 성능이 저하될 가능성이 매우 높은데 그 이유는 공격을 받게 되면 Adversarial Representation이 오답 Class에 가까워져 Class 판별이 어려워지기 때문입니다. 이에 본 세미나에서 소개하는 논문에서는 Metric Learning (Similarity Learning)을 통해 Robust한 분류기를 생성하려 하며 이 때 기존 Loss Function에 Triplet Loss Term을 추가하고자 합니다. 즉, Adversarial Data를 Anchor로 설정하고 Positive와는 가깝게, Negative와는 멀게 Representation이 형성되도록 학습하며 이때, PGD로 Adv를 생성합니다. 기존의 Loss는 Representation을 통해 나타내기보다는 정답과 오답의 관점으로만 훈련을 진행했는데, Embedding Space 내에서의 차이를 통해 훈련을 진행한다면 옳고 그름에 대한 정의가 더 명확하다고 생각하며 Geometric Represenation을 사용하는 기법들에 TLA(Triplet Loss Adversarial) Learning이 효과적일 것 같습니다. 항상 좋은 세미나 진행해주셔서 감사합니다!


  • 2021-04-01 20:55

    오늘 세미나는 Metric Learning for Adversarial Robustness에 대한 내용으로 이루어졌습니다. 원본 이미지에 perturbation을 주어 noise를 더한 example을 만드는데, 이 example을 adversarial example이라고 합니다. 이들을 좌표계에 나타내면, adversarial example은 원본 이미지의 decision boundary에서 벗어나 다른 class의 decision boundary에 가깝게 mapping됩니다. 소개해주신 논문에서는 metric learning을 사용해 robust한 classifier 생성을 시도합니다. learning에는 triplet loss를 사용하는데 triplet loss는 anchor와 positive는 가까이, anchor과 negative는 멀리 떨어뜨리는 방향으로 학습하게 합니다. adversarial example을 생성할 때 일반적으로 사용하는 PGD 방식을 사용하면, 생성에 시간이 너무 많이 든다는 단점이 있어 adversarial example을 하나만 생성하고, negative sample로는 mini-batch 내의 false class의 이미지 중 anchor와 가장 가까운 example을 사용합니다. 실험결과를 보면, batch size가 커질수록 성능이 개선되다가 너무 커지면 오히려 성능이 떨어졌는데, 이는 가장 가까운 negative example을 찾는데 시간이 길어지고, hard negative가 되어 이 점이 성능에 부정적인 영향을 미쳤다고 짐작됩니다. anchor는 adversarial example로 사용하는데, 이렇게 하면 positive, negative pair 모두에서 고려할 수 있기 때문에 최적화에 용이하다는 장점을 가집니다. 결론적으로, 실험에서 perturbation을 더한 adversarial example이 representation space 상에서 false class로 분류됨을 확인하였고, 이를 완화하기 위해 triplet loss를 활용한 metric learning을 진행하여 당시의 sota 성능을 달성했습니다. 항상 좋은 발표 감사합니다.


  • 2021-04-05 03:29

    이번 세미나에서는 2019년 NIPS에서 발표된 새로운 Adversarial Attack에 강건한 새로운 Metric Learning 방법에 대해 소개해주셨습니다. 세미나를 시작하기에 앞서 이전 세미나에서 논의 주제였던 NLP에서 Adversarial Training이 가지는 의미에 대해서 의견을 나누어 주셔서 좋았습니다. 세미나 초반에는 Adversarial Example에 대한 예시와 Perturbation을 생성하는 방법 중 하나인 FGSM(Fast Gradient Sign Method)도 함께 소개해주셔서 배경 지식에 대해 알고 세미나를 들을 수 있어서 좋았습니다. 원본 이미지에 Purterbation이 추가된 Adversarial Example은 모델이 가지고 있는 Decision Boundary를 기준으로 true class에서는 멀고 false class에 근사하기 때문에 모델의 성능을 취약하게 만듭니다. 이번 논문에서 제안한 Adversarial Training 방법은 TLA(Triplet Loss Adversarial) Training 입니다. Loss Function으로 Triplet Loss를 함께 사용하는데 이때 사용된 Anchor를 기준으로 Adversarial Example을 사용하였습니다. 이에 대한 의미로는 Positive Pair와 Negative Pair를 모두 고려하였기 때문에 실제 실험 결과에서도 선행 연구 보다 더 좋은 성능을 내었습니다. 모델을 구성하는데에 있어서 좋은 성능 뿐만 아니라 Robust한 모델이 필요한 이유에 대해서 알 수 있었고 Adverarial Training 방법이 단지 공격 대비 성능저하가 없는 것 뿐만아니라 Clean 데이터만 사용한 모델의 성능과도 크게 성능 차이가 없어야한다는 의견에 공감이 되었습니다. 좋은 발표 감사합니다.


  • 2021-04-07 16:33

    오늘 세미나는 Metric Learning for Adversarial Robustness라는 논문으로 진행이 되었고, adversarial training을 수행하기 위해 triplet loss를 사용하는 것을 핵심으로 하는 논문입니다. Image retrieval 분야에 관심이 있는 저로서는 image retrieval ~ metric learning이므로 우선 굉장히 흥미로운 내용이었고, 특히 triplet loss가 단순하고 직관적이지만 많은 분야의 학습에서 굉장히 효과적이라는 점을 다시 한 번 깨닫게 되었습니다. 본 논문에서 triplet loss의 anchor는 adversarial example로 구성이 되고, 이는 곧 positive와 negative example 모두로부터 gradient를 흘리기 때문에 목적을 위한 임베딩에 훨씬 효과적인 구조라고 생각합니다. 중요한 것은 이러한 방식으로 학습을 할 경우에 normal dataset에 대해서도 좋은 성능을 낸다는 것인데, 이게 기존에 normal로 학습이 된 임베딩 공간에 추가적으로 triplet loss를 이용하기 때문인지, 아니라면 triplet loss 받아들이는 positive-negative example들의 임베딩이 어떻게 잘 되는건지? 에 대해서는 아직 약간의 의문이 있습니다. Metric learning이 곧 deep learning이라고 할 수 있을 정도로 딥러닝의 근본과 본질을 다루는 굉장히 중요한 개념이라고 생각합니다. 이와 관련한 세미나를 쉽게 이해가 되도록 진행해 주셔서 항상 감사합니다.


  • 2021-04-13 04:15

    본 세미나의 논문에선 adversarial attack에 보다 robust한 성능을 갖기 위한 방법론을 다루었습니다. Adversarial attack이 representation space에서 갖는 영향을 이해하고, 이에 대응하기 위한 방법으로 ‘triplet loss’ metric을 학습, 활용했습니다. 이를 통해 adversarial attack에도 보다 robust한 분류 성능을 얻을 수 있었습니다. 이번 세미나를 통해 다양한 점을 생각해볼 수 있었습니다. 첫 째로, 기계학습의 학습과정에서 loss metric의 역할을 다시 생각하게 되었습니다. 보다 높은 자유도를 가질 수 있는 머신러닝의 학습 과정에서, loss metric을 새롭게 디자인 함으로써 제약과 동시에 학습의 방향을 설정할 수 있을 것 입니다. 쉽게 떠올릴 수 있는 regularizer로서 lasso, ridge회귀부터 이번에 새로 알게된 triplet-loss까지, loss, distance등 metric의 중요성을 다시 생각하게 되었습니다. 둘 째로, 부족했던 adversarial attack에 대한 이해를 높일 수 있었습니다. 이전의 세미나와 더불어, PGD등 다양한 방법론에 대한 관심을 가질 수 있었습니다. 마지막으로 ’representation learning’의 관점에서 학습과정을 이해하는 것이 중요함을 다시금 느낄 수 있었습니다. 논문의 주장은 비교적 직관적이고, 간단해 보일 수 있지만, 이는 역시나 이러한 관점에 대한 깊은 이해와 통찰력이 바탕이 되어야 할 것 입니다. 논문과 마찬가지로 세미나 발표에서도 시각적으로 직관적인 설명을 함께해 주셔서 이해도를 높일 수 있었습니다. 좋은 발표 감사합니다.


  • 2021-03-03 00:08

    금일 세미나 시간에는 지난 NeurlPS 2019에 소개된 Metric Learning for Adversarial Robustness 논문을 주제로 서승완박사과정이 세미나를 이끌어주었습니다. 본 논문의 소개에 앞서서 Adversarial Training을 관심있게 연구중인 발표자가 지난 세미나에서도 언급된 Adversarial Training In Language Model에 대하여 GAN을 접한사람이라면 모두들 알고 있는 Ian Goodfellow의 포스팅을 인용하여 견해를 밝혀 주었습니다. 일반적으로 Language Modeling에서 단어의 좌표는 에는 discrete한 특징을 가진다고 해석할 수 있지만, 과거 세미나의 FreeLB 논문에서는 결국 Adversarial Training을 통해 mapping된 Embedding Space의 학습을 도모하였기에, robustness와 일반화성능을 모두 향상시킬 수 있었다고 생각됩니다. 본논문으로 돌아와서 Metric Learning for Adversarial Robustness 논문에서는 기존 Adversarial Training에서 Metric Learning을 통해서 Adversarial Example로부터 강건한 성능의 분류모델을 제안하였습니다. 여기서 Metric Learning이란? 일반적으로 데이터 간의 유사도를 수치화하기 위해 다양한 거리함수 혹은 손실함수를 사용하게 되는데, 사전에 정의된 이러한 metric function이 모든 task에 적합한 경우는 흔치 않기에, 적합한 metric 함수를 직접 만들어 문제를 해결하고자 하는 학습 방법입니다. 해당 논문에서는 anchor와 positive, negative를 함께 활용하는 triplet Loss를 metric으로 활용하여 Adversarial Training 학습과정을 진행하였습니다. triplet Loss는 결국 anchor기준 클래스가 동일한 positive의 거리는 최소화하면서, 다른 클래스인 negative의 거리는 최대화 시키는 목적을 각각 pair하게 동시에 고려하여 최적화가 수행됩니다. 직관적인 모티브의 아이디어 임에도 불구하고 해당논문의 성능향상은 매우 재미있었습니다. 하지만, 발표자가 말씀하신대로 Metric의 변화로 인해 기존 Clean 이미지의 분류모델 성능의 저하가 발생하였습니다. 이에 대한 해결방안들이 후속연구로 진행될 것 같습니다. 끝으로 해당 발표자의 개인연구를 소개하는 과정에서는 계속해서 아이디어를 전개해 나가고, 발생하는 문제점을 파악하고, 다시 개선하는 과정이 함께 연구하는 동료입장에서 배울 점이 많다고 생각합니다. 좋은 연구성과로 꼭 이루어 졌으면 합니다. 감사합니다.


  • 2021-03-03 01:50

    이번 세미나에서는 Metric Learning for Adversarial Robustness 라는 논문의 주제가 다뤄졌습니다. 본 발표에 앞서 지난 시간에 논의되었던 adversarial training으로 nlp 분야의 generalization performance를 향상시킬 수 있을까에 대해 보충 설명 및 의견을 제시해주셨는데, 별도로 준비하신 직관적인 그림과 함께 설명을 해주셔서 보다 쉽게 이해할 수 있었습니다. 또한, 저는 오늘 세미나에서 triplet loss 에 대해 처음 접했는데, anchor, positive, negative sample의 distance 조절을 가지고 loss를 학습하는 과정이 흥미로웠습니다. 본 논문에서는 anchor를 adversarial example로, positive를 원본 이미지, negative를 다른 class의 이미지를 metric 계산에 이용하는데, positive 이미지가 아닌 adverarial를 anchor로 사용했을 때, negative와 positive와의 metric 계산 과정에서 보다 많이 계산에 노출되기 때문에 더 robustness를 가질 수 있다고 봅니다. 실험부분에서 TLA의 성능을 확인할 수 있었는데, 발표자분께서 그 결과에 대한 자세한 해석과 함께 개인적인 의문점도 잘 공유해주셔서 보다 더 깊게 생각을 해볼 수 있는 시간이었습니다. 좋은 발표 감사합니다.


  • 2021-03-03 13:17

    이번 세미나에서는 Metric Learning for Adversarial Robustness 논문을 주제로 진행되었습니다. 세미나 초반 부에 NLP 분야에서 Adversarial training이 왜 잘 안되는지 자연어는 discrete 한 반면에 이미지는 continuous하기 때문이라는 것을 별도의 그림으로 이해가 쉽게 설명해주셨습니다. 또한 지난 김명섭 석박통합과정의 세미나를 언급하면서 설명해주어 지난 세미나의 연장선이 된 것 같아 다시 한번 지난 내용을 떠올리게된 것 같습니다. 본 내용에서는 Metric Learning을 통해 robust classifier 생성이 가능하다는 것을 보여주었습니다. anchor, positive, negative sample을 이용하여 anchor와 positive의 distance는 가깝게 anchor와 negative의 distance는 멀게끔 학습하는 triplet loss를 metric으로 활용하였다는 것을 보여주었습니다. 일반적인 triplet loss 방법과는 조금 다르게 anchor를 adversarial sample로 positive를 원본 sample로 진행 한 것이 눈에 띄었습니다. 실험부분에서는 TLA의 성능에 대해 설명하고 있으며, 모델이 강건함을 보여주고 있습니다. 두번째 결과에서 TLA가 ALP 보다 성능이 좋다는 것에 대해서는 저 또한 의구심을 가지고 있었는데 발표자분께서도 그 결과에 대해서도 의문점을 제시해주시고 그에 대한 의견을 공유하고자 하셔서 더욱 능동적인 세미나 시간이 되었던 것 같습니다. 좋은 발표 감사합니다.


  • 2021-03-03 14:38

    이번세미나에서 전반적인 adversarial training에 대한 내용을 알수 있었습니다. 임베딩은 continuous한 성향을 가지고 있지만 NLP discrete 하므로 adversarial training이 어렵다는 문제를 제기해주셨는데 NLP에서 adversarial training에 대한 연구가 많이 없는 이유인 것 같습니다. 이번 세미나의 발표주제는 Metric learning에 대한 adversarial training으로 Triple loss를 활용하여 해당 adversarial 임베딩의 성능을 향상시킨 방법론이었습니다. Triple loss는 임베딩 상에서 positive는 가깝게 negative를 멀게 하는 loss function으로 요즘에는 contrastive learning에 대한 infoNCE로 많이 넘어 간것 같습니다. 이 부분도 같이 고려하면 좋을 것 같습니다. 좋은 발표 감사합니다.


  • 2021-03-21 23:18

    금일 세미나는 Triple Net의 Anchor로 Adversarial Example을 적용하여 모델의 성능을 향상시키는 논문인 Metric Learning for Adversarial Robustness 에 대해 자세히 설명해 주셨습니다. 이 논문의 핵심은 TripleNet Loss를 구성하는 데이터로 Adversarial Example을 이용한다는 점인데, 특이하게 Anchor를 Adversarial Example로 구성함으로써 positive pair와 negetive pair에서 모두 고려하도록 설계하였습니다. 이 방법론을 통해 adversarial defense SOTA를 달성하였고, 정상이미지에서도 잘 작동하는 것을 실험적으로 증명하였습니다. 가장 인상깊게 본 것은 저자가 알고리즘을 구성할 때 시간을 고려하여 한장의 adversarial example을 사용하는 방법에 대해 고민했다는 점입니다. 연구에서 좋은 아이디어를 내는 것도 중요하지만 현실성 있게 실험을 설계하는 것도 매우 중요하기 때문에 그런 태도를 본 받아야 겠다는 생각을 합니다. 서승완 박사과정의 발표는 논문의 내용 뿐만아니라 다양한 아이디어 생각을 공유 받을 수 있어서 좋은 것 같습니다. 좋은 발표 감사합니다.


전체 129
번호 제목 작성자 작성일 추천 조회
공지사항
Paper Reviews 2019 Q3
관리자 | 2020.03.12 | 추천 0 | 조회 1223
관리자 2020.03.12 0 1223
공지사항
Paper Reviews 2019 Q2
관리자 | 2020.03.12 | 추천 0 | 조회 449
관리자 2020.03.12 0 449
공지사항
Paper Reviews 2019 Q1
관리자 | 2020.03.12 | 추천 0 | 조회 990
관리자 2020.03.12 0 990
126
[Paper Review] Deep GNNs (3)
Hyungseok Kim | 2021.04.16 | 추천 0 | 조회 33
Hyungseok Kim 2021.04.16 0 33
125
[Paper Review] Don't Stop Pretraining: Adapt Language Models to Domains and Tasks (3)
Takyoung Kim | 2021.04.13 | 추천 0 | 조회 45
Takyoung Kim 2021.04.13 0 45
124
[Paper Review] Uninformed Students: Student–Teacher Anomaly Detection with Discriminative Latent Embeddings (4)
Hyeyeon Kim | 2021.04.07 | 추천 0 | 조회 83
Hyeyeon Kim 2021.04.07 0 83
123
[paper Review] Contrastive Learning for Sequential Recommendation (4)
Jungho Lee | 2021.04.03 | 추천 0 | 조회 121
Jungho Lee 2021.04.03 0 121
122
[Paper Review] Deep Image Retrieval: Learning global representations for image search (5)
Kyoosung So | 2021.03.31 | 추천 0 | 조회 94
Kyoosung So 2021.03.31 0 94
121
[Paper Review] Vq-wav2vec: Self-Supervised Learning of Discrete Speech Representations (6)
Jounghee Kim | 2021.03.24 | 추천 0 | 조회 149
Jounghee Kim 2021.03.24 0 149
120
[Paper Review] Time Series Anomaly Detection with Multiresolution Ensemble Decoding (6)
Heejeong Choi | 2021.03.23 | 추천 0 | 조회 133
Heejeong Choi 2021.03.23 0 133
119
[Paper Review] QANet: Combining Local Convolution with Global Self-Attention for Reading Comprehension (8)
Jina Kim | 2021.03.19 | 추천 0 | 조회 164
Jina Kim 2021.03.19 0 164
118
[Paper Review] SOM-DST  : Efficient Dialogue State Tracking by Selectively Overwriting Memory (7)
Yukyung Lee | 2021.03.13 | 추천 0 | 조회 185
Yukyung Lee 2021.03.13 0 185
117
[Paper Review] A Simple Framework for Contrastive Learning of Visual Representations (10)
Donghwa Kim | 2021.03.10 | 추천 0 | 조회 255
Donghwa Kim 2021.03.10 0 255

Data Science & Business Analytics Lab.
School of Industrial Management Engineering
College of Engineering, Korea University

Contact Us

  • 강필성 교수 (pilsung_kang@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 창의관 801A호 
  • 대학원 연구실 (총무 이유경: yukyung_lee@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 신공학관 220호, 221호, 213호
© 2020 DSBA Lab.