[Paper Review] Adversarial Defense by Restricting the Hidden Space of Deep Neural Networks

Paper Review
작성자
Seungwan Seo
작성일
2020-08-17 18:02
조회
262
1. Topic

DNN (CNN으로 특정)의 hidden space에 제약을 가해 adversarial example이 생성되지 않도록 하는 방어 기법

2. Overview

본 발표에서는 지난 발표에서 언급한 adversarial training과 augmentation에 관한 내용을 다시 다룬다. 지난 세미나에서 말했던 내용에 regularization을 더하여 adversarial training이 어떻게 augmentation으로 해석될 수 있는지를 설명하며 여러 최근 연구들을 소개하며 두 용어(augmentation과 regularization)이 어떻게 사용되고 있는지 설명한다.

리뷰한 연구는 직관적으로 adversarial attack을 방어한다. 구체적으로 CNN의 특정 layer의 feature map과 첫 번째 dense layer의 output vector에 loss term을 추가한다. 추가하는 loss term은 우리가 일반적으로 아는 clustering의 그것과 매우 유사하다. Class의 중심점을 임의로 초기화 한 후 해당 class에 속하는 이미지들은 중심에 가깝도록 loss설정한다. 또한 각 class들의 중심값들은 멀리 위치하도록 loss term을 추가하여 최종적으로 같은 class에 속하는 이미지는 가깝게 위치하고 그렇지 않은 이미지들은 멀리 위치하기를 기대한다.

3. 발표자료 및 발표영상

[1] 발표자료

[2] 발표영상

 
전체 11

  • 2020-10-16 18:33

    사실 개인적으로 Adversarial Attack / Defense 분야를 처음 접하였을 때는 매우 어렵다고 느꼈으나, 발표자께서 지속적으로 해당 분야에 관해 소개해 주셔서 이해에 큰 도움이 되었습니다. 이번 세미나에서는 Adversarial Attack이 Augmentation으로 해석될 수 있는지에 관한 발표자의 견해를 말씀해 주셨는데 상당히 인상깊었습니다. 이후 이어진 논문 리뷰에서는 CNN이 추출하는 Feature Map의 조정을 통해 Adversarial Attack을 막는 방법에 관하여 소개해 주셨습니다. CNN이 만들어 내는 Embedding에서 각 Class의 중심을 초기화하고, 중심을 기준으로 해당 Class에 포함되는 Embedding들이 최대한 밀집되도록 합니다. 이후에 각 Class 별 중심을 최대한 멀리 떨어지도록 학습을 진행하면, Adversarial Example에 보다 강건한 모델을 설계할 수 있게 됩니다.
    일반적으로 Clustering 방법은 동일 Cluster 내에서의 산포(군내 변동)가 적게 하고 Cluster 간의 산포(군간 변동)는 크게 할수록 좋은 방법이라고 알고 있습니다. 좋은 Cluster를 설계하도록 Embedding을 조정하는 것이 결국 Classification Task에서도 좋은 성능을 보일 수 있게 한다는 생각이 들었습니다. 흥미로운 발표 진행해 주신 발표자께 감사의 말씀을 올립니다.


  • 2020-08-17 19:50

    금일 세미나시간에는 Adversarial Attack & Defense와 관련하여 서승환 박사과정이 “Adversarial Defense by Restricting the Hidden Space of Deep Neural Networks” (ICCV2019) 논문을 주제로 다루어 보았습니다. Adversarial Attack & Defense 관련해서는 관련 연구에 대해서 계속적으로 Follow-up하고 있지는 않지만, 세미나시간에 연속적인 해당 분야의 발표를 들으면서, 처음 접했을 때는 다소 어려웠지만, 모델의 취약점을 공격하고 이를 방어하는 매커니즘이 매우 흥미로워서 항상 관심을 가지고 지켜보고 있었습니다. 금일 세미나의 intro는 과연 Adversarial example을 통한 학습이 Data augmentation 관점으로 볼 수 있는지, 더 나아가서는 이러한 data augmentation은 모델의 regularization의 역할을 수행하는지 다루어 보았습니다. 발표자에 의하면 실제로도 다양한 논문에서 Data augmentation 과 regularization의 역할을 뚜렷하게 구분 짓고 있지 않아, 통상적으로는 혼용해서 해석이 가능할 것 같습니다. 본론으로 돌아가서 소개하고자 하는 논문에서는 Adversarial Defense를 위해서 모델의 학습과정에서 각 데이터의 feature를 각각의 클래스별로 분리가 수월한 polytope 공간으로 제한하는 목적식을 통해 adversarial defence의 성능을 끌어 올릴 수 있었습니다. 이는 우리가 널리 알려진 군집화에서의 그것과 유사하게 동일 클래스 간의 근접성을 높이고 상이 클래스 간의 차이는 넓히는 역할을 수행하며, 이는 단순히 feature map을 생성하여 분류하는 기존 모델과 달리 adversarial defense의 성능을 높일 수 있다고 말을 하고 있습니다. 이과정에서 조금은 의아했던 부분은 본 논문에서 제안한 목적식을 통한 feature map이라면 당연히 단순 분류성능도 개선이 되어야하는 게 논리적인데, 이와 달리 결과테이블에서는 그러한 양상을 확인할 수는 없었습니다. 끝으로 매번 세미나시간을 보면 개념적으로도 구현함에 있어서도 어려운 해당분야 논문들을 가독성 있는 좋은 시각적 예시를 통해서 쉽게, 잘 설명해 주셔서 감사하고, 이러한 개념을 시각화하는 방법을 보고 따라 배우도록 하겠습니다.


  • 2020-08-17 20:38

    이번 세미나는 Adversarial Defense by Restricting the Hidden Space of Deep Neural Networks을 주제로 진행되었습니다. 먼저 지난 세미나때 토론했던 Adversarial training과 Augmentation에대해 다시 짚어주셨는데, Data augmentation과 adversarial 발표자의 생각을 들을수있었습니다. 정규화의 관점으로 바라본다면 adversarial training을 augmentation으로 해석할수 있다고 말해주셨는데, 아직까지 각 개념들의 연결이 직관적으로 이해되지 않아서 조금더 생각해봐야 할것같습니다. (+UPDATE : 이안굿펠로우의 Deep learning book chapter 7 241page "Injecting noise in the input to a neural network can also be seen as a form of data augmentation" 이라는 부분을 읽으며 발표자의 해석에대해 동의하게되었습니다)

    소개해주신 논문은 hidden space에서 각 class의 distance를 조절하여 adversarial defense를 진행하였습니다. adversarial attack이 의도적으로 misclassification을 하도록 perturbation을 가하기때문에 이를 defence하기위해 class를 명확히 하는것은 직관적인 아이디어라 생각합니다. 제가 이해하기로는 아이디어 자체는 class를 명확히 하기위해서 semi-supervised learning이나 clustering에서 자주 등장하는 방법이라 생각했고, 이를 adversarial defense에 사용하였기에 contribution이 있다고 이해하였습니다.

    Vision분야에대한 지식이 부족하여 세미나 시간을 통해 관련 연구들을 알아가는 것 자체가 큰 도움이 되고있습니다. 더불어 매 세미나마다 특정 의견에대한 발표자의 생각과 그 근거를 들을 수 있어 유익했습니다. 감사합니다


  • 2020-08-18 15:09

    금일 발표는 "Adversarial Defense by Restricting the Hidden Space of Deep Neural Networks"라는 주제로 진행되었습니다. 본 발표는 hidden space에 제약을 가하는 방법을 통해 adversarial example이 생성되지 않도록 하는 방어 방법론을 중심으로 진행되었습니다. 특히 이 논문은 저희 연구실에서 다녀왔던 ICCV2019에서 발표된 논문이었는데, 서승완 박사과정은 정말 vision 분야에 많은 관심이 있고 conference에서 많은 흥미를 느낀 것이 느껴져 이 점을 본받아야겠다고 생각했습니다. 또한, 서승완 박사과정의 발표는 다른 발표들과 다르게 항상 자신의 생각을 많이 담고 있는데, 금일 발표에서도 지난 세미나의 내용과 해당 세미나 진행 당시 본인의 궁금증에 대해 다시 한 번 본인의 생각을 얘기해주어 흥미롭게 청취할 수 있었습니다. 금일 발표된 방법론은 매우 직관적인 방법으로 adversarial attack을 방어하여 더 집중하여 들을 수 있었고, 이해하기 쉽게 시각 자료를 준비하고 논문을 읽으면서 들었던 생각들을 공유해주어 논문을 이해하는데 많은 도움이 되었습니다. 마지막으로 개인연구의 경우 꾸준히 한 분야에서 지속적으로 많은 시도들을 하고 있다는 점이 대단하다고 생각되었고, 특히 연구를 정말 즐겁게 수행하고 있는 점이 느껴져서 이 점 또한 본받아야겠다고 생각했습니다. 항상 자신의 생각을 기반으로 흥미로운 발표를 들려주시는 발표자께 감사드립니다!


  • 2020-08-18 18:04

    서승완 석박통합과정의 세미나 발표를 들었습니다. 오늘 발표해주신 논문은 Adversarial Defense by Restricting the Hidden Space of Deep Neural Networks(Accepted ICCV 2019) 논문이었습니다. 먼저 발표 초반부에 Adversarial Example, Adversarial Training, Augumentation, Regularization 용어에 대해서 발표자분께서 깊이 고민하면서 내린 생각을 말씀 해주셔서 흥미롭게 들었습니다. 본 논문의 핵심 아이디어는 CNN 의 feature map 을 잘 조절해서 Adversarial Attack 을 잘 막아보고자 하는 것인데 이를 위해서 GAP 이라는 개념을 도입했고 구체적으로 동작하는 방식은 먼저 각 class 별 중심을 초기화 한 후 중심을 기준으로 해당 class 에 해당하는 이미지들을 최대한 밀집되도록 하고, class 중심들 간의 거리를 최대화 하는 clustering 과 마치 비슷한 방식으로 학습을 진행시킨다는 것입니다. 이를 통해 noise 를 통해 다른 class 로 분류되게 끔 유도하는 Adversarial Attack 을 효과적으로 대처할 수 있다는 것이었습니다. 어려운 내용을 쉽고 간결하게 요약해서 잘 발표 해주셔서 발표 잘 들었습니다. 감사합니다.


  • 2020-08-21 02:18

    해당논문의 세미나를 듣고 우연치 않게 읽은 논문 중 Classification (CE Loss) 와 Triplet Loss 를 함께 적용하여 robust 한 모델을 설계하는 이미지 검색 논문을 읽었습니다. 논문을 읽으면서 어디서 많이 들어봤는거 같은 느낌을 많이 받았는데, Triplet loss 가 이미지검색(추천) 분야에서 빈번히 사용되고 있으며, class 에 할당되도록 거리를 조정하는 것과 상당히 유사하게 느껴졌습니다. Triplet loss 에서는 anchor 를 기준으로 해당 클래스인 data 는 기준점과 가깝게, 해당 클래스가 아닌 것은 anchor 와 멀어지도록 학습하게 됩니다. 결국 이게 anchor 가 위에서의 각 class 가 되는 것이고, robust 한 모델을 만들자 라는 취지가 같아 보입니다. 위 loss 를 학습 시킬 때 커리큘럼 학습 방법 등 다양한 방법을 설명하는데, 유사하게 아이디어를 적용해 보면 좋을 것 같습니다. Triplet loss 에서(pos,neg,anchor) 에서 perturbation 을 attack 기법으로 사용하여 생성하고, adversarial training 을 진행하는데 발표한 논문들과 접합점을 찾으면 좋은 연구가 될 것 같습니다.


  • 2020-08-21 16:41

    이번 세미나에서는 Adversarial Training에 대한 내용이었습니다. Data augmentation과 adversarial training의 세부적인 차이를 알 수 있었고 다시 생각해 보는 계기가 되었습니다. 이번 세미나에서 확실하게 FGSM의 방법론을 이해하였습니다. 해당 데이터의 label의 input gradient를 sing function을 입히고 random noise와 곱해 이미지에 덧 붙혀 adversarial example를 생성하는 것 이었습니다. 발표 논문은 같은 클래스들에 대해서는 가깝게, 다른 클래스는 멀게 수식적으로 적용하여, 새로운 Adversarial Training을 제안하였습니다. 해당 방법론과 유사한 방법론으로 pseudo label fine-tuning 대체될 수 있을 것 같은데 이 방식으로 해보는 것도 아이디어가 될 것 같습니다.


  • 2020-08-24 10:04

    이번 세미나는 서승완 박사과정의 Adversarial Attack/Defense와 관련된 발표였습니다. 발표한 논문의 핵심은 ‘Adversarial attack이 쉽지 않도록 하는 Hidden space에 제약을 가하자’ 입니다. 예를 들어 각 클래스에 해당하는 데이터 포인트들이 hidden space에 뭉쳐있을 경우 조금만 attack을 가해도 충분히 모델의 성능을 낮출 수 있을 것입니다. 반면, hidden space에 각 클래스별 데이터 포인트들의 위치가 매우 잘 구분되어 있게끔 위치한다면, attack에 대해 robust한 모델이 될 것입니다.
    해당 논문의 핵심을 그림으로 표현해주어 이해가 매우 잘 되었습니다. 또한, 이전 세미나 때의 내용에 추가적인 고찰을 더해주어 발표자의 생각을 쉽게 수긍할 수 있었습니다. 발표 감사합니다.


  • 2020-08-25 16:46

    매번 세미나 때마다 꾸준히 Adversarial attack & defense 에 대해 핵심을 잘 소개하여 이해하기가 쉬웠습니다. Data augmentation 이라는 큰 개념 아래에 결국 adversarial example 이 있다고 생각하였는데, 발표자께서 adversarial example 은 결국 noise를 준 것이고 이미지에서 blur 등의 가우시안 노이즈를 통해 data augmentation 한 것과 어떻게 보면 일맥상통하다고 보았습니다. 발표하신 논문의 아이디어는 latent space에서 결정경계면을 명확하게 가져가기 위해 trick을 사용합니다. 제가 개인적으로 공부하는 few-shot에서도 class들의 대표성을 가지는 벡터를 뽑기 위해 mean을 통해 variance를 줄이는 연구들이 최근에 많이 나오고 있는데, 해당 논문도 다른 domain 이지만 동일한 아이디어를 쓴 것을 볼 수 있었습니다. 또한, CNN block 마다 각 feature에 대해 동일하게 진행하여 모든 hidden space에 대해 attack을 대비한 것을 볼 수 있었습니다. 깔끔하고 명확한 발표 감사드립니다.


  • 2020-08-28 13:15

    오늘 세미나는 Adversarial Training에 대한 서승완 석박통합과정의 생각을 들을 수 있는 시간이었습니다. Adversarial training 역시 Data augmentation에 속하지만 그 역할은 실제로 Test Set에서 만나볼수 있는 데이터를 제공하는 것이 아니라 Dropout처럼 Regularization으로 동작한다는 서승완 박사과정 생각에 동의합니다. 금일 설명주신 논문도 이러한 맹락에서 hidden space에 제약을 가하여 서로다른 Class의 이미지를 멀리 떨어지게 하고 같은 이미지의 Class 끼리는 서로 뭉치게 하는 방법론과 관련된 연구입니다. 이는 방법론은 Regularization처럼 작동하여 noise에 강건하게 대처할수 있다는 것을 보여주는 또 하나의 사례로 볼 수 있는거 같습니다. 개인적으로 많이 혼돈되는 분야인데 좋은 설명 감사합니다.


  • 2020-08-30 16:14

    Augmentation이란 training data에 noise를 추가하여 training data에 나올법한 새로운 데이터를 생성하여 test 성능을 높이고자하는 방법입니다. 이번 세미나에서는 augmentation과 adversarial attack이 같은 개념이라고 소개했는데, adversarial attack도 역시 noise를 추가한 input임에도 불구하고 이를 잘 구분되게끔 하는 것이 목적이기 때문입니다. 본 세미나에서 리뷰하는 논문의 핵심은 adversarial attack이 가해진 input이 오분류되지 않게 hidden space에 regularization term을 추가하는 것입니다. 이 term은 inter-class거리가 최소, intra-class의 거리가 최대가 되도록 하여 분류의 정확성을 높이는 원리를 갖습니다. 초보자가 봐도 이해가 잘 갈 수 있도록 기초부터 탄탄하게 설명해주신 것과 adversarial attack 에 대응하는 아이디어에 대해 알게되어 도움이 되었습니다. 감사합니다.


전체 129
번호 제목 작성자 작성일 추천 조회
공지사항
Paper Reviews 2019 Q3
관리자 | 2020.03.12 | 추천 0 | 조회 1222
관리자 2020.03.12 0 1222
공지사항
Paper Reviews 2019 Q2
관리자 | 2020.03.12 | 추천 0 | 조회 447
관리자 2020.03.12 0 447
공지사항
Paper Reviews 2019 Q1
관리자 | 2020.03.12 | 추천 0 | 조회 989
관리자 2020.03.12 0 989
76
[Paper Review] Madnet: Using a mad optimization for defending against adversarial attacks (20)
Kyoungchan Park | 2020.10.09 | 추천 0 | 조회 289
Kyoungchan Park 2020.10.09 0 289
75
[Paper Review] Model agnostic Few shot learning (18)
Joongmin Park | 2020.10.07 | 추천 0 | 조회 438
Joongmin Park 2020.10.07 0 438
74
[Paper Review] Syntax and Semantics in Language Model Representation (18)
Myeongsup Kim | 2020.09.29 | 추천 0 | 조회 403
Myeongsup Kim 2020.09.29 0 403
73
[Paper Review] Unsupervised Graph Anomaly Detection (19)
Hyungseok Kim | 2020.09.25 | 추천 0 | 조회 533
Hyungseok Kim 2020.09.25 0 533
72
[Paper Review] Evaluation Metrics for Time Series Anomaly Detection (19)
Gyuwon Cho | 2020.09.23 | 추천 0 | 조회 513
Gyuwon Cho 2020.09.23 0 513
71
[Paper Review]Graph based Anomaly Detection (19)
Hyeyeon Kim | 2020.09.17 | 추천 0 | 조회 612
Hyeyeon Kim 2020.09.17 0 612
70
[Paper Review] MultiSAGE - Spatial GCN With Contextual Embedding (19)
Jungho Lee | 2020.09.15 | 추천 0 | 조회 713
Jungho Lee 2020.09.15 0 713
69
[Paper Review] Spectral-based Graph Convolutional Networks(GCN) (18)
Jonghyun Choi | 2020.09.08 | 추천 0 | 조회 1671
Jonghyun Choi 2020.09.08 0 1671
68
[Paper Review] Text Augmentation (18)
Jounghee Kim | 2020.08.30 | 추천 0 | 조회 1107
Jounghee Kim 2020.08.30 0 1107
67
[Paper Review] Deep Semi-Supervised Anomaly Detection (10)
Heejeong Choi | 2020.08.29 | 추천 0 | 조회 1638
Heejeong Choi 2020.08.29 0 1638

Data Science & Business Analytics Lab.
School of Industrial Management Engineering
College of Engineering, Korea University

Contact Us

  • 강필성 교수 (pilsung_kang@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 창의관 801A호 
  • 대학원 연구실 (총무 이유경: yukyung_lee@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 신공학관 220호, 221호, 213호
© 2020 DSBA Lab.