[Paper Review] Interpretable Convolutional Neural Networks

Paper Review
작성자
Euisuk Chung
작성일
2021-03-09 10:02
조회
207
1. Topic

"Visual interpretability for deep learning: Survey"를 통해 딥러닝의 visual interpretability 연구 동향을 살펴보고, 그 중 CNN의 해석력을 연구한 논문인 "Interpretable Convolutional Neural Networks"에 대하여 소개함

2. Overview
  • Visual Interpretability for Deep Learning: a Survey 에서는 “Understanding Neural Representation” 테스크에 대하여 아래 6가지 관점으로 설명하고 있음.
    1. CNN Representation의 시각화(Visualization)
    2. CNN Representation의 진단(Diagnosis)
    3. CNN Representation의 분해(Disentangling)
    4. CNN Representation의 해석(Interpretation)
    5. 네트워크 해석에 대한 평가 지표
    6. 네트워크 해석을 이용한 middle-to-end learning
  • Interpretable CNN은 기존 CNN 구조를 유지한 체로 모델에 대한 해석이 가능하도록 설계된 모델로, 학습 시 자동으로 high level conv-layer의 filter들에 특정 object part가 자동 할당되도록 설계하였음.
  • 기존 CNN의 filter에서 여러개의 feature들을 표현하는 것이 아닌 가장 중요한 한 object part에 대해서만 출력이 되도록 하여 모델의 설명력과 성능을 올림.
3. 참고 논문
  • Interpretable Convolutional Neural Networks (2018) - Q Zhang et al.
  • Visual Interpretability for Deep Learning: a Survey (2018) - Q Zhang et al.
4. 발표 자료: 첨부파일 확인(*수정 중, 수정 버전 아직 미반영)

5. 발표 영상: 추후 업로드 예정
전체 10

  • 2021-03-27 20:53

    본 세미나에서는 먼저 Vision Task를 수행한 뒤 이미지의 어떤 영역으로 인하여 결과가 도출되었는지에 대한 Interpretation을 구하는 과정에 대한 Overview를 다루었습니다. 이에는 기존에 많이 사용해온 Gradient Based, Up Convolution methods, Explanatory Graph 등을 설명하였습니다. 이런 기법들은 본 CNN을 진행한 뒤 추가적으로 진행되는 Additional Supervision들인데, 이렇게 추가적인 과정 없이 CNN 자체를 수정하여 설명력을 얻으려고 하는 과정을 다룬 논문이 'Interpretable Convolution Neural Networks' 였습니다. 해당 모델은 학습 시 자동으로 High Level Conv-Layer의 Filter들에 대하여 특정 Object Part를 자동으로 할당하는 과정으로 이루어지며, 어떠한 CNN 모델에도 적용이 가능합니다. 즉, 기존 CNN을 해석하기 위해서 필요한 추가적 Action을 아예 새로운 CNN Model 훈련 과정에 포함시킴으로써 훈련과 설명을 모두 쟁취하는 모델입니다. 세미나에서는 얻어지는 Benefit에 비하여 Accuracy가 감소한다던가, Model Size가 증가하는 것과 같은 단점에 대한 언급이 없었는데, 만일 기존 CNN에 기능만 추가되는 것이라면 대중적으로 사용하지 않을 이유가 없어 의아한 부분이 있습니다.


  • 2021-04-05 03:49

    CNN을 기반으로 하는 딥러닝 모델에 여러 해석 과정이 있는데 이번 세미나에서 Visual Interpretability for Deep Learning: a Survey 논문을 통해 다양한 해석 방법과 평가 방법에 대해 설명해주셨습니다. 이번 세미나를 통해서 CNN 모델을 설명하는 방법 중 입력 이미지의 어느 부분이 결과를 예측하는데 중요한 부분인지 기여도를 구할 수 있는 여러 gradients, activation, perturbation 기반의 방법을 알 수 있었습니다. 또한 입력 이미지 뿐만 아니라 모델의 레이어 중 어떤 채널이 이미지의 각 부분에 어느정도 기여를 하는지 연구한 방법에 대해서도 알 수 있었습니다. Exaplainable AI(XAI)가 연구하기 어려운 이유 중 하나가 정답이 없기 때문인데 이를 극복하기 위해 대체 가능한 정답 데이터로부터 평가할 수 있는 방법에 대해 알 수 있었습니다. 그 중에서 추가적으로 함께 설명해주신 내용은 Model Agnostic한 방법으로 학습된 CNN 모델에 모델의 성능을 떨어트리기위한 입력 이미지에 대해 적절한 mask를 구할 수 있는 Layer를 추가하는 방법을 소개해주셨습니다. 앞서 언급했던 결과에 영향을 크게 미치는 입력 이미지의 기여도를 구하는 방법 중 Perturbation 기반의 방법으로써 새롭게 알게된 내용이였습니다. 점점 더 Deep Learning에 대한 연구가 진행되면서 Explainable AI에 대한 필요성이 늘어나지만 아직까지 '해석가능한'에 대한 연구가 많이 이루어 졌을 뿐 '설명가능한'이라 얘기하기는 어려운것 같습니다.. 좋은 발표 해주셔서 감사합니다.


  • 2021-04-07 16:07

    해석 가능한 AI는 딥러닝에서 매우 중요한 분야 중 하나입니다. 그 이유는 딥러닝 모델이 추론한 결과물에 대한 해석을 제공받은 개발자는 모델이 잘 작동하는지 여부에 대해 디버깅이 가능하고, 사용자는 모델이 동작하는 방법에 대해 이해가 가능하므로 의사결정 과정에서 AI를 믿고 사용할 수 있기 때문입니다. 오늘 세미나는 이미지 분야에서 Explanable AI를 적용하고, CNN Representation의 시각화, 진단, 분해, 해석 하는 방법에 대해 설명해 주셨습니다. Interpretable Convolutional Neural Networks 논문에서 설명한 CNN XAI의 핵심은 CNN Layer에서 어떤 Feature가 Activation 되었는가를 판별하는 것입니다. 이를 수행하는 절차는 인코더에서 산출된 feature Map에 여러개의 필터를 적용한 후 각 unit들의 평균을 산출하고 이 결과를 템플릿으로 간주합니다. 그리고 그 템플릿 내에서 큰 값을 찾는 방식으로 어떤 Feature가 Activation 되었는지 찾습니다. 흥미로운 주제에 대해 설명해 주셔서 감사합니다.


  • 2021-04-07 16:45

    오늘 발표해주신 세미나는 Visual Interpretability for Deep Learning에 관한 내용이었는데, grad-cam과 같이 CNN을 이용한 task에서 모델이 classification/localization/captioning 등을 결정한 원인을 확인할 수 있는 방법은 굉장히 중요하다고 생각합니다. 단순히 해석 측면 뿐 아니라, 이러한 기법을 사용해서 모델의 예측력을 좀 더 개선할 수 있는 기법도 가능하다고 생각합니다. 오늘 소개해주신 논문은 일반적인 CNN에 filter별로 loss를 걸어주는데, 이 loss는 object의 한 부분에 의해서만 발화가 되도록 하는 constraint의 개념으로 이해할 수 있을 것 같습니다. 이렇게 되면 추후 시각화를 수행할 때 훨씬 효과적으로 발화 요인을 찾을 수 있기 때문인 것 같습니다. 그러한 제약 조건 하에서 학습된 CNN을 구축하고, mask를 이용하여 좀 더 지엽적인 object의 중요 부분을 반환해주는 것 같습니다. Explainable AI는 보면 볼수록 참 매력이 있는 분야인 것 같고, 앞으로도 많은 연구가 활발히 진행될 분야라고 생각합니다. 좋은 발표 감사합니다.


  • 2021-04-12 16:58

    금일 세미나 시간에는 이번 세미나시간을 통해 세미나 첫발표를 진행하게된 정의석 석사과정이 “Visual interpretability for deep learning: Survey" 서베이 논문을 통해 딥러닝의 visual interpretability 연구 동향을 살펴보고, 그 중 CNN의 해석력을 연구한 논문인 "Interpretable Convolutional Neural Networks"에 대하여 소개하는 시간을 가졌습니다. 이제 명확한 연구방향을 정하지 않은 상황에서 어떠한 연구분야에 대한 첫 진입을 위해서 서베이논문을 읽는 것은 해당 연구 동향 및 배경지식을 얻는데 있어 좋은 가이드라인이라고 생각됩니다. 해당 논문에서는 Vision분야에서 interpretability를 확보하기 위한 다양한 해석과 평가 방법을 소개하고 있었습니다. 비록 해당 방법론들이 지금의 최신 sota의 성능을 보여주지는 않지만 이러한 연구 flow들이 하나하나의 milestone으로 지금의 연구들로 이어지는 과정속에서 각 연구들의 한계점을 어떻게 극복했는지는 연구 idea를 얻는데 큰 도움이 될 것 같습니다. 과거 프로젝트를 통해서 XAI에 대해 간접적으로 연구를 수행해보고자 했던 기억이 있기에 많은 공감을 가지게 되는 세미나 주제였다고 생각합니다. 좋은 발표로 세미나 시간을 채워준 발표자에게 다시한번 감사의 인사를 전합니다.


  • 2021-04-13 04:16

    그동안 관심을 갖고 있던 분야인 해석가능한 AI에 대해 자세히 설명해주셔서 흥미롭게 들을 수 있었던 세미나였습니다. 발표자분 께서는 서두에 survey논문 리뷰를 통해 convolution neural network를 표현(representation)할 수 있는 총 6가지의 접근법을 설명해주셨습니다. 이후엔, CNN구조의 해석가능성에 대해 다룬 논문을 리뷰해주셨습니다. 소개해주신 “Interpretable CNN”은 모든 CNN구조에 적용가능하다는 특징을 갖고 있습니다. 리뷰에서 interpretable conv layer의 각 template에 적용되는 과정을 예시를 들어 설명해주셔서 이해를 도울 수 있었습니다. Loss에서 역전파 가능한 term을 추가함으로써, 해당 conv-layer에서의 filter들을 학습시키는 것 또한 흥미로웠습니다. 해당 loss는 mutual information을 활용하고 있는 데, 지난 번 triplet-loss와 더불어 새로운 학습구조를 만들고, 이를 실제 학습시키기 위해서는 Loss-term design에 대한 접근이 역시나 중요하다는 점을 다시 느꼈습니다. 좋은 발표 감사합니다.


  • 2021-03-09 13:21

    이번 세미나에서는 Visual Interpretability for Deep Learning라는 주제가 다뤄졌습니다. 발표자분께서 세미나의 중심 논문인 Interpretable Convolutional Neural Networks를 다루기 전에 동일 저자가 앞서 제출한 survey 논문에 대해 다뤄주시면서 interpretability를 이해하는 데에 필요한 개괄적인 흐름 및 지표들에 대해 우선적으로 알아볼 수 있었습니다. 본 논문에서는 기존 CNN 구조를 유지한채, 해석력을 높이는 모델을 제안하는데, convolution과 relu를 거친 의 마지막 단계에서 각 filter가 이미지에서 중요한 feature pixel을 잘 뽑아내는 데에 강점을 가질 수 있도록 loss를 학습합니다. 실제 실험 결과에서 Filter의 역할을 강화 실제 interpretability에 있어서 좋은 성능을 보여주었고, 모델의 마지막 단이 아니라, 초기 단계에 이 filter를 적용하였을 때도 주요 feature가 잘 뽑히는 것이 흥미로웠습니다. 좋은 발표 감사합니다.


  • 2021-03-10 14:15

    이번세미나에서는 Disentangling CNN representation을 발표해주셨습니다. encoder에서 산출된 feature map에 여러개의 필터를 적용한후 각 unit들의 평균(positive or negative)들이산출되어 이 convolve된 결과들을 템플릿으로 간주하고 해당 원본 feature map과 element-wise하게 곱해 relu형태로 activation 시키닌 구조 인 것 같습니다. 해당방법론은 CNN계열의 어떤 딥러닝 모델이던지 적용할수 있는 기법이며 masking을 적용함으로써 해당 feature의 localization의 성능이 향상되는 것 처럼 보였습니다. 딥러닝모델에서 특히 비전에서는 feature의 regularization (relu, dropout)에 대해 많이 적용되었는데 masking 또한 그러한 역할을 하는것이 아닐까 생각해봅니다. 좋은 발표 감사합니다.


  • 2021-03-10 21:49

    이번 세미나에서는 Visual Interpretability for Deep Learning이라는 주제로 진행되었습니다. 세미나는 Visual Interpretability for Deep Learning: a Survey 논문과 Interpretable Convolutional Neural Networks 논문에 대해 설명하였습니다. 먼저 survey 논문을 통해 예측모델에서 해석이 왜 중요한지에 대해 이용자들의 이해와 의사결정을 돕고, 예측 모델의 결과가 타당한 기준을 바탕으로 내려진 결과인지 확인하기 위해서라고 언급하였습니다. 또한 이 논문을 통해 뒤에 나올 논문에 대한 이해를 위해 핵심 아이디어와 지표등을 설명하고 있었습니다. 두 번째 소개된 논문에서는 먼저 일반 CNN은 무엇이 중요한 filter인지 알 수 없는 반면에 Interpretable CNN은 중요 filter에 대해 설명할 수 있다고 주장하였습니다. 기본적인 아이디어는 일반 CNN에 backpropagation이 가능한 loss를 추가하는 방법이며, filter들을 적용한 후 unit들의 평균들을 산출해 만든 템플릿을 이용하여 큰 value를 갖는 object part를 찾는 방식인 것 같습니다. 실제 결과들을 visualization 해서 정말 해석이 가능할 정도로 중요한 feature를 나타내고 있는 것이 흥미로웠습니다. 좋은 발표 감사합니다.


  • 2021-03-14 11:58

    CNN에서 해석력을 가지기 위한 방식들을 소개한 세미나였습니다. ML에서 DL로 연구 분야가 옮겨오면서 성능은 비약적으로 좋아졌지만 ML이 가지고 있던 해석력을 잃어버려 많은 비판을 받았습니다. 여전히 그런 목소리가 있으나 최근에는 해석력이 필요한 금융과 같은 도메인에서는 DL을 사용하지 않고, 성능이 최우선 되는 도메인에서는 DL을 적극적으로 사용하는 추세인 것 같습니다. 소개해주신 논문들을 살펴보면 결국 CNN에서 할 수 있는 해석은 어떠한 레이어에서 어떠한 필터가 어느정도로 활성화 되었는지 찾아보고 이를 시각화 하는 정도 입니다. 개인적으로는 이미지 분류에서 이러한 해석을 진행하는 것은 실용적으로 큰 의미가 없지 않을까 생각합니다. 오히려 공정 데이터를 넣었을때 해당 input을 왜 불량으로 예측했는지와 같은 해석이 더 중요하다고 생각하며, 이를 위해서는 우리 산업공학도가 할 일이 많지 않을까라는 생각이 들었습니다. 최근 공정 도메인에서도 DL을 굉장히 활발하게 사용하고 있는데, 이러한 연구 주제도 연구적으로 또 실용적으로 반드시 필요할것이라 생각합니다.


전체 129
번호 제목 작성자 작성일 추천 조회
공지사항
Paper Reviews 2019 Q3
관리자 | 2020.03.12 | 추천 0 | 조회 1222
관리자 2020.03.12 0 1222
공지사항
Paper Reviews 2019 Q2
관리자 | 2020.03.12 | 추천 0 | 조회 447
관리자 2020.03.12 0 447
공지사항
Paper Reviews 2019 Q1
관리자 | 2020.03.12 | 추천 0 | 조회 989
관리자 2020.03.12 0 989
126
[Paper Review] Deep GNNs (3)
Hyungseok Kim | 2021.04.16 | 추천 0 | 조회 33
Hyungseok Kim 2021.04.16 0 33
125
[Paper Review] Don't Stop Pretraining: Adapt Language Models to Domains and Tasks (3)
Takyoung Kim | 2021.04.13 | 추천 0 | 조회 45
Takyoung Kim 2021.04.13 0 45
124
[Paper Review] Uninformed Students: Student–Teacher Anomaly Detection with Discriminative Latent Embeddings (4)
Hyeyeon Kim | 2021.04.07 | 추천 0 | 조회 82
Hyeyeon Kim 2021.04.07 0 82
123
[paper Review] Contrastive Learning for Sequential Recommendation (4)
Jungho Lee | 2021.04.03 | 추천 0 | 조회 121
Jungho Lee 2021.04.03 0 121
122
[Paper Review] Deep Image Retrieval: Learning global representations for image search (5)
Kyoosung So | 2021.03.31 | 추천 0 | 조회 93
Kyoosung So 2021.03.31 0 93
121
[Paper Review] Vq-wav2vec: Self-Supervised Learning of Discrete Speech Representations (6)
Jounghee Kim | 2021.03.24 | 추천 0 | 조회 149
Jounghee Kim 2021.03.24 0 149
120
[Paper Review] Time Series Anomaly Detection with Multiresolution Ensemble Decoding (6)
Heejeong Choi | 2021.03.23 | 추천 0 | 조회 132
Heejeong Choi 2021.03.23 0 132
119
[Paper Review] QANet: Combining Local Convolution with Global Self-Attention for Reading Comprehension (8)
Jina Kim | 2021.03.19 | 추천 0 | 조회 164
Jina Kim 2021.03.19 0 164
118
[Paper Review] SOM-DST  : Efficient Dialogue State Tracking by Selectively Overwriting Memory (7)
Yukyung Lee | 2021.03.13 | 추천 0 | 조회 184
Yukyung Lee 2021.03.13 0 184
117
[Paper Review] A Simple Framework for Contrastive Learning of Visual Representations (10)
Donghwa Kim | 2021.03.10 | 추천 0 | 조회 255
Donghwa Kim 2021.03.10 0 255

Data Science & Business Analytics Lab.
School of Industrial Management Engineering
College of Engineering, Korea University

Contact Us

  • 강필성 교수 (pilsung_kang@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 창의관 801A호 
  • 대학원 연구실 (총무 이유경: yukyung_lee@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 신공학관 220호, 221호, 213호
© 2020 DSBA Lab.