[paper Review] GNNExplainer: Generating Explanations for Graph Neural Networks

Paper Review
작성자
Hoonsang Yoon
작성일
2021-02-24 05:06
조회
69
1. Topic
  • Graph Neural Network의 Prediction을 설명할 수 있는 GNN XAI 기법의 포문을 연 GNN Explainer를 소개합니다.
2. Overview
  • 머신러닝 / 딥러닝 모델을 연구하여 분류 / 예측과 같은 Task의 성능을 올리는 것도 중요하지만, 해당 모델들의 행동에 대한 설명 또한 중요합니다. 신뢰할 수 없는 모델은 쓰이지 못하며, 모델의 행동을 살펴보는 것을 통해 잘못된 행동을 교정할 수 있기 때문입니다. 이를 위해 XAI 기법 중, 최근에는 특정한 모델에 국한되지 않는 Model-Agnostic XAI인 LIME / SHAP이 많이 사용되지만, 해당 기법들은 Graph와 같은 Relational Data를 설명하는 데에 부족합니다.
  • 이에 GNN Explainer가 나타났으며, 이는 GNN Model에 대하여 Agnostic하여 보편적 GNN 기법의 (Message / Aggregate / Update) 단계를 거치는 모델에 대해서 설명할 수 있는 기법입니다. 또한 기존의 XAI는 데이터의 Feature에 대한 설명에 국한되어 있다면, GNN XAI는 노드의 Feature와 더불어, 하나의 노드를 분류하거나 Embedding을 구성함에 있어 어떤 이웃 노드들이 활용되었는지 설명합니다. GNN Explainer는 Adjacency Matrix에 Masking을 얹는 방식으로 최적의 Subgraph를 얻는 것을 목표로 하고, 최적의 Mask를 얻는 과정 속에 Variational Inference가 근간이 됩니다.
  • 해당 논문은 2019년의 GNN XAI의 최초의 시도이기에 현재는 Baseline으로 사용되지만, GNN을 설명하기 위해 어떤 접근을 해야하는지, 그리고 어떻게 실험을 해야 하는 지에 대한 포문을 연 것에 큰 Contribution을 갖고 있습니다.
3. 발표자료 및 발표영상
  • 발표 자료: 첨부파일 참고
  • 발표 영상: (Link)
4. 참고 문헌
  • GNNExplainer: Generating Explanations for Graph Neural Networks (Ying et al. 2019, NeurIPS)
  • Explainability in Graph Neural Netowkrs: A Taxonomic Survey (Yuan et al. 2020)
전체 1

  • 2021-02-24 20:06

    금일 세미나시간에는 연구실 첫 세미나를 수행하게 된 윤훈상 석사과정이 GNN Explainer: Generation Explanation for Graph Neural Network라는 주제를 다루어 보았습니다. 평소에 관심가지고 지켜보는 Graph 관련 논문이기에 더욱 관심을 가지고 참관하였으며, 세미나를 준비하는 과정에서 서로 이야기를 나누었기에 좀더 자연스럽게 세미나에 몰입할 수 있었습니다. 세미나의 서두에서 언급하듯이 해당 논문은 현재 XAI라고 약어로 더욱 친숙한 Explainable AI의 관점에서 최근 많은 관심을 받고있는 GNN을 해석해보고자 하였습니다. 일반적으로 XAI로 대표되는 방법들 을 보면 기존 NLP 혹은 Vision 분야에서 Grad기반 혹은 Attention기반으로 주어진 class label에 대한 설명력을 제시하는 연구들이 이루어졌습니다. 해당 논문에서는 학습된 GNN을 기반으로 특정 노드 혹은 노드의 집합 셋(Multi-instance)으로의 그래프의 class를 예측하는 과정에서 어떤 특정 노드들이 주요한 역할을 수행하였고, 그 노드의 어떤 feature가 주요했는지를 model-agnostic 하게 반환해줍니다. 이과정에서 결국 수행되는 GNNExaplainer 모델의 최적화는 sub-graph의 노드들로 인한 MI(Mutual Information)을 기반으로 수행되게 됩니다. 이과정은 결국 해당 서브그룹의 노드들로 인해서 class를 정의하는 y의 uncertainty가 얼마나 reduction되는 것으로 해석이 가능하며, 이를 통해 가장 큰 reduction이 가능한 sub-group의 노드들을 선택하도록 Mean-Field Variational Approximation과 learnable masking parameter를 통해 최적화가 수행한다고 보시면 되겠습니다. 해당하는 논문이 결국 XAI 목적을 두고 있기에 모델의 퍼포먼스는 사전에 정의된 ground-truth와 얼마나 매칭되는지를 위주로 실험결과를 공유하고 있는데, 최근 GNN의 다수 논문에서는 attention을 통해서 정확하게 XAI라고 명명할 수는 없지만, Visualization을 통해서 간접적으로 제공은 할 수 있고, Simple GNN 대비 성능측면에서도 많은 향상을 보여주고 있습니다. 이러한 점을 생각해보면, 해당 논문은 실질적인 모델학습과 더불어 이후 과정이 진행되는 번거로움이 있기에 baseline 실험에서의 attention모델과의 exploitability 성능 비교는 동일선상에서 바라만 볼 수는 없다고 판단됩니다. 추가적으로, 동일한 GNN환경이 아닌 GNN의 구조 혹은 파라미터의 변화에 따라서 (예를들어 Receptive Field관점에서) 설명력은 달라질 수 있을 텐데, 다양한 실험환경에서 수행되었으면 더욱 재미있는 결과를 제시할 수 있었을 것 같다는 생각이 들었습니다. 마지막으로 첫 발표임에도 불구하고 재미있는 연구를 주제로 세미나를 잘 이끌어준 발표자에게 감사의 인사전합니다.


전체 117
번호 제목 작성자 작성일 추천 조회
공지사항
Paper Reviews 2019 Q3
관리자 | 2020.03.12 | 추천 0 | 조회 1024
관리자 2020.03.12 0 1024
공지사항
Paper Reviews 2019 Q2
관리자 | 2020.03.12 | 추천 0 | 조회 332
관리자 2020.03.12 0 332
공지사항
Paper Reviews 2019 Q1
관리자 | 2020.03.12 | 추천 0 | 조회 825
관리자 2020.03.12 0 825
114
New [Paper Review] BatchEnsemble: An Alternative Approach to Efficient Ensemble and Lifelong Learning (1)
junghoon lee | 2021.02.26 | 추천 0 | 조회 30
junghoon lee 2021.02.26 0 30
113
[paper Review] GNNExplainer: Generating Explanations for Graph Neural Networks (1)
Hoonsang Yoon | 2021.02.24 | 추천 0 | 조회 69
Hoonsang Yoon 2021.02.24 0 69
112
[Paper Review] OOD Detection Using an Ensemble of Self-Supervised Leave-out Classifiers (1)
Kyoungchan Park | 2021.02.23 | 추천 0 | 조회 55
Kyoungchan Park 2021.02.23 0 55
111
[Paper Review] FreeLB: Enhanced Adversarial Training for Natural Language Understanding (1)
Myeongsup Kim | 2021.02.19 | 추천 0 | 조회 83
Myeongsup Kim 2021.02.19 0 83
110
[Paper Review] ICNet for Real-Time Semantic Segmentation on High-Resolution Images (5)
Yunseung Lee | 2021.02.19 | 추천 0 | 조회 69
Yunseung Lee 2021.02.19 0 69
109
[Paper Review] Geometic Graph Convolutional Networks (11)
Hyungseok Kim | 2021.02.09 | 추천 0 | 조회 184
Hyungseok Kim 2021.02.09 0 184
108
[Paper Review] Latent Space Autoregression for Novelty Detection (14)
Hyeyeon Kim | 2021.02.07 | 추천 0 | 조회 129
Hyeyeon Kim 2021.02.07 0 129
107
[Paper Review] Data-Distortion Guided Self-Distillation for Deep Neural Networks (15)
Takyoung Kim | 2021.02.05 | 추천 0 | 조회 152
Takyoung Kim 2021.02.05 0 152
106
[Paper Review] DisenHAN: Disentangled Heterogeneous Graph Attention Network for Recommendation (15)
Jungho Lee | 2021.02.03 | 추천 0 | 조회 124
Jungho Lee 2021.02.03 0 124
105
[Paper Review] Representation Learning with Contrastive Predictive Coding (15)
Jounghee Kim | 2021.02.01 | 추천 0 | 조회 161
Jounghee Kim 2021.02.01 0 161

Data Science & Business Analytics Lab.
School of Industrial Management Engineering
College of Engineering, Korea University

Contact Us

  • 강필성 교수 (pilsung_kang@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 창의관 801A호 
  • 대학원 연구실 (총무 이유경: yukyung_lee@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 신공학관 220호, 221호, 213호
© 2020 DSBA Lab.