금일 세미나시간에는 연구실 첫 세미나를 수행하게 된 윤훈상 석사과정이 GNN Explainer: Generation Explanation for Graph Neural Network라는 주제를 다루어 보았습니다. 평소에 관심가지고 지켜보는 Graph 관련 논문이기에 더욱 관심을 가지고 참관하였으며, 세미나를 준비하는 과정에서 서로 이야기를 나누었기에 좀더 자연스럽게 세미나에 몰입할 수 있었습니다. 세미나의 서두에서 언급하듯이 해당 논문은 현재 XAI라고 약어로 더욱 친숙한 Explainable AI의 관점에서 최근 많은 관심을 받고있는 GNN을 해석해보고자 하였습니다. 일반적으로 XAI로 대표되는 방법들 을 보면 기존 NLP 혹은 Vision 분야에서 Grad기반 혹은 Attention기반으로 주어진 class label에 대한 설명력을 제시하는 연구들이 이루어졌습니다. 해당 논문에서는 학습된 GNN을 기반으로 특정 노드 혹은 노드의 집합 셋(Multi-instance)으로의 그래프의 class를 예측하는 과정에서 어떤 특정 노드들이 주요한 역할을 수행하였고, 그 노드의 어떤 feature가 주요했는지를 model-agnostic 하게 반환해줍니다. 이과정에서 결국 수행되는 GNNExaplainer 모델의 최적화는 sub-graph의 노드들로 인한 MI(Mutual Information)을 기반으로 수행되게 됩니다. 이과정은 결국 해당 서브그룹의 노드들로 인해서 class를 정의하는 y의 uncertainty가 얼마나 reduction되는 것으로 해석이 가능하며, 이를 통해 가장 큰 reduction이 가능한 sub-group의 노드들을 선택하도록 Mean-Field Variational Approximation과 learnable masking parameter를 통해 최적화가 수행한다고 보시면 되겠습니다. 해당하는 논문이 결국 XAI 목적을 두고 있기에 모델의 퍼포먼스는 사전에 정의된 ground-truth와 얼마나 매칭되는지를 위주로 실험결과를 공유하고 있는데, 최근 GNN의 다수 논문에서는 attention을 통해서 정확하게 XAI라고 명명할 수는 없지만, Visualization을 통해서 간접적으로 제공은 할 수 있고, Simple GNN 대비 성능측면에서도 많은 향상을 보여주고 있습니다. 이러한 점을 생각해보면, 해당 논문은 실질적인 모델학습과 더불어 이후 과정이 진행되는 번거로움이 있기에 baseline 실험에서의 attention모델과의 exploitability 성능 비교는 동일선상에서 바라만 볼 수는 없다고 판단됩니다. 추가적으로, 동일한 GNN환경이 아닌 GNN의 구조 혹은 파라미터의 변화에 따라서 (예를들어 Receptive Field관점에서) 설명력은 달라질 수 있을 텐데, 다양한 실험환경에서 수행되었으면 더욱 재미있는 결과를 제시할 수 있었을 것 같다는 생각이 들었습니다. 마지막으로 첫 발표임에도 불구하고 재미있는 연구를 주제로 세미나를 잘 이끌어준 발표자에게 감사의 인사전합니다.