[Paper Review] Geometic Graph Convolutional Networks

Paper Review
작성자
Hyungseok Kim
작성일
2021-02-09 05:02
조회
365
1. Topic

기존 Message-Passing Model의 문제점을 극복한 Geometric Graph Convolutional Netwowrks에 대한 소개

2. Overview

GCN, ChevNet으로 대표되는 대부분의 Message passing 기반의 모델들은 이웃 노드 들로부터 전달받은 정보들을 취합하는 단계와 취합된 정보들을 기반으로 해당 노드의 representation 을 업데이트하는 단계를 가진다. 이러한 MPNNs 들은 aggregation 단계에서 거리가 먼 Node 들 간의 정보는 획득하기 어려운 한계점을 가지고 있다. 또한, 이를 취합하는 과정에서 노드와 인접 노드 간의 구조적 정보가 손실될 수 있다는 한계점을 가지고 있다. 이러한 단점들을 극복하기 위해 제안된 topological pattern 을 Graph rerpresentation학습에 반영한 Geometric Graph Convolutional Netwowrks을 다루어본다.

3. 발표자료 및 발표영상
  • 발표 자료: 첨부파일 참고
  • 발표 영상: 업로드 예정
4. 참고자료

첨부파일 참조
전체 12

  • 2021-02-08 20:37

    오늘 세미나에서는 GEOM-GCN을 제안한 논문을 소개해주셨습니다. GCN의 경우, 멀리 있는 node의 정보를 받아들이기 위해서 연속된 multi-layer graph convolution을 사용합니다. 먼 이웃의 노드까지의 정보를 학습할 수 있어 receptive filed 관점에서 장점을 가집니다. 하지만 현재 graph learning 방법들은 edge와 node를 기반으로 학습하여 graph structure를 node 간 연결성만으로 학습하기 때문에 oversmoothing, size가 큰 graph 학습에 대한 문제 등이 발생합니다. 논문에서는 이러한 문제를 해결하고자 GEOM-GCN을 제안합니다. 이 모델은 node를 latent space로 mapping하여 이 공간에서의 이웃들을 학습에 활용합니다. 이는 거리가 먼 node라도, 구조적 특징이 유사한 node라면, latent space 상에서는 인접하게 위치한다는 점을 활용한 것입니다. node embedding 방법으로는 ISOMAP, PoinCare embedding, Struc2Vec 이렇게 3가지 방법론을 사용합니다. PoinCare embedding은 representation learning을 hyperbolic space 상에서 이를 embedding하는 방법으로, hyperbolic space가 graph structure를 더 잘 표현할 수 있다는 점에서 장점을 가집니다. data의 input space에서는 주어진 task를 잘 해결할 수 없을 때 비선형적인 공간으로 보내 처리하는 방법이 여러 분야에서 활용도가 높은 것 같습니다. 항상 그래프 관련해서 많이 배우고 있습니다. 좋은 발표 감사합니다.


  • 2021-02-08 23:55

    오늘 세미나는 ICLR 2020 에서 발표된 GEOM-GCN 관한 내용입니다. 개인적으로 해당 논문을 관심있게 지켜보았었는데, 리뷰를 해주셔셔 매우 흥미로웠습니다. 기하학적 정보를 반영하여 그래프 임베딩을 하자는 시도는 엄청 예전부터 이어져 왔고, 최근에는 GIN 같은 논문에서 구조 정보를 반영 할 수 있는 기법을 통해 성능향상에 크게 기여 했었습니다. 이 개념을 확장시켜 GEOM-GCN 에서는 Latent space 상에서 인접행렬을 통한 이웃이 아닌 거리기반 이웃을 추가적으로 찾아 냅니다. 이는 최근 그래프 논문들의 특징 중 하나인 sampling 과 관련 있어 보입니다. 어떤 node 를 샘플링 해야 시간/성능에 있어서 좋을지를 계속해서 연구하고 있는데, 대표적으로 GAT 경우 multi head attention 으로 노드들을 선택하게 됩니다. 그러나 1-hop 이라는 약점은 계속해서 지니고 있고, 여러 이웃을 샘플링하기 위해 layer를 쌓아야하는 문제를 해결하지 못했습니다. 이는 결국 항상 나오는 over-smoothing 문제를 야기시키며, 이를 해결하기위해서는 layer는 적게쌓되, multi-hop 의 이웃을 찾을 수 있는 방법을 고안해야 했습니다. 이 관점에서 node 자체를 저차원의 hyperbolic 임베딩을 통해서 거리를 정의하여 이웃을 찾아냅니다. hyperbolic 임베딩이 큰 효과를 가질 때는 tree 구조에서 가장 적합한 구조라고 2017년 페이스북에서 발표된 바 있으며, 이 공간에서의 차원을 통한 클러스터링 의미는 공통된 속성은 공유하고, 자식 노드에서의 속성은 구별되어지는 공간을 의미합니다. 차원별 클러스터링 같은 개념을 통해 같은 구역의 노드들을 aggregation 하여, 이웃샘플링을 효과적으로 했다고 볼 수 있습니다.


  • 2021-02-09 17:32

    오늘 세미나에서는 기존 Message-Passing Model의 문제점을 극복한 Geometric Graph Convolutional Netwowrks에 대한 소개해주셨습니다. GCN은 그래프 상의 해당 노드의 latent vector를 해당 노드의 이웃으로 표현하는 것으로, 멀리 있는 node의 정보를 받아들이기 위해서 연속된 multi-layer graph convolution을 사용하게 됩니다. 이렇게 연속된 다층 graph convolution은 이웃의 이웃까지의 정보를 활용 가능하여 receptive field 관점에서 장점을 가질 수 있게 됩니다. MPNNs은 이웃 노드들로부터 전달받은 정보들을 취합하고, 취합된 정보들을 기반으로 해당 노드의 representation을 업데이트합니다. MPNNs의 약점은 취합하는 과정에서 노드와 인접 노드 간의 구조적 정보가 손실될 수도 있고, 거리가 먼 노드들 간의 정보는 획득하기 어렵다는 것입니다.

    논문에서는 이러한 문제를 해결하고자 GEOM-GCN을 제안합니다. 해당 모델은 기존 그래프와 동일하게 그래프를 입력받고, 이를 node embedding을 통한 latent space로 mapping하게됩니다. 그리고 나서 latent space상에서 이웃 노드들 간의 그래프 정보를 추출하고, 이를 이용하여 공간상의 좌표계를 통한 이웃 노드들을 정의하게 됩니다. 그리고 해당 그래프 상의 이웃 노드들과 latent space상의 노드 정보를 aggregate를 하는 방식으로 진행됩니다. GEOM-GCN에 대하여 각각의 Step들에 대해 차근차근 짚고 넘어가주셔서 처음 접하는 개념이더라도 맥락을 잡을 수 있어서 좋았습니다. 좋은 발표 들려주셔서 감사합니다.


  • 2021-02-09 20:29

    본 세미나의 주제인 Geom-GCN은 현재 GNN 기법의 기저 원리인 MPNN의 문제점을 해소하기 위한 제안이었습니다. MPNN은 Symmetric Aggregator를 사용함으로써 노드와 이웃 간의 구조적 정보가 손실 될 수 있는 점, Homophily로 인한 먼 이웃의 의미를 반영할 수 없는 문제를 갖고 있습니다. 이에 대해 Node를 Latent Space에 매핑하여 이웃에 대한 학습을 진행하는데, 매핑에 PoinCare Embedding을 사용하면 먼 이웃의 노드들도 이웃의 의미를 반영할 수 있게 합니다. 매핑 후 실제 이웃과 Embedding된 이웃을 모두 Aggregate하여, Local & Global Structure를 기존보다 확실하게 Node Embedding에 담을 수 있는 효과를 가져오게 됩니다. 실험 결과, Homophily가 낮아 MPNN 가정과는 맞지 않아 Node Embedding의 성능이 좋지 않은 데이터셋에 대해서도 분류 성능이 우수하게 나타나는 것을 볼 수 있어 효과가 입증되었습니다. 본 세미나를 통해 Neighbor를 정의하는 방식의 또다른 발전을 봤으며, 먼 노드 이웃의 유사성을 반영하려는 것은 Node Role에 따른 Embedding에도 목적이 있을 것 같습니다.항상 우수한 발표와 깔끔한 자료 구성에 감사드립니다.


  • 2021-02-10 02:46

    발표자분께서 초반에 receptive field 관점에서의 graph convolution에 대해 설명해주셔서 볼 때마다 낯선 graph 기반 방법론에 대해 되짚을 수 있었습니다. 그리고 message passing으로 대표되는 graph 학습 방법론의 단점으로 ① aggregation 과정에서 구조적 정보가 손실될 수 있음 ② 거리가 먼 노드 간 정보를 획득하기 어려움을 언급해주셨습니다. 이 문제를 해결하기 위해 큰 공간에 존재하는 노드를 latent space로 매핑 후 학습을 진행할 수 있었습니다. 효과적인 임베딩을 위해 이전 정호형 세미나에서도 언급한 푸앵카레 임베딩을 다시 한 번 짚을 수 있었습니다. 확실히 topological한 임베딩을 위해서 수학적으로 설계된 임베딩이 효과가 좋다는 생각을 하였습니다. 그리고 그래프의 구조적 특이성을 고려하였을 때 구조를 잘 임베딩하는 연구가 앞으로 발전할 여지가 많다고 생각했습니다. 최근 graph 관련 세미나를 들을 기회가 많아서 부족한 지식을 채울 수 있는 좋은 기회였습니다. 감사합니다.


  • 2021-02-10 20:17

    금일 세미나 주제는 Geometric Graph Convolutional Netwowrks로 GEOM-GCN에 대해 설명해 주셨습니다. GCN과 ChevNet을 포함한 기존 방법론은 Message passing 기반의 모델이므로 Stacking을 통하여 주변 노드로부터 연결된 노드의 정보를 취합하는 단계를 거칩니다. Stacking을 많이 하면 멀리 떨어져 있는 노드의 정보를 취합할 수 있지만 oversmoothing이 발생하며 구조적 정보가 손실되는 한계를 갖고 있습니다. 해당 논문은 이를 해결하기 위하여 node를 구조적 특징을 반영할 수 있도록 latent space mapping하여 그래프 공간에서 이웃들의 관계를 학습에 활용합니다. Graph에서는 구조적 특징이 중요하므로 Embedding을 활용한 연구가 좋은 성능을 기록하는 것 같습니다. 구조적으로 잘 설명해 주셔서 이해하기 편했습니다. 감사합니다.


  • 2021-02-11 17:49

    금일 발표는 "Geometic Graph Convolutional Networks"라는 주제로 진행되었습니다. 본 발표에서는 기존 message-passing 모델의 문제점을 극복한 GEOM-GCN이 소개되었습니다. 먼저 본 논문에서는 대부분의 message-passing 모델들이 aggregator가 이웃 노드들 간의 정보를 취합하는 과정에서 노드와 인접 노드 간의 구조적 정보가 손실될 수 있다는 한계점과 거리가 먼 노드들 간의 정보를 획득하기 어렵다는 한계점을 언급하였습니다. 본 논문에서는 이러한 문제점을 해결하기 위해 노드들을 latent space로 mapping하여 해당 공간에서의 이웃들을 학습에 활용하고 노드들 간의 구조적 특징을 반영하는 topological pattern을 학습에 반영하는 방식을 사용하였습니다. 개인적으로 본 논문에서 사용되는 수학적인 개념들이 어려워서 온전히 이해를 하는데 어려움이 있었지만, 저자들이 연구를 진행한 흐름은 매우 좋았다고 생각합니다. 특히 새로운 연구에 motivation이 되는 기존 방법론들의 한계점을 매우 잘 인지하고 설명했다고 생각합니다. 좋은 발표 감사합니다.


  • 2021-02-13 14:59

    Geometric Graph Convolutional Networks에 대한 발표를 들었습니다. 기존의 그래프 기반 방법론들은 message passing을 할 때 oversmoothing과 같은 문제점이 발생합니다. 소개해주신 논문에서 제안한 GEOM-GCN은 그래프의 node들을 latent space로 매핑한 뒤 인접행렬을 통한 이웃이 아닌 거리가 가까운 node들을 학습에 활용해 aggregate합니다. 인접행렬 상의 이웃과 latent space상의 이웃을 모두 반영할 수 있기 때문에 기존보다 local structure와 global structure를 모두 node embedding에 담을 수 있습니다. 그래프에서 새로운 시도를 한 매우 인상적인 논문이었습니다. 특히 기존 한계를 좋은 아이디어로 극복한 좋은 연구라는 생각이 들었습니다. 좋은 논문을 소개해주셔서 감사합니다.


  • 2021-02-17 17:37

    이번세미나에서는 Geometric Graph Convolutional Network(GEOM-GCN)에 대해 발표해주셨습니다. 일반적인 GCN은 거리가 먼 node들에 정보를 학습되기 어려운 한계점이 있습니다. 이러한 문제를 해결하기 위해 노드들을 latent space로 임베딩(ISOMAP, PoinCare embeddings, Node Embedding)하고, 해당 벡터를 구조적 특징을 반영하는 topological pattern을 학습에 반영하는 제안 방법론 이었습니다. 입력 데이터의 표현력의 한계가 있으니 고차원에 맵핑한다는것이 Kernel svm 방법론의 컨셉과 유사하다고 생각되었습니다. 좋은 발표 감사합니다.


  • 2021-02-22 16:07

    금일 세미나는 geometric GCN을 주제로 진행되었습니다. Geometric GCN은 Message-passing neural network(MPNN)를 사용하였을 때 노드 간 구조적 정보가 손실될 수 있다는 점을 지적하며 제안된 모델입니다. 이 모델은 geometric aggregation을 핵심특징으로 갖는데, ISOMAP, Poincare, struc2vec의 3가지 사용하여 node embedding을 개별적으로 수행한 후 이들을 aggregation을 통해 노드 간 구조적 정보를 잘 표현해내는 임베딩 벡터를 추출하게 됩니다. 그래프에서 노드를 임베딩하는 여러 방법론에 대해 알 수 있는 유익한 시간이었습니다. 좋은 발표 감사합니다.


  • 2021-02-26 00:47

    GCN에서 message passing을 하는 새로운 방식을 알게되어 매우 흥미로웠습니다. 기존에 aggregation을 진행하던 방식은 그래프를 구성할때 노드간의 연결성을 나타내는 edge를 바탕으로 구성됩니다. 이러한 방식은 multi-hop을 연산할때 문제가 됨을 여러 연구에서 보여주고 있습니다. 본 논문에서는 기존의 문제를 해결하기 위하여 edge 뿐만 아니라 representation space 상에서의 grid도 함께 고려하고 있습니다. 아이디어는 흥미롭고 새롭다고 느껴졌으나, 이러한 기하적인 접근이 실제 그래프에서 왜 좋게 작동하는지에 대한 설명이 부족하지 않나 라는 생각이 들었습니다. 또한 제안하는 방법론에서도 결국 multi hop은 고려하고 있지 않아 저자들이 던진 question mark에 대한 대답을 스스로 하지 못한 것 같은 느낌도 함께 받았습니다. 아이디어가 좋아 후속연구들이 계속 나올 것 같은데, follow-up하면 흥미로울 것 같습니다.


  • 2021-03-02 00:03

    이번 세미나는 GCN에서도 gemoetric GCN이라는, 그래프 구조 상 node의 정보를 학습에 반영할 때 발생하는 over smoothing 등의 현상을 극복하고자 제안된 방법론에 대해 소개해주셨습니다. CNN과 마찬가지로 이웃 노드의 정보를 결합하여 특정 노드의 정보를 latent vector로 표현하는 과정이 많아지면, 취합해야 할 정보가 구조적으로 손실되는 경우가 있습니다. Geometric GCN은 ISOMAP 등의 방법론을 사용하여 노드를 다른 latent space로 embedding 한 뒤, 해당 space 내에서 거리가 가까운 노드 정보를 취합하여 활용하므로 LLE와 같이 고차원의 정보를 더욱 효과적으로 반영할 수 있다고 이해하였습니다. GCN 관한 기본적인 설명부터 이번 논문까지 매끄럽게 설명해주셔서 이해에 도움이 많이 되었습니다. 좋은 발표 감사합니다.


전체 129
번호 제목 작성자 작성일 추천 조회
공지사항
Paper Reviews 2019 Q3
관리자 | 2020.03.12 | 추천 0 | 조회 1222
관리자 2020.03.12 0 1222
공지사항
Paper Reviews 2019 Q2
관리자 | 2020.03.12 | 추천 0 | 조회 448
관리자 2020.03.12 0 448
공지사항
Paper Reviews 2019 Q1
관리자 | 2020.03.12 | 추천 0 | 조회 990
관리자 2020.03.12 0 990
126
[Paper Review] Deep GNNs (3)
Hyungseok Kim | 2021.04.16 | 추천 0 | 조회 33
Hyungseok Kim 2021.04.16 0 33
125
[Paper Review] Don't Stop Pretraining: Adapt Language Models to Domains and Tasks (3)
Takyoung Kim | 2021.04.13 | 추천 0 | 조회 45
Takyoung Kim 2021.04.13 0 45
124
[Paper Review] Uninformed Students: Student–Teacher Anomaly Detection with Discriminative Latent Embeddings (4)
Hyeyeon Kim | 2021.04.07 | 추천 0 | 조회 83
Hyeyeon Kim 2021.04.07 0 83
123
[paper Review] Contrastive Learning for Sequential Recommendation (4)
Jungho Lee | 2021.04.03 | 추천 0 | 조회 121
Jungho Lee 2021.04.03 0 121
122
[Paper Review] Deep Image Retrieval: Learning global representations for image search (5)
Kyoosung So | 2021.03.31 | 추천 0 | 조회 94
Kyoosung So 2021.03.31 0 94
121
[Paper Review] Vq-wav2vec: Self-Supervised Learning of Discrete Speech Representations (6)
Jounghee Kim | 2021.03.24 | 추천 0 | 조회 149
Jounghee Kim 2021.03.24 0 149
120
[Paper Review] Time Series Anomaly Detection with Multiresolution Ensemble Decoding (6)
Heejeong Choi | 2021.03.23 | 추천 0 | 조회 133
Heejeong Choi 2021.03.23 0 133
119
[Paper Review] QANet: Combining Local Convolution with Global Self-Attention for Reading Comprehension (8)
Jina Kim | 2021.03.19 | 추천 0 | 조회 164
Jina Kim 2021.03.19 0 164
118
[Paper Review] SOM-DST  : Efficient Dialogue State Tracking by Selectively Overwriting Memory (7)
Yukyung Lee | 2021.03.13 | 추천 0 | 조회 185
Yukyung Lee 2021.03.13 0 185
117
[Paper Review] A Simple Framework for Contrastive Learning of Visual Representations (10)
Donghwa Kim | 2021.03.10 | 추천 0 | 조회 255
Donghwa Kim 2021.03.10 0 255

Data Science & Business Analytics Lab.
School of Industrial Management Engineering
College of Engineering, Korea University

Contact Us

  • 강필성 교수 (pilsung_kang@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 창의관 801A호 
  • 대학원 연구실 (총무 이유경: yukyung_lee@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 신공학관 220호, 221호, 213호
© 2020 DSBA Lab.