[Paper Review] Pooling Based Graph Neural Networks

Paper Review
작성자
Hyungseok Kim
작성일
2020-08-04 23:45
조회
1049
1. Topic
  • Pooling Based Graph Neural Networks
2. Overview
  • 그래프 뉴럴 네트워크는 그래프 구조에 대해 직접적으로 작동하는 뉴럴넷으로, 그래프 노드 사이의 상관성을 모델링합니다. 최근에는 기존 딥러닝에서의 방법론들을 그래프영역에서 활용해보고자 하는 다양한 시도들이 진행되고 있습니다. 본 세미나에서는 이미지 분야에서 활용되는 pooling 방법론을 그래프관점에서 어떻게 해석해 볼 수 있을지, 그리고 이를 어떻게 그래프 영역에서 활용 가능한지에 대해서 알아보도록 하겠습니다.
3. 발표자료 및 발표영상
  • 발표자료: [Link]
  • 발표영상 : [Link]
4. 참고문헌
  • Gao, H., & Ji, S. (ICML2019). Graph u-nets. arXiv preprint arXiv:1905.05178. [첨부파일1]
  • Lee, J., Lee, I., & Kang, J. (ICML2019). Self-attention graph pooling. arXiv preprint arXiv:1904.08082.[첨부파일2]
┌ 첨부파일링크는 아래에 있습니다.
전체 12

  • 2020-08-04 15:52

    Graph Neural Network 분야에서 어떻게 pooling을 적용할 것인가에 관한 발표였습니다. 최근 그래프 도메인은 이미지 및 텍스트 처리 도메인에서 좋은 성능을 거둔 방법론들을 다수 차용하며 빠르게 발전하고 있는 모습입니다. 이번 세미나 또한 CNN 적용 시 자주 사용되는 pooling을 그래프 도메인에는 어떻게 적용할 것인지에 대해 다뤘습니다. 사실 이미지 처리 쪽에서는 pooling 보다는 CNN의 stride를 조절하여 feature map 사이즈를 조절하는 것이 스탠다드 방법론처럼 알려져 있지만, 그래프에서는 CNN 자체가 노드를 필터링 하지는 않기에 많은 노드 중 주요 노드를 골라내는 방법론으로 오늘 소개되는 graph pooling이 제안된 것이 아닌가 싶습니다. 특히 Graph U-Nets의 경우, 그래프의 사이즈를 줄였다가 다시 키우는 과정에서 pooling과 unpooling이 반드시 사용되어야 하는데, 이미지를 그래프의 한 종류로 해석하고 pooling을 그래프 도메인에 적용하는 과정이 합리적이고 인상깊었습니다. 한 가지 기억에 남는 것은 이미지에서의 pooling과 달리, 그래프에서의 pooling은 노드 feature를 골라내는 것뿐 아니라 sigmoid score를 통해 re-represent 하는 과정을 거친다는 점입니다. 또한 당연하게도 그래프의 표현은 node feature와 adjacency matrix로 이루어지므로 node feature와 adjacency matrix에 대한 pooling이 동시에 이루어져야 합니다. 지난번 발표부터 그래프 관련 연구에 대해 지속적으로 발표해주셨고, 특히 발전과정을 잘 파악할 수 있도록 발표 순서가 계획된 것 같다는 생각이 듭니다. 유익한 발표 감사합니다.


  • 2020-10-17 19:09

    이번 세미나에서는 Graph Neural Network에 Pooling을 적용하는 방법에 대해 소개해 주셨습니다. Graph 구조는 많은 정보를 포함할 수 있는 데이터 형태이며, 이를 이미지와 유사하다고 가정하고, CNN을 적용한 Graph Convolutional Neural Network (GCN)은 최근 다양한 Task에서 높은 성능을 보이고 있습니다. 하지만 Graph 구조는 Locality 정보가 존재하지 않아 Pooling을 적용하기 어렵다는 단점이 존재합니다.
    이러한 전제 하에 제안된 Graph U-Nets은 Graph 관점에서 Node Classification을 일종의 Image Segmentation으로 간주하고 중요한 Node들을 선별하는 방식으로 Sub-Graph를 생성하여 Pooling을 수행합니다. 해당 방식은 기존의 U-Net을 Graph Neural Network에 적용한 것으로, Node Classification Task와 Graph Classification Task에 좋은 성능을 보였습니다.
    지속적으로 Graph Neural Network 분야에 관하여 발표해 주셔서 해당 분야를 이해하는데 큰 도움이 되고 있습니다. 감사합니다.


  • 2020-08-05 09:52

    본 세미나는 segmentation의 Unet과 그래프 기반의 GNN의 콜라보였습니다. 그래프구조의 네트워크는 노드들의 관계를 표현하고 있는데 이 그래프 구조를 pooling을 하게되면 정보 손실이 발생하니, Unet의 upsampling기법으로 이전 layer의 결과값을 summation해서 이전값이 복원이 잘 되도록 하는 구조를 이용하였습니다. 개인적으로 layer의 결과값을 이어 붙이는 복잡한 구조의 모델은 데이터가 적을 때 학습이 잘 되지 않을 것 같은데 오히려 pooling만 사용하는 방식인 단순한 모델이 특정 feature를 잘 표현해 적은 데이터에 대해서는 선행연구가 오히려 좋을 것 같다는 생각이 들었습니다.


  • 2020-08-06 13:10

    이미지 분야에서 사용하는 pooling이라는 개념을 GNN에서 사용하는 방법에 관한 세미나였습니다. 이미지는 locality가 잘 정의된 그래프라는 가정에서 본 연구의 방법론이 시작됩니다. 결국 이미지를 특정한 그래프로 고려할 수 있기 때문에 이미지에 적용되는 풀링이라는 컨셉을 그래프에서도 사용할 수 있다 라는 흐름이었습니다. 실제로 이러한 가정이나 제안하는 방법론은 잘 따라갈 수 있으나 사실 그래프에서 풀링이 근본적으로 왜 필요한지는 명확하게 이해되지 않았습니다. 이 부분은 개인적으로 조금 더 고민을 해봐야 겠다고 생각했습니다. 앞으로 풀링을 이용해서 새로운 문제를 푸는 연구가 등장한다면 반가운 마음으로 읽을 것 같습니다.


  • 2020-08-12 12:53

    오늘 세미나는 Graph Neural Network에서 Pooling을 적용하는 것과 관련된 논문 2가지를 설명해 주셨습니다. 첫번째 논문인 Graph U-nets의 핵심은 Graph관점에서 Node Classification은 일종의 Image Segmentation으로 해석이 가능하므로 Image에서 쓰인 아키택처를 Graph에 맞게 변형하여 적용한 것입니다. 따라서 Graph U-net은 Image 에서 쓰이는 CNN을 GCN으로 대채하고 max pooling은 graph pooling으로 대채하여 U-net의 구조적 장점을 얻었습니다. U-net의 장점은 각 depth의 정보를 추출하여 Skip Connection 구조로 Image Segmentation의 성능을 향상 시켰다는 점인데 Graph U-Nets에서도 비슷한 맥락에서 성능이 향상되었다고 보여집니다. 두번째 논문은 GCN 적용 이후 pooling할 때 Self-Attention 구조를 적용하는 방법론에 대한 연구입니다. 이 연구 역시 어텐션 메커니즘의 장점으로부터 좋은 성능향상이 있었습니다. 두 논문에서 차용한 아이디어는 이미지와 텍스트에 주로 활용되는 아이디어입니다. 즉 다른 분야에서 주로 활용되는 아이디어를 어떻게 적용하느냐가 좋은 논문을 만들 수 있는 방법 중 하나라는 생각이 드는 발표였습니다. 감사합니다.


  • 2020-08-12 14:01

    graph pooling 논문은 상당히 관심이 많고, 인용수 또한 높은 논문이 였습니다. 같은 분야를 연구하면서 바로 근처 연구실에서 좋은 논문을 낸 것에 항상 더 노력 하려는 마음가짐을 가지게 되었습니다. 우선 논문의 내용에서 pooling 진행시 인접행렬 중 어떤 노드가 더 중요한지에 대한 score 를 내는 부분은 attention network 와 유사하다고 느꼈습니다. 사실 graph attention network 와 의도는 유사하지 않았나 생각이 드는데, 구현 자체에서 연산량 자체는 pooling network 를 사용하는게 아마 더 적을 것 같습니다. 최근 그래프 논문들을 보면 1-hop 에 대한 연결성에 가중치를 두기보다는 더 깊은(2,3 hop) 에 대한 네트워크 가중치를 더 줄 수 있는 방법들을 강조하는 것 같습니다.(중요 이웃을 탐색할 때, 꼭 직접연결이 없어도 됨) 이런 관점을 반영하기 위한 방법론을 구현하지 않았나 생각이 듭니다.


  • 2020-08-12 15:53

    Image 분야에서 쓰이는 이전의 아이디어를 GNN에 적용했다는 논문입니다. U-net 구조에서 feature를 뽑는 Conv는 GCN으로, Pooling/Un-pooling은 Graph pooling/un-pooling으로 적용하는 방법을 제시합니다. Graph-pooling을 적용할 때, projection vector를 통해 최종적으로 연산할 중요한 Node를 뽑은 후 해당 Node만을 연산하는 아이디어로 기존의 image의 pooling을 대체합니다. 또한 여러 Hop을 거치면서 멀리 연결된 node까지의 정보를 추출할 때, 본인 node의 정보를 더 보강하기 위해 edge에 기존의 skip-connection의 단위행렬이 아닌, 2배를 입력하여 더 정보를 살리는 트릭이라고 보았습니다. 해당 논문에서는 U-net을 적용하였다는 의미가 있지만, 개인적인 생각으로는 Hop이 지나면서 얼마나 인접 node의 정보를 잘 추출하고 본인 node의 정보를 잘살리는가가 그래프 분야에서 더 중요하지 않나라고 생각합니다. 좋은 발표 감사합니다.


  • 2020-08-14 12:54

    김형석 박사과정 세미나 발표를 들었습니다. 오늘 발표해주신 내용은 Pooling based Graph Neural Network에 대한 내용이었습니다. 지난번 Graph BERT에 대해서 설명 해주셨을 때처럼 초반부에 Graph Neural Network에 대해서 간략하게 다시 리마인드 해주셔서 GNN/GCN 을 주로 사용하지 않는 제 입장에서는 리마인드 되는 시간이라 유익했습니다. 오늘 집중적으로 설명해주신 내용은 Graph U-net 에 관한 내용이었습니다. U-net의 경우 원래 Image Segmentation을 목적으로 제안된 모델인데 이를 Graph 관점에서 생각해보면 Node Classification 문제를 일종의 Image Segmentation 문제로 생각해볼 수 있다는 아이디어에서 Graph U-net이 나왔고, 기존 모델에서 Pooling / Un-pooling Layer를 Graph 구조에 맞게 변형하였다고 합니다. 마지막으로 Self-Attention을 적용해 Graph Pooling을 적용하는 방법을 소개해주셨는데 알기 쉽게 설명해주셔서 이해하기 수월했습니다. 개인연구 및 프로젝트에서 오늘 발표해주신 내용들을 잘 적용시키셔서 좋은 연구 결과 얻으시면 좋겠습니다. 발표 잘 들었습니다. 감사합니다.


  • 2020-08-14 14:24

    이번 세미나는 Pooling based graph neural networks를 주제로 진행되었습니다. 최근 연구실 세미나에서 Graph neural network에 대해 많이 다루고있는데, 이번 세미나는 graph unet에 pooling 을 적용하여 좋은 representation을 만들어내는게 목적입니다. graph domain에서는 정보량이 적은 node와 정보를 많이 가지고있는 node로부터 유의미한 정보를 추출하거나 node 자체를 filtering해내는것이 핵심인데, Unet의 구조를 차용하여 pooling을 통해 hierarchical representation을 뽑아내는 연구였습니다. 두번째 논문은 graph pooling에 self attention을 결합한 연구입니다. self attention을 통해 유의미한 정보를 추출한 후 graph feature까지 결합하여 좋은 representation을 만들어내는것이 목적입니다. 새로운 알고리즘과 문제를 정의하는것도 매우 유의미한 연구지만 기존의 여러가지 연구들의 장점과 단점을 파악한 후 결합하는 연구가 굉장히 중요하다고 생각하는데, 두가지 논문에서 배울점이 많다 생각하였습니다. 좋은 논문 발표해주셔서 감사합니다.


  • 2020-08-14 14:53

    금일 발표는 "Pooling Based Graph Neural Networks"라는 주제로 진행되었습니다. 본 발표는 이미지 분야에서 활용되는 pooling 방법론을 그래프 관점에서 해석하고 활용하는 방법론을 중심으로 진행되었습니다. 먼저 요즘 graph neural network가 주목을 받고 있지만 개인적으로 따로 공부를 하고 있지 않은 상황에서 세미나를 통해 최근 트렌드에 대해 접할 수 있어 좋았습니다. 먼저 본 발표를 청취하며 이미지 처리를 할 때 당연하게 생각하고 사용해왔던 풀링을 그래프의 관점에서 해석하여 U-Net 구조에 적용함으로써 Graph U-Net을 도출한 것을 보며, 새로운 연구분야가 등장했을 때 기존과 비슷한 흐름을 통해 분야가 발전하는 것을 다시 한 번 알 수 있었습니다. 저도 요즘 발전하기 시작한 OOD에 대해 관심을 가지고 있는데, Graph U-Net처럼 이전에 발전된 흐름을 잘 살펴보고 적용할 수 있는 자세를 길러 개인연구를 진행해야겠다고 생각했습니다. 많은 생각을 가지게 해준 발표에 감사드립니다!


  • 2020-08-15 19:48

    이미지에서 사용하는 pooling 방법을 그래프에 적용한 방법론들에 대한 세미나를 들었습니다. 기존의 graph기반 방법들은 대부분 vertex와 edge의 특성을 기준으로 그래프를 학습합니다. 이러한 방식은 그래프 구조를 효과적으로 활용할 수 있지만 큰 규모의 그래프를 학습하기 어렵다는 단점이 있습니다. 이미지에서 많이 사용되는 pooling기법을 통해 이러한 단점을 극복합니다. 하지만 그래프는 이미지와는 다른 구조를 가져 pooling을 그대로 사용하기엔 어려움이 있습니다. Graph u-net에서는 그래프에서 사용할 수 있는 pooling 기법인 graph pooling을 제안합니다. 이를 이용해 이미지에서 많이 사용되던 u-net 구조를 차용한 graph u-net을 제안합니다. 이미지에서 사용되는 기법을 그래프에 적용하기 위해 굉장히 고민을 많이 한 흔적이 보이는 논문이었습니다. 두 번째로는 self-attention을 이용해 기존 방식보다 효율적으로 graph pooling을 수행하는 논문을 소개해주셨습니다. 좋은 발표 잘 들었습니다. 감사합니다.


  • 2020-08-21 17:04

    이번 세미나는 U-Net을 그래프에 적용하는 방법을 소개한 논문을 리뷰한 세미나였습니다. U-Net이란 image segmentation을 할 때 사용회는 end-to-end 방식의 fully convolutional network 모델이고, U자형 frame 구조를 띄고 있습니다. U-net은 크게 'contracting path'와 'expanding path'로 나눌 수 있습니다. Contracting path는 입력 이미지의 정보를 추출하는 단계인데, 이때 max-pooling을 통해서 차원을 축소시킵니다. Expanding path는 높은 차원의 up-sampling layer로 feature map을 결합시키는 것을 목적으로 하고있고, 각 step은 up-convolution을 수행하며 최종적으로 이미지 내에서 세밀한 localization을 할 수 있게 합니다. 그리고 skip architecture 을 통해 up-conv된 feature map을 contracting path의 특징맵과 결합시킵니다. 따라서 U-net을 graph에 적용할 때는 Conv layer를 GCN layer로, pooling layer를 graph pooling layer로, un-pooling layer를 graph un-pooling layer로 대체 시키고 학습을 진행합니다. 이번 논문을 통해 graph라는 다른 분야에 neural network를 새롭게 적용시키는 예시를 보게 되며 범용적인 사용을 생각하게 되었습니다. 감사합니다.


전체 129
번호 제목 작성자 작성일 추천 조회
공지사항
Paper Reviews 2019 Q3
관리자 | 2020.03.12 | 추천 0 | 조회 1222
관리자 2020.03.12 0 1222
공지사항
Paper Reviews 2019 Q2
관리자 | 2020.03.12 | 추천 0 | 조회 447
관리자 2020.03.12 0 447
공지사항
Paper Reviews 2019 Q1
관리자 | 2020.03.12 | 추천 0 | 조회 990
관리자 2020.03.12 0 990
76
[Paper Review] Madnet: Using a mad optimization for defending against adversarial attacks (20)
Kyoungchan Park | 2020.10.09 | 추천 0 | 조회 289
Kyoungchan Park 2020.10.09 0 289
75
[Paper Review] Model agnostic Few shot learning (18)
Joongmin Park | 2020.10.07 | 추천 0 | 조회 438
Joongmin Park 2020.10.07 0 438
74
[Paper Review] Syntax and Semantics in Language Model Representation (18)
Myeongsup Kim | 2020.09.29 | 추천 0 | 조회 403
Myeongsup Kim 2020.09.29 0 403
73
[Paper Review] Unsupervised Graph Anomaly Detection (19)
Hyungseok Kim | 2020.09.25 | 추천 0 | 조회 533
Hyungseok Kim 2020.09.25 0 533
72
[Paper Review] Evaluation Metrics for Time Series Anomaly Detection (19)
Gyuwon Cho | 2020.09.23 | 추천 0 | 조회 513
Gyuwon Cho 2020.09.23 0 513
71
[Paper Review]Graph based Anomaly Detection (19)
Hyeyeon Kim | 2020.09.17 | 추천 0 | 조회 612
Hyeyeon Kim 2020.09.17 0 612
70
[Paper Review] MultiSAGE - Spatial GCN With Contextual Embedding (19)
Jungho Lee | 2020.09.15 | 추천 0 | 조회 713
Jungho Lee 2020.09.15 0 713
69
[Paper Review] Spectral-based Graph Convolutional Networks(GCN) (18)
Jonghyun Choi | 2020.09.08 | 추천 0 | 조회 1671
Jonghyun Choi 2020.09.08 0 1671
68
[Paper Review] Text Augmentation (18)
Jounghee Kim | 2020.08.30 | 추천 0 | 조회 1107
Jounghee Kim 2020.08.30 0 1107
67
[Paper Review] Deep Semi-Supervised Anomaly Detection (10)
Heejeong Choi | 2020.08.29 | 추천 0 | 조회 1638
Heejeong Choi 2020.08.29 0 1638

Data Science & Business Analytics Lab.
School of Industrial Management Engineering
College of Engineering, Korea University

Contact Us

  • 강필성 교수 (pilsung_kang@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 창의관 801A호 
  • 대학원 연구실 (총무 이유경: yukyung_lee@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 신공학관 220호, 221호, 213호
© 2020 DSBA Lab.