2020 NeurIPS - 김형석

NIPS
작성자
Hyungseok Kim
작성일
2021-01-15 05:17
조회
75
[참석후기]

지난 2020년 12월 6일부터 12월 12일까지 2020 Neural Information Processing Systems (NeurIPS) 학회가 진행되었다. 캐나다 밴쿠버에서 개최될 예정이었지만, 현재 전세계적으로 COVID-19로 인해 온라인으로 개최되어 지구 반대편인 이곳 연구실에서 모니터를 통해서 학회를 경험할 기회를 가질 수 있게 되었다(COVID-19로 인한 유일한 장점일지도..). 후기를 작성하기에 앞서서 지도학생들에게 가능한 좋은 학회에 대해서 참관할 수 있는 기회를 주신 교수님께 감사의 말씀을 전하고 싶다. 본인은 현재 Graph 관련해서 개인 연구를 진행중이기에, Graph Learning 관련 연구들을 우선적으로 스케쥴을 체크하여 학회를 참관하고자 하였다. 최근 Graph관점에서 많은 연구들이 소개되고 있는 만큼 이번 2020 NeurIPS에서도 비교적 많은 Graph 관련 연구들이 소개되고 있었다. 심지어 AI에서의 입지가 큰 Google에서는 Graph Mining team에서 워크샵을 진행하여 관심을 가지고 참관하였다. 관심을 가지고 계신분들은 https://gm-neurips-2020.github.io/ 를 통해서 발표영상과 발표자료를 보시면 좋을 것 같다.

[NeurIPS 발표 및 포스터 청취 후기]

 
1. Graphon Neural Networks and the Transferability of Graph Neural Networks
본 연구를 통해서, Graphon이라는 개념을 처음 접하게 되었다. Graphon이란? 기존 graph theory 분야에서 활용되는 일종의 대칭함수 형태로 일반적으로 dense한 large그래프를 measurable한 형태로 표현하기 위한 함수라고 이해하였다. 우리가 그래프를 이용하여 인접행렬을 통해서 그래프의 노드간 연결정보를 표현하게 되는데, 노드의 수가 많아지고 그래프가 dense해질수록 그 정보를 모두 다 활용하기에는 한계가 있기에 이를 대칭함수 꼴인  형태로 표현하고자 하였다(Daniel2016). 본 논문에서는 이러한 Graphon을 활용하여 Graph Learning의 transferability를 확보하고자 하는 시도를 하였다.



해당 논문에서는 GNN의 한계 객체로 graphon-NN을 제안하여 기존 GNN의 ouput과 limint graphon-NN 차이를 통해서 Transferability를 제시하였다. 해당 논문에서는 GCN의 filter가 노드의 수를 증가함에 따라 Graph Spectral domain에서의 역할이 제한되는 경우 그 차이가 없어짐을 보여주어 Graphon을 기존 GNN에서 하나의 숙제인 transferability에 대한 해결책을 제시한 좋은 사례라고 생각된다.



 
2. Rethinking pooling in graph neural networks
해당 발표는 GNN에서 계속해서 활용되고 있는 Pooling관점에서 해석한 논문이다. 기존 정이미지 처리에서의 CNN에서 활용되는 pooling은 정해진 grid형태의 로컬 패치를 추출하하게 되는데, 이를 GNN에서 끌어오면서 일반적으로 Pooling layer는 특정 노드들을 추출하거나 일정 graph sub-cluster를 가져오는 방식으로 수행되어왔다. 해당 논문에서는 이러한 pooling방식을 다양한 variation을 통해서 수행하였고, 실제 이러한 pooling layer에 따라서 performance로 귀결되지 않음을 보여주었다. 기존 연구들의 pooling layer에 대한 컨셉을 뒤엎는 연구라서 흥미를 끌었지만 실제로 대다수의 GNN 방법론들은 결국 노드 representation을 그 구조적 특징을 통해서 어떻게 smoothing하여 효율적으로 학습할지를 목적으로 진행되기에 pooling의 일종의 트릭 이라고 생각되며, 해당 논문에서 활용된 벤치마크 데이터셋이 아닌 특정 분야(graph를 통한 segmentation과 같은)에서는 pooling이 중요한 역할을 수행할 수도 있다고 생각한다.

 
3. Subgraph Neural Networks
해당 연구에서는 큰 그래프에서의 서브그래프 학습을 위한 SubGNN을 제안하여, large 그래프에서 cluster로 해석?되는 subgraph를 추출하는 방법론을 제시하였다. 기존 GNN연구들이 다양한 노드들의 clustering을 수행한 사례들은 존재하였지만, 본 연구에서는 이러한 sub-graph learning을 위한 8개의 데이터셋을 함께 공유하여, sub-graph task의 시작점이 될 것 같다. 해당 연구의 SubGNN은 이웃정보, 구조 정보, 위치정보 총 3개의 component를 통해서 개별 채널에서의 Graph learning을 통합하여 최종적인 sub-graph embedding을 학습하는 구조를 제안하였다.

전체 0

전체 181
번호 제목 작성자 작성일 추천 조회
181
2020 NeurIPS - 김혜연
Hyeyeon Kim | 2021.01.18 | 추천 0 | 조회 113
Hyeyeon Kim 2021.01.18 0 113
180
2020 NeurIPS - 김형석
Hyungseok Kim | 2021.01.15 | 추천 0 | 조회 75
Hyungseok Kim 2021.01.15 0 75
179
2020 NeurIPS - 김명섭
Myeongsup Kim | 2021.01.14 | 추천 0 | 조회 63
Myeongsup Kim 2021.01.14 0 63
178
2020 대한산업공학회 추계학술대회 - 김명섭
Myeongsup Kim | 2021.01.14 | 추천 0 | 조회 52
Myeongsup Kim 2021.01.14 0 52
177
2020 NeurIPS - 이정호
Jungho Lee | 2021.01.06 | 추천 0 | 조회 93
Jungho Lee 2021.01.06 0 93
176
2020 NeurIPS - 이유경
Yukyung Lee | 2021.01.05 | 추천 0 | 조회 91
Yukyung Lee 2021.01.05 0 91
175
2020 NeurIPS - 최희정
Heejeong Choi | 2021.01.05 | 추천 0 | 조회 75
Heejeong Choi 2021.01.05 0 75
174
2020 대한산업공학회 춘계학술대회 - 이유경
Yukyung Lee | 2021.01.05 | 추천 0 | 조회 56
Yukyung Lee 2021.01.05 0 56
173
2020 대한산업공학회 추계학술대회 - 최희정
Heejeong Choi | 2021.01.05 | 추천 0 | 조회 55
Heejeong Choi 2021.01.05 0 55
172
2020 NeurIPS - 김탁영
Takyoung Kim | 2021.01.04 | 추천 0 | 조회 89
Takyoung Kim 2021.01.04 0 89

Data Science & Business Analytics Lab.
School of Industrial Management Engineering
College of Engineering, Korea University

Contact Us

  • 강필성 교수 (pilsung_kang@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 창의관 801A호 
  • 대학원 연구실 (총무 이유경: yukyung_lee@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 신공학관 220호, 221호, 213호
© 2020 DSBA Lab.