2020 NeurIPS - 이정호

NIPS
작성자
Jungho Lee
작성일
2021-01-06 13:14
조회
93
NeurIPS 는 항상 한해의 마지막에 새로운 연구흐름을 제시해주는 학회 같습니다. 그만큼 새로운 시도, 그리고 application 관점 보다는 수식적으로 새로운 접근을 하려고 하는 느낌을 많이 받습니다. 그래서 더 주목해야하고, 이를 잘 활용하는 것이 좋은 논문으로 연결 될수 있을 것 같아 이번 가상 학회로 세미나를 들을 수 있는 것이 매우 유익했습니다.

우선 저는 NeurIPS 의 그래프 관련 논문을 주로 탐색 했습니다. 그중 제가 관심있게 보고 있는 분야에 적용가능한 논문을 우선적으로 보았습니다.
  1. Self-supervised Auxiliary Learning with Meta-paths for Heterogeneous Graphs
    해당 논문은 고려대학교 김현우 교수님 연구실 연구실의 황다솔 연구원이 쓴 논문입니다. 근처에 있는 다른 연구실에서 훌륭한 논문을 쓴 것에 대해 조금 더 자극을 받을 수 있었고, 제가 연구하는 분야와 유사하기에 논문은 우선적으로 보았고, 학회 발표까지 듣게 되었습니다.
    최근 논문들에서 볼 수 있는 특징 중 하나는 Self-supervised learning 일 것 입니다. label 이 없는 상황에서 어떻게 자신을 표현 할 것인가에 대한 시작으로 BERT 에서 가장 먼저 접할 수 있는 개념입니다. 이 논문이 학회에 accept 된 것도 그래프 분야에 Self-supervised 방법을 적용 한 방식이 참신했고, 이를 통해 성능향상을 이끌어 냈기 때문 일 것 입니다.

    논문의 주요 알고리즘으로는 Meta-path를 활용한 것입니다. 해당 연구실에서 meta path 에 관한 연구가 많이 진행되는 것으로 아는데, 여기서도 비슷한 방법인 edge 별 인접행렬을 곱하여 살아남는 path 를 검출합니다. 후에 살아남는 Meta path 라벨의 여부를 통해 두 노드가 연결되는지 여부를 맞추는 task를 진행합니다. meta path 를 통해 라벨을 생성하고, 직접 라벨링을 할 필요가 없는 방식이라 self-supervised 방식이며, 실제 linked prediction task 에 보조적인 역할을 하기 때문에 제목에 auxiliary learning 이란 용어를 사용했습니다. 실제로 meta path 는 자신이 지정하는 만큼 생성 해 낼수 있기 때문에 보조적인 task 로 여러개를 사용합니다.

    쉽게 떠올릴 수 있을 것 같은 방법이지만, 실제로 수행을 했고, 연구결과로 이어지는 것이 얼마나 더 중요한지 한번더 느낄 수 있었습니다. 관련 연구를 하는 입장에서도 아이디어를 적극적으로 구현해보고, 다른 분야에서의 최근 트렌드를 많이 반영 할 수 있도록 접목시키는 안목을 키워야함을 느꼈습니다.
  2. Handling Missing Data with Graph Representation Learning

    해당 논문은 Missing Data 를 Imputation 하는 논문입니다. 해당 방법은 이전부터 Matrix 형태로 되어있는 데이터에서 빈칸을 매울 때 다양한 방법으로 접근해 왔습니다. 통계적 접근으로 대표되는 MICE 같은 경우 관련 Feature 의 통계값 기반으로 생성되는데, 결국 이는 데이터의 분포를 따르는 방법입니다. 최근 GAIN 이라는 논문에서는 GAN 을 이용하여 유사할 것 같은 Feature 를 생성하도록 NA 값을 채워 넣습니다. 그리고 2020 ICLR 에서 Graph 를 이용한 방식이 처음 설명 되어 해당 논문과의 차이점이 어떨지 탐색해 보았습니다.

    우선 추천시스템에서 기본적으로 구매이력의 Matrix 를 통해서 빈칸 구매가 0인 유저에게 다른 유저의 구매기반을 통해 추천하는 것을 CF 방식이라고 합니다. 그러한 관점에서 Matrix completion 은 추천시스템의 근본이 되는 방식입니다. ICLR 에서 처음 소개된 방식은 User 와 item feature 를 각각 다른 type node (heterogeneous graph) 로 보며 이를 GCN 을 통해  임베딩하여 Edge의 값(즉 빈칸) 을 예측해 냈습니다. 해당 방식이 연속형 변수에 대해서만 진행했는 한계가 있는데, 이를 좀 더 보완하여 Discrete type 변수에도 적용한 것이 본 논문이며, GraphSAGE 형식으로 임베딩 한것이 차이점이 있습니다.
    논문의 저자 연구실이 Jure Leskovec 교수님 연구실 이기 때문에 SAGE 형식을 사용 하는 것 같은데 학파가 형성되는 느낌입니다.
두 논문 모두 heterogeneous, bipartite graph 에 적용되는 GCN 방식이며, 최근 연구 방향은 Homogeneous type 그래프에서 점차 활용도가 넓어지고 있는 느낌을 많이 받았습니다. 논문으로만 학회 내용을 듣고, 보통 저자들의 발표를 필요하면 찾아 보는데, 저렴하게 직접 발표를 들을 수 있어서 너무 좋은 기회였습니다.
전체 0

전체 181
번호 제목 작성자 작성일 추천 조회
181
2020 NeurIPS - 김혜연
Hyeyeon Kim | 2021.01.18 | 추천 0 | 조회 113
Hyeyeon Kim 2021.01.18 0 113
180
2020 NeurIPS - 김형석
Hyungseok Kim | 2021.01.15 | 추천 0 | 조회 74
Hyungseok Kim 2021.01.15 0 74
179
2020 NeurIPS - 김명섭
Myeongsup Kim | 2021.01.14 | 추천 0 | 조회 62
Myeongsup Kim 2021.01.14 0 62
178
2020 대한산업공학회 추계학술대회 - 김명섭
Myeongsup Kim | 2021.01.14 | 추천 0 | 조회 51
Myeongsup Kim 2021.01.14 0 51
177
2020 NeurIPS - 이정호
Jungho Lee | 2021.01.06 | 추천 0 | 조회 93
Jungho Lee 2021.01.06 0 93
176
2020 NeurIPS - 이유경
Yukyung Lee | 2021.01.05 | 추천 0 | 조회 90
Yukyung Lee 2021.01.05 0 90
175
2020 NeurIPS - 최희정
Heejeong Choi | 2021.01.05 | 추천 0 | 조회 75
Heejeong Choi 2021.01.05 0 75
174
2020 대한산업공학회 춘계학술대회 - 이유경
Yukyung Lee | 2021.01.05 | 추천 0 | 조회 56
Yukyung Lee 2021.01.05 0 56
173
2020 대한산업공학회 추계학술대회 - 최희정
Heejeong Choi | 2021.01.05 | 추천 0 | 조회 55
Heejeong Choi 2021.01.05 0 55
172
2020 NeurIPS - 김탁영
Takyoung Kim | 2021.01.04 | 추천 0 | 조회 88
Takyoung Kim 2021.01.04 0 88

Data Science & Business Analytics Lab.
School of Industrial Management Engineering
College of Engineering, Korea University

Contact Us

  • 강필성 교수 (pilsung_kang@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 창의관 801A호 
  • 대학원 연구실 (총무 이유경: yukyung_lee@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 신공학관 220호, 221호, 213호
© 2020 DSBA Lab.