[Paper Review] GNN-based Extractive Text Summarization

Paper Review
작성자
Jonghyun Choi
작성일
2020-07-05 04:28
조회
727

1. Topic

  • GNN(Graph Neural Network)

  • Graph Attention Network(GAT)

  • Extractive Text Summarization

  • Graph Diffusion Convolution(GDC)

  • personalized PageRank(PPR)

2. Overview

이번 세미나에서는 Extractive Summarization(추출 요약)과 GNN과 관련된 주제로 발표를 진행하였습니다.

1) Extractive Summarization


  • Extractive Summarization은 해당 문서 내에서 원본 글자 그대로 중요한 문장을 추출하여 요약하는 방법을 말합니다.

  • 이번에 발표한 논문은 '문장 - 단어'의 관계를 (heterogeneous) graph 구조로 나타내고, GNN 모델 중 하나인 Graph Attention Network(GAT)이용하여 요약에 사용할 문장을 추출하는 방법에 관한 내용이었습니다.

2) Graph Diffusion Convolution


  • Graph Neural Network(GNN)은 'graph 구조를 보존하면서, node 간의 message passing을 통해 node 또는 edge의 표현을 학습하는 신경망'으로 정의할 수 있습니다.

  • 이번에 발표한 논문은 personalized PageRank(PPR)/heat kernel을 적용한 Graph Diffusion Convolution(GDC)을 통해, 기존의 noisy한 graph 구조를 새로운 graph 구조를 생성하는 내용입니다.

  • GDC를 적용하여 기존의 graph 구조 → 새로운 graph 구조를 생성하고, 이를 GNN 모델의 입력으로 사용하여 모델의 성능을 향상시킬 수 있게 됩니다.

3. 발표자료 및 발표영상

[1] 발표자료 (첨부파일 참고)

[2] 발표영상


4. 참고 문헌

[1] Heterogeneous Graph Neural Networks for Extractive Document Summarization (Wang, D., et al. ACL 2020)

[2] Diffusion Improves Graph Learning (Klicpera, J., et al. NeurIPS 2019)

전체 11

  • 2020-07-04 19:51

    GNN을 활용한 extractive summarization에 관한 발표였습니다. 최근 연구실 내에서 그래프 분석과 관련된 개인연구가 늘어났고, 특히 지난 세미나와 연결성이 있는 heterogeneous 그래프와 관련된 발표여서 한결 듣기 수월했습니다. Extractive summarization은 문서 내 문장 중 어떤 문장이 요약에 포함될 것인지를 판단하는 task이므로 문장과 문장 사이의 관계를 의미하는 그래프를 구축하고, 해당 그래프 내에서 어떤 문장 노드가 영향력이 있는지를 판단하는 방식으로 task를 수행하였습니다. 오늘 첫번째 발표 논문에서는 여기에 단어라는 새로운 유형의 노드를 추가하고, 단어와 문장이 함께 있는 heterogeneous 그래프 내에서 Graph Attention Network를 통해 노드 classification을 수행합니다. 추가적으로, Multi-document 환경에서는 document라는 또 다른 유형의 노드를 추가할 수 있어, 확장성이 있는 연구라는 생각도 들었습니다. 두번째로 소개된 논문은 노이즈가 존재하는 그래프에서 노드간 message passing을 통해 새로운 그래프 구조를 생성하는 Graph Diffusion Convolution입니다. 전반적으로 어려울 수 있는 개념이었는데 직관적인 그림과 쉬운 설명 덕분에 어렵지 않게 이해할 수 있었습니다. 개인연구 또한 오늘 소개한 방법론을 사용한 이유들이 합리적이므로 좋은 결과가 있으리라 생각합니다. 좋은 발표 감사합니다.


  • 2020-07-07 14:44

    오늘 발표에서 첫번째 개념으로 extractive summarization 에 graph network 를 활용한 방법론을 소개했습니다. 지난번 발표와 유사하게 heterogeneous graph 개념을 적용한 것인데, word, sentence, doc 를 다른 type의 노드로 간주합니다. word 와 sentence 2type 노드로 가정하면, bipartite 그래프가 되는데, 이러한 데이터 구조에서 gnn은 강력한 힘을 내는것 같습니다. heterogeneous graph 에서 node 와 edge 의 정의시 같은 type의 노드에 대해서는 연결을 부여하지 않는데, 해당 방법론은 이전 연구에서 부터 이분할구조의 데이터 표현에서 의미론적인 정보를 나타내고자 함이 아닌가 생각합니다(W-S-W). 그래프 관련 내용들이 아직은 많이 생소한 개념이기 때문에, 기본 배경지식이 없으면 흐름을 놓치기 쉬운데, 해당발표의 예시들을 통해 좀 더 쉽게 이해할 수 있었습니다.


  • 2020-07-07 19:34

    최종현 석사과정 세미나 발표를 들었습니다. 오늘 발표해주신 내용은 발표자분께서 연구하고 계시는 Extractive Summarization 관련해서 Graph Neural Network를 적용한 논문과, Graph Diffusion Convolution 논문이었습니다. 발표 초반부에 Extractive Summarization 분야의 기존의 연구 흐름과 최신 연구 동향을 잘 말씀해주셔서 도움이 많이 됐습니다. GNN 관련해서는 최근에 연구실에서 발표를 많이 해주시고 계신데 Spatial / Spectral GNN 의 장, 단점을 쉽게 설명해주시고 발표해주신 GDC 관련 논문이 이 두 가지 모델 구조의 단점들을 어떻게 잘 보완할 수 있는지 설명해주셔서 이해가 수월했습니다. 발표 잘 들었습니다. 감사합니다.


  • 2020-07-09 15:50

    Extractive summarization에 대한 세미나 였습니다. 이전 세미나와 유사하게 그래프에 대한 내용인데, 이 논문 역시 서로 다른 타입의 노드들이 하나의 그래프구조(문서-문장-단어)에 나타나는 heterogeneous graph에 대한 내용이었습니다. 두번째로 발표한 GDC는 Network의 in/out degree를 사용한 pagerank를 활용하여 transition matrix를 산출하여 robust한 새로운 graph구조로 생성하였습니다. 좋은 발표 감사합니다.


  • 2020-07-13 11:42

    발표자가 논문을 얼마나 많이 읽고 관련 자료를 얼마나 많이 찾아보았는지 느껴지는 발표였습니다. 생각해볼때 extractive summarization을 node classification으로 해결하는 방식은 매우 직관적입니다. 이를 위해 해결해야하는 중간 부분의 문제들을 위한 아이디어를 내고 문제를 풀어나가는 것이 연구자의 역량이 아닐까 생각하였습니다. 발표를 해주신 첫번째 연구에서는 이러한 문제를 word와 sentence를 embedding 한 후 TF-IDF 를 통한 edge로 해결 하였고, 두 번째 논문에서는 graph diffusion convolution을 통해 해결을 하였습니다. 첫 번째 논문에 대해서 전혀 다른 두 공간에 임베딩 되는 단어와 문장을 또 다른 하나의 공간에 아무런 transfer 없이 가지고 오는 것이 아무런 문제가 되지 않는지 아직 이해가 잘 가지 않습니다. 이 부분을 제외하고는 두 연구 모두 납득할 수 있는 논리로 본인들의 아이디어를 주장하고 있다는 생각을 하였습니다.
    처음 보는 입장에서 매우 어려운 주제의 발표였으나 깔끔한 발표 자료와 이해하기 매우 좋은 시각적인 자료들이 더해져서 이해가 수월했습니다. 좋은 발표 감사드립니다.


  • 2020-07-16 14:14

    GNN을 통한 문서 추출 요약과 Graph Diffusion Network에 대한 세미나를 들었습니다. 앞서 설명해주신 논문은 지난 번 세미나와 마찬가지로 그래프의 특성 중 하나인 Heterogeneous Graph 개념을 이용했습니다. 요약에서의 Heterogeneous Graph는 문서와 문장, 그리고 단어를 각각의 노드로 나타냈습니다. 이렇게 구축된 그래프에 Graph Attention Network를 통해 노드 별 classification을 수행합니다. 두 번째 논문에서는 Diffusion이라는 다소 생소한 개념이 등장했습니다. diffusion은 그래프의 각 노드에 대하여 personalized pagerank와 heat kernel을 계산한 뒤 k-nn 혹은 epsilon nn 방식을 사용해 sparsification을 수행합니다. 비교적 생소한 개념이었는데 예시를 통해 잘 설명해주셔서 이해할 수 있었습니다. 좋은 발표 감사드립니다.


  • 2020-08-03 13:59

    이번 세미나는 GNN-based Extractive Summarization을 주제로 진행되었습니다. 먼저 extractive summarization은 하나 혹은 여러개의 문서 내에서 중요한 문장을 추출해내는 방식으로 요약을 진행하는것을 의미합니다. 기존의 summarization 방법론들은 문장 사이의 관계를 학습하여 중요한 문장을 뽑아냈습니다. 특히 문장의 순서를 고려하기위해 RNN-based model들을 주로 사용했습니다. 또한 문서를 하나의 그래프로 취급하여 문장을 node로, 문장간의 관계를 edge로 나타냈습니다. 다음과 간은 방법론은 우리가 잘 알고있는 Textrank, pagerank, Rexrank등이며 신경망 기반의 방법이 아니기때문에 학습이 불가능하다는 단점이 있습니다.

    신경망 기반의 모델이 등장하면서 BERT가 등장하기전에는 대부분이 RNN-based summarization을 진행했고 BERT이후에는 대용량의 train corpus를 pretraining한 pretrained model을 통해 모델의 성능을 높였습니다. 최근 연구동향은 Graph neural network를 적용하여 각 문장의 관계를 그래프 기반의 신경망을 통해 학습하여 summarization을 진행합니다.

    소개해주신 첫번째 논문은 word와 sent node로 이루어진 heterogeneous graph를 활용해 word와 sentence간의 edge를 학습하고 GAT를 통해 중요문장인지 아닌지 classification을 통해 요약을 진행합니다.

    두번째 논문은 기존의 graph가 threshold로 정의되므로(edge의 연결) 노이즈가 많은 문제를 해결하기 위해 Personalized pagerank와 heat kernel을 계산하여 Density defines edge를 정의한 후 특정 treshold나 top-k개의 edge를 선정하여 sparsification을 진행한 후 new adjacency matrix를 구성하여 새로운 그래프를 만들어냅니다. 이러한 방법론은 기존 그래프가 가지고있는 노이즈를 제거하고 좋은 그래프를 구성하는것에 목적이 있으며, 다음과 같이 구해진 그래프에서 node classification 결과가 상승했음을 알 수 있었습니다.

    꾸준하게 Text summarization 세미나를 들으며 전반적인 동향을 알 수 있었고, 항상 큰 흐름과 중요한 개념을 알 수 있도록 세미나를 구성해주셔서 처음 듣는 사람도, 꾸준히 세미나를 듣는 사람도 모두 깊게 이해할 수 있었습니다. 어려운 수식을 쉬운 예시로 풀어주셔서 쉽게 이해할 수 있었으며 다양한 논문을 정리해주셔서 인사이트를 얻을 수 있는 좋은 시간이었습니다. 감사합니다


  • 2020-08-03 20:48

    금일 세미나는 Graph Neural Network를 활용하여 Extractive Summarization 문제를 해결하는 것과 관련된 발표입니다. 첫번째 발표 논문은 (Word-Sentence) Heterogeneous Graph 구조를 사용하여 Overlapping Words를 통해 Relation을 파악하고 문서에서 중요 문장을 추출하는 연구입니다. 두번째 발표 논문은 Graph의 Edge가 특정 임계값으로 정의되어 노이즈가 많기 때문에 spectral/spatial-based 두가지를 반영한 Graph Diffusion Convolution 을 적용하는 연구입니다. 그래프 구조를 사용하는 방법을 직관적으로 쉽게 설명해 주셔서 이해할수 있었습니다. 좋은 발표 감사합니다.


  • 2020-08-04 15:54

    이번 세미나에서는 Graph Neural Network를 기반으로 한 두 가지 Extractive Summarization 모델에 대해 다루었습니다. 첫 번째 모델의 경우 Extractive Summarization에 Heterogeneous Graph 구조를 도입하여 기존 Sentence – Sentence 구조에서 Word – Sentence 구조로 변형을 주었습니다. Word Encoder를 이용하여 Word Node를 산출하고, CNN & BiLSTM을 이용하여 Sentence Node를 산출한 뒤 Word – Sentence Relation을 TF-IDF로 정의하였습니다. 이후 Graph Layer에서 Graph Attention Network를 사용하여 특정 Sentence가 요약문에 포함될지 여부를 Classification 합니다.
    두 번째 모델의 경우 기존 Graph Neural Network을 응용한 방식으로 Graph의 모든 노드에 대해 Personalized PageRank와 Heat Kernel을 적용한 뒤 Top-k 또는 Threshold를 통해 새로운 Graph를 생성하고 이를 Graph Neural Network의 입력으로 사용하였습니다.
    Graph 기반의 모델들이 개인적으로는 아직 난해하지만 발표자께서 상세한 시각적 자료를 이용하여 설명해 주시어 이해에 큰 도움이 되었습니다. 감사합니다.


  • 2020-08-04 21:30

    본 세미나시간에는 앞선 세미나와 유사하게 Graph representation을 summarization 에 활용하고자 하는 연구방향에 맞게 "Graph Diffusion Network"라는 논문을 다루어 보았습니다. 해당 논문에서는 diffusion은 그래프의 각 노드에 대하여 personalized pagerank와 heat kernel을 계산한 뒤 k-nn 혹은 epsilon nn 방식을 사용해 edge에 대한 일종의 필터링을 수행하여 일반화된 그래프를 통해 그 성능 향상을 도모하고 있습니다. 기존 Language모델링이 아닌 그래프 관점에서 text summarization 을 하는것이 쉽지않은 과정이지만 계속해서 해답을 찾고자 하는 과정들이 매우 인상적이였습니다. 그래프 관련 논문들에 대해서 주기적으로 서로 의견을 공유하여 서로에게 좋은 연구도우미가 되었으면 좋겠습니다 .좋은 발표 감사합니다.


  • 2020-08-05 18:41

    이번에는 extractive summarization 문제를 GNN의 node classification 관점으로 해결하는 것에 대한 세미나였습니다. 이전에 발표에서 이정호 학우가 heterogeneous graph에 대한 내용을 설명해주어 좀 더 이해하는데 수월했던 것 같습니다. 우선 제 입장에서 extractive summarization 문제를 이런 방식으로 풀이한다는 것 자체가 매우 신선하였습니다. 따라서 처음에는 잘 이해가 가지 않았지만 수식적인 부분을 예시로 쉽게 설명을 해주셔서 어느정도 따라갈 수 있었던 것 같습니다. 잘 설명해주시는 만큼 다음 세미나부터는 저도 발표 내용을 좀 더 깊게 이해하기 위해 해당 연구 분야에 관심을 가지고 관련 논문을 탐독해야겠다는 생각을 하게 되었습니다.


전체 129
번호 제목 작성자 작성일 추천 조회
공지사항
Paper Reviews 2019 Q3
관리자 | 2020.03.12 | 추천 0 | 조회 1222
관리자 2020.03.12 0 1222
공지사항
Paper Reviews 2019 Q2
관리자 | 2020.03.12 | 추천 0 | 조회 447
관리자 2020.03.12 0 447
공지사항
Paper Reviews 2019 Q1
관리자 | 2020.03.12 | 추천 0 | 조회 989
관리자 2020.03.12 0 989
76
[Paper Review] Madnet: Using a mad optimization for defending against adversarial attacks (20)
Kyoungchan Park | 2020.10.09 | 추천 0 | 조회 289
Kyoungchan Park 2020.10.09 0 289
75
[Paper Review] Model agnostic Few shot learning (18)
Joongmin Park | 2020.10.07 | 추천 0 | 조회 438
Joongmin Park 2020.10.07 0 438
74
[Paper Review] Syntax and Semantics in Language Model Representation (18)
Myeongsup Kim | 2020.09.29 | 추천 0 | 조회 403
Myeongsup Kim 2020.09.29 0 403
73
[Paper Review] Unsupervised Graph Anomaly Detection (19)
Hyungseok Kim | 2020.09.25 | 추천 0 | 조회 533
Hyungseok Kim 2020.09.25 0 533
72
[Paper Review] Evaluation Metrics for Time Series Anomaly Detection (19)
Gyuwon Cho | 2020.09.23 | 추천 0 | 조회 513
Gyuwon Cho 2020.09.23 0 513
71
[Paper Review]Graph based Anomaly Detection (19)
Hyeyeon Kim | 2020.09.17 | 추천 0 | 조회 612
Hyeyeon Kim 2020.09.17 0 612
70
[Paper Review] MultiSAGE - Spatial GCN With Contextual Embedding (19)
Jungho Lee | 2020.09.15 | 추천 0 | 조회 713
Jungho Lee 2020.09.15 0 713
69
[Paper Review] Spectral-based Graph Convolutional Networks(GCN) (18)
Jonghyun Choi | 2020.09.08 | 추천 0 | 조회 1671
Jonghyun Choi 2020.09.08 0 1671
68
[Paper Review] Text Augmentation (18)
Jounghee Kim | 2020.08.30 | 추천 0 | 조회 1107
Jounghee Kim 2020.08.30 0 1107
67
[Paper Review] Deep Semi-Supervised Anomaly Detection (10)
Heejeong Choi | 2020.08.29 | 추천 0 | 조회 1638
Heejeong Choi 2020.08.29 0 1638

Data Science & Business Analytics Lab.
School of Industrial Management Engineering
College of Engineering, Korea University

Contact Us

  • 강필성 교수 (pilsung_kang@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 창의관 801A호 
  • 대학원 연구실 (총무 이유경: yukyung_lee@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 신공학관 220호, 221호, 213호
© 2020 DSBA Lab.