[Paper Review] DisenHAN: Disentangled Heterogeneous Graph Attention Network for Recommendation

Paper Review
작성자
Jungho Lee
작성일
2021-02-03 00:05
조회
285
1. Topic

Disentangled Representation
Heterogeneous Graph Attention
GCN
Recommendation

2. Overview
  • Disentangled 방식을 이용하여 User / item 의 임베딩을 차원별로 의미를 가지도록함
    이를 통해, 설명력, 일반화능력을 강화하여 성능향상에 기여함
  • Side information 정보 활용을 위해 Type 이 다른 그래프 node 정보를 통합 할수 있는 Heterogeneous GAT 방식을 활용함
    이 때, HGAT 그래프 임베딩시 잠재요소 K 개를 설정하여 해당 요소 별 학습이 이루어 지도록함
  • Meta - path 관련 기법의 연구들이 도메인 지식을 많이 반영해야 하는 문제점이 있는데, 이를 Graph Attention 을 통해 직접찾는 것이 아닌
    학습과정에 적당한 path를 찾아가도록 하는 방식임
3. 발표자료 및 발표영상

[1] 발표자료 (하단 첨부파일)

[2] 발표영상

4. 참고문헌
DisenHAN: Disentangled Heterogeneous Graph Attention Network for Recommendation CIKM,2020
전체 15

  • 2021-02-08 13:30

    금일 세미나는 "DisenHAN: Disentangled Heterogeneous Graph Attention Network for Recommendation"라는 주제로 진행되었습니다. 본 발표에서는 disentangled 방식을 이용하여 추천시스템에서 user / item의 임베딩을 차원 별로 의미를 가지도록하는 방법론이 소개되었습니다. 사람마다 같은 아이템에도 다른 구매요소가 있다고 가정하고 disentangled representation으로 이를 구별하고자 한다는 아이디어가 흥미로웠습니다. 개인적으로 관심이 있는 anomaly detection에서도 다양한 정상 데이터의 특징을 representation하는 것이 중요한데, 해당 부분에 본 발표에서 제안된 아이디어를 적용해볼 수 있지 않을까하는 생각이 들었습니다. 좋은 발표 감사합니다.


  • 2021-02-08 13:51

    이번 세미나에는 DisenHAN: Disentangled Heterogeneous Graph Attention Network for Recommendation라는 연구주제로 발표를 해주셨습니다. user item에 대한 관계를 임베딩을 하기 위해 GAT를 적용한 논문으로 핵심내용은 Disentangle(설명을 풀어주는)목적을 달성하기 위해 Heterogeneous(사람마다 같은 아이템에도 다른 구매요소가 있다고 가정한 잠재요소 K설정)한 구조를 이용하였습니다. 물리적으로 masking matrix를 사용하여 어떠한 노드(임베딩)이 주요한 역할을 했는지 tree기반 변수 중요도산출 컨셉으로 이를 구해낸것 같습니다. 자세한 내용은 좀 더 공부를 해봐야 될 것 같습니다. 좋은 발표 감사합니다.


  • 2021-02-08 14:02

    Disentalgled representation은 InfoGAN을 통해 널리 알려진 방식으로 알고 있습니다. InfoGAN에서는 이를 information code, c를 통하여 표현 하였으며, GAN의 generator에 z와 c를 함께 인풋으로 사용함으로써 구체화하고 있습니다. 본 연구에서는 이러한 개념을 heterogeneous graph에 적용하고 있으며 다양한 타입의 node와 edge를 가지는 heterogeneous graph의 특성상 좋은 접근이지 않나 생각합니다. 또한 다양한 종류의 실험을 통해 여러 방면에서 적용되는 모습도 함께 확인할 수 있어서 좋았습니다.


  • 2021-02-08 14:36

    이번 세미나는 DisenHAN를 소개하는 논문을 발표하는 세미나였습니다. Recommendation을 초점으로 두고 있는 모델로 보면 user과 item의 임베딩을 disentagled방식으로 차원별로 의미를 갖도록 하고, 이를 통해 generalized error를 줄일 수 있었습니다. 또한 side information을 통해 type이 다른 node를 통합하는 heterogeneous GAT 방식이 인상깊었습니다. 실험 결과만을 활용하여 입증하기에는 부족하다고 생각이 들어 비슷한 시기에 나온 유사 방법론들의 실험 결과를 추가로 확인하는 과정에서 제안하는 방법론의 타당성을 더욱 확실하게 납득할 수 있었습니다. 영화를 예시로 들어 설명이 와닿았고 그래프 분야에 대한 최신 동향을 파악할 수 있는 세미나였습니다. 자세한 설명 감사합니다.


  • 2021-02-08 16:24

    이번 세미나에서는 논문에 관해 소개해 주셨습니다. 해당 논문에서는 추천시스템에서 특정한 Item을 추천하기 위해 고려되는 다양한 요소들을 구별하여 표현하는 방식으로 이유 해석과 정보 표현력을 증가시키는 Heterogeneous Graph에 Attention을 적용하고 정보를 결합하는 방식의 구조를 제안하였습니다. 추천시스템과 Graph Neural Network 분야는 저에게는 아직 낯선 분야지만, 발표자께서 계속해서 해당 분야에 관한 내용을 다루어 주시어, 이해에 도움이 되고 있습니다. 감사합니다.


  • 2021-02-08 16:37

    이번 세미나에서는 개인 연구중이신 outfit label이 없는 상태에서 GCN을 이용한 embedding 결과를 통해 어울리는 아이템을 찾는 task를 해결하기 위해, 해결방안으로 생각하신 것 중 하나인 disentangled representation을 위한 방법론인 DisenHAN을 소개해주셨습니다. disentangled representation이란 feature를 분리된 공간으로 표현하여, 분리된 차원에서 직관적인 의미를 내포하게 하는 representation 방법이라고 할 수 있습니다. 제안된 모델은 node와 edge 정보에 따라 attention을 통해 propagation하는 구조로, 개인마다 구매 요소가 차이나는 것을 disentangled representation으로 구별하고자 하고 있습니다. 특히 학습 데이터가 적을 때, 다른 모델과 비교하여 좋은 성능을 보인다는 장점을 가집니다. 기존 sota 모델들과의 비교가 없는 등 실험 결과가 제안된 방법론을 확실히 입증하기에는 부족하다고 생각하여 비슷한 시기의 유사 방법론들의 실험 결과를 추가로 확인하신 점에서, 논문을 비판적으로 받아들이고 의심을 확인하려는 자세에 깊은 인상을 받았습니다. 좋은 발표 감사합니다.


  • 2021-02-08 18:54

    금일 세미나는 추천시스템에서의 disentangle heterogeneous graph attention network로 발표가 진행되었습니다. 추천시스템에서 heterogeneous information network를 사용하면, 같은 item이라도 다른 구매요소가 있음을 반영할 수 있으며, collaborative filtering 방법론과 유사하게 user-item 구조를 유지하며 임베딩할 수 있게 된다는 점에서 의의를 갖습니다. graph에서의 attention과 relation aggregation를 반영하는 과정을 상세히 단계별로 설명해주셔서 이해하기 보다 수월하였습니다. 시각자료가 많아 좋았고, graph neural network를 추천시스템에 활용할 수 있는 방법과 아이디어에 대해 상세히 공유해주셔서 흥미롭게 들을 수 있었습니다. 좋은 발표 감사합니다.


  • 2021-02-08 19:52

    오늘 세미나는 추천시스템에서 Disentangled 방식을 사용한 Heterogeneous Graph과 관련된 논문인 "DisenHAN"을 소개해 주셨습니다. 해당 논문에서는 Disentangled 방식을 이용하여 임베딩 차원을 분리하고, Heterogeneous GAT 방식을 활용하여 Side Infomation이 임베딩에 적용될 수 있도록 하였습니다. 이러한 방식은 각 요소들을 구별하여 표현하므로 구매이유 해석및 정보표현력을 증가시킬 수 있습니다. 문제의 정의와 그것을 해결하는 방법(Aggregate, Attention 계산, Content Transformation 등)을 자세하게 설명해 주셔서 어려운 내용임에도 이해하기 수월했습니다. 추천시스템에서 단순히 추천하는 것뿐만아니라 유저의 선호도를 파악해야 할 때 해당 방법론을 적용해 보는 것이 도움이 될 것 같습니다. 좋은 설명 감사합니다.


  • 2021-02-08 22:58

    이번 세미나는 DisenHAN에 대한 내용으로, 이름에서부터 기법 내 많은 부가 개념들이 모여 목적을 달성하려는 것을 볼 수 있었습니다. 해당 기법은 추천시스템에서 사용되는 Heterogenous Information Network(HIN)에 각 노드의 Represenation을 구성함에 있어 혼재되어 있는 Latent를 Disentangle 시켜 LDA에서 Topic을 나타내듯이 잠재변수를 표현하여 Aggregate하며, 각 잠재변수로 나타내어진 Relation은 이질적이기에 Heterogenous Graph 개념이 포함됩니다. 또한 Meta path를 직접 구성하는 대신 1-hop의 관계에 Attention을 적용하여 구성하는 과정까지 포함하여 잠재변수별 영항력을 동일하게 보지 않아, 어떤 Latent가 Representation을 구성하는 지에 대한 설명력을 갖출 수 있습니다. 이런 식으로 구성한 표상으로 User와 Item 간의 Matching Score로써 추천을 진행하는데 결국, Geom-GCN이 먼 이웃의 의미, 또는 전체 그래프의 구조를 반영하는 Embedding을 구성하는 방법이었다면, DisenHAN은 추천의 의미를 더 잘 반영하는 표상을 구성하는 것이라 할 수 있습니다. 목적에 따라 Embedding을 구성하는 이유와 의미에 대해 생각해볼 수 있는 기회를 주셔서 감사합니다.


  • 2021-02-09 04:49

    "DisenHAN: Disentangled Heterogeneous Graph Attention Network for Recommendation"에 관한 논문으로 추천시스템에서 Disentangled 방식을 사용한 Heterogeneous Graph에 대해 다루고 있습니다.

    먼저 disentangled 방식이란, representation을 학습할때 특징이 서로 얽혀 있어(entangled) 해석이 불가능한 physical space에서 해석이 용이하도록 서로 독립적인 eigen space로 변환(disentangled)시키는 방식을 말합니다.

    제안된 모델은 node와 edge 정보에 따라 attention을 통해 propagation하는 구조로, 사람마다 같은 아이템을 구매하더라도 다른 구매 요소가 있을 것이라고 가정하고 이를 disentangled representation으로 구별하고자 하였습니다. 또한 기존 추천 시스템에서 사용되는 collaborative filtering의 효과를 가질 수 있도록 user-item-user-item 형태의 구조로 네트워크 임베딩을 수행하였습니다. 기존 고차원의 entangled 상태의 representation에서는 미세한 변화가 다른 의미를 갖게되지만, 제안 모델은 각 차원이 캡슐화되어 의미를 내포하게 만들어 설명력, 일반화 성능, 적대적 공격에 대한 견고성을 갖게 합니다.

    Graph neural network와 추천시스템을 접목시키려는 발표자의 아이디어에 대해 초반에 설명해주셔서 다소 어려운 내용이였지만 끝까지 흥미롭게 들을 수 있었던 것 같습니다. 좋은 발표 감사합니다.


  • 2021-02-09 11:00

    이번에 소개해주신 논문은 추천 시스템에서 disentangled 방식을 이용해 user와 item을 임베딩 차원 별로 의미를 가지도록 하여 높은 일반화 성능을 이끌어냈습니다. 논문에서 제시한 heterogeneous 구조는 똑같은 item에도 user별로 다른 구매요소가 있다고 가정하여 다른 잠재요소를 설정했습니다. 해당 구조는 이를 disentangled representation으로 구별했습니다. 제시한 방법을 사용했을 때 학습 데이터가 별로 없는 상황에서도 좋은 성능을 보인 것을 확인할 수 있었습니다. 항상 graph와 추천과 관련해서 좋은 발표를 들려주셔서 많은 것을 배울 수 있습니다. 감사합니다.


  • 2021-02-09 15:34

    금번 세미나에서는 DisenHAN: Disentangled Heterogeneous Graph Attention Network for Recommendation라는 논문을 소개해 주셨습니다. 가장 주요한 특징으로는 disentangled representation을 활용하는데, 이는 요소들을 동일한 차원이 아닌 구별된 차원으로 임베딩을 하여 latent feature를 내포하게 만드는 것으로 이해하였습니다. 이를 통해 실제 추천 시스템과 같은 응용 분야에서, 어떤 고객이 item에 대한 구매 요인을 다르게 파악할 수 있기 때문에 좋은 성능을 낼 수 있습니다. 또한 그래프 구조에 있어서 attention mechanism은 이번 발표 때 거의 처음 설명을 들었는데, attention mechanism의 유용성과 더불어 이미지 추천 등에 있어서 충분히 사용할 방법이 있다고 생각하였습니다. 좋은 시각자료와 함께 깔끔한 발표 감사합니다.


  • 2021-02-09 23:12

    오늘 세미나는 DisenHAN: Disentangled Heterogeneous Graph Attention Network for Recommendation을 주제로 진행되었습니다. 개인적으로는 처음 들어보는 Disentagled representation을 사용하였기 때문에 관련 개념을 먼저 짚어보았습니다. Disentagled representation은 각 Feature들을 separate dimension을 가지도록 분리해서 표현할 수 있는 방법입니다. 기존의 representation 보다 효과적인 이유는 추천 시스템에서 하나의 데이터를 표현할 때 구체적으로 어떤 특징을 가지는지 보다 자세히 알 수 있기 때문이라 생각합니다. Graph domain에 대해 항상 준비해주셔서 팔로우업을 할 수 있는 것 같습니다. 감사합니다


  • 2021-02-10 02:14

    비선형적인 형태로 분산된 representation을 정렬된 semantic representation으로 나타내는 "disentangled" 상태에 대해 소개해주셨습니다. 스타일과 카테고리에 따른 분류를 명확하게 구분하고자 하는 추천시스템에 잘 어울리는 개념이라 생각했습니다. 사실 추천시스템은 개인적으로 추천의 이유에 대해 알 수 없다는 한계가 있다고 생각했는데, disentangled가 잘 적용된다면 어느정도 해석력도 갖출 수 있겠다는 생각을 하였습니다. 다만 이는 어떠한 행동에 영향을 미치는 요소들이 독립임을 가정하는 것 같아서 정말로 독립성을 갖는지는 의문이 듭니다. 그렇지만 node와 edge의 attention으로 정보를 추출하는 등 추천에 대한 해석력을 갖추려는 시도는 굉장히 좋은 방향이라 생각합니다. 재미있는 발표 감사합니다.


  • 2021-02-14 02:37

    해당 세미나 시간에는 Disentangled Heterogeneous Graph Attention Network for Recommendation 라는 주제로 추천 시스템 분야에서 GNN을 활용한 최근 논문을 소개해주었습니다. 일반적으로 GNN을 활용해서 추천 시스템에서는 Meta-Path를 기반으로 다양한 연구들이 수행되어 왔지만, 해당 방식의 경우 도메인지식이 요구되며, 이를 통한 추출과정이 원할하지 않은 단점이 있었습니다. 해당 연구에서는 노드와 엣지정보에 따라서 Attention을 기반으로 유의미한 이웃정보를 활용한 representation을 목표로 하여 기존의 연구보다 설명력과 일반화 성능을 높일 수 있었습니다. 최근 GNN 분야에서도 이러한 Attention관련 연구들이 SOTA의 성능을 거두고 있는 시점에서 기존 homogeneous 그래프가 아닌 Heterogeneous 그래프를 통해서 수핸한 결과라 인상적이였습니다. 특히 해당 연구에서 설명력을 확인하고 제시한 결과는 추천시스템을 현업에서 활용할 때 중요한 키포인트가 될 수 있을거라 생각이 되고 이는 의사결정을 수행하는 데 있어서 충분한 설명력을 가질 수 있을 거라 생각됩니다. 추천시스템과 관련하여 계속해서 재미있는 연구결과를 소개해주어 감사의 인사 전합니다.


전체 129
번호 제목 작성자 작성일 추천 조회
공지사항
Paper Reviews 2019 Q3
관리자 | 2020.03.12 | 추천 0 | 조회 1223
관리자 2020.03.12 0 1223
공지사항
Paper Reviews 2019 Q2
관리자 | 2020.03.12 | 추천 0 | 조회 449
관리자 2020.03.12 0 449
공지사항
Paper Reviews 2019 Q1
관리자 | 2020.03.12 | 추천 0 | 조회 990
관리자 2020.03.12 0 990
126
[Paper Review] Deep GNNs (3)
Hyungseok Kim | 2021.04.16 | 추천 0 | 조회 33
Hyungseok Kim 2021.04.16 0 33
125
[Paper Review] Don't Stop Pretraining: Adapt Language Models to Domains and Tasks (3)
Takyoung Kim | 2021.04.13 | 추천 0 | 조회 45
Takyoung Kim 2021.04.13 0 45
124
[Paper Review] Uninformed Students: Student–Teacher Anomaly Detection with Discriminative Latent Embeddings (4)
Hyeyeon Kim | 2021.04.07 | 추천 0 | 조회 83
Hyeyeon Kim 2021.04.07 0 83
123
[paper Review] Contrastive Learning for Sequential Recommendation (4)
Jungho Lee | 2021.04.03 | 추천 0 | 조회 121
Jungho Lee 2021.04.03 0 121
122
[Paper Review] Deep Image Retrieval: Learning global representations for image search (5)
Kyoosung So | 2021.03.31 | 추천 0 | 조회 94
Kyoosung So 2021.03.31 0 94
121
[Paper Review] Vq-wav2vec: Self-Supervised Learning of Discrete Speech Representations (6)
Jounghee Kim | 2021.03.24 | 추천 0 | 조회 149
Jounghee Kim 2021.03.24 0 149
120
[Paper Review] Time Series Anomaly Detection with Multiresolution Ensemble Decoding (6)
Heejeong Choi | 2021.03.23 | 추천 0 | 조회 133
Heejeong Choi 2021.03.23 0 133
119
[Paper Review] QANet: Combining Local Convolution with Global Self-Attention for Reading Comprehension (8)
Jina Kim | 2021.03.19 | 추천 0 | 조회 164
Jina Kim 2021.03.19 0 164
118
[Paper Review] SOM-DST  : Efficient Dialogue State Tracking by Selectively Overwriting Memory (7)
Yukyung Lee | 2021.03.13 | 추천 0 | 조회 185
Yukyung Lee 2021.03.13 0 185
117
[Paper Review] A Simple Framework for Contrastive Learning of Visual Representations (10)
Donghwa Kim | 2021.03.10 | 추천 0 | 조회 255
Donghwa Kim 2021.03.10 0 255

Data Science & Business Analytics Lab.
School of Industrial Management Engineering
College of Engineering, Korea University

Contact Us

  • 강필성 교수 (pilsung_kang@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 창의관 801A호 
  • 대학원 연구실 (총무 이유경: yukyung_lee@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 신공학관 220호, 221호, 213호
© 2020 DSBA Lab.