[paper Review] Contrastive Learning for Sequential Recommendation

작성자
Jungho Lee
작성일
2021-04-03 02:34
조회
121
1. Topic
  • Contrastive learning, Recommendation system .
2. Overview
  • 최근 많은 분야에서 활용되고 있는 CL(Contrastive learning) 을 활용한 논문
  • 추천시스템의 기존 문제점인 Sampling 방식과 labeled data 의 학습을 CL 을 통해서 개선함
3. 발표자료 및 발표영상
  • 발표 자료: 첨부파일 참고
  • 발표 영상: (예정)
4. 참고 문헌
  • Contrastive Learning for Sequential Recommendation(SIGIR_2021)
전체 4

  • 2021-04-03 04:13

    단순 history만으로 추천을 진행하는 것보다 최근의 (특정 window size 내의) 검색 이력에 등장한 아이템이 더 유의미한 추천이 될 것입니다. 그러나 false negative item의 예시를 들어 기존 추천방법론이 잠재적인 positive item이 negative sampling에 포함되어 학습을 방해하는 한계를 지적해주셨습니다. 발표해주신 논문에서는 contrastive learning을 사용합니다. Contrastive learning은 별도의 label 없이 객체 간의 비교를 통해 관계를 학습하는 방법론입니다. 사실 어느 분야에도 적용될 수 있지만 sequential recommendation에서는 어떤 관계를 비교할 수 있는지 처음에는 감이 오지 않았는데, 유저의 다양한 local preference history는 유지한 채 각 history의 임베딩 값끼리 contrastive loss를 비교하는 것으로 이해하였습니다. 정리하면 같은 유저의 임베딩 값끼리는 가까워질 것이고 다른 유저의 임베딩 값끼리는 멀어질 것입니다. 추가적으로 representation pair 구성을 위한 세 가지 형태의 augmentation을 적용하였습니다. 기존 nlp에서 많이 사용하는 masking 이외에 task에 맞는 augmentation을 다양하게 설계하고 실험으로 검증하는 과정이 인상깊었습니다. 예시를 적절하게 들어 주셔서 흐름을 잘 따라갈 수 있었습니다. 감사합니다.


  • 2021-04-03 18:24

    이번 세미나에서는 contrastive learning을 이용한 추천시스템 방법론을 발표해 주셨습니다. 일반적은 추천방식은 고객 구매를 했는지 않했는지 Bag-of-word의 scheme의 방법으로 했다면 이 문제를 해결하고자 구매순서를 고려한 sequential recommendation에 대해서 설명해주셨습니다. 제안된 CL4SREC는 t-1시점의 item을 이용하여 t시점의 아이템을 예측하는 문제를 정의하였습니다. input embedding은 아이템과 대응되는 positioning embedding을 활용하였고, contrastive의 타켓은 augmentation의 파생 아이템 sequence들을 활용하였습니다. 구체적으로 추천기반의 핵심 augmentation 3가지 기법은

    1) 임의 token을 지운는 방법 (순서가 재구성되는다는 점에서 위험하지 않을까? 라는 생각이 듭니다.)

    2) 임의의 token을 masking하는 방법 (BERT에서 대표적으로 사용되는 방법으로 논리적인다고 생각합니다.)

    3) 임의의 token에 대해서 item을 reordering 하는 방법 (마찬가지로, XLNet에서 사용된 pemutation 구조와 유사하다고 생각합니다.)

    추천기반의 연구과 NLP와 많이 유사하다는 점에서 서로 다른 분야를 병행하면서 공부하면 좋을 것 같습니다. 좋은발표 감사합니다.


  • 2021-04-04 21:50

    본 세미나에서 다룬 주제는 CL4SREC에 관한 논문입니다. 본 논문에서 소개된 모델은 transformer encoder를 기반으로 하고 있으며, 여기에 contrastive loss를 더하여 sequential recommendation을 하도록 설계되었습니다. 이 논문에서는 loss로 contrastive loss와 recommendation loss의 합을 사용하고 있고, 1~(t-1) 시점의 sequence에 대하여 다음 시점인 t 시점의 item을 예측하게 됩니다. 이때, input sequence의 길이가 길면 n개만 짧은 경우에는 앞에 n 개를 padding 하여 사용하고, 다음 시점 예측에 대해서는 masking이 됩니다. 또한, 관련 논문인 BERT4REC 모델처럼 학습 가능한 position encoding을 사용하고 있습니다. 이 논문에서 주목할 만한점은, 바로 augmentation 기법이라고 생각되는데요, local sequence 추출로 local preference의 변화 예측, masking과 reordering을 통해 robustness를 확보한 점이 인상깊었습니다. 또한 multi-head encoder의 output에 dropout을 적용하여 robust한 모델을 구축하였습니다. contrastive examples에 대해서는 이전 세미나에서도 많이 다뤘지만, 본 논문에서는 example 구축에 다양한 augmentation 기법을 논리적인 근거를 들어가며 제시하고 있어 발표 또한 더욱 재미있게 들을 수 있었습니다. 좋은 발표 감사합니다. 함께 소개해주신 개인 연구에도 좋은 성과가 있길 바랍니다.


  • 2021-04-07 16:22

    Matrix Factorization 기법에 기반한 기존 추천 시스템 방식은 순서, 시기를 반영하지 못해, 시점별로 변하는 User의 기호를 반영할 수 없기에, Sequential한 Recommendation이 불가능합니다. 따라서, 순서를 고려하는 추천시스템은 별도의 방식이 적용되며, BERT4Rec이 대표적이었습니다. 하지만 이 방법들은 지나치게 많은 파라미터와 Data Sparsity 문제를 겪게 되기에, 양질의 User Representation을 구성하기 힘듭니다. 이에 CL4SRec은 최근 많은 분야에서 사용되는 Contrastive Learning을 Sequential Recommendation에 사용하고자 하며, 원래 User의 Sequence에서 Self-supervision signal을 도출하여 (Augmentation) 표상을 구성합니다. 즉, Contrastive Loss와 Recommendation Loss, t시점까지의 Hidden representation과 (t+1)시점의 표상의 곱을 통해 총합 Loss를 구성합니다. 새로운 데이터나 모델을 통해 문제를 해결했다기보다, 기존에 존재하는 기법을 자신의 문제에 맞춰서 적용한 좋은 예시라 생각하며 소개해주셔서 감사합니다.


전체 129
번호 제목 작성자 작성일 추천 조회
공지사항
Paper Reviews 2019 Q3
관리자 | 2020.03.12 | 추천 0 | 조회 1222
관리자 2020.03.12 0 1222
공지사항
Paper Reviews 2019 Q2
관리자 | 2020.03.12 | 추천 0 | 조회 446
관리자 2020.03.12 0 446
공지사항
Paper Reviews 2019 Q1
관리자 | 2020.03.12 | 추천 0 | 조회 987
관리자 2020.03.12 0 987
126
[Paper Review] Deep GNNs (3)
Hyungseok Kim | 2021.04.16 | 추천 0 | 조회 33
Hyungseok Kim 2021.04.16 0 33
125
[Paper Review] Don't Stop Pretraining: Adapt Language Models to Domains and Tasks (3)
Takyoung Kim | 2021.04.13 | 추천 0 | 조회 45
Takyoung Kim 2021.04.13 0 45
124
[Paper Review] Uninformed Students: Student–Teacher Anomaly Detection with Discriminative Latent Embeddings (4)
Hyeyeon Kim | 2021.04.07 | 추천 0 | 조회 82
Hyeyeon Kim 2021.04.07 0 82
123
[paper Review] Contrastive Learning for Sequential Recommendation (4)
Jungho Lee | 2021.04.03 | 추천 0 | 조회 121
Jungho Lee 2021.04.03 0 121
122
[Paper Review] Deep Image Retrieval: Learning global representations for image search (5)
Kyoosung So | 2021.03.31 | 추천 0 | 조회 93
Kyoosung So 2021.03.31 0 93
121
[Paper Review] Vq-wav2vec: Self-Supervised Learning of Discrete Speech Representations (6)
Jounghee Kim | 2021.03.24 | 추천 0 | 조회 149
Jounghee Kim 2021.03.24 0 149
120
[Paper Review] Time Series Anomaly Detection with Multiresolution Ensemble Decoding (6)
Heejeong Choi | 2021.03.23 | 추천 0 | 조회 132
Heejeong Choi 2021.03.23 0 132
119
[Paper Review] QANet: Combining Local Convolution with Global Self-Attention for Reading Comprehension (8)
Jina Kim | 2021.03.19 | 추천 0 | 조회 164
Jina Kim 2021.03.19 0 164
118
[Paper Review] SOM-DST  : Efficient Dialogue State Tracking by Selectively Overwriting Memory (7)
Yukyung Lee | 2021.03.13 | 추천 0 | 조회 184
Yukyung Lee 2021.03.13 0 184
117
[Paper Review] A Simple Framework for Contrastive Learning of Visual Representations (10)
Donghwa Kim | 2021.03.10 | 추천 0 | 조회 255
Donghwa Kim 2021.03.10 0 255

Data Science & Business Analytics Lab.
School of Industrial Management Engineering
College of Engineering, Korea University

Contact Us

  • 강필성 교수 (pilsung_kang@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 창의관 801A호 
  • 대학원 연구실 (총무 이유경: yukyung_lee@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 신공학관 220호, 221호, 213호
© 2020 DSBA Lab.