[2019.08.30 - 김형석 박사과정] Autoencoding Variational Inference For Topic Models

Paper Review
작성자
관리자
작성일
2020-03-12 11:18
조회
261
1. Topic

Autoencoding Variational Inference For Topic Models

2. Overview

토픽모델링은 자연어처리에서 문서를 표현하기위해 널리 사용되는 방법론으로, 해당문서를 잠재된 분포를 학습하여 표현한다. 토픽모델링을 적용하고 새롭게 모델을 학습하는 데 있어서의 큰 문제점은 토픽들의 분포를 추론하는데 많은 계산적인 cost가 소요되는 것이다. 이러한 한계점때문에 MCMC Gibs Sampling과 같은 Markov-chain Monte Carlo와 같은 variational methods를 통해서 간접적으로 근사하여 학습을 수행해 왔다. 최근 연구에 따르면 이러한 근사 방법론들은 모델링의 가정에 약간의 변화가 있어 새로운 주제 모델에 적용하려면 수학적으로 많은 어려움을 겪으며 새로이 학습해야 한다는 단점이 지적되어 왔다. 본 논문에서는 Variational Autoencoder를 활용하여 잠재벡터 공간 z를 SGD(backpropagation)을 통해 학습하고 이를 통한 디리클레 분포를 Laplace approximation하여 토픽모델링을 수행하는 방법을 제안한다.

3. 발표자료 및 발표영상

[1] 발표자료

[2] 발표영상

4. 참고문헌

[1] Srivastava, Akash, and Charles Sutton. "Autoencoding variational inference for topic models." arXiv preprint arXiv:1703.01488 (2017).

[2] Philipp Hennig, David H Stern, Ralf Herbrich, and Thore Graepel. Kernel topic models. In AISTATS, pp. 511–519, 2012.

[3] Diederik P Kingma and Max Welling. Auto-encoding variational bayes. The International Conference on Learning Representations (ICLR), Banff, 2014.

[4] Srivastava, Akash, and Charles Sutton. "Autoencoding variational inference for topic models." arXiv preprint arXiv:1703.01488 (2017).

전체 0

전체 129
번호 제목 작성자 작성일 추천 조회
공지사항
Paper Reviews 2019 Q3
관리자 | 2020.03.12 | 추천 0 | 조회 1223
관리자 2020.03.12 0 1223
공지사항
Paper Reviews 2019 Q2
관리자 | 2020.03.12 | 추천 0 | 조회 449
관리자 2020.03.12 0 449
공지사항
Paper Reviews 2019 Q1
관리자 | 2020.03.12 | 추천 0 | 조회 990
관리자 2020.03.12 0 990
36
[Paper Review] Optimizing Instance Selection for Statistical Machine Translation with Feature Decay Algorithms (10)
관리자 | 2020.03.12 | 추천 0 | 조회 322
관리자 2020.03.12 0 322
35
[Paper Review] Adversarial Defense via Learning to Generate Diverse Attack (11)
관리자 | 2020.03.12 | 추천 0 | 조회 379
관리자 2020.03.12 0 379
34
[Paper Review] MixMatch : A Holistic Approach for Semi-Supervised Learning (11)
관리자 | 2020.03.12 | 추천 0 | 조회 2563
관리자 2020.03.12 0 2563
33
[Paper Review] Randomly Wired Neural Network For Image Recognition (9)
관리자 | 2020.03.12 | 추천 0 | 조회 236
관리자 2020.03.12 0 236
32
[Paper Review] Matching Networks for One Shot Learning (11)
관리자 | 2020.03.12 | 추천 0 | 조회 1886
관리자 2020.03.12 0 1886
31
[Paper Review] Addressing Semantic Drift in Question Generation For Semi-Supervised Question Answering (9)
관리자 | 2020.03.12 | 추천 0 | 조회 238
관리자 2020.03.12 0 238
30
[Paper Review] Large Scaled Graph Convolutional Networks (11)
관리자 | 2020.03.12 | 추천 0 | 조회 1119
관리자 2020.03.12 0 1119
29
[2019.12.13 - 양우식 석사과정] Visual Commonsense Reasoning & VilBERT (11)
관리자 | 2020.03.12 | 추천 0 | 조회 1046
관리자 2020.03.12 0 1046
28
[2019.12.06 - 최종현 석사과정] Graph-based Summarization (10)
관리자 | 2020.03.12 | 추천 0 | 조회 907
관리자 2020.03.12 0 907
27
[2019.12.04 - 이정호 석박통합과정] BERT4Rec : Sequential Recommendation with Bidirectional Encoder Representations from Transformer (11)
관리자 | 2020.03.12 | 추천 0 | 조회 1549
관리자 2020.03.12 0 1549

Data Science & Business Analytics Lab.
School of Industrial Management Engineering
College of Engineering, Korea University

Contact Us

  • 강필성 교수 (pilsung_kang@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 창의관 801A호 
  • 대학원 연구실 (총무 이유경: yukyung_lee@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 신공학관 220호, 221호, 213호
© 2020 DSBA Lab.