2020 대한산업공학회 추계학술대회 - 김명섭

대한산업공학회
작성자
Myeongsup Kim
작성일
2021-01-14 00:04
조회
52
이번 대한산업공학회 추계학술대회는 온라인으로 진행되었습니다. 작년에도 추계 학술대회에 참여하였는데, 올해는 작년보다 Deep Learning에 대한 관심도가 더욱 증가한 것으로 생각되며, Deep Learning에 관련된 논문이 더욱 많이 발표된 것 같습니다. 제가 청취한 발표들은 다음과 같습니다.

 

[깊은 문맥 이해를 위한 지식기반 워드 임베딩]

기존의 NLP 알고리즘들은 오직 텍스트 내의 단어들의 배치에 집중하여 그 의미를 이해하고자 하였습니다. 하지만 사람이 언어를 이해하는 과정에는 과거의 경험을 통해 습득한 기억이 큰 역할을 합니다. 예를 들자면, 문맥만으로는 유추할 수 없는 질의에 대한 응답에 사람은 배경 지식을 활용하는 경우를 볼 수 있습니다.

해당 논문에서는 기억을 표상할 수 있는 방법으로 Knowledge Graph를 이용합니다. Knowledge Graph는 다양한 정보를 Graph의 형태로 표상한 것으로, 대표적인 Knowledge Graph Embedding 방법인 TransE는 Head Entity, Relation, Tail Entity를 이용하여 Entity와 Relation을 Vector로 표현합니다. 또한 해당 논문에서는 사전에 구축된 대량의 Knowledge Graph를 활용하는 BERT기반 모델인 ERNIE를 사용하였습니다.

해당 논문에서는 TransE로부터 Relation을 추출하고, Embedding Layer와의 Multi-Head Attention을 수행하여, 각 단어들이 내포하는 Relation 정보를 추출한 뒤, Entity Multi-Head Attention을 이용하여 KG Embedding이 표현하지 못한 Entity간의 Deep Relation을 포착하고, Self-Attention을 이용해 Entity간의 Relation을 Entity Embedding에 표현합니다. 이어 Information Fusion을 이용해 Word Embedding에 Relation Embedding과 Entity Embedding의 정보를 합하게 됩니다.

제안된 방법론은 지식 기반 Task에서 높은 성능을 보였습니다.

최근 ACL에 발표된 Climbing Toward NLU논문의 경우 언어는 언어 자체만으로 학습할 수 없고, 주변 환경과의 상호작용을 통해 학습된다고 주장하였습니다. 저 또한 이 주장에 동의하는 바이며, 해당 논문의 방법론은 언어 자체만으로 NLP Task를 수행하지 않고, World Knowledge를 추가적으로 반영하여 NLP Task를 수행하였다는 점에서 의의가 있다고 생각합니다.

 

[Graph Attention Networks for Emotion Recognition in Conversation]

해당 논문은 대화형 데이터에서 Graph Attention Networks를 이용하여 감성 분류를 수행한 논문입니다. 대화형 데이터에서는 같은 내용의 Text라도, 대화 참여자 간의 상호 작용에 따라 대화를 구성하는 흐름이 바뀌며, Text의 감성이 변화하게 됩니다. 대화 내 문장들의 순서 정보를 반영하기 위해 RNN구조가 널리 사용됩니다. 하지만 이 경우 대화 참여자의 수 또는 화자의 수 만큼 RNN 구조가 필요하게 되며, RNN 모델의 고질적인 문제인 Long-term Dependency, Vanishing Gradient 등의 문제로 대화 시퀀스의 길이가 길어지면 시퀀스 내에서 멀리 떨어진 정보들은 반영이 되지 않는다는 문제점이 존재합니다. 따라서 해당 논문에서는 Graph를 입력으로 받아, Graph Attention Layer를 거치고, Graph를 업데이트한 뒤, Node Classification을 수행하는 ConvGAT 모델을 제안합니다. 우선적으로 2명 이상이 참여한 대화 데이터를 그래프 형태로 표현합니다. 이 때 그래프는 대화 흐름의 단방향만을 고려한 Directed Graph 형태입니다. 이후, 해당 Graph는 Graph Attention Layer를 거치게 되는데, Graph Attention Layer에서는 각 화자에 대해 구성된 Graph에 대한 Masked Self-Attention, Interaction Message Passing에 대한 Masked Self-Attention을 수행하고, 결과를 Concat한 뒤, Linear Layer를 거치고, Input Graph Feature를 Residual Connection을 이용하여 결합합니다. 마지막으로 최종 결과물에 Normalization과 Linear Layer를 거쳐 감성 분석을 수행합니다. 제안된 모델은 5번의 반복실험 결과 다른 모델들보다 성능이 우수하게 도출되었습니다.

대화형 데이터의 특징을 잘 파악하고, 기존 모델들의 한계를 극복하기 위해 많은 노력을 투자한 연구라는 생각이 들었습니다.
전체 0

전체 181
번호 제목 작성자 작성일 추천 조회
181
2020 NeurIPS - 김혜연
Hyeyeon Kim | 2021.01.18 | 추천 0 | 조회 113
Hyeyeon Kim 2021.01.18 0 113
180
2020 NeurIPS - 김형석
Hyungseok Kim | 2021.01.15 | 추천 0 | 조회 74
Hyungseok Kim 2021.01.15 0 74
179
2020 NeurIPS - 김명섭
Myeongsup Kim | 2021.01.14 | 추천 0 | 조회 62
Myeongsup Kim 2021.01.14 0 62
178
2020 대한산업공학회 추계학술대회 - 김명섭
Myeongsup Kim | 2021.01.14 | 추천 0 | 조회 52
Myeongsup Kim 2021.01.14 0 52
177
2020 NeurIPS - 이정호
Jungho Lee | 2021.01.06 | 추천 0 | 조회 93
Jungho Lee 2021.01.06 0 93
176
2020 NeurIPS - 이유경
Yukyung Lee | 2021.01.05 | 추천 0 | 조회 90
Yukyung Lee 2021.01.05 0 90
175
2020 NeurIPS - 최희정
Heejeong Choi | 2021.01.05 | 추천 0 | 조회 75
Heejeong Choi 2021.01.05 0 75
174
2020 대한산업공학회 춘계학술대회 - 이유경
Yukyung Lee | 2021.01.05 | 추천 0 | 조회 56
Yukyung Lee 2021.01.05 0 56
173
2020 대한산업공학회 추계학술대회 - 최희정
Heejeong Choi | 2021.01.05 | 추천 0 | 조회 55
Heejeong Choi 2021.01.05 0 55
172
2020 NeurIPS - 김탁영
Takyoung Kim | 2021.01.04 | 추천 0 | 조회 88
Takyoung Kim 2021.01.04 0 88

Data Science & Business Analytics Lab.
School of Industrial Management Engineering
College of Engineering, Korea University

Contact Us

  • 강필성 교수 (pilsung_kang@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 창의관 801A호 
  • 대학원 연구실 (총무 이유경: yukyung_lee@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 신공학관 220호, 221호, 213호
© 2020 DSBA Lab.