[Paper Review] SOM-DST  : Efficient Dialogue State Tracking by Selectively Overwriting Memory

작성자
Yukyung Lee
작성일
2021-03-13 13:07
조회
185
1. Topic

Task-oriented Dialogue system의 Sub task 중 하나인  Dialogue State Tracking 분야에 대한 개념을 정리한 후 SOM-DST Model을 소개함.

2. Overview

SOM-DST는 Clova AI (NAVER)에서 제안한 모델로, 기존 모델이 모든 slot을 generation 해야했던 비효율적인 구조를 개선하였다. slot에 대한 value를 효과적으로 생성하기 위해 Operation 이라는 개념을 도입하였다.  이는 기존의 slot  gate와 비슷한 역할을 하지만 'UPDATE'라는 operation을 추가하여 불필요한 value 생성을 막아 효율을 높였다.

3. 발표자료 및 발표영상

[1] 발표자료 (하단 첨부파일)

[2] 발표영상 : link

4. 참고 문헌

논문  link
전체 7

  • 2021-03-27 21:26

    본 세미나는 발표자님의 DST 발표 시리즈 중 하나이며, 이전의 DST 기법들이 매 Dialogue Turn마다 State를 모든 Slot에 대하여 예측을 진행하는 것에 대한 해결책으로 State를 컴퓨터의 메모리와 같이 취급하고자 합니다. 이를 통해 State들이 매번 생성되는 것이 아니라, 이전의 State에서 어떤 것을 UPDATE할 지, CARRY OVER할지 판단하여 각 Slot에 대하여 다른 Action을 취하게 되며 이를 통해 효율적으로 State를 관리하고 업데이트할 수 있게 됩니다. Slot들에 대하여 어떤 처리를 할 지 예측하는 것을 State Operation Prediction (UPDATE / CARRY OVER etc)라고 하며 UPDATE Operation으로 설정된 Slot에 대하여 Slot Value Generation을 진행합니다. State Operation Prediction 단계에서는 Utterance Pair의 Domain Classification과 Operation Classification이 함께 진행되어 Loss를 계산하며 Slot Value Generator는 GRU Loss를 활용하여, 두 Loss를 합쳐 최종 Loss를 구성합니다. DST의 재밌는 연구 소개에 감사드리며 다음 시리즈도 잘 부탁드리겠습니다.


  • 2021-04-05 04:26

    이번 세미나에서는 2019년 NAVER의 Clova AI에서 연구한 Efficient Dialogue State Tracking by Selectively Overwriting Memory 논문에 대해 소개해 주셨습니다. 이번 논문은 ACL2020에서 발표된 논문으로 기존 DST(Dialogue State Tracking)의 방법이 모든 Slot에 대해 Scrach부터 생성한다는 문제점을 개선하여 Memory를 통해 해결하는 방법을 제안합니다. 세미나 초반에 DST에 대한 개요를 설명해주셔서 DST System에 대한 전반적인 설명과 예시를 들어주셔서 배경지식에 대해 어느정도 이해하고 세미나 내용을 들을 수 있었습니다. 본 논문에서는 Memory 뿐만 아니라 DST를 State Operation Prediction과 Slot Value Generation 두 가지로 나누었고 각각을 Encoder와 Decoder로서 정의하였습니다. 입력 데이터는 사용자의 발화 데이터와 이전 대화의 State를 함께 넣고 현재 내용에 대한 도메인을 분류하고 Slot을 업데이트 합니다. 각 Slot은 4 가지 Operation(CARRYOVER, DELETE, DONTCARE, UPDATE) 중 하나씩 설정되어 그에 따라 value를 생성하게 됩니다. Loss Function은 Encoder와 Decoder 각각의 Loss와 Domain에 대한 Loss를 더하여 최종 Loss를 계산하여 학습합니다. DST에 대해 처음부터 직관적인 설명과 함께 내용을 전개해 주셔서 익숙하지 않은 주제임에도 비교적 이해하기 쉬웠습니다. 좋은 발표 감사합니다.


  • 2021-04-07 17:30

    금일 세미나에서는 Dialog State Tracking 분야에 대한 개념 정리와 Efficient Dialogue State Tracking by Selectively Overwriting Memory 논문을 설명해 주셨습니다. Dialog State Tracking이란 연속적인 대화에서 사용자의 요구사항이 지속적으로 반영될 수 있도록 매 대화에서 중요한 정보를 추출하여 State 형태로 변경하는 task를 의미합니다. 오늘 설명해 주신 SOM-DST은 기존 모델보다 효율적인 Dialog Tracking을 위하여 Selectively Overwriting Memory를 적용했습니다. Selectively Overwriting Memory 란 Encoder에서 추출한 Slot중에서 Update가 필요한 부분만 Generator를 통해 Value를 생성하는 방식입니다. 이 방법은 적은 Subset Slot에만 Value Generation이 필요하므로 학습속도가 상승하며, 빠르게 추론할 수 있는 장점을 갖고 있습니다. 일반적으로 AI 스피커 또는 Dialog Sytem 등을 통해서 원하는 목적을 수행하려면 여러번의 대화가 필요하고 그 대화에서 정보를 추출하는 것이 중요합니다. 따라서 DST 시스템은 필수적인 기능으로 보입니다. 좋은 발표 감사합니다.


  • 2021-04-13 01:27

    금일 세미나 시간에는 이유경 박사과정이 지난 세미나 시간에서 소개한 대화형 시스템 가운데Task-Oriented dialogue system 관련 연구인 “Efficient Dialogue State Tracking by Selectively Overwriting Memory” 논문을 주제로 다루어 보았습니다. 해당 논문은 국내 NAVER의 Clova AI팀에서 수행한 연구이기에 더욱 관심을 가지고 발표를 들을 수 있었습니다. 본 세미나시간에는 해당 도메인인 대화상태추적(Dialogue State Tracking)에 대한 소개를 통해 개념을 정리해 주었습니다. 이전까지의 DST연구에서는 사전에 정의된 온톨로지 기반 접근방식을 통해서 일반화 문제를 해결하기 위해 개방형 어휘 기반 설정에 중점을 두고 있었으나, 매번 대화 상태를 처음부터 예측한다는 점에서 효율적이지 못하였습니다. 따라서 해당 논문에서는 대화 상태를 명시적인 고정 크기의 메모리로 고정하여 보다 효율적인 DST를 위해 선택적으로 update를 수행하는 operation을 제안하였습니다. 대화형 시스템에 대해서는 아직도 친숙하지 않아 이해하기 어려울 수도 있었지만, 발표자께서 친절하게 준비한 자료 덕분에 수월하게 이해할 수 있었습니다.


  • 2021-04-13 04:17

    그동안 어렴풋이 개념정도만 알고 있었던 DST에 대해 본 세미나를 통해 더욱 자세하게 알 수 있었습니다. 발표자님의 지난 DST소개의 연장선에서 오늘은 SOM-DST에 대해 다뤄주셨습니다. DST는 Dialogue로부터 slot-value pair를 매칭시키는 역할을 하게되는 function역할을 하게 됩니다. 본 SOM-DST에서는 Selective overwriting memory(SOM)을 통해 보다 효율적인 DST모델을 구성했다는 점을 강조하고 있습니다. SOM-DST는 1) sub-task에 맞게끔 minimum subset of slot을 찾아낸다는 점(selective) 2) 이 “minimal subset에서의 value만”을 생성한다는 점에서 효율성을 설명합니다. 실제로, 실험성능에서 볼 수 있듯, 낮은 slot의 생성 갯수, 높은 정확도에도 낮은 latency를 보인 점은 주목할 만한 것 같습니다. 그럼에도 불구하고, 교수님께서 말씀해주신 것처럼 해당 방법이 본질적으로 ‘효율적’인지에 대한 고민은 필요해 보입니다. 여러가지 고민과 지식을 얻어갈 수 있었던 좋은 발표였던 것 같습니다. 좋은 시간 감사드립니다.


  • 2021-03-15 13:43

    금일 세미나에서 다룬 논문은 Efficient Dialogue State Tracking by Selectively Overwriting Memory입니다. DST는 partial dialogue(input)를 dialogue state(output)에 매핑시키는 것을 말합니다. 논문에서는 SOM-DST라는 모델을 제안하였는데, BERT를 활용한 Encoder에서는 state operation prediction을, GRU를 활용한 Decoder에서는 slot value를 찾기 위한 generation이 수행됩니다. 특히, State operation을 통해 결정된 UPDATE인 상태의 subset들에 대해서만 value generation을 하는 방식으로 동작됩니다. 이러한 업데이트 과정은 실제 Accuracy 향상에는 도움이 되었습니다. 여기에 교수님께서는 실제 그 과정이 저자가 주장하는 것처럼 과연 '효율적인가'에 대한 의문점을 제시해 주셨는데, 이에 대해서도 추가적인 고민을 함께 해볼 수 있었습니다. 마지막에 덧붙여주신 개인연구 발표에 대해서는 어떠한 시행착오와 아이디어 전개를 통해 연구를 발전시켜 나갔는지 자세히 들려주셨는데, 신입생으로서 앞으로 어떤 방식으로 개인 연구를 진행해야 하는지 고민해볼 수 있는 유익한 시간이었습니다. 좋은 발표 감사합니다.


  • 2021-03-17 15:32

    이번 세미나에서 제안된 모델은 특정 Task에서 사용자의 요구사항을 파악하고 이를 해결하기 위한 적절한 대화 시스템에 대한 dialogue system을 state tracking 형태로 slot과 value의 tuple을 찾는 목적을 가지고 있었습니다. 전반적인 학습 절차는 phase 1) state opeation prediction이 먼저 수행이 되며, phase 2) slot value generation이 수행이됩니다. state opeation prediction의 경우는 BERT를 활용한 encoder embedding 방법을 사용하며, generation은 GRU를 이용한 방법의 decoder로 구성되었습니다. slot에 해당되는 value를 찾는 것인 일반적인 목적인데 중간에 operation의 매개체를 부여하여 효율적인 방법론을 제안하였습니다. knowledge extraction에 대한 활용 관점에서 좋은 논문인것 같습니다. 좋은 발표 감사합니다.


전체 129
번호 제목 작성자 작성일 추천 조회
공지사항
Paper Reviews 2019 Q3
관리자 | 2020.03.12 | 추천 0 | 조회 1222
관리자 2020.03.12 0 1222
공지사항
Paper Reviews 2019 Q2
관리자 | 2020.03.12 | 추천 0 | 조회 447
관리자 2020.03.12 0 447
공지사항
Paper Reviews 2019 Q1
관리자 | 2020.03.12 | 추천 0 | 조회 989
관리자 2020.03.12 0 989
126
[Paper Review] Deep GNNs (3)
Hyungseok Kim | 2021.04.16 | 추천 0 | 조회 33
Hyungseok Kim 2021.04.16 0 33
125
[Paper Review] Don't Stop Pretraining: Adapt Language Models to Domains and Tasks (3)
Takyoung Kim | 2021.04.13 | 추천 0 | 조회 45
Takyoung Kim 2021.04.13 0 45
124
[Paper Review] Uninformed Students: Student–Teacher Anomaly Detection with Discriminative Latent Embeddings (4)
Hyeyeon Kim | 2021.04.07 | 추천 0 | 조회 82
Hyeyeon Kim 2021.04.07 0 82
123
[paper Review] Contrastive Learning for Sequential Recommendation (4)
Jungho Lee | 2021.04.03 | 추천 0 | 조회 121
Jungho Lee 2021.04.03 0 121
122
[Paper Review] Deep Image Retrieval: Learning global representations for image search (5)
Kyoosung So | 2021.03.31 | 추천 0 | 조회 93
Kyoosung So 2021.03.31 0 93
121
[Paper Review] Vq-wav2vec: Self-Supervised Learning of Discrete Speech Representations (6)
Jounghee Kim | 2021.03.24 | 추천 0 | 조회 149
Jounghee Kim 2021.03.24 0 149
120
[Paper Review] Time Series Anomaly Detection with Multiresolution Ensemble Decoding (6)
Heejeong Choi | 2021.03.23 | 추천 0 | 조회 133
Heejeong Choi 2021.03.23 0 133
119
[Paper Review] QANet: Combining Local Convolution with Global Self-Attention for Reading Comprehension (8)
Jina Kim | 2021.03.19 | 추천 0 | 조회 164
Jina Kim 2021.03.19 0 164
118
[Paper Review] SOM-DST  : Efficient Dialogue State Tracking by Selectively Overwriting Memory (7)
Yukyung Lee | 2021.03.13 | 추천 0 | 조회 185
Yukyung Lee 2021.03.13 0 185
117
[Paper Review] A Simple Framework for Contrastive Learning of Visual Representations (10)
Donghwa Kim | 2021.03.10 | 추천 0 | 조회 255
Donghwa Kim 2021.03.10 0 255

Data Science & Business Analytics Lab.
School of Industrial Management Engineering
College of Engineering, Korea University

Contact Us

  • 강필성 교수 (pilsung_kang@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 창의관 801A호 
  • 대학원 연구실 (총무 이유경: yukyung_lee@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 신공학관 220호, 221호, 213호
© 2020 DSBA Lab.