[2019.08.16 - 서승완 석박통합과정] Stand-alone self-attention in vision

Paper Review
작성자
관리자
작성일
2020-03-12 11:18
조회
407
1. Topic

Replacing convolution block

2. Overview

Single context에 적용되는 self-attention을 처음으로 vision task에 적용한 논문이다. Target network는 ResNet으로 택했으며 ResNet의 blttleneck block 중 3x3 conv layer만 attention layer로 대체한다. 1x1 conv layer의 경우 실질적으로 conv 연산과는 거리가 있다는 언급과 함께 attention layer로의 변환 없이 그대로 사용한다. 이러한 단순한 변형을 통하여 모델의 파라미터 수를 크게 줄임과 동시에 acc.가 소폭 상승하는 효과를 볼 수 있었다.

3. 발표자료 및 영상

[1] 발표자료

[2] 발표영상

4. 참고문헌

[1] Parmar, Niki, et al. "Stand-Alone Self-Attention in Vision Models." Advances in Neural Information Processing Systems. 2019.

전체 0

전체 129
번호 제목 작성자 작성일 추천 조회
공지사항
Paper Reviews 2019 Q3
관리자 | 2020.03.12 | 추천 0 | 조회 1222
관리자 2020.03.12 0 1222
공지사항
Paper Reviews 2019 Q2
관리자 | 2020.03.12 | 추천 0 | 조회 446
관리자 2020.03.12 0 446
공지사항
Paper Reviews 2019 Q1
관리자 | 2020.03.12 | 추천 0 | 조회 988
관리자 2020.03.12 0 988
36
[Paper Review] Optimizing Instance Selection for Statistical Machine Translation with Feature Decay Algorithms (10)
관리자 | 2020.03.12 | 추천 0 | 조회 322
관리자 2020.03.12 0 322
35
[Paper Review] Adversarial Defense via Learning to Generate Diverse Attack (11)
관리자 | 2020.03.12 | 추천 0 | 조회 379
관리자 2020.03.12 0 379
34
[Paper Review] MixMatch : A Holistic Approach for Semi-Supervised Learning (11)
관리자 | 2020.03.12 | 추천 0 | 조회 2562
관리자 2020.03.12 0 2562
33
[Paper Review] Randomly Wired Neural Network For Image Recognition (9)
관리자 | 2020.03.12 | 추천 0 | 조회 236
관리자 2020.03.12 0 236
32
[Paper Review] Matching Networks for One Shot Learning (11)
관리자 | 2020.03.12 | 추천 0 | 조회 1885
관리자 2020.03.12 0 1885
31
[Paper Review] Addressing Semantic Drift in Question Generation For Semi-Supervised Question Answering (9)
관리자 | 2020.03.12 | 추천 0 | 조회 238
관리자 2020.03.12 0 238
30
[Paper Review] Large Scaled Graph Convolutional Networks (11)
관리자 | 2020.03.12 | 추천 0 | 조회 1119
관리자 2020.03.12 0 1119
29
[2019.12.13 - 양우식 석사과정] Visual Commonsense Reasoning & VilBERT (11)
관리자 | 2020.03.12 | 추천 0 | 조회 1046
관리자 2020.03.12 0 1046
28
[2019.12.06 - 최종현 석사과정] Graph-based Summarization (10)
관리자 | 2020.03.12 | 추천 0 | 조회 907
관리자 2020.03.12 0 907
27
[2019.12.04 - 이정호 석박통합과정] BERT4Rec : Sequential Recommendation with Bidirectional Encoder Representations from Transformer (11)
관리자 | 2020.03.12 | 추천 0 | 조회 1549
관리자 2020.03.12 0 1549

Data Science & Business Analytics Lab.
School of Industrial Management Engineering
College of Engineering, Korea University

Contact Us

  • 강필성 교수 (pilsung_kang@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 창의관 801A호 
  • 대학원 연구실 (총무 이유경: yukyung_lee@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 신공학관 220호, 221호, 213호
© 2020 DSBA Lab.