[Paper Review] A Simple Framework for Contrastive Learning of Visual Representations

Paper Review
작성자
Donghwa Kim
작성일
2021-03-10 04:44
조회
256
1. Topic

A Simple Framework for Contrastive Learning of Visual Representations

: 데이터 augmentation을 활용한 representation learning

2. Overview
  • infoNCE는 postive와 anchor 두개의 벡터의 의존성을 최대화하는 목적을 하고 있습니다.
  • nonlinear transformation을 사용한 contrastive loss 설정하여 CLR 성능을 향상시켰습니다.
  • batch size와 contrastive learning의 관계를 실험하였으며, CLR은 일반적으로 batch size가 클수록 높은 성능을 가지고 있습니다.
  • representation learning인 만큼 다양한 application에 사용될 수 있는 것 같습니다.
3. 참고 논문

https://arxiv.org/abs/2002.05709

4. 발표 자료: 첨부파일

5. 발표 영상:  [link]


전체 10

  • 2021-03-28 23:26

    본 세미나는 Image에 대하여 Augmentation을 활용하여 Representation Learning을 진행하는 방법이 주제이며, 이 때 Non Linear Transformation을 활용한 Contrastive Loss를 사용하여, Generative / Discriminative 방법의 단점을 극복할 수 있습니다. 이미지들에 대하여 Augmentation을 진행한 뒤, ResNet을 Encoder로 사용하여 Vector로 나타낸 다음 같은 이미지로 부터 생성된 이미지 벡터들은 Attract, 아니면 Repel을 하는 식으로 훈련합니다. 벡터 간의 유사도를 통한 훈련은 InfoNCE loss를 활용하며 이런 Contrastive Training은 Supervised Learning에 비하여 Training Step과 Batch Size가 클수록 더 성능이 좋다고 합니다. 연구실 세미나에서 Contrastive Learning이 많이 등장하는데, 프로젝트 및 연구에 있어 성능 향상을 고민할 때 이용해볼 만한 가치가 있다고 생각하며, 개념 소개를 깔끔하게 해주셔서 감사합니다.


  • 2021-04-05 04:08

    이번 세미나에서는 A Simple Framework for Contrastive Learning of Visual Representations 논문에 대해 발표해주셨습니다. 이 논문의 방법은 SimCLR로 Data에 대해 Representation Learning을 Self-Supervised Learning기반으로 하는 방법입니다. 학습은 Data Augmentation을 활용한 Contrastive Learning 방식으로 하였습니다. Augmentation은 Positive sample과 Negative sample에 대해 모두 적용하였고 입력값으로 들어간 뒤 Non-Linear Projection을 통해 Embedding 하여 같은 Label에 대해서는 가깝게 Embedding 되도록하고 서로 다른 Label에 대해서는 멀도록 Contrastive Learning 방식으로 학습하였습니다. 이번 세미나에서는 Loss Function으로 사용되는 InfoNCE의 기반인 KL divergence에 대해 자세히 설명해주셔서 그동안 알았던 개념에 더해서 몰랐던 사실도 함께 알 수 있는 좋은 시간이었습니다. 추가적으로 CLR에서는 Batch Size가 커질수록 성능이 좋아지는 실험에 대해 설명해 주셔서 CLR의 특성에 대해 알 수 있는 좋은 기회였습니다. 좋은 발표 감사합니다.


  • 2021-04-07 16:54

    금일 세미나는 Augmentation과 Contrastive loss 활용하여 이미지의 정보를 학습하는 Representation Learining 방법론을 설명해 주셨습니다. Contrastive loss란 서로 같은 Class의 이미지의 Feature끼리는 가깝게 하고, 서로 다른 Class의 이미지의 Feature끼리는 멀게 만드는 Loss Fucntion 입니다. 즉 같은 Class의 이미지 혹은 유사한 이미지를 모델에 넣었을 때 비슷한 Feature로 표현되게 함으로써 좋은 representation을 학습하는 방법론입니다. 따라서 해당 방법론을 적용하기 위해서는 이미지의 Class 정보 또는 유사 정보가 필요합니다. SimCLR 논문에서는 사이즈 변경, 색 변경, 가우시안 노이즈 추가 등을 활용하여 원본 이미지와 유사한 이미지를 생성하고 이를 Contractive Loss로 활용합니다. 요즘 contrastive learning을 음성에 적용하는 방법에 대해 주로 공부하고 있기 때문에 이미지에서는 어떻게 적용할까 궁금했었는데 아주 유익한 세미나였습니다. 좋은 발표 감사합니다.


  • 2021-04-08 17:59

    이번 세미나는 A simple Framework for Contrastive Learning of Visual Representations에 관한 발표를 진행해 주셨습니다. 해당 논문의 핵심적인 내용은 loss에 contrastive loss를 설정하여 임베딩 스페이스에서 이미지의 임베딩을 classification에 맞게 학습시키는 직관적인 내용이나, 학습을 위한 example 설정이 augmentation을 통해 수행된다는 점이 신선했습니다. 처음에는 finetuning 개념의 학습인줄 알았는데, unsupervised 학습으로 실험 결과와 같은 성능을 냈다면 상당히 좋은 결과라고 생각합니다. Image retrieval 분야에서도 unsupervised learning이 supervised에 비해 핫하다고 알고 있는데, 오늘 소개해주신 내용을 적용해보면 어떨까 생각이 들었습니다. 굉장히 깔끔한 논문인 것 같고, 시각적인 요소를 잘 활용해서 이해가 쉽게 설명해 주셔서 감사합니다. 앞으로도 좋은 세미나 기대하겠습니다.


  • 2021-04-12 17:07

    금일 세미나 시간에는 김동화 박사과정이 “A Simple Framework for Contrastive Learning of Visual Representations” 논문을 주제로 Visual representation을 확보하기 위해 Contrastive Learning을 수행한 연구를 다루어 보았습니다. 해당 논문에서는 제안하는 SimCLR 프레임을 통해서 데이터 증가 구성이 예측을 위해 중요한 역할을 하고, representation과 Contrastive Learning loss 사이의 학습 가능한 비선형 변환을 도입하여 성능을 향상시키며, 실험적으로는 배치 사이즈를 크게 할수록 Contrastive Learning이 수월하게 진행될 수 있음을 실험적으로 보여주었습니다. 최근 세미나 등에서 Contrastive Learning이 자주 등장하는 만큼 다양한 분야의 연구들에서 고려되는 학습방법이 된 것 같습니다. 저 또한 제가 수행하고 있는 Graph 관점에서 적절한 연구활용 분야가 어디 있을지 생각해보게 되었습니다. 좋은 컨텐츠를 세미나를 통해 공유해준 발표자에게 감사의 인사를 전합니다.


  • 2021-04-13 04:16

    금일 세미나는 contrastive learning의 학습구조 ‘SimCLR’을 제안하는 논문을 바탕으로 진행되었습니다. 본질적으로 기계학습의 많은 부분이 Representation learning의 측면에서 생각될 수 있을 것 같습니다. 이러한 측면에서 본 세미나에서 representation learning에 대한 개념 소개로 시작하며, 이러한 판 위에서 학습의 과정과 모습이 설명되어 역시나 직관적인 이해를 높일 수 있었습니다. 최초의 input(original image)에서 시작해, augmentation, resnet 구조를 활용한 encoder 등을 거치는 과정을 단계별 설명이 있어 수월히 이해할 수 있었습니다. SimCLR에선 infoNCE loss를 활용하였고, 벡터내적을 활용한 유사성 개념을 적용하였습니다. 실험을 통해서 SimCLR 모델이 vision 데이터에서 대해 representation learning 성능을 향상시킬 수 있다는 점에 대해서 확인할 수 있었습니다. 본 세미나를 통해서 contrastive learning, data augmentation, representation learning, infoNCE 등 다양한 개념에 대해 이해할 수 있었습니다. 좋은 발표 감사합니다.


  • 2021-03-09 20:05

    금일 세미나는 vision에서 data augmentation을 활용한 contrastive learning에 대한 발표로 진행되었습니다. 이전 김정희 석사과정의 세미나에서의 sequence 기반의 contrastive learning과 연관지어 들을 수 있었습니다. 논문에서는 augmented data 간의 거리는 가깝게 위치하도록 하고, 서로 다른 class의 데이터의 거리는 멀어지게 위치하도록 non-linear projection 과정을 거치도록 합니다. 특히 feature를 뽑기 위해 ResNet을 활용하였고, 이후에 transformation 모듈을 추가적으로 적용합니다. 학습을 위해 InfoNCE를 loss function으로 활용하는데, 이는 2개의 벡터에 대한 KL divergence로 표현됩니다. 보다 구체적으로는 Anchor와 proposal 벡터의 내적을 통해 각 샘플 간의 유사도를 계산할 수 있습니다. 이러한 contrastive learning 방식을 활용하여 vison 에서의 representation 성능을 향상시키는 것을 결과로서 확인하였습니다. 단계별로 설명해주셔서 이해하기 좋았습니다. 항상 좋은 발표 감사합니다.


  • 2021-03-10 02:37

    이번 세미나에서는 data augmentation을 contrastive learning에 대한 내용이 다뤄졌습니다. 소개된 논문은 다양한 augmentation을 사용하고 nonlinear projection을 추가함으로써 accuracy를 높였습니다. 또한 batch size를 크게할 수록 더 좋은 성능을 보였습니다. loss는 cosine similarity를 활용하여 동일 class 쌍의 유사도를 최대한 높이는 방향으로, 즉, 임베딩 공간에서 거리를 좁히는 방향으로 학습합니다. 이 과정을 들으며 얼마 전의 세미나 주제였던 metric learning 에서의 triplet loss가 떠올랐습니다. 각 loss에 대한 장단이 있겠지만, 이번 세미나에서 소개된 논문에서는 상대적으로 간단한 contrastive loss와 함께augmentation 기법이나 batch size의 조정 등의 관점에서 성능향상을 이끌어 냈다는 점이 흥미로웠습니다. 발표 잘 들었습니다.


  • 2021-03-10 21:24

    이번 세미나에서는 A simple Framework for Contrastive Learning of Visual Representations라는 주제로 진행되었습니다. 세미나는 augmentation을 활용한 Contrastive Learning에 대한 설명과 두 가지의 KL divergence의 차이, Info Noise Contrastive Estimation(InfoNCE), Data augmentation 종류, 결과 순으로 진행되었습니다. 세미나 중간에 Forward KL divergence와 Reversed KL divergence에 대해 설명해주셨습니다. Forward KL divergence는 target distribution & predicted distribution이 0을 피하게 학습되는 반면에 Reversed KL divergence는 반대로 0이 되도록 학습되게 된다는 것을 알았으며 VAE에서 Mean field approximation을 위해 Reverse KL divergence를 활용한다는 것에 대해서도 설명해주셨습니다. 그리고 InfoNCE에 대해 설명해 주셨는데 Anchor와 proposal 벡터의 내적을 통해 유사도를 계산하고 softmax를 취하여 augment label을 예측하는 것을 알 수 있었습니다. 이번 세미나에서 Contrastive Learning을 vision 분야에서의 representation 성능을 올릴 수 있다는 것에 대한 설명과 두 가지 KL divergence의 차이, augmentation 기법들에 대한 정리 등 알찬 세미나였습니다. 좋은 발표 감사합니다.


  • 2021-03-14 12:05

    최근 제 개인연구와 관련된 여러 논문들을 살펴보고, 패션데이터 생성 프로젝트를 진행하고, 또 연구실에서 진행중인 세미나를 들으면서 contrastive learning이 참 팔방미인이구나 라는 생각이 들었습니다. 사용하지 않은 연구 분야를 찾기가 어려울 정도로 다양한 task에서 contrastive loss를 사용하고 있는데, 그만큼 다양한 task를 수행하는데 CE loss는 큰 한계가 있다고 생각합니다. 이번 세미나에서 다룬 논문에서도 이러한 contrastive loss를 활용하여 visual representation을 잘 생성하는 방식을 제안합니다. 논문 제목부터 논리 전개까지 직관적이고 태클을 걸 부분이 없다는 생각이 들어 좋은 연구라 생각하였습니다.


전체 129
번호 제목 작성자 작성일 추천 조회
공지사항
Paper Reviews 2019 Q3
관리자 | 2020.03.12 | 추천 0 | 조회 1224
관리자 2020.03.12 0 1224
공지사항
Paper Reviews 2019 Q2
관리자 | 2020.03.12 | 추천 0 | 조회 449
관리자 2020.03.12 0 449
공지사항
Paper Reviews 2019 Q1
관리자 | 2020.03.12 | 추천 0 | 조회 990
관리자 2020.03.12 0 990
126
[Paper Review] Deep GNNs (3)
Hyungseok Kim | 2021.04.16 | 추천 0 | 조회 33
Hyungseok Kim 2021.04.16 0 33
125
[Paper Review] Don't Stop Pretraining: Adapt Language Models to Domains and Tasks (3)
Takyoung Kim | 2021.04.13 | 추천 0 | 조회 45
Takyoung Kim 2021.04.13 0 45
124
[Paper Review] Uninformed Students: Student–Teacher Anomaly Detection with Discriminative Latent Embeddings (4)
Hyeyeon Kim | 2021.04.07 | 추천 0 | 조회 83
Hyeyeon Kim 2021.04.07 0 83
123
[paper Review] Contrastive Learning for Sequential Recommendation (4)
Jungho Lee | 2021.04.03 | 추천 0 | 조회 121
Jungho Lee 2021.04.03 0 121
122
[Paper Review] Deep Image Retrieval: Learning global representations for image search (5)
Kyoosung So | 2021.03.31 | 추천 0 | 조회 94
Kyoosung So 2021.03.31 0 94
121
[Paper Review] Vq-wav2vec: Self-Supervised Learning of Discrete Speech Representations (6)
Jounghee Kim | 2021.03.24 | 추천 0 | 조회 149
Jounghee Kim 2021.03.24 0 149
120
[Paper Review] Time Series Anomaly Detection with Multiresolution Ensemble Decoding (6)
Heejeong Choi | 2021.03.23 | 추천 0 | 조회 133
Heejeong Choi 2021.03.23 0 133
119
[Paper Review] QANet: Combining Local Convolution with Global Self-Attention for Reading Comprehension (8)
Jina Kim | 2021.03.19 | 추천 0 | 조회 165
Jina Kim 2021.03.19 0 165
118
[Paper Review] SOM-DST  : Efficient Dialogue State Tracking by Selectively Overwriting Memory (7)
Yukyung Lee | 2021.03.13 | 추천 0 | 조회 185
Yukyung Lee 2021.03.13 0 185
117
[Paper Review] A Simple Framework for Contrastive Learning of Visual Representations (10)
Donghwa Kim | 2021.03.10 | 추천 0 | 조회 256
Donghwa Kim 2021.03.10 0 256

Data Science & Business Analytics Lab.
School of Industrial Management Engineering
College of Engineering, Korea University

Contact Us

  • 강필성 교수 (pilsung_kang@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 창의관 801A호 
  • 대학원 연구실 (총무 이유경: yukyung_lee@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 신공학관 220호, 221호, 213호
© 2020 DSBA Lab.