[Paper Review] Revisiting Local Descriptor based Image to Class Measure for Few shot Learning

작성자
Joongmin Park
작성일
2020-07-30 11:00
조회
285
1. Topic
  • Revisiting Local Descriptor based Image to Class Measure for Few shot Learning
2. Overview
  • 사람의 사고과정과 유사하게 딥러닝 모델도 학습하고자 합니다. 이를 통해 현실에서 빈번하게 발생되는 Limited data에 대한 대처가 가능합니다. 이에 대한 여러 연구 방향을 소개하며 그 중 Few-shot learning의 흐름에 대해 소개하였습니다. 해당 논문인 DN4은 Metric-based 방법론으로 Episode training 과정에서 기존에 Support sets & Query sets 비교를 할 때, Limited data 특성상 좀 더 획기적인 비교하기 위해 Local descriptor를 이용한 방법을 제시합니다.
3. 발표자료 및 발표영상
4. 참고문헌
  • 발표자료 내 별도 정리
전체 13

  • 2020-07-31 12:41

    이번 세미나는 few shot learning의 상황일 때 local descriptor를 사용한 DN4를 소개하는 세미나였습니다. 처음보는 개념인 local descriptor에 대한 수식을 자세하게 설명해주셔서 어떤 개념인지 이해가 됐고 d 차원의 local descriptor가 어떤 형태인지, 기존의 convolution feature map과 차원적인 측면과의 다른점이 뭔지를 알 수 있던 세미나였습니다. 또한 세미나 초반에 사람과 같이 데이터가 별로 없는 상태에서 모델을 training을 하려면 어떤 방법이 있는지 3가지로 소개해주셔서 관련 지식을 쌓는데 도움이 됐습니다. 감사합니다.


  • 2020-08-02 20:34

    Metric-based Few-shot learning과 관련된 알고리즘인 DN4에 대한 세미나를 들었습니다. 일반적인 Metric-based learning은 Query set이 들어왔을 때 함께 들어온 label이 존재하는 Support Set 데이터와의 거리를 비교해 어떤 데이터와 가장 가까이에 있는지 측정하고, 이를 통해 해당 class를 query set 데이터에 부여합니다. few-shot learning은 말 그대로 학습 데이터가 적은 상황이기 때문에 metric을 잘 설정하는 것이 중요하며 어려운 task입니다. 본 논문에서는 전통적인 computer vision에서 사용되는 local descriptor라는 개념을 가져왔습니다. 지역적 불변 특징량(local invariant feature descriptor)라고도 불리는 local descriptor는 이미지에서 지역적인 특징을 뽑아냅니다. 따라서 SIFT, SURF, ORB등의 다양한 local descriptor를 사용한다면 한 개의 이미지에서 다양한 feature를 뽑을 수 있게 됩니다. 논문에서는 query set이 주어졌을 때 가장 확률값이 높은 클래스를 찾는 것이(argmax c P(C|Q)) query가 주어졌을 때 특정 descriptor가 등장할 확률(P(d|Q))과, class가 주어졌을 때 그 descriptor가 등장할 확률(P(d|C)) 간의 KL-divergence가 가장 작은 class를 찾는 문제와 동일하다는 것을 증명합니다. 즉 query가 주어졌을 때 query의 descriptor와 가장 유사한 descriptor를 갖는 support data를 찾고 해당 데이터의 class를 query에 부여하는 것이 local descriptor를 사용하는 metric learning의 본질입니다. 논문에서는 CNN의 중간 feature map에서 각 pixel 하나가 local descriptor의 역할을 수행한다고 합니다. 즉 21 x 21짜리 activation map이 64개 있다고 할 경우 64차원을 갖는 local descriptor들이 441개 존재하게 됩니다. 이를 통해 한 개의 이미지를 441개의 local descriptor로 표현할 수 있게 되었으며 이제 support set과 query set의 local descriptor간의 cosine similarity를 계산해 Nearest Neighbor를 수행합니다. feature map의 pixel 하나씩을 비교하는 아이디어가 참신하다고 느꼈습니다. 일반적으로 similarity를 계산한다면 이미지의 단일 벡터를 구한 뒤 kernel이나 cosine similarity를 사용하는 방법을 주로 생각하는데 이처럼 데이터를 다양한 feature로 나눈 후 knn을 이용하는 방법은 간단함에도 robust하고 높은 성능을 낼 수 있겠다는 생각이 들었습니다.


  • 2020-08-03 15:53

    이번 세미나는 적은 레이블로 구성되어 있는 데이터셋에 대해 학습하는 방법 중 하나인 Few-shot learning에 관련된 발표였습니다. Few-shot learning을 다른말로는 N-개의 클래스에 대해 각 클래스별 K-개의 레이블된 샘플이 있는 경우에는 “3-Way 2-Shot Learning”이라고 합니다.

    이번 세미나에서 소개한 논문은 Few-shot learning에서 이미지의 밝기, 색상, gradient 방향 등의 Local descriptor라는 정보를 사용하여 성능을 높인 논문입니다. 해당 논문에서는 Conv layer를 거치고 나온 feature map을 descriptor로 사용하여 이러한 descriptor를 가지고 k-NN을 적용하여 유사한 k개의 descriptor의 코사인 유사도의 총합을 통해 classification 을 수행하게 됩니다.
    Few-Shot Learning에 대해 꾸준히 연구하는 자세가 대단하다고 생각되며, 좋은 발표 감사합니다.


  • 2020-08-03 17:02

    발표자가 꾸준히 few shot learning에 대해서 발표해주셔서 개념을 조금씩 잡아가고 있습니다. 본 논문에서는 마지막 feature map을 flatten하여 vector로 사용하던 기존의 방법 대신 마지막 feature map의 pixel별로 feature map의 channel 만큼의 크기를 가지는 vector를 사용하고 있습니다. 이 부분이 기존 연구에 비해 가장 새로웠던 부분이었습니다. 개인적으로 한 가지 들었던 생각은 이런식으로 실험을 진행하는 경우 마지막 feature map의 크기에 따라 성능차이가 민감할수도 있을 것 같다는 점이었습니다. 이러한 부분에 대한 ablation study가 부족한 점이 아쉬웠습니다.


  • 2020-08-03 22:29

    이번세미나는 Revisiting Local Descriptor based Image-to-Class Measure for Few-shot Learning을 주제로 진행되었습니다. Meta learning 관련해서 꾸준히 세미나를 진행해주셔서 새로운 개념들을 알게되는것 같습니다. Meta learning은 support set과 query set을 구축하고 여러개의 episode로 구성하여 학습을 진행합니다. 이미지데이터에 대해 fewshot learning을 진행할 때 local descriptor를 추출하여 pixel단위로 feature를 추출한 후 classification을 진행합니다. 하지만 support set과 query set의 local descriptor를 모두 비교하여 classification을 진행하는것은 새로운 방법이라 생각했으며, 하나의 이미지에서 하나의 feature를 뽑는것 보다 다양한 feature를 고려할 수 있는 방법이라 생각했습니다. 하지만 support set과 query set의 local descriptor를 하나씩 비교하는것은 computational cost가 상당할것으로 예상되며 KNN에서도 상당한 computational cost가 발생하지않을까 생각하였습니다. (+보충 : 하지만 "In defense of nearest-neighborbased image classification"논문에서의 계산량에비해 훨씬 효율적인 방법으로 classification을 수행할 수 있다는게 본 논문의 contribution이며 하나의 클래스당 적은 갯수의 샘플을 뽑기때문에 계산복잡도가 매우 높지는 않다고 논문에 명시되어있었습니다) 발표 감사드리며 발표 후 질문에도 세심하게 답변해주셔서 감사합니다 !


  • 2020-08-04 15:42

    Few-shot learning 수행 시 적은 라벨 정보로 인한 성능 저하를 해소하기 위한 기법에 관한 발표였습니다. 예전 발표에서는 few-shot learning의 N-way N-shot과 같은 셋팅들도 이해하지 못했었는데, 발표자분이 지속성을 같고 개인연구를 진행하고 있어서 관련 분야에 관한 지식이 늘어나는 느낌이 들었습니다. 오늘 발표의 핵심은 few-shot learning 수행 시 적은 라벨 정보를 보완하기 위해 CNN-layer에서 flatten을 수행하지 않고, local descriptor를 이용하여 feature-map level에서 support set과 query set의 유사도를 측정해야 한다는 것이었습니다. 처음 해당 방법론에 관한 설명을 들었을 때에는 지나치게 이미지 분류에 특화된 방법론이 아닌가 하는 생각이 들었으나, 우선 few-shot learning 분야 자체가 이미지 분류를 주요 과제로 하고 있다는 점에서 현재 시점에서는 의미가 있는 발표라는 생각이 들었고, 방법론을 조금 더 일반화하면 텍스트 도메인에도 적용해 볼 수 있지 않을까 싶습니다. 최근 GPT-3와 같은 모델들이 few-shot learning을 메인 콘텐츠로 제시하면서 few-shot learning에 대한 관심이 늘어나고 있는데, 저도 텍스트와 관련한 few-shot learning 방법론에 대해서도 고민해봐야겠다는 생각이 들었습니다. 발표 감사합니다.


  • 2020-08-04 17:41

    이번 세미나에서는 Few Shot Learning의 기법 중 하나로, Local Descriptor를 이용하는 Deep Nearest Neighbor Neural Network(DN4)에 대해 소개합니다. 모델의 설명에 앞서 우수한 성능을 내는 딥 러닝 모형을 만들기 위해서는 대량의 Labeled Data가 필요하며, 이는 모델의 개발 비용을 증가시킨다는 문제점과, 이를 해결하기 위해 사람의 학습 방식을 모방한 3가지 학습 방식에 대해 설명해 주시어 Few Shot Learning의 필요성에 대해 다시 한번 인지할 수 있었습니다.
    DN4 모델에서는 CNN의 중간 Feature Map에서 이미지의 다양한 특색을 나타내는 Local Descriptor를 추출한 뒤 KNN을 이용하여 Support Set 중에 가장 가까운 Data의 Class를 부여하는 방식으로 Few Shot Learning을 수행하였으며, 이를 위해 CNN의 마지막 Feature Map에서 Flatten을 사용하지 않고 Feature Map을 그대로 사용하는 방식을 채택했습니다. 상당히 직관적인 방법론으로 좋은 성능을 낸 논문이라는 생각이 들었으며, 발표자께서 해당 분야의 큰 흐름을 계속해서 잡아 주시어 이해에 많은 도움이 되었습니다. 감사합니다.


  • 2020-08-04 21:57

    본 세미나에서는 Meta Learning관련해서 Few-shot learning 수행 시 적은 라벨 정보로 인한 성능 저하를 해소하기 위한 DN4(Deep Nearest Neighbor Neural Network)논문에 대해서 다루어 보았습니다. 해당 논문에서 가장 핵심이 되는 내용은 CNN-layer에서 flatten을 수행하지 않고, local descriptor를 이용하여 feature-map level에서 support set과 query set의 유사도를 측정하여 가장 적절한 Support Set을 찾는 것입니다. 발표자가 계속해서 이쪽분야에 대한 연구를 계속 진행하면서, Meta Learning 혹은 few-shot Learning 관점에서 아직 생소한 개념등을 알기 쉽게 설명해주어 매우 친절한 세미나 였다고 생각됩니다. 앞으로도 좋은 연구내용으로 찾아볼수 있었으면 좋겠습니다. 감사합니다.


  • 2020-08-05 09:27

    본세미나에서는 새로운 데이터에 대해서 학습을 잘할 수 있게 하는 메타러닝에 관련된 발표였습니다. DN4은 Metric-based 방법론으로 Episode training 과정에서 n way k shot일때 n개의 클래스에 대해서 k개의 이미지를 학습하는 구조 support set n개와 query set k개로 이루어져 있었습니다. 기존의 episode 비교를 할 때, local descriptor를 이용한 방법을 제시하였는데 global average pooling으로 feature map을 단순히 풀링하는 것보다 개별적으루 d-dimensional의 local feature로 사용해 거리기반의 metric으로 학습하는 것이 정보를 잘 가지고 다양하게 표현 할 수 있다는 것을 알 수 있었습니다.


  • 2020-08-05 21:04

    본 세미나를 통해서 과연 머신러닝 모델은 어떤 방식으로 작동하는가에 대한 고찰을 하게 되었습니다. 조금 다르지만 OOD detection 및 uncertainty 쪽 논문을 많이 살펴보면서 생각보다 더 머신러닝 모델은 알려주지 않은 정답(즉 label)에 대해서 전혀 알지 못할 가능성이 크다는 것 이었습니다. 이것이 머신러닝의 근본적인 한계라고도 생각이 드는데 발표하신 few-shot learning 같은 경우에도 이런 근본적인 한계를 해결하고자 하는 연구 분야라고 생각이 됩니다. 근본적인 한계점에 대한 연구이니만큼 이 분야에서 성과를 내는 것은 매우 도전적인 일이 될 것 같은데 반대로 생각하면 가장 필요하면서도 영향력이 클 수 있는 연구 분야라는 생각도 듭니다. 또한 근본적인 부분을 다루다보니 꼭 이 분야에 관심이 없더라도 다른 쪽 연구를 진행함에 있어서 이쪽에서 설명하는 논리에 대한 것을 알고 있으면 많은 도움이 될 수 있을 것 같다는 생각을 하였습니다.


  • 2020-08-06 13:31

    이번 세미나의 주제는 적은 데이터로 모델의 성능을 끌어올릴 수 있는 방법중 하나인 Few shot learning을 Image Task 적용한 논문입니다. 해당 논문은 이미지를 Conv Layer에 통과시켜 Feature Map을 Descriptor로 사용합니다. K-NN을 적용하여 각 Feature를 Cosine Distance를 이용하여 Classification을 진행합니다. 재미있는 아이디어이지만 Feature Map을 뽑기 위해 사용하는 Conv의 구조나 특징에 따라 성능이 크게 변하기 때문에 해당 내용을 좀 더 연구했더라면 좋겠다는 생각을 하였습니다. 발표 감사합니다.


  • 2020-08-14 12:53

    박중민 석사과정의 세미나 발표를 들었습니다. 오늘 발표해주신 논문은 Revisiting Local Descriptor based Image-to-Class Measure for Few-shot Learning 입니다. 해당 논문은 Metric-based learning 방식으로 기존에 컴퓨터 비전 분야에서 많이 사용되던 SURF, SIFT 등의 알고리즘 픽셀 단위로 Keypoint 들을 Local Descriptor로 활용하여, Few-shot Learning 의 가장 어려운 부분인 각 Class 별 데이터가 적은 문제를 어느 정도 해결 할 수 있다는 의견을 제시한 논문이었습니다. 최근 GPT-3 발표 이후 Few-shot Learning에 대해서 관심이 많이 생기게 됐는데 오늘 이 분야에 대해서 히스토리와 최신 동향을 쉽게 잘 설명해주셔서 많은 도움이 되었습니다.. 발표 잘 들었습니다. 감사합니다.


  • 2020-08-14 13:07

    금일 발표는 "Revisiting Local Descriptor based Image to Class Measure for Few Shot Learning"라는 주제로 진행되었습니다. 본 발표는 박중민 석사과정이 지속적으로 연구하고 있는 few shot learning 분야의 방법론으로 episode training 과정에서 support와 query sets을 더 효과적으로 비교하기 위해 local descriptor를 사용하였습니다. 본 발표 중 limited data에서 보다 더 많은 정보를 추출하기 위해 사용한 local descriptor에 대해 처음 접하게 되어 흥미로웠고, 효과적으로 정보를 추출해야할 상황을 접하게 된다면 이 방법론을 사용해봐야겠다는 생각이 들었습니다. 또한, few shot learning에서 효과적인 샘플링에 대한 내용들이 언급되는데 이러한 방법론들을 제가 연구하고 있는 lifelong learning에도 접목시킬 수 있을 것 같다는 생각도 들었습니다. 흥미로운 발표를 진행해 준 발표자에게 감사드립니다!


전체 129
번호 제목 작성자 작성일 추천 조회
공지사항
Paper Reviews 2019 Q3
관리자 | 2020.03.12 | 추천 0 | 조회 1223
관리자 2020.03.12 0 1223
공지사항
Paper Reviews 2019 Q2
관리자 | 2020.03.12 | 추천 0 | 조회 449
관리자 2020.03.12 0 449
공지사항
Paper Reviews 2019 Q1
관리자 | 2020.03.12 | 추천 0 | 조회 990
관리자 2020.03.12 0 990
76
[Paper Review] Madnet: Using a mad optimization for defending against adversarial attacks (20)
Kyoungchan Park | 2020.10.09 | 추천 0 | 조회 289
Kyoungchan Park 2020.10.09 0 289
75
[Paper Review] Model agnostic Few shot learning (18)
Joongmin Park | 2020.10.07 | 추천 0 | 조회 438
Joongmin Park 2020.10.07 0 438
74
[Paper Review] Syntax and Semantics in Language Model Representation (18)
Myeongsup Kim | 2020.09.29 | 추천 0 | 조회 403
Myeongsup Kim 2020.09.29 0 403
73
[Paper Review] Unsupervised Graph Anomaly Detection (19)
Hyungseok Kim | 2020.09.25 | 추천 0 | 조회 533
Hyungseok Kim 2020.09.25 0 533
72
[Paper Review] Evaluation Metrics for Time Series Anomaly Detection (19)
Gyuwon Cho | 2020.09.23 | 추천 0 | 조회 513
Gyuwon Cho 2020.09.23 0 513
71
[Paper Review]Graph based Anomaly Detection (19)
Hyeyeon Kim | 2020.09.17 | 추천 0 | 조회 612
Hyeyeon Kim 2020.09.17 0 612
70
[Paper Review] MultiSAGE - Spatial GCN With Contextual Embedding (19)
Jungho Lee | 2020.09.15 | 추천 0 | 조회 713
Jungho Lee 2020.09.15 0 713
69
[Paper Review] Spectral-based Graph Convolutional Networks(GCN) (18)
Jonghyun Choi | 2020.09.08 | 추천 0 | 조회 1671
Jonghyun Choi 2020.09.08 0 1671
68
[Paper Review] Text Augmentation (18)
Jounghee Kim | 2020.08.30 | 추천 0 | 조회 1107
Jounghee Kim 2020.08.30 0 1107
67
[Paper Review] Deep Semi-Supervised Anomaly Detection (10)
Heejeong Choi | 2020.08.29 | 추천 0 | 조회 1638
Heejeong Choi 2020.08.29 0 1638

Data Science & Business Analytics Lab.
School of Industrial Management Engineering
College of Engineering, Korea University

Contact Us

  • 강필성 교수 (pilsung_kang@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 창의관 801A호 
  • 대학원 연구실 (총무 이유경: yukyung_lee@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 신공학관 220호, 221호, 213호
© 2020 DSBA Lab.