2019 International Conf. on Computer Vision - 천우진

ICCV
작성자
관리자
작성일
2020-03-12 13:57
조회
107

안녕하세요, 저는 DSBA 연구실의 석사과정 3학기에 있는 천우진입니다.이번에 다녀온 학회는 ‘International Conference on Computer Vision’, ICCV 라고 하는 세계적인 컴퓨터 비전 학회였습니다.사실 저는 자연어 처리나추천 시스템에 대한 내용을 중심으로 공부를 하고 있었고,컴퓨터 비전과 관련한 공부는 아주 기초적인 논문에 대한 이해만 가지고 있는 상태였습니다.그래서 이 학회가 탑티어의 컨퍼런스이기 때문에, 매우 뛰어난 논문들에 대한 발표가 있을 것이라고 생각하여 미리 듣고 싶은 내용들에 대해 선정해놓고 따라갈 수 있도록 조금의 공부를 더 하여 참석했습니다.

삼성 코엑스에서 개최된 국제적인 학회이니만큼, 자부심과 열정을 가지고, 한편으로는 조금의 설레임과 걱정을 안고 코엑스로 향했습니다.셀 수도 없을만큼 많은 사람들이 더 많은 지식을 얻으려 학회장 여기저기를 다니고 있었습니다.복도에는 논문의 내용들이 정리된 포스터들이 붙어있었고,많은 발표자들이 그 앞에서 설명을 해주고 있었습니다. 저는 튜토리얼이 포함된 자격을 신청했기 때문에 튜토리얼 기간에 코엑스로 향했습니다.

튜토리얼 기간에는 다양한 주제를 바탕으로 여러 논문들이 소개되었습니다. 제가 첫 번째로 관심있게 다니면서 들었던 세션은 Image Recognition과 Localization에 관련된 내용이었습니다.이 분야를 튜토리얼 기간에 선택한 이유 중 하나는, 제가 처음으로 연구실에서 공부하여 발표를 했던 분야가 Object Detection과 Localization이었기 때문입니다. 이와 관련된 강의를 부분부분 찾아들었고 포스터 세션도 몇 개 찾으면서 보았으나, 가장 흥미롭게 보았던 세션은 Landmark recognition이었습니다. 기존에 존재하는 많은 image recognition과는 다른 task인 것이 우선 이미지 object의 크기가 너무 커서 한 사진에 담으면 그 정보가 손실될 수 있는 task였습니다. 그래서 여러 각도에서 찍은 사진들을 통해 해당 object의 클래스를 맞춰야하는 task로, 사실 이번 학회에서 처음 접한 task였습니다.

 해당 task에 대해서 초기의 논문들부터 현재의 연구까지 순차적으로 소개되었습니다. PCA Whitening과 supervised whitening으로 인한 성능향상을 시작으로, adversarial attack을 통한 개선, negative sampling을 기반으로 training을 진행한 연구, Convolution Neural Network로부터 얻어낸 피처들을 이용한 regression등이 소개되었습니다. 사실 여기까지는 제가 접해온 다른 image관련 task들에 대한 연구에서 많이 공부했었던 내용들이라 부담없이 들을 수 있었습니다. 그러나 재미있게 들은 방법론은 VPS로 Vocabulary-based Prioritized Search로, 인풋 이미지에 대해서 해당 이미지가 전체 object의 어떤 부분에 해당되는지에 대해 나타내는 임베딩이었습니다. 해당 부분의 클래스에 대한 매칭이 매우 정확하게 localize 할 필요도 없어서 성능 개선이 된 것 같아보여 신기했습니다. 새로운 인풋 이미지에 대해 query를 통해 각각의 이미지를 3d 형태의 트리 모델에 매칭해서 전체 object의 클래스를 예측하는 recognition을 진행하는 것이었습니다.

 다음으로 신기하게 들었던 부분은 3D의 object를 이미지화하다 보면 이미지에서 보이지 않는 부분을 예측하여 recognition하는 것이 중요한데, 이를 visibility graph라고 하는 형태의 모델을 통해 뒷 부분을 찾아내는 방법론을 사용했습니다. 다양한 시점에서 찍은 이미지들을 보고 object의 각 모서리들을 노드로써 나타내고, 해당 노드들에 대해 clustering을 진행해서 image를 retrieval하는 과정을 거치는 것이었습니다. 이또한 object의 scale이 너무 크기 때문에 이렇게 진행할 수 밖에 없는 것이었는데, graph 기반으로 예측을 해낸다는 점과, 예측된 뒷부분에 대한 정보로 target class를 제대로 recognize한다는 사실이 정말 흥미로웠습니다.

 그 다음으로 재미있게 들은 것은 Long-term visual localization으로, 한 위치에서 시간의 흐름에 따라 어떻게 변화하는지에 대해 파악하는 task였습니다. 예를 들어, 한 랜드마크에 대해 1년간의 이미지를 길게 관찰해보면, 해가 쨍쨍했다가 단풍이 보이다가, 눈이 보이는 식의 데이터를 볼 수 있게 됩니다. 그래서 이 데이터셋을 통해서 그러한 변화를 잡아내고 원래의 object들을 찾아내는 task라고 이해해서 정말 재미있게 들었습니다.

 이어서 나타난 task는 indoor의 이미지를 추정하는 task였는데, 이 task가 정말 어려운 이유는 방 하나의 사진이 아니고 한 건물의 내부의 구조와 내부상황들에 대해 인지하는 것이기 때문입니다. 큰 구조물은 위에서 크게 찍으면 되지만 실내의 구조는 그렇게 할 수 없으며, 여러 각도로 휘어있는 구조의 경우 여러 사진을 통해서 추정해야 되기 때문에 어려워 보였습니다. 그래서 특정 point들을 기준으로 데이터들을 수집하고, graph기반이나 다양한 방법론들을 통해 3d의 구조를 만들어내는 것이 정말 재미있었습니다.

 본 학회 기간 동안에는 다양한 주제의 oral session들을 찾아 들었는데 사실 한 연구들에 대해 3분이라는 시간에 너무 짧게 짧게 소개가 되어서 정확하게 파악할 수는 없었지만 좋은 경험이었습니다. 왜냐하면 짧은 기간에 자신들의 contribution은 기반으로 설명을 하는데 그를 빠르게 캐치하고 아이디어를 이해하는 것만 해도 다양한 insight를 얻게 되는 지식 습득에 큰 도움이 되었기 때문입니다. 간단하게 기억에 남는 여러 세션들에 대해 적어보겠습니다.

 먼저 ‘Local aggregation for visual embeddings by unsupervised’ 이라는 연구였는데, 이 연구의 시작은 다음과 같았습니다. image embedding을 만들 때 label이 있으면 용이하지만 label data는 비싸고 구하기 힘들기 때문에, 이에 대한 임베딩 label을 unsupervised learning을 통해 만들고자 한다는 것입니다. 생각보다는 간단한 아이디어로, Deep Convolution Neural Network를 통해 임베딩을 먼저 진행하고, 얻어낸 피처 임베딩으로 K-means clustering을 진행했습니다. 그래서 해당 클러스터에 대한 정보를 바탕으로 aggregation하여 전체 이미지에 대한 label을 얻어내서 검증을 해낸 연구였습니다.

 다음은 ‘interpretable object detection model’이라는 모델로 object를 탐지해내는 모델의 설명력을 부여하는 연구였습니다. 기존에 이미 Grad-CAM과 같은 방식이 있었지만 이 연구에서 제시한 방식은, CNN 구조를 통해 얻은 latent feature vector들을 그래프 방식으로 표현한 후, 노드 사이의 관계와 구조를 통해 이미지를 표현해내는 것이었습니다. 그런 다음 이미지가 들어왔을 때, 각 conv 층에서 피처들이 어떤식으로 변화하는지에 대한 정보를 연산을 통해서 나타내고 그 정보를 그래프상에서 표현해낼 수 있기 때문에, 해당 detection에 대한 근거가 제시되는 것이었습니다.

 그 다음은 튜토리얼에서 들었던 연구와 유사한 주제로 ‘scale-aware trident networks for object detection’ 였습니다. object detection에서 이미지 크기에 크게 영향을 받기 때문에, 이미지의 크기를 normalization이나 resize 등으로 다양하게 변환하기도 하고 feature pyramid 구조를 통해 개선해왔습니다. 이 연구에서는 trident network라고 하는 구조를 통해 다양한 크기의 object를 각각 다른 layer에서 탐지한 뒤 합치는 방식을 취했습니다. 일반 적인 deep network의 구조처럼 하나의 줄기를 통해 학습하는 것과는 다르게 세 줄기로 나누어서 object의 결과물을 합친다는 것이 가능할까 라고 생각하면서 흥미롭게 들었습니다.

 다음은 ‘instance labeling for weakly supervised object detection’ 라는 연구인데, 이미 존재하는 레이블에 대한 의구심을 갖고 문제를 해결한 연구였습니다. supervised classifier로 레이블이 명확치 않은 데이터에 대해 분류하면 성능이 좋지 않다고 합니다. 왜냐하면 특정 물체에 대해만 label 이 되어 있으면 다른 object에 대해서 negative sample로 학습이 될 수 있기 때문입니다. 따라서 이렇게 noisy한 image를 해결하기 위해, iou기준으로 낮은 region에 대해서만 negative로 삼는 다는 메커니즘 이었습니다. 그러나 특정 수치보다도 낮게 되면 다른 object일수 있으니 그 이하는 따로 labeling하지 않는 방법을 통해 개선을 한 연구였습니다.

 마지막으로 소개할 연구는 ‘memory-based neighborhood embedding for visual recognition’이었습니다. 메모리 네트워크를 통해 각 부분의 neighbor에 대한 정보를 저장하고 이를 tree-graph로 표현했습니다. 각 부분들은 CNN 구조를 통해 얻은 피처들이었고, 트리 그래프의 정보를 이용해서 해당 이미지에 대해 표현을 한 것이었습니다. 이미지 자체를 latent feature만으로 나타내는 것이 아니고, 피처간의 관계를 구조적으로 나타낸 tree를 통해서 나타내어 성능을 개선했다는 점이 놀라웠습니다.

 이외에도 여러 oral session을 들으면서 느낀 것은, 자신들이 진행한 연구에 대한 소개를 짧은 시간에 해내는 것이 매우 어렵고 중요하다는 것이었습니다. 비슷한 난이도의 연구이지만 어떤 사람의 발표는 3분내에 문제 정의부터 기존 방법에 대한 문제점, 그리고 그에 대한 개선점과 실험결과 까지 compact하게 소개하는 반면, 어떤 사람은 3분내내 어떤 이야기를 하고 싶어하는지 파악하지 못하는 경우도 매우 많았기 때문입니다. 물론 다들 엄청난 아이디어와 혁신적인 생각들을 통해 연구를 진행해온 점에서 그 열정들을 매우 높게 사서 배워야겠다고 느끼기도 했습니다. 살면서 이렇게 큰 해외저널의 학회에 가볼 수 있는 경험을 해서 매우 좋았고, 앞으로 열심히 연구해서 저 자리에 설 수 있는 날이 오면 어떨까 하는 생각도 해보았습니다.

전체 0

전체 181
번호 제목 작성자 작성일 추천 조회
12
2019 International Conf. on Computer Vision - 천우진
관리자 | 2020.03.12 | 추천 0 | 조회 107
관리자 2020.03.12 0 107
11
2019 International Conf. on Computer Vision - 이정호
관리자 | 2020.03.12 | 추천 0 | 조회 59
관리자 2020.03.12 0 59
10
2019 International Conf. on Computer Vision - 정민성
관리자 | 2020.03.12 | 추천 0 | 조회 55
관리자 2020.03.12 0 55
9
2019 International Conf. on Computer Vision - 최종현
관리자 | 2020.03.12 | 추천 0 | 조회 108
관리자 2020.03.12 0 108
8
2019 International Conf. on Computer Vision - 서승완
관리자 | 2020.03.12 | 추천 0 | 조회 59
관리자 2020.03.12 0 59
7
2019 International Conf. on Computer Vision - 최희정
관리자 | 2020.03.12 | 추천 0 | 조회 103
관리자 2020.03.12 0 103
6
2019 International Conf. on Computer Vision - 양우식
관리자 | 2020.03.12 | 추천 0 | 조회 111
관리자 2020.03.12 0 111
5
2019 International Conf. on Computer Vision - 이정훈
관리자 | 2020.03.12 | 추천 0 | 조회 449
관리자 2020.03.12 0 449
4
2019 International Conf. on Computer Vision - 박중민
관리자 | 2020.03.12 | 추천 0 | 조회 86
관리자 2020.03.12 0 86
3
2019 International Conf. on Computer Vision - 김형석
관리자 | 2020.03.12 | 추천 0 | 조회 110
관리자 2020.03.12 0 110

Data Science & Business Analytics Lab.
School of Industrial Management Engineering
College of Engineering, Korea University

Contact Us

  • 강필성 교수 (pilsung_kang@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 창의관 801A호 
  • 대학원 연구실 (총무 이유경: yukyung_lee@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 신공학관 220호, 221호, 213호
© 2020 DSBA Lab.