[Paper Review] ICNet for Real-Time Semantic Segmentation on High-Resolution Images

Paper Review
작성자
Yunseung Lee
작성일
2021-02-19 17:11
조회
70
1. Topic

segmentation 성능 저하는 최소화하며, inference 속도를 real time 수준으로 향상시키고자 Image Cascade Network(ICNet) 를 제안합니다.

2. Overview

기존 semantic segmentation 모델들은 inference 속도가 매우 느리기 때문에 실제 application에 적용하기 힘들다는 한계점을 갖습니다. 특히 정확도 측면에서 큰 발전이 있었던 Pyramid Scene Parsing Network(PSPNet) 은 약 80% mIOU 성능을 보이지만, 속도는 0.78 fps 에 그칩니다.

이에 저해상도 이미지에 heavy CNN을 적용하여 real time 수준으로 속도를 향상시키고, Cascade Feature Fusion을 통해 성능 저하를 최소화 하고자 하는 Image Cascade Network를 제안하였습니다.

3. 발표자료 및 발표영상
  • 발표 자료: 첨부파일 참고
  • 발표 영상: 업로드 예정
4. 참고자료

첨부파일 참조
전체 5

  • 2021-02-21 16:36

    이번 세미나에서는 Segmentic segmentation에 대한 ICNet에 대해서 발표해 주셨습니다. 해당 task는 해당 픽셀이 object 인지 아닌지 구별한 class agnostic에 대한 내용이 아닌 개별 픽셀마다 target class 마다 categorization에 대한 설정으로 이루어졌습니다. PSP-net의 핵심구조는 여러개의 dilated conv를 사용하여 이미지 표현의 high resolution의 향상을 목표로 한것 같습니다. 추가적으로 1x1 conv를 사용하여 가로x 세로의 사이즈는 유지하되 채널에 의한 high dimension의 문제를 해결하고자 하는 면도 보였습니다. PSP-Net의 성능은 매우 뛰어나지만 inference 속도가 너무 느려 IC-Net이 제안이 되었습니다. IC-Net의 모델을 입력 이미지크기에 따라 다른 모델들을 연결시킴으로써 저해상도에서 고해상도로 boosting과 같은 효과를 가지도록 하였습니다. 이렇게 되면 이미지 크기에 따라 모델의 성능이 바뀌는 점에서도 robust해지는 효과도 발생되었다고 생각합니다. 좋은 발표 감사합니다.


  • 2021-02-22 16:44

    금일 세미나 시간에는 ICNet for Real-time Semantic Segmentation on High-Resolution Images의 논문을 주제로 Computer Vision분야에서 Semantic Segmentation task에 해당하는 내용을 다루어 보았습니다. Semantic Segmentation은 이미지로부터 모든 픽셀에 해당하는 Class로(사전에 정의된 개수만큼) 분류하는 것입니다. 해당 논문에서의 ICNet은 Image Cascade Network의 약자로 실시간 처리에서 강점을 가지기 위한 해당 네트워크의 특징을 잘 표현하고 있습니다. Input으로부터 연속적인 cascade feature를 결합을 통해서 최종적인 feaure map을 구성하게 되고, 이과정에서 Upsampling과 dilated convolution을 사용하였습니다. 또한, 학습과정에서의 각 branch 단계에서의 안정적인 학습을 위해서 Loss를 최종 단에서만 계산하는 것 뿐만 아니라 각 중간단계에서도 각각의 Loss를 산출하여 이를 가중치를 통해 결정하여 학습을 수행하였습니다(Cascade Label Guidance). 아무래도 cascade한 구조에서 단순 최종단계에서의 손실함수만을 적용한 것보다 실험적으로 나은 성능을 거두었기에 이러한 학습방식을 수행한 것으로 해석됩니다. 실제로 결과에서는 이러한 CLG의 유무에 따라 성능의 차이를 보이는 것을 확인하였습니다. 간만에 Vision 관련 논문을 연구실 세미나를 통해서 접할 수 있어 재미있게 잘 들었습니다. 발표자가 첫 세미나임에도 불구하고 꼼꼼하게 준비를 잘해주어 부드럽게 이해해가며 들을 수 있었습니다. 감사합니다.


  • 2021-02-22 20:08

    ㅤ오늘 세미나는 Semantic Segmentation 성능을 올린 PSPNet과, PSPNet의 속도를 개선시킨 ICNet에 발표였습니다. 먼저 Semantic Segmentation은 pixel-wise classification으로 같은 class의 물체가 있더라고 개별 object에 대해서는 고려하지 않는 task입니다. 기본적인 sematic segmentation은 encoder-decoder의 모델 구조를 가지며 encoder단에서 이미지의 정보를 축약하여 feature map을 얻고, decoder단에서는 up-sampling과 residual connection을 통해 각각의 픽셀에 대한 classification을 수행하게 됩니다. 하지만, 기존 semantic segmentation 모델들은 일반적인 convolution layer를 통해 데이터를 encoding하게 되면 context 정보 부족으로 인한 pixel 분류성능이 하락한다는 점이었습니다.
    ㅤ이를 극복하기 위해 제안된 방법이 바로 PSPNet으로 pyramid pooling module을 추가하여 다양한 사이즈의 CNN 필터에 대한 정보를 함께 사용하여 rich context를 포함한 feature map을 만들고 이를 통해 pixel classification을 하는 것이었습니다. 그리고 이때 좀 더 넓은 공간의 정보를 학습하기 위해 사용한 dilated ResNet을 사용했다고 합니다. 하지만, PSPNet은 고해상도일수록 시간복잡도가 지수적으로 증가한다는 문제가 있었습니다.
    ㅤPSPNet의 한계를 극복하기 위해 나온 모델이 ICNet으로 저해상도 이미지에는 PSPNet을 적용하여 rich semantic information을 추출하고, 고해상도 이미지는 적은 conv 연산을 통해 학습한 정보를 CFF(Cascade Feature Fusion with Cascade Label Guidance)를 통해 효율적으로 합쳐주게 됩니다. 이 과정을 통해 rich segmentation 정보를 학습하여 좋은 성능을 낼 뿐만 아니라 inference 속도가 매우 빠르게 될 수 있게 해주었습니다. 좋은 발표 들려주셔서 감사합니다.


  • 2021-02-26 01:13

    비전 도메인 세미나라서 너무 반가운 마음에 잘 들었습니다. segmentation의 정말 꾸준하게 발전이 되고 있는 분야같습니다. 그럼에도 불구하고 아직 굉장히 빠르면서 굉장히 정확한 모델은 나오지 않고 있으며 trade-off가 존재하고 있습니다. 본 논문에서도 성능에서는 그 당시 SOTA가 아니었지만, 속도대비 성능에서 매우 좋은 모습을 보였습니다. Segmentation의 경우 보통 매우 큰 사이즈의 인풋을 사용하기 때문에 real time inference가 어렵게 되는데, 본 연구에서는 casecade input을 사용하여 이를 해소하고 있습니다. 우선 작은 사이즈의 input을 사용하여 깊은 모델을 적은 cost로 학습을 진행합니다. 이렇게 대략적인 정보를 얻은 후 조금씩 큰 사이즈의 이미지를 조금씩 작은 모델에 넣음으로써 정확도는 높이고 time cost는 줄이게 됩니다. 매우 직관적이고 논리적으로 반박하기 어려운 접근이라는 생각이 들었습니다.
    진행하고 있는 개인연구도 이러한 방식에서 시작해 real time으로 탐지할 수 있다면 충분히 가능성 있는 주제가 될 것 같다고 생각합니다.


  • 2021-02-26 17:59

    금일 세미나에서는 Semantic Segmentation 방법론 중 하나인 ICNet에 대해 설명해 주셨습니다. 해당 논문은 큰 receptive field로 때문에 속도가 느린 이전 논문 PSP-Net의 단점을 해결하고자 성능 저하 최소화하면서 real-time 속도를 최대화 하는 모델을 제시하였습니다. 해당 논문에서 속도를 향상시키기 위하여 저해상도의 이미지에만 heavy CNN을 적용하였습니다. 또한 저해상도의 이미지에만 heavy CNN을 적용했을때 성능 하락하는 단점을 극복하고자 Cascade Feature Fusion을 적용하였습니다. 이 두가지 방법을 통해 실시간으로 Semantic Segmentation이 가능하면서도 높은 정확도를 갖추었다는 것을 실험적으로 증명하였습니다. 모델의 성능도 중요하지만 제품으로 활용하기 위해서는 inference 속도도 매우 중요합니다. 따라서 ICNet과 같은 속도를 고려한 논문이 필요하다고 생각합니다. 좋은 발표 감사합니다.


전체 117
번호 제목 작성자 작성일 추천 조회
공지사항
Paper Reviews 2019 Q3
관리자 | 2020.03.12 | 추천 0 | 조회 1024
관리자 2020.03.12 0 1024
공지사항
Paper Reviews 2019 Q2
관리자 | 2020.03.12 | 추천 0 | 조회 332
관리자 2020.03.12 0 332
공지사항
Paper Reviews 2019 Q1
관리자 | 2020.03.12 | 추천 0 | 조회 826
관리자 2020.03.12 0 826
114
New [Paper Review] BatchEnsemble: An Alternative Approach to Efficient Ensemble and Lifelong Learning (1)
junghoon lee | 2021.02.26 | 추천 0 | 조회 30
junghoon lee 2021.02.26 0 30
113
[paper Review] GNNExplainer: Generating Explanations for Graph Neural Networks (1)
Hoonsang Yoon | 2021.02.24 | 추천 0 | 조회 69
Hoonsang Yoon 2021.02.24 0 69
112
[Paper Review] OOD Detection Using an Ensemble of Self-Supervised Leave-out Classifiers (1)
Kyoungchan Park | 2021.02.23 | 추천 0 | 조회 55
Kyoungchan Park 2021.02.23 0 55
111
[Paper Review] FreeLB: Enhanced Adversarial Training for Natural Language Understanding (1)
Myeongsup Kim | 2021.02.19 | 추천 0 | 조회 83
Myeongsup Kim 2021.02.19 0 83
110
[Paper Review] ICNet for Real-Time Semantic Segmentation on High-Resolution Images (5)
Yunseung Lee | 2021.02.19 | 추천 0 | 조회 70
Yunseung Lee 2021.02.19 0 70
109
[Paper Review] Geometic Graph Convolutional Networks (11)
Hyungseok Kim | 2021.02.09 | 추천 0 | 조회 184
Hyungseok Kim 2021.02.09 0 184
108
[Paper Review] Latent Space Autoregression for Novelty Detection (14)
Hyeyeon Kim | 2021.02.07 | 추천 0 | 조회 129
Hyeyeon Kim 2021.02.07 0 129
107
[Paper Review] Data-Distortion Guided Self-Distillation for Deep Neural Networks (15)
Takyoung Kim | 2021.02.05 | 추천 0 | 조회 152
Takyoung Kim 2021.02.05 0 152
106
[Paper Review] DisenHAN: Disentangled Heterogeneous Graph Attention Network for Recommendation (15)
Jungho Lee | 2021.02.03 | 추천 0 | 조회 125
Jungho Lee 2021.02.03 0 125
105
[Paper Review] Representation Learning with Contrastive Predictive Coding (15)
Jounghee Kim | 2021.02.01 | 추천 0 | 조회 161
Jounghee Kim 2021.02.01 0 161

Data Science & Business Analytics Lab.
School of Industrial Management Engineering
College of Engineering, Korea University

Contact Us

  • 강필성 교수 (pilsung_kang@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 창의관 801A호 
  • 대학원 연구실 (총무 이유경: yukyung_lee@korea.ac.kr)
    서울특별시 성북구 안암로 145 고려대학교 자연계캠퍼스 신공학관 220호, 221호, 213호
© 2020 DSBA Lab.