Image Segmentation Survey [1]

들어가며

Image Segmentation에 어떤 논문들이 있는지 overview해보고자 survey논문부터 읽고자 합니다. 참고한 논문은 Image Segmentation Using Deep Learning: A Survey입니다. 앞으로 사용할 여러 figure, table들은 기본적으로 출처가 이곳이라고 생각해주시면 좋을 것 같습니다.

1.INTRODUCTION

1.1. Image Segmentation task를 어떤 문제로 정의했는지에 대해, Segmentation 종류에 따라 설명해주었습니다.

• Sementic Segmentation: class만 구분
  • classifing pixels with semantic labels
• Instance Segmentation: 객체를 구분 (객체1, 객체2, ... )
  • partitioning of individual objects
• • bothPanoptic Segmentation: class와 instance를 구분 (개1, 개2, 고양이1, ...

(지금까지 저는 Panoptic Segmentation이 Instance Segmentation으로 알고 있었는데, 아니어서 조금 놀랐습니다. 블로그 링크를 보니 figure만으로 이해가 가더군요.

1.2. Segmentation Methods

딥러닝이 주류가 되기 이전의 모델부터, 이후의 모델까지 모두 나열해주었는데, 본 논문과 이번 정리의 목표는 딥러닝 모델이기 때문에 일단 패스하도록 하겠습니다.

• Deep Learning Models
  • Fully Connected networks
  • Convolutional models with graphical models
  • Encoder-decoder based models
  • Multiscale and pyramid network based modles
  • R-CNN based models (for instance segmentation)
  • Dilated convolutional models and DeepLab family
  • Recurrent neural network based models
  • Attention-based models
  • Generative models and adversarial training
  • Convolutional models with active contour models
  • Other models

    2. Deep Neural Network Architectures

    챕터 2에서는 딥러닝 네트워크 구조들에 대해서 소개했습니다. 다양한 구조들 중, CNN, RNN, LSTM, Encoder-Decoder, Auto-Encoder, GAN를 다루었는데요. 그중에서 몇가지 정리해놓을 만한 점을 작성했습니다.
• CNN의 장점: weight를 share하기 때문에 파라미터수가 FCN에 비해 매우 적다.
• RNN, LSTM: RNN은 과거의 hidden-gate state를 사용하는데 long-term dependencies를 잘 잡아내지 못한다는 단점이 있었습니다. 그런데 이를 해결한게 LSTM (Long Short Term Memory), LSTM은 forget gate를 사용하면서 메모리 셀의 정보의 흐름을 조정해주어 기존 RNN 모델의 문제를 해결해주었다고 한다.
• Auto-Encoder은 Encoder-Deconder의 특수한 케이스로, input과 output을 같게 하는 것이 목적인 task이다. (압축이 목표인 듯)

---

챕터 3부터는 각 모델에 대한 설명입니다. 이는 다음 글에 정리하도록 하겠습니다.