Panoptic Segmentation
Semantic segmentation + Instance segmentation 느낌.
About
Panoptic segmentation은 semantic segmentation (각 픽셀 별 레이블링)과 instance segmentation(물체를 인식하고 segment 하는 것)을 합친 것이라고 볼 수 있습니다. 즉, panoptic segmentation은 stuff와 thing의 구별도 포함하는 개념입니다.
또한 'Panoptic Segmentation' 논문에서는 해당 task를 위한 metrics도 제안하고 있습니다. Panoptic segmentation을 이해하기 위해서는 논문에서 사용하는 stuff와 things의 개념을 이해할 필요가 있습니다. Instance segmentation이 구분하는 셀 수 있는 물체(countable objects)를 things라 하고 semantic segmentation을 통해 다룰 수 있는 무정형이며 셀 수 없는 영역(amorphous and uncountable regions)을 stuff라고 합니다. Semantic segmentation과 instance segmentation에서 사용되었던 기존의 metrics들은 stuff와 things 클래스를 동시에 고려하지 않기 때문에 panoptic segmentation에서는 사용할 수 없습니다. 해당 논문에서 제안하는 metrics를 이해를 돕기 위해 IoU (Intersection of Union)과 논문의 figure 중 하나를 살펴보도록 하겠습니다.
Documentation
- Panoptic Segmentation
- https://arxiv.org/abs/1801.00868