Group Normalization

Yuxin Wu와 Kaiming He가 2018년 3월에 공개한 논문 Group Normalization에 대해 살펴보도록 하겠습니다.

이 논문에서는 batch의 크기가 극도로 작은 상황에서 batch normalization 대신 사용하면 좋은 normalization 기술을 소개했는데, Faster RCNN과 같이 학습시에 batch 크기가 극도로 작을수 밖에 없는 모델에 적용하면 유용한 기술인듯 합니다.

Image

Documentation

Group Normalization

https://arxiv.org/pdf/1803.08494.pdf

See also

• Deep learning
• Deep learning:Performance Tuning

Favorite site

• Group Normalization for Mask R-CNN (Detectron, Mask R-CNN)