Dense-Sparse-Dense Training for Deep Neural Networks
DSD: Dense-Sparse-Dense Training for Deep Neural Networks
학습 방법
기존 방법으로 학습시킨 Dense 네트워크에서 가중치가 작은 노드들을 제거한 후 다시 학습시킨다. 이 Sparse 학습 과정은 모델을 정칙화한다. 최종적으로 제거했던 노드를 살려내고 0값으로 초기화 한 후 Dense 학습을 하면 오버피팅 없이 모델의 성능을 올릴 수 있다. DSD_Training_Diagram.png
Documentation
- DSD - Regularizing Deep Neural Networks with Dense-Sparse-Dense Training Flow
-
DSD_Regularizing_deep_neural_networks_with_dense-sparse-dense_training_flow_201607.pdf
- DSD: Dense-Sparse-Dense Training for Deep Neural Networks
- https://arxiv.org/abs/1607.04381
-
1607.04381.pdf