Ensemble learning
통계학과 기계 학습에서 앙상블 학습법(영어: ensemble learning method)은 학습 알고리즘(learning algorithm)들을 따로 쓰는 경우에 비해 더 좋은 예측 성능을 얻기 위해 다수의 학습 알고리즘을 사용하는 방법이다. 배깅(Bagging), 부스팅(Boosting), 스태킹(stacking) 방식으로 구분된다. 통계 역학(statistical mechanics)에서의 통계적 앙상블과 달리 기계 학습에서의 앙상블은 대체 모델들의 단단한 유한 집합을 가리키지만, 일반적으로 그러한 대체 모델 사이에 훨씬 더 유연한 구조를 허용한다.
About
앙상블 학습의 주요 기법으로는 보팅(voting), 배깅(Bagging), 부스팅(Boosting), 스태킹(Stacking)/블렌딩(Blending)이 있으며, 이 기법들은 기본 모델들 사이에 높은 다양성을 유도하여 합성 모델의 변동성을 높인다. 배깅은 "부트스트랩 집계"의 약자로, 훈련 데이터로부터 무작위 샘플을 생성하여 동일 모델을 각기 다른 샘플에 적합시키는 방식으로 다양성을 생성한다. 부스팅은 이전 기본 모델의 오류에 가중치를 두어 순차적으로 다음 기본 모델을 훈련시키는 반복 과정을 따르며, 최종 모델 오류를 줄이는 데 목적이 있다. 스태킹은 독립적으로 훈련된 다양한 기본 모델들을 결합하는 것으로, 합성 모델을 생성한다.