[ML] 앙상블(Ensemble) 기법

앙상블 기법

• 단일 머신러닝 모델을 연결하여 더 효율적인 모델을 만드는 기법
• 앙상블의 아이디어는 많은 시행의 결과가 이성적으로 합리적인 결과를 기대함
• 크게 Bagging과 Boosting 방법으로 나눈다.

Bagging(bootstrap agrregating)

• 샘플을 여러번 뽑아(Bootstrap) 각 모델을 학습시켜 결과물을 집계(Aggregration)
• Train데이터에서 임의로 여러개의 샘플을 추출하여 모델 학습하는 과정을 반복하여 개별 학습모델을 생성
• 각 모델은 서로 독립적
• 각 모델별로 Test 데이터를 예측한 값으로 투표(Voting) 또는 평균(Regression)을 통해 최종 예측
• 이러한 Bagging 기법을 이용한 모델이 Random Forest

출처 : https://icim.nims.re.kr/post/easyMath/838

Boosting

• 잘못 분류된 샘플에 더 많은 가중치를 주어 학습
• Bagging과 달리 모델 결과에 가중치를 주어 다음 모델에 영향을 끼침(Sequential 하다)
• 잘못 분류된 데이터에 집중하여 새로운 분류 규칙을 만드는 단계를 반복

출처: Medium (Boosting and Bagging explained with examples)

• Boosting 모델
  1. Adaboost
  2. XGBoost
  3. LightGBM
  4. CatBoost

Bagging과 Boosting의 장단점

1. Boosting은 Bagging의 비해 오류가 적다.
2. Boosting은 Overfitting 될 가능성이 있으며 속도가 느리다

 

출처 : https://bkshin.tistory.com/entry/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-11-%EC%95%99%EC%83%81%EB%B8%94-%ED%95%99%EC%8A%B5-Ensemble-Learning-%EB%B0%B0%EA%B9%85Bagging%EA%B3%BC-%EB%B6%80%EC%8A%A4%ED%8C%85Boosting

머신러닝 - 11. 앙상블 학습 (Ensemble Learning): 배깅(Bagging)과 부스팅(Boosting)

https://icim.nims.re.kr/post/easyMath/838

앙상블의 Bagging과 Boosting | 알기 쉬운 산업수학 | 산업수학혁신센터