在集成學(xué)習(xí)原理小結(jié)中，我們講到了集成學(xué)習(xí)按照個體學(xué)習(xí)器之間是否存在依賴關(guān)系可以分為兩類，第一個是個體學(xué)習(xí)器之間存在強依賴關(guān)系，另一類是個體學(xué)習(xí)器之間不存在強依賴關(guān)系。前者的代表算法就是是boosting系列算法。在boosting系列算法中， Adaboost是最著名的算法之一。Adaboost既可以用作分類，也可以用作回歸。本文就對Adaboost算法做一個總結(jié)。
1. 回顧boosting算法的基本原理
在集成學(xué)習(xí)原理小結(jié)中，我們已經(jīng)講到了boosting算法系列的基本思想，如下圖：
從圖中可以看出，Boosting算法的工作機制是首先從訓(xùn)練集用初始權(quán)重訓(xùn)練出一個弱學(xué)習(xí)器1，根據(jù)弱學(xué)習(xí)的學(xué)習(xí)誤差率表現(xiàn)來更新訓(xùn)練樣本的權(quán)重，使得之前弱學(xué)習(xí)器1學(xué)習(xí)誤差率高的訓(xùn)練樣本點的權(quán)重變高，使得這些誤差率高的點在后面的弱學(xué)習(xí)器2中得到更多的重視。然后基于調(diào)整權(quán)重后的訓(xùn)練集來訓(xùn)練弱學(xué)習(xí)器2.，如此重復(fù)進行，直到弱學(xué)習(xí)器數(shù)達到事先指定的數(shù)目T，最終將這T個弱學(xué)習(xí)器通過集合策略進行整合，得到最終的強學(xué)習(xí)器。
不過有幾個具體的問題Boosting算法沒有詳細說明。
1）如何計算學(xué)習(xí)誤差率e?
2) 如何得到弱學(xué)習(xí)器權(quán)重系數(shù)
延伸閱讀
學(xué)習(xí)是年輕人改變自己的最好方式