生活中我們做的許多決定都是基于其他人的意見。這包括，通過書評來決定閱讀哪一本書；根據多位醫生的建議決定選擇哪個治療方案；以及定罪。

一般地，一群人共同決策的結果比團隊中每個個體單獨做決策帶來的結果更優。這通常被視為是群體的智慧。

對于回歸和分類的預測建模問題，通過把多個機器學習的預測模型組合起來，也可以達到類似的結果。這通常叫做集成機器學習，簡稱集成學習。

通過本文，你可以掌握有關集成學習的入門介紹。你將了解到：

·  我們做的許多決定都包含了其他人的意見或投****。

·  群體決策效果比個人更好，這被稱為群體的智慧。

·  集成機器學習把多個成熟的模型預測結果組合起來。

我們開始吧！

總覽

本教程包含三部分：

1、 做重要決策

2、 群體的智慧

3、 集成機器學習

做重要決策

想一想生活中，你做的重要的決策。比如說：

·  買什么書和接下來閱讀什么書？

·  參加哪所大學？

候選的書都聽起來很有趣，但我們實際購買的可能是有最多好評的那一本。候選的大學都可以提供我們感興趣的課程，但最終的選擇會基于有一手消息的朋友和熟人的反饋。

我們可能會相信有關這些書籍的評論和星級評級，因為每個人都提供了一個評論，用戶跟這個書沒有關系（希望如此），且獨立于其他人留下的評論。如果不是這樣的話，對結果的信任就會受到質疑，對系統的信任也會動搖，這就是為什么亞馬遜努力刪除圖書的虛假評論。

另外，想一下更私人的一些重要決定。比如說有關疾病的治療。我們聽取一個專家的建議，但我們還會尋覓第二個、第三個，甚至更多意見，以確保可以得到最好的治療方案。 

來自第二個、第三個專家的意見可能和第一個的意見相同也可能相悖，但因為他們的意見都是冷靜、客觀、獨立的，因此會給予重視。但如果專家之間串通了意見，那么尋找第二個、第三個專家意見的過程就沒有意義了。

“當面臨重要決策時，我們通常會尋求不同專家的意見來幫助我們做出決策。”

— Page 2, Ensemble Machine Learning, 2012.

https://amzn.to/2C7syo5

最后，想一想有關社會決策。比如說，誰應該在政府中代表一個地區；某人是否有罪。

代表的民主選舉（以某種形式）依賴于民眾的獨立投****。

“基于多人/多位專家的輸入做出決策，已經成為人類文明中的普遍實踐，是民主社會的基礎。”

— Page v, Ensemble Methods, 2012.

 https://amzn.to/2XZzrjG

嚴重犯罪的定罪可以由獨立的同行組成的陪審團來確定，陪審團通常被隔離以加強其解釋的獨立性。案件也可以在多層次上上訴，根據結果提供第二、第三和更多意見。

“大多數國家的司法體系，無論是基于陪審團還是法官團，都是以集體決策為基礎?！?/p>

— Pages 1-2, Ensemble Machine Learning, 2012.

以上都是通過結合較低級別的意見、投****或決策而獲得結果的例子。

“集成決策并不是新鮮事了，在日常中，這樣的體系使用得很頻繁，以至于這對于我們來說可能是第二天性?！?/p>

— Page 1, Ensemble Machine Learning, 2012.

在每種情況下，為了結果的有效性，這些低水平的決策需要具備一些特性，比如它們的獨立性以及每個決策的一定的有效性。

這種決策方法應用很普遍，它有一個名字。

群體的智慧

這種基于群體的低水平決策來進行最終決策的方法通常被稱為“群體的智慧”。

它是這樣的情況，即相對于群體中單個個體的決定，集合了群體中所有人的意見的結果通常更為準確、有效、以及正確。

100多年前的一個著名的例子就是在英國普利茅斯的一個集市上舉行的一次估計公牛體重的比賽，每個人都做出了自己的猜測，猜測最接近實際體重的人贏得了肉。統計學家Francis Galton后來收集了所有猜測的數據并計算了平均值。

“他把所有參賽者的估測進行了加和并計算了平均數?！蹦憧梢哉f，這個數字代表了普利茅斯民眾的集體智慧。如果人群是一個人的話，它就能猜出這頭牛的重量?！?/p>

— Page xiii, The Wisdom of Crowds, 2004.

 https://amzn.to/2UNOMll

他發現所有參賽者的猜測的平均值非常接近于真實的重量。也就是說，統計800位參賽者估算重量的平均值是一種猜測公牛真實重量的準確方法。

“群眾猜測，這頭牛在被屠宰和剝皮后，重1197磅。這頭牛被宰殺和剝皮后，重1198磅。換句話說，群眾的判斷基本上是完美的?！?/p>

— Page xiii, The Wisdom of Crowds, 2004.

這個例子是James Surowiecki’s 2004年出版的名叫 “The Wisdom of Crowds”  的書開頭給出的，這本書探討了人類群體做出的決策和預測往往群體成員更好。

“這種智慧，或者我稱之為“群體智慧”，在世界上以許多不同的形式在發揮作用?！?/p>

— Page xiv, The Wisdom of Crowds, 2004.

這本書促使人們在做重要決策時，借鑒來自群體的猜測、投****和意見，而不是僅僅向一個專家尋求咨詢。

“我們感到有必要去追逐專家“，但這本書認為追逐專家是一個錯誤，并且代價高昂。我們應當停止追逐，轉而問問大眾（當然，既包括天才也包括普通人）。

— Page xv, The Wisdom of Crowds, 2004.

Lior Rokach’s 2010年出版的名為 “Pattern Classification Using Ensemble Methods” 的書的第 22頁完美地總結了基于群體做出決策的系統的一些特性：

·  意見多樣性：每個人都應該擁有私人的信息，即便是它只是對已知事實的一種古怪的解釋。

·  獨立性：每個人的意見并不受其他人的影響。

·  去中心化：每個人可以根據自身的知識進行專門研究來得出結論。

·  集成化：存在一些機制可以把個體的判斷轉變為群體決策。

作為一個決策系統，這種方法并不總是最有效的（例如股市泡沫、時尚等），但在一些結果導向的不同領域中可能是有效的。

我們可以在應用機器學習中使用這種方法來進行決策。

集成機器學習

應用機器學習通常包括基于數據集的模型擬合和模型效果評估。

由于我們無法提前預料到哪個模型在這個數據集上表現最好，因此在得到最優模型前，我們可能會進行許多的試錯。

這類似通過追逐單一專家的決策方式。也許是我們可以找到的最好的專家。

另一種互補的方法是準備多個不同的模型，并把它們的預測結果整合起來。這被稱為集成機器學習或者簡單來講是集成，這種尋找表現好的集成模型的過程稱作集成學習。

“集成方法學模仿我們的第二天性，在做出關鍵決策之前先征求幾個意見?！?/p>

— Page vii, Pattern Classification Using Ensemble Methods, 2010.

 https://amzn.to/2zxc0F7

這和尋求多位專家意見是相似的。

最常見的集成類型是訓練同一機器學習模型的多個版本，以確保每個集成成員都是不同的（例如決策樹模型在訓練集的不同子集上訓練），然后使用平均值或投****法組合預測。

一種不太常見但同樣有效的方法是在相同的數據上訓練不同的算法（例如決策樹、支持向量機和神經網絡），并組合它們的預測。

就像在人群中綜合個體的觀點一樣，集成的有效性依賴于每個模型都具有某種特性（比隨機性更好），并且與其他模型具有一定的獨立性。后一點通常被解釋為集成中的成員模型都在不同的地方有不同于其他模型的優勢。

希望集成后可以得到比任何一個有貢獻的模型更好的模型。

“核心原則是給予單獨的分類器一定權重，然后把它們組合起來以得到一個比任何單獨的分類器更好的分類器”

— Page vii, Pattern Classification Using Ensemble Methods, 2010.

至少，集成的模型限制了最壞的情形出現，通過降低預測的波動。通常隨著訓練集的不同，模型的表現會發生變化，從而使得單一的模型的表現時好時壞。

“集成系統的目標是通過創建幾個具有相對固定的或相似的偏差的分類器，然后結合它們的輸出，比如對輸出進行平均以減小方差?！?/p>

— Page 2, Ensemble Machine Learning, 2012.

集成可以減小方差，并且確保做出的預測更接近有貢獻的成員模型的平均表現。另外，預測方差的減小也導致了整體技能的提升，相比于維護單個模型，增加了擬合、維護多個模型的成本。

盡管集成模型方差更小，但并不一定模型效果會比任何成員模型更好。

“計算智能和機器學習社區的研究人員已經研究了共享這種聯合決策過程的方案。這些方案通常被稱為集成學習，它可以減少分類器的方差，提高決策系統的魯棒性和準確性?！?/p>

— Page v, Ensemble Methods, 2012.

有的時候，表現最好的模型，類似于一個最好的專家，相比于其它模型已經足夠優秀的時候，把這個模型的預測和其他模型整合起來得到的結果，會比最好的那個模型要差。

因此，選擇模型，甚至是集成模型，仍然需要在健壯性的測試工具上進行精心控制的實驗。

擴展閱讀

如果你想繼續研究，這個部分提供了一些相關資源。

書籍

The Wisdom of Crowds, 2004.

Pattern Classification Using Ensemble Methods, 2010.

Ensemble Methods, 2012.

Ensemble Machine Learning, 2012.

文章

Ensemble learning, Wikipedia.

Ensemble learning, Scholarpedia.

Wisdom of the crowd, Wikipedia.

The Wisdom of Crowds, Wikipedia.

總結

本文幫助你對集成學習建立了初步的了解。

其中，你可以學習到：

我們做的許多決定包含了其他人的意見或投****。

群體的決策優于個體，被叫做群體的智慧。

集成機器學習是把多個成熟模型的預測結果組合起來。

原文鏈接：

https://machinelearningmastery.com/what-is-ensemble-learning/

原文標題：

A Gentle Introduction to Ensemble Learning