我們將機器學習中最突出、最常用的算法分為三類：線性模型、基于樹的模型、神經(jīng)網(wǎng)絡，用一張圖表簡明地指出了每一類的優(yōu)勢和劣勢。

在機器學習中，我們的目標要么是預測（prediction），要么是聚類（clustering）。本文重點關注的是預測。預測是從一組輸入變量來預估輸出變量的值的過程。例如，得到有關房子的一組特征，我們可以預測它的銷售價格。預測問題可以分為兩大類：

回歸問題：其中要預測的變量是數(shù)字的（例如房屋的價格）；

分類問題：其中要預測的變量是“是/否”的答案（例如，預測某個設備是否會故障）
?

了解了這點，接下來讓我們看看機器學習中最突出、最常用的算法。

我們將這些算法分為3類：線性模型、基于樹的模型、神經(jīng)網(wǎng)絡。

線性模型方法

線性模型使用簡單的公式，通過一組數(shù)據(jù)點找到“最佳擬合”的行。這一方法可以追溯到200多年前，在統(tǒng)計學和機器學習領域都得到廣泛應用。由于它的簡單性，它對統(tǒng)計學很有用。你想要預測的變量（因變量）被表示為你已經(jīng)知道的變量（自變量）的方程，因此預測只是一個輸入自變量，然后算出方程的答案的問題。

線性回歸

線性回歸，或更準確的說法“最小二乘回歸”，是線性模型的最標準形式。對于回歸問題，線性回歸是最簡單的線性模型。其缺點是模型容易過擬合，也就是說，模型完全適應已進行訓練的數(shù)據(jù)，而犧牲了推廣到新數(shù)據(jù)的能力。因此，機器學習中的線性回歸（以及我們接下來將談到的邏輯回歸）通常是“正則化”的，這意味著模型有一定的懲罰來防止過擬合。

線性模型的另一個缺點是，由于它們非常簡單，所以當輸入變量不獨立時，他們不容易預測更復雜些的行為。

邏輯回歸

邏輯回歸是線性回歸對分類問題的適應。邏輯回歸的缺點與線性回歸相同。邏輯函數(shù)對分類問題非常好，因為它引入了閾值效應。

基于樹的模型

決策樹

決策樹是使用分支方法顯示決策的每一個可能的結果的圖示。比如說，你決定要點一份沙拉，你的第一個決策是可能是生菜的種類，然后是配菜，然后是沙拉醬的種類。我們可以在一個決策樹中表示所有可能的結果。

為了訓練決策樹，我們需要使用訓練數(shù)據(jù)集并找出那個屬性對目標最有用。例如，在欺詐檢測用例中，我們可能發(fā)現(xiàn)對預測欺詐風險影響最大的屬性是國家。在以第一個屬性進行分支后，我們得到兩個子集，這是假如我們只知道第一個屬性時最能夠準確預測的。接著，我們再找出可以對這兩個子集進行分支的第二好的屬性，再次進行分割，如此往復，直到使用足夠多的屬性后能滿足目標的需求。

有關決策樹，新智元對一篇經(jīng)典文章做過介紹：【經(jīng)典】機器學習可視化演示

隨機森林

隨機森林是許多決策樹的平均，其中每個決策樹都用隨機的數(shù)據(jù)樣本進行訓練。隨機森林中的每個樹都比一個完整的決策樹弱，但是將所有樹放在一起，由于多樣性的優(yōu)勢，我們可以獲得更好的整體性能。

隨機森林是當今機器學習中非常流行的算法。隨機森林的訓練很容易，而且表現(xiàn)相當好。它的缺點是相對于其他算法，隨機森林輸出預測可能會很慢，所以在需要快速預測時，可能不會選擇隨機森林。

梯度提升

梯度提升（GradientBoosting），像隨機森林那樣，也是由“弱”決策樹組成的。梯度提升與隨機森林最大的區(qū)別是，在梯度提升中，樹是一個接一個被訓練的。每個后面的樹主要由前面的樹識別錯誤的數(shù)據(jù)來訓練。這令梯度提升較少關注易于預測的情況，而更多地關注困難的情況。

梯度提升的訓練也很快，表現(xiàn)也非常好。但是，訓練數(shù)據(jù)集的小小變化可以令模型發(fā)生根本性的變化，因此它產(chǎn)生的結果可能不是最可行的。

神經(jīng)網(wǎng)絡

神經(jīng)網(wǎng)絡是指大腦中彼此交換信息的相互聯(lián)系的神經(jīng)元組成的生物學現(xiàn)象。這個想法現(xiàn)在被適用到機器學習領域，被稱為 ANN（人工神經(jīng)網(wǎng)絡）。深度學習是疊在一起的多層的神經(jīng)網(wǎng)絡。

ANN 是一系列通過學習獲取類似人類大腦的認知能力的模型。在處理非常復雜的的任務，例如圖像識別時，神經(jīng)網(wǎng)絡表現(xiàn)很好。但是，正如人類大腦一樣，訓練模型非常耗時，而且需要非常多的能量（試想想我們需要吃多少食物才能保證大腦正常工作！）