想入門數(shù)據(jù)科學(xué)不知如何開始嗎？先看看這篇
數(shù)字化
2019/08/26 09:06:08 86360閱讀
數(shù)字化
2019/08/26 09:06:08 86360閱讀
想要入坑數(shù)據(jù)科學(xué)而又不知如何開始嗎？先看看這篇使用的數(shù)據(jù)科學(xué)入門數(shù)學(xué)指南吧！
數(shù)學(xué)就像一個章魚：它的「觸手」可以觸及到幾乎所有學(xué)科。雖然有些學(xué)科只是沾了點(diǎn)數(shù)學(xué)的邊，但有些學(xué)科則被數(shù)學(xué)的「觸手」緊緊纏住。數(shù)據(jù)科學(xué)就屬于后者。如果你想從事數(shù)據(jù)科學(xué)工作，你就必須解決數(shù)學(xué)問題。如果你已經(jīng)獲得了數(shù)學(xué)學(xué)位或其它強(qiáng)調(diào)數(shù)學(xué)技能的學(xué)位，你可能想知道你學(xué)到的這些知識是否都是必要的。而如果你沒有相關(guān)背景，你可能想知道：從事數(shù)據(jù)科學(xué)工作究竟需要多少數(shù)學(xué)知識？在本文中，我們將探討數(shù)據(jù)科學(xué)意味著什么，并討論我們到底需要多少數(shù)學(xué)知識。讓我們從「數(shù)據(jù)科學(xué)」的實(shí)際含義開始講起。
對于數(shù)據(jù)科學(xué)的理解，是「仁者見仁，智者見智」的事情！在 Dataquest，我們將數(shù)據(jù)科學(xué)定義為：使用數(shù)據(jù)和高級統(tǒng)計(jì)學(xué)進(jìn)行預(yù)測的學(xué)科。這是一門專業(yè)學(xué)科，重點(diǎn)關(guān)注理解有時有些混亂和不一致的數(shù)據(jù)（盡管數(shù)據(jù)科學(xué)家解決的問題因人而異）。統(tǒng)計(jì)學(xué)是我們在該定義中提到的唯一一門數(shù)學(xué)學(xué)科，但數(shù)據(jù)科學(xué)也經(jīng)常涉及數(shù)學(xué)中的其他領(lǐng)域。學(xué)習(xí)統(tǒng)計(jì)學(xué)是一個很好的開始，但數(shù)據(jù)科學(xué)也使用算法進(jìn)行預(yù)測。這些算法被稱為機(jī)器學(xué)習(xí)算法，數(shù)量達(dá)數(shù)百種。深入探討每種算法需要多少數(shù)學(xué)知識不屬于本文的范圍，本文將討論以下常用算法所需的數(shù)學(xué)知識：樸素貝葉斯
線性回歸
Logistic 回歸
K-Means 聚類
決策樹
現(xiàn)在讓我們來看看每種算法實(shí)際需要哪些數(shù)學(xué)知識！
定義：樸素貝葉斯分類器是一系列基于同一個原則的算法，即某一特定特征值獨(dú)立于任何其它特征值。樸素貝葉斯讓我們可以根據(jù)我們所知道的相關(guān)事件的條件預(yù)測事件發(fā)生的概率。該名稱源于貝葉斯定理，數(shù)學(xué)公式如下：
其中有事件 A 和事件 B，且 P(B) 不等于 0。這看起來很復(fù)雜，但我們可以把它拆解為三部分：
P(A|B) 是一個條件概率。即在事件 B 發(fā)生的條件下事件 A 發(fā)生的概率。
P(B|A) 也是一個條件概率。即在事件 A 發(fā)生的條件下事件 B 發(fā)生的概率。
P(A) 和 P(B) 是事件 A 和事件 B 分別發(fā)生的概率，其中兩者相互獨(dú)立。
所需數(shù)學(xué)知識：如果你想了解樸素貝葉斯分類器算法的基本原理以及貝葉斯定理的所有用法，一門概率論課程就足夠了。
定義：線性回歸是最基本的回歸類型。它幫助我們理解兩個連續(xù)變量間的關(guān)系。簡單的線性回歸就是獲取一組數(shù)據(jù)點(diǎn)并繪制可用于預(yù)測未來的趨勢線。線性回歸是參數(shù)化機(jī)器學(xué)習(xí)的一個例子。在參數(shù)化機(jī)器學(xué)習(xí)中，訓(xùn)練過程使機(jī)器學(xué)習(xí)算法變成一個數(shù)學(xué)函數(shù)，能擬合在訓(xùn)練集中發(fā)現(xiàn)的模式。然后可以使用該數(shù)學(xué)函數(shù)來預(yù)測未來的結(jié)果。在機(jī)器學(xué)習(xí)中，數(shù)學(xué)函數(shù)被稱為模型。在線性回歸的情況下，模型可以表示為：
其中 a_1, a_2, …,a_n 表示數(shù)據(jù)集的特定參數(shù)值，x_1, x_2, …, x_n 表示我們選擇在最終的模型中使用的特征列，y 表示目標(biāo)列。線性回歸的目標(biāo)是找到能描述特征列和目標(biāo)列之間關(guān)系的最佳參數(shù)值。換句話說，就是找到最能最佳擬合數(shù)據(jù)的直線，以便根據(jù)線的趨勢來預(yù)測未來結(jié)果。
為了找到線性回歸模型的最佳參數(shù)，我們要最小化模型的殘差平方和。殘差通常也被稱為誤差，用來描述預(yù)測值和真實(shí)值之間的差異。殘差平方和的公式可以表示為：
其中 y ^ 是目標(biāo)列的預(yù)測值，y 是真實(shí)值。
所需數(shù)學(xué)知識：如果你只想簡單了解一下線性回歸，學(xué)習(xí)一門基礎(chǔ)統(tǒng)計(jì)學(xué)的課程就可以了。如果你想對概念有深入的理解，你可能就需要知道如何推導(dǎo)出殘差平方和的公式，這在大多數(shù)高級統(tǒng)計(jì)學(xué)課程中都有介紹。
邏輯回歸
定義：Logistic 回歸重點(diǎn)關(guān)注在因變量取二值（即只有兩個值，0 和 1 表示輸出結(jié)果）的情況下估算發(fā)生事件的概率。與線性回歸一樣，Logistic 回歸是參數(shù)化機(jī)器學(xué)習(xí)的一個例子。因此，這些機(jī)器學(xué)習(xí)算法的訓(xùn)練結(jié)果是得到一個能夠最好地近似訓(xùn)練集中模式的數(shù)學(xué)函數(shù)。區(qū)別在于，線性回歸模型輸出的是實(shí)數(shù)，而 Logistic 回歸模型輸出的是概率值。
正如線性回歸算法產(chǎn)生線性函數(shù)模型一樣，Logistic 回歸算法生成 Logistic 函數(shù)模型。它也被稱作 Sigmoid 函數(shù)，會將所有輸入值映射為 0 和 1 之間的概率結(jié)果。Sigmoid 函數(shù)可以表示如下：
那么為什么 Sigmoid 函數(shù)總是返回 0 到 1 之間的值呢？請記住，代數(shù)中任意數(shù)的負(fù)數(shù)次方等于這個數(shù)正數(shù)次方的倒數(shù)。
所需數(shù)學(xué)知識：我們在這里已經(jīng)討論過指數(shù)和概率，你需要對代數(shù)和概率有充分的理解，以便理解 Logistic 算法的工作原理。如果你想深入了解概念，我建議你學(xué)習(xí)概率論以及離散數(shù)學(xué)或?qū)崝?shù)分析。
定義：K Means 聚類算法是一種無監(jiān)督機(jī)器學(xué)習(xí)，用于對無標(biāo)簽數(shù)據(jù)（即沒有定義的類別或分組）進(jìn)行歸類。該算法的工作原理是發(fā)掘出數(shù)據(jù)中的聚類簇，其中聚類簇的數(shù)量由 k 表示。然后進(jìn)行迭代，根據(jù)特征將每個數(shù)據(jù)點(diǎn)分配給 k 個簇中的一個。K 均值聚類依賴貫穿于整個算法中的距離概念將數(shù)據(jù)點(diǎn)「分配」到不同的簇中。距離的概念是指兩個給定項(xiàng)之間的空間大小。在數(shù)學(xué)中，描述集合中任意兩個元素之間距離的函數(shù)稱為距離函數(shù)或度量。其中有兩種常用類型：歐氏距離和曼哈頓距離。歐氏距離的標(biāo)準(zhǔn)定義如下：
其中 (x1,y1) 和 (x2,y2) 是笛卡爾平面上的坐標(biāo)點(diǎn)。雖然歐氏距離應(yīng)用面很廣，但在某些情況下也不起作用。假設(shè)你在一個大城市散步；如果有一個巨大的建筑阻擋你的路線，這時你說「我與目的地相距 6.5 個單位」是沒有意義的。為了解決這個問題，我們可以使用曼哈頓距離。曼哈頓距離公式如下：
其中 (x1,y1) 和 (x2,y2) 是笛卡爾平面上的坐標(biāo)點(diǎn)。
所需數(shù)學(xué)知識：實(shí)際上你只需要知道加減法，并理解代數(shù)的基礎(chǔ)知識，就可以掌握距離公式。但是為了深入了解每種度量所包含的基本幾何類型，我建議學(xué)習(xí)一下包含歐氏幾何和非歐氏幾何的幾何學(xué)。為了深入理解度量和度量空間的含義，我會閱讀數(shù)學(xué)分析并選修實(shí)數(shù)分析的課程。
決策樹
定義：決策樹是類似流程圖的樹結(jié)構(gòu)，它使用分支方法來說明決策的每個可能結(jié)果。樹中的每個節(jié)點(diǎn)代表對特定變量的測試，每個分支都是該測試的結(jié)果。決策樹依賴于信息論的理論來確定它們是如何構(gòu)建的。在信息論中，人們對某個事件的了解越多，他們能從中獲取的新信息就越少。信息論的關(guān)鍵指標(biāo)之一被稱為熵。熵是對給定變量的不確定性量進(jìn)行量化的度量。熵可以被表示為：
在上式中，P(x_i) 是隨機(jī)事件 x_i 發(fā)生的概率。對數(shù)的底數(shù) b 可以是任何大于 0 的實(shí)數(shù)；通常底數(shù)的值為 2、e（2.71）和 10。像「S」的花式符號是求和符號，即可以連續(xù)地將求和符號之外的函數(shù)相加，相加的次數(shù)取決于求和的下限和上限。在計(jì)算熵之后，我們可以通過利用信息增益開始構(gòu)造決策樹，從而判斷哪種分裂方法能最大程度地減少熵。信息增益的公式如下：
信息增益可以衡量信息量，即獲得多少「比特」信息。在決策樹的情況下，我們可以計(jì)算數(shù)據(jù)集中每列的信息增益，以便找到哪列將為我們提供最大的信息增益，然后在該列上進(jìn)行分裂。
所需數(shù)學(xué)知識：想初步理解決策樹只需基本的代數(shù)和概率知識。如果你想要對概率和對數(shù)進(jìn)行深入的概念性理解，我推薦你學(xué)習(xí)概率論和代數(shù)課程。
如果你還在上學(xué)，我強(qiáng)烈建議你選修一些純數(shù)學(xué)和應(yīng)用數(shù)學(xué)課程。它們有時肯定會讓人感到畏懼，但是令人欣慰的是，當(dāng)你遇到這些算法并知道如何最好地利用它們時，你會更有能力。如果你目前沒有在上學(xué)，我建議你去最近的書店，閱讀本文中提到的相關(guān)書籍。如果你能找到涉及概率論、統(tǒng)計(jì)學(xué)和線性代數(shù)的書籍，我強(qiáng)烈建議你選擇涵蓋這些主題的書籍，以真正了解本文涉及到的和那些未涉及到的機(jī)器學(xué)習(xí)算法背后的原理。文章來源：微信公眾號almosthuman2014
