0. 引言1. 感知器及激活函數(shù)2. 代價(jià)函數(shù)(loss function)3. 用梯度下降法來學(xué)習(xí)-Learning with gradient descent4. 用反向傳播調(diào)整神經(jīng)網(wǎng)絡(luò)中逐層所有神經(jīng)元的超參數(shù)5. 過擬合問題6. IMPLEMENTING A NEURAL NETWORK FROM SCRATCH IN PYTHON – AN INTRODUCTION
0. 引言
0x1: 神經(jīng)網(wǎng)絡(luò)的分層神經(jīng)元意味著什么
為了解釋這個(gè)問題,我們先從一個(gè)我們熟悉的場(chǎng)景開始說起,電子電路的設(shè)計(jì)
如上圖所示,在實(shí)踐中,在解決線路設(shè)計(jì)問題(或者大多數(shù)其他算法問題)時(shí),我們通常先考慮如何解決子問題,然后逐步地集成這些子問題的解。換句話說,我們通過多層的抽象來獲得最終的解答,回到上圖的電路,我們可以看到,不論多么復(fù)雜的電路功能,在最底層的底層,都是由最簡(jiǎn)單的"與、或、非"門通過一定的邏輯關(guān)系組成
這就很自然地讓我么聯(lián)想到深度神經(jīng)網(wǎng)絡(luò)的一張膾炙人口的架構(gòu)圖
深度神經(jīng)網(wǎng)絡(luò)中間的隱層可以理解為是一種逐層抽象封裝的思想,這么說可能并沒有嚴(yán)格的理論依據(jù),但是卻十分符合我自己直覺上的理解,例如,如果我們?cè)谶M(jìn)行視覺模式識(shí)別
1. 第一層的神經(jīng)元可能學(xué)會(huì)識(shí)別邊2.