機(jī)器學(xué)習(xí)和優(yōu)化問(wèn)題

很多機(jī)器學(xué)習(xí)方法可以歸結(jié)為優(yōu)化問(wèn)題，對(duì)于一個(gè)參數(shù)模型，比如神經(jīng)網(wǎng)絡(luò)，用來(lái)表示的話(huà)，訓(xùn)練模型其實(shí)就是下面的參數(shù)優(yōu)化問(wèn)題：

其中L是loss function，比如神經(jīng)網(wǎng)絡(luò)中分類(lèi)常用的cross-entropy。

CNN學(xué)到了什么？

特征（Representation）。把原始圖像看做一個(gè)維度是像素×通道的向量，經(jīng)過(guò)各種復(fù)雜的CNN結(jié)構(gòu)，其實(shí)只不過(guò)成了另一個(gè)向量。這個(gè)向量所在的空間也許有更好的線性可分性，也許是相似樣本的“距離”更近，原始的數(shù)據(jù)經(jīng)過(guò)