KNN算法全名為k-Nearest Neighbor，就是K最近鄰的意思。
算法描述
KNN是一種分類算法，其基本思想是采用測量不同特征值之間的距離方法進行分類。
算法過程如下：
1、準備樣本數(shù)據(jù)集（樣本中每個數(shù)據(jù)都已經(jīng)分好類，并具有分類標簽）；
2、使用樣本數(shù)據(jù)進行訓(xùn)練；
3、輸入測試數(shù)據(jù)A；
4、計算A與樣本集的每一個數(shù)據(jù)之間的距離；
5、按照距離遞增次序排序；
6、選取與A距離最小的k個點；
7、計算前k個點所在類別的出現(xiàn)頻率；
8、返回前k個點出現(xiàn)頻率最高的類別作為A的預(yù)測分類。
主要因素
訓(xùn)練集（或樣本數(shù)據(jù)）
訓(xùn)練集太小會誤判，訓(xùn)練集太大時對測試數(shù)據(jù)分類的系統(tǒng)開銷會非常大。
距離（或相似的衡量算法）
什么是合適的距離衡量？距離越近應(yīng)該意味著這兩個點屬于一個分類的可能性越大。
距離衡量包括:
1、歐氏距離
歐幾里得度量（euclidean metric）（也稱歐氏距離）是一個通常采用的距離定義，指在m維空間中兩個點之間的真實距離，或者向量的自然長度（即該點到原點的距離）。在二維和三維空間中的歐氏距離就是兩點之間的實際距離。
適用于空間問題。
2、曼哈頓距離
出租車幾何或曼哈頓距離（Manhattan Distance）是由十九世紀的赫爾曼·閔可夫斯基所創(chuàng)詞匯 ，是種使用在幾何度量空間的幾何學(xué)用語，用以標明兩個點在標準坐標系上的絕對軸距總和。 曼哈頓距離是歐氏距離在歐幾里得空間的固定直角坐標系上所形成的線段對軸產(chǎn)生的投影的距離總和。
