條件隨機場CRF(一)從隨機場到線性鏈條件隨機場

    條件隨機場CRF(二) 前向后向算法評估標記序列概率(TODO)

    條件隨機場CRF(三) 模型學習與維特比算法解碼(TODO)

    條件隨機場(Conditional Random Fields, 以下簡稱CRF)是給定一組輸入序列條件下另一組輸出序列的條件概率分布模型,在自然語言處理中得到了廣泛應用。本系列主要關注于CRF的特殊形式:線性鏈(Linear chain) CRF。本文關注與CRF的模型基礎。

1.什么樣的問題需要CRF模型

    和HMM類似,在討論CRF之前,我們來看看什么樣的問題需要CRF模型。這里舉一個簡單的例子:

    假設我們有Bob一天從早到晚的一系列照片,Bob想考考我們,要我們猜這一系列的每張照片對應的活動,比如: 工作的照片,吃飯的照片,唱歌的照片等等。一個比較直觀的辦法就是,我們找到Bob之前的日常生活的一系列照片,然后找Bob問清楚這些照片代表的活動標記,這樣我們就可以用監(jiān)督學習的方法來訓練一個分類模型,比如邏輯回歸,接著用模型去預測這一天的每張照片最可能的活動標記。

    這種辦法雖然是可行的,但是卻忽略了一個重要的問題,就是這些照片之間的順序其實是有很大的時間順序關系的,而用上面的方法則會忽略這種關系。比如我們現(xiàn)在看到了一張Bob閉著嘴的照片,那么這張照片我們怎么標記Bob的活動呢?比較難去打標記。但是如果我們有Bob在這一張照片前一點點時間的照片的話,那么這張照片就好標記了。如果在時間序列上前一張的照片里Bob在吃飯,那么這張閉嘴的照片很有可能是在吃飯咀嚼。而如果在時間序列上前一張的照片里Bob在唱歌,那么這張閉嘴的照片很有可能是在唱歌。

    為了讓我們的分類器表現(xiàn)的更好,可以在標記數(shù)據(jù)的時候,可以考慮相鄰數(shù)據(jù)的標記信息。這一點,是普通的分類器難以做到的。而這一塊,也是CRF比較擅長的地方。

網(wǎng)友評論