在第三章中我們假設(shè)概率密度函數(shù)的參數(shù)形式已知,于是可以使用訓(xùn)練樣本來估計概率密度函數(shù)的參數(shù)值.在本章中,我們將直接假定判別函數(shù)的參數(shù)形式已知,而用訓(xùn)練的方法來估計判別函數(shù)的參數(shù)值.我們將介紹求解判別函數(shù)的各種算法,其中一部分基于統(tǒng)計方法,而另一些不是.這里都不要求知道有關(guān)的概率密度函數(shù)的確切的(參數(shù))形式,從這種意義上來說,它們都屬于非參數(shù)化的方法.
在這一章中,我們將關(guān)注以下形式的判別函數(shù):它們或者是X的各個分量的線性函數(shù),或者是關(guān)于以X為自變量的某些函數(shù)的線性函數(shù).線性判別函數(shù)具有許多優(yōu)良的特性,因而便于進(jìn)行分析.就像我們在第二章看到的一樣,如果內(nèi)在的概率密度函數(shù)恰當(dāng)?shù)脑?那么采用線性判別函數(shù)是最優(yōu)的,比如通過適當(dāng)?shù)倪x擇特征提取方法,可以使得各個高斯函數(shù)具有相等的協(xié)方差矩陣.即使它們不是最優(yōu)的,我們也愿意犧牲一些分類準(zhǔn)確率,以換取處理簡便的優(yōu)點(diǎn).線性判別函數(shù)的計算是相當(dāng)容易的,另外,當(dāng)信息比較缺乏時,線性分類器對處于最初的.嘗試階段的分類器來說也是很有吸引力的選擇.它們所展示的一些非常重要的原理在第6章的神經(jīng)網(wǎng)絡(luò)中將得到更充分的應(yīng)用.
尋找線性差別函數(shù)的問題將被形式為極小化準(zhǔn)則函數(shù)的問題.以分類為目的的準(zhǔn)則函數(shù)可以是樣本風(fēng)險,或者是訓(xùn)練誤差,即對訓(xùn)練樣本集進(jìn)行分類所引起的平均損失.但在這里我們必須強(qiáng)調(diào)的是:盡管這個準(zhǔn)則是很有吸引力的,但它卻有很多的問題.我們的目標(biāo)是能夠?qū)π碌臉颖具M(jìn)行分類,但一個小的訓(xùn)練誤差并不能保證測試誤差同樣的小-------這是一個吸引人而又非常微妙的問題,我們將在第9章中進(jìn)一步論述這個問題.這里我們將看到,準(zhǔn)確的計算極小風(fēng)險判別函數(shù)通常是困難的,因此我們將考查一些有關(guān)的更易于分析的準(zhǔn)則函數(shù).
我們的注意力將在很大程度上放在收斂性用各種應(yīng)用于極小化準(zhǔn)則函數(shù)的梯度下降法的計算復(fù)雜度上,它們當(dāng)中一些方法的是很相似的,這使得清晰地保持