在第三章中我們假設概率密度函數(shù)的參數(shù)形式已知,于是可以使用訓練樣本來估計概率密度函數(shù)的參數(shù)值.在本章中,我們將直接假定判別函數(shù)的參數(shù)形式已知,而用訓練的方法來估計判別函數(shù)的參數(shù)值.我們將介紹求解判別函數(shù)的各種算法,其中一部分基于統(tǒng)計方法,而另一些不是.這里都不要求知道有關的概率密度函數(shù)的確切的(參數(shù))形式,從這種意義上來說,它們都屬于非參數(shù)化的方法.
在這一章中,我們將關注以下形式的判別函數(shù):它們或者是X的各個分量的線性函數(shù),或者是關于以X為自變量的某些函數(shù)的線性函數(shù).線性判別函數(shù)具有許多優(yōu)良的特性,因而便于進行分析.就像我們在第二章看到的一樣,如果內(nèi)在的概率密度函數(shù)恰當?shù)脑?那么采用線性判別函數(shù)是最優(yōu)的,比如通過適當?shù)倪x擇特征提取方法,可以使得各個高斯函數(shù)具有相等的協(xié)方差矩陣.即使它們不是最優(yōu)的,我們也愿意犧牲一些分類準確率,以換取處理簡便的優(yōu)點.線性判別函數(shù)的計算是相當容易的,另外,當信息比較缺乏時,線性分類器對處于最初的.嘗試階段的分類器來說也是很有吸引力的選擇.它們所展示的一些非常重要的原理在第6章的神經(jīng)網(wǎng)絡中將得到更充分的應用.
尋找線性差別函數(shù)的問題將被形式為極小化準則函數(shù)的問題.以分類為目的的準則函數(shù)可以是樣本風險,或者是訓練誤差,即對訓練樣本集進行分類所引起的平均損失.但在這里我們必須強調(diào)的是:盡管這個準則是很有吸引力的,但它卻有很多的問題.我們的目標是能夠?qū)π碌臉颖具M行分類,但一個小的訓練誤差并不能保證測試誤差同樣的小-------這是一個吸引人而又非常微妙的問題,我們將在第9章中進一步論述這個問題.這里我們將看到,準確的計算極小風險判別函數(shù)通常是困難的,因此我們將考查一些有關的更易于分析的準則函數(shù).
我們的注意力將在很大程度上放在收斂性用各種應用于極小化準則函數(shù)的梯度下降法的計算復雜度上,它們當中一些方法的是很相似的,這使得清晰地保持