《信息論基礎(chǔ)》教學(xué)講義
包括緒論，第一章至第四章共5個(gè)章節(jié)內(nèi)容



緒論
科學(xué)技術(shù)的發(fā)展使人類正在進(jìn)入一個(gè)新的時(shí)代，這個(gè)時(shí)代的主要特征之一是對(duì)信息的需求和利用，因此有人稱它為信息時(shí)代。
一) 什么是信息？
信息至今無確切定義，但是它是一種人人皆知的抽象概念，是一種不言自明的概念。正像什么是“人”的概念一樣，不言自明，人人皆知。
信息雖無確切定義，但是卻具有兩個(gè)明顯的特征：廣泛性與抽象性。所謂廣泛性可從以下三方面來理解：
1) 客觀世界充滿著信息：
天上的星體、地下的礦藏，一切客觀物質(zhì)無不具有自己的特征信息。
2) 人類離不開信息：
人的五官在不停地感知、接收信息；人的神經(jīng)系統(tǒng)在不停地傳遞信息；人的大腦則在不停地處理與決策信息；人與人之間又在不停地交流信息；人活在世上百分之百時(shí)間都在自覺與不自覺地與信息打交道。
3) 知識(shí)、書本是有用信息的積累：
人類依靠知識(shí)改造自然，適應(yīng)自然，靠知識(shí)促進(jìn)社會(huì)的發(fā)展與進(jìn)步。
所謂抽象性則是指：
信息是組成客觀世界并促進(jìn)社會(huì)發(fā)展的最基本的三大要素之一。
三大要素是：物質(zhì)、能量與信息。三要素中物質(zhì)是基礎(chǔ)，是實(shí)體。能量是物質(zhì)運(yùn)動(dòng)的形式，E=mc2，物質(zhì)可轉(zhuǎn)換成能量，而能量又是改造客觀世界的主要?jiǎng)恿Α?br /> 信息：它依附于物質(zhì)和能量，但又不同于物質(zhì)和能量。沒有信息就不能更好地利用物質(zhì)和能量，人類利用信息和知識(shí)改造物質(zhì)，創(chuàng)造新物質(zhì)，提高能量利用效率，發(fā)現(xiàn)新能量形式。信息也是客觀存在的，它是人類認(rèn)識(shí)、改造客觀世界的主要?jiǎng)恿Γ侨祟愓J(rèn)識(shí)客觀世界的更高層次。就狹義而言，在通信中對(duì)信息的表達(dá)分為三個(gè)層次：信號(hào)、消息、信息。
信號(hào)：是信息的物理表達(dá)層，是三個(gè)層次中最具體的層次。它是一個(gè)物理量，是一個(gè)載荷信息的實(shí)體，可測(cè)量、可描述、可顯示。
消息：(或稱為符號(hào))是信息的數(shù)學(xué)表達(dá)層，它雖不是一個(gè)物理量，但是可以定量地加以描述，它是具體物理信號(hào)的進(jìn)一步數(shù)學(xué)抽象，可將具體物理信號(hào)抽象為兩大類型：
1) 離散(數(shù)字)消息，是一組未知量，可用隨機(jī)序列來描述：
U=(U1…Ul…UL)
2) 連續(xù)(模擬)消息，也是未知量，它可用隨機(jī)過程來描述：U(t,ω)
信息：它是更高層次哲學(xué)上的抽象，是信號(hào)與消息的更高表達(dá)層次。三個(gè)層次中，信號(hào)最具體，信息最抽象。它們?nèi)咧g的關(guān)系是哲學(xué)上的內(nèi)涵與外延的關(guān)系。
這就是說：信息可以認(rèn)為是具體的物理信號(hào)、數(shù)學(xué)描述的消息的內(nèi)涵，即信號(hào)具體載荷的內(nèi)容、消息描述的含義。
而信號(hào)則是抽象信息在物理層表達(dá)的外延；消息則是抽象信息在數(shù)學(xué)層表達(dá)的外延。同一信息，可以采用不同的信號(hào)形式(比如文字、語言、圖象等)來載荷；同一信息，也可以采用不同的數(shù)學(xué)表達(dá)形式(比如離散或連續(xù))來定量描述。同樣，同一信號(hào)形式，比如“0”與“1”可以表達(dá)不同形式的信息，比如無與有、斷與通、低與高(電平)等等。