《信息論基礎(chǔ)》教學(xué)講義
包括緒論，第一章至第四章共5個章節(jié)內(nèi)容



緒論
科學(xué)技術(shù)的發(fā)展使人類正在進入一個新的時代，這個時代的主要特征之一是對信息的需求和利用，因此有人稱它為信息時代。
一) 什么是信息？
信息至今無確切定義，但是它是一種人人皆知的抽象概念，是一種不言自明的概念。正像什么是“人”的概念一樣，不言自明，人人皆知。
信息雖無確切定義，但是卻具有兩個明顯的特征：廣泛性與抽象性。所謂廣泛性可從以下三方面來理解：
1) 客觀世界充滿著信息：
天上的星體、地下的礦藏，一切客觀物質(zhì)無不具有自己的特征信息。
2) 人類離不開信息：
人的五官在不停地感知、接收信息；人的神經(jīng)系統(tǒng)在不停地傳遞信息；人的大腦則在不停地處理與決策信息；人與人之間又在不停地交流信息；人活在世上百分之百時間都在自覺與不自覺地與信息打交道。
3) 知識、書本是有用信息的積累：
人類依靠知識改造自然，適應(yīng)自然，靠知識促進社會的發(fā)展與進步。
所謂抽象性則是指：
信息是組成客觀世界并促進社會發(fā)展的最基本的三大要素之一。
三大要素是：物質(zhì)、能量與信息。三要素中物質(zhì)是基礎(chǔ)，是實體。能量是物質(zhì)運動的形式，E=mc2，物質(zhì)可轉(zhuǎn)換成能量，而能量又是改造客觀世界的主要動力。
信息：它依附于物質(zhì)和能量，但又不同于物質(zhì)和能量。沒有信息就不能更好地利用物質(zhì)和能量，人類利用信息和知識改造物質(zhì)，創(chuàng)造新物質(zhì)，提高能量利用效率，發(fā)現(xiàn)新能量形式。信息也是客觀存在的，它是人類認(rèn)識、改造客觀世界的主要動力，是人類認(rèn)識客觀世界的更高層次。就狹義而言，在通信中對信息的表達分為三個層次：信號、消息、信息。
信號：是信息的物理表達層，是三個層次中最具體的層次。它是一個物理量，是一個載荷信息的實體，可測量、可描述、可顯示。
消息：(或稱為符號)是信息的數(shù)學(xué)表達層，它雖不是一個物理量，但是可以定量地加以描述，它是具體物理信號的進一步數(shù)學(xué)抽象，可將具體物理信號抽象為兩大類型：
1) 離散(數(shù)字)消息，是一組未知量，可用隨機序列來描述：
U=(U1…Ul…UL)
2) 連續(xù)(模擬)消息，也是未知量，它可用隨機過程來描述：U(t,ω)
信息：它是更高層次哲學(xué)上的抽象，是信號與消息的更高表達層次。三個層次中，信號最具體，信息最抽象。它們?nèi)咧g的關(guān)系是哲學(xué)上的內(nèi)涵與外延的關(guān)系。
這就是說：信息可以認(rèn)為是具體的物理信號、數(shù)學(xué)描述的消息的內(nèi)涵，即信號具體載荷的內(nèi)容、消息描述的含義。
而信號則是抽象信息在物理層表達的外延；消息則是抽象信息在數(shù)學(xué)層表達的外延。同一信息，可以采用不同的信號形式(比如文字、語言、圖象等)來載荷；同一信息，也可以采用不同的數(shù)學(xué)表達形式(比如離散或連續(xù))來定量描述。同樣，同一信號形式，比如“0”與“1”可以表達不同形式的信息，比如無與有、斷與通、低與高(電平)等等。