在這本書的16章中，前13章是基本主題，后3章是更熱情讀者的高級(jí)主題。這些章節(jié)的簡(jiǎn)要介紹將使我們更好地了解這本書的內(nèi)容。

　　第一章是對(duì)信息論本質(zhì)的一個(gè)很高層次的介紹，也是香農(nóng)1948年創(chuàng)辦該領(lǐng)域的原著的主要成果。也有指向香農(nóng)傳記和他的作品。

　　第二章介紹香農(nóng)的信息測(cè)度及其基本性質(zhì)。推導(dǎo)并解釋了信息論中的有用恒等式和不等式。特別注意處理零概率質(zhì)量的聯(lián)合分布。本章以一節(jié)關(guān)于靜態(tài)信息源的熵率為結(jié)尾。

　　第三章以前綴碼為特例，討論了唯一可譯碼對(duì)零誤差數(shù)據(jù)的壓縮。給出了既不涉及卡夫不等式又不涉及基本不等式的前綴碼熵界的證明。這個(gè)證明有助于討論前綴代碼的冗余性。

　　第四章是對(duì)弱典型性的透徹處理。討論了弱漸近均分性質(zhì)和源編碼定理。給出了一個(gè)關(guān)于一個(gè)好的數(shù)據(jù)壓縮方案產(chǎn)生幾乎I.I.D.位的解釋。對(duì)香農(nóng)-麥克米蘭-布雷曼定理也作了簡(jiǎn)要的討論。

　　第五章介紹了一個(gè)新的不涉及字母集基數(shù)的強(qiáng)典型性定義。這里對(duì)強(qiáng)典型性的處理比Berger更詳細(xì)，但比CSISZ R和K RNER更不抽象，在定理5.3中證明了一個(gè)新的指數(shù)收斂結(jié)果。

　　第六章介紹了測(cè)度理論，建立了香農(nóng)信息測(cè)度與集合論的一一對(duì)應(yīng)關(guān)系。通過(guò)實(shí)例說(shuō)明了信息圖的使用如何簡(jiǎn)化信息論中許多結(jié)果的證明。這些例子中的大多數(shù)都是以前未發(fā)表的。特別是，例6.15是香農(nóng)完全保密定理的推廣。

　　第七章探討了馬爾可夫結(jié)構(gòu)測(cè)度的結(jié)構(gòu)。討論了完全條件獨(dú)立和馬爾可夫隨機(jī)場(chǎng)的集理論特征。這里對(duì)馬爾可夫隨機(jī)場(chǎng)的處理對(duì)于普通讀者來(lái)說(shuō)可能過(guò)于專門化，但是對(duì)于馬爾可夫鏈的度量結(jié)構(gòu)和信息圖的簡(jiǎn)單性最好解釋為馬爾可夫隨機(jī)場(chǎng)的一個(gè)特例。

　　第八章是對(duì)信道編碼定理的一種新的處理方法。具體地說(shuō)，采用圖形模型方法來(lái)解釋隨機(jī)變量的條件獨(dú)立性。在討論反饋時(shí)要非常小心。

　　第九章介紹了速率失真理論。本章中的結(jié)果比標(biāo)準(zhǔn)的主題處理中的結(jié)果更強(qiáng)，盡管在派生中使用了基本相同的技術(shù)。在

　　第十章討論了計(jì)算信道容量和速率失真函數(shù)的Blahut-Arimoto算法，并給出了收斂的簡(jiǎn)化證明。在處理具有零概率質(zhì)量的分布時(shí)要非常小心。

　　第11章介紹了網(wǎng)絡(luò)編碼理論。解釋了在點(diǎn)對(duì)點(diǎn)網(wǎng)絡(luò)中，當(dāng)信息源是多播時(shí)，中間節(jié)點(diǎn)的編碼可以提高吞吐量這一令人驚訝的事實(shí)。詳細(xì)說(shuō)明了單信息源網(wǎng)絡(luò)編碼的最大流界。在接下來(lái)的三章中開(kāi)發(fā)出必要的工具之后，第15章將討論多源網(wǎng)絡(luò)編碼。信息不平等有時(shí)被稱為信息論的規(guī)律，因?yàn)樗鼈冎渲畔⒄撝械牟豢赡苄浴?/p>

　　第十二章對(duì)信息不等式的幾何意義以及信息不等式與條件獨(dú)立性的關(guān)系進(jìn)行了深入的解釋。本文討論的信息不平等框架是下兩章的基礎(chǔ)。

　　第13章解釋了如何將證明信息不等式的問(wèn)題表述為線性規(guī)劃問(wèn)題。這導(dǎo)致了對(duì)所有信息不等式的完整描述，這些信息不等式可以用常規(guī)技術(shù)證明。這些被稱為香農(nóng)型不等式，現(xiàn)在可以用這本書附帶的ITIP軟件來(lái)證明。同時(shí)也說(shuō)明了如何利用香農(nóng)型不等式來(lái)解決概率論中條件獨(dú)立的蘊(yùn)涵問(wèn)題。我們過(guò)去所知道的所有信息不等式都是香農(nóng)型不等式。近年來(lái)，人們發(fā)現(xiàn)了一些非香農(nóng)型不等式。這意味著信息論中存在著超越香農(nóng)規(guī)定的規(guī)律。

　　第14章對(duì)這些不等式及其應(yīng)用進(jìn)行了深入的解釋。

　　第15章進(jìn)一步發(fā)展了網(wǎng)絡(luò)編碼理論。討論了點(diǎn)對(duì)點(diǎn)網(wǎng)絡(luò)中多個(gè)信息源是多播的情況。令人驚訝的是，即使信息源是相互獨(dú)立的，多源問(wèn)題也不等同于幾個(gè)單一的源問(wèn)題，這一事實(shí)也得到了明確的解釋。討論了可實(shí)現(xiàn)編碼速率域的隱式和顯式邊界。這些對(duì)可實(shí)現(xiàn)的編碼速率區(qū)域的描述幾乎涉及本書早期開(kāi)發(fā)的所有工具，特別是信息不平等的框架。

　　第16章解釋了信息論和群論之間有趣的關(guān)系。具體地說(shuō)，對(duì)于任何聯(lián)合分布所滿足的每一個(gè)信息不等式，都存在一個(gè)由任何有限群及其子群滿足的相應(yīng)群不等式，反之亦然。后一類不等式控制任何有限群及其子群的階。給出了香農(nóng)型信息不等式的群理論證明。在本章的最后，從第14章討論的非香農(nóng)型不等式中得到了一個(gè)群不等式。這種不平等的含義和含義尚待理解。

　　通信系統(tǒng)中，我們經(jīng)常在嘈雜的環(huán)境中把信息從一個(gè)點(diǎn)傳遞到另一個(gè)點(diǎn)?？紤]下面的場(chǎng)景。秘書需要定期發(fā)送傳真，她想在每一頁(yè)上盡可能多地傳達(dá)信息。她可以選擇字體大小，這意味著如果使用較小的字體大小，可以將更多的字符壓縮到頁(yè)面上。原則上，通過(guò)使用足夠小的字體大小，她可以根據(jù)需要在頁(yè)面上擠壓任意多的字符。但是，系統(tǒng)中存在兩個(gè)可能導(dǎo)致錯(cuò)誤的因素。首先，傳真機(jī)的分辨率是有限的。其次，由于電話線中有噪音，傳輸?shù)淖址赡芙邮詹徽_。因此，如果字體太小，傳真機(jī)可能無(wú)法識(shí)別字符。另一方面，盡管傳真上的某些字符可能無(wú)法識(shí)別，但只要這些字符的數(shù)量不超過(guò)，收件人仍然可以從上下文中找出這些單詞。換句話說(shuō)，不需要選擇字體大小，這樣傳真上的所有字符幾乎都可以識(shí)別。然后我們有動(dòng)機(jī)問(wèn)：傳真一頁(yè)最多可以傳送多少有意義的信息？

　　這個(gè)問(wèn)題可能沒(méi)有一個(gè)明確的答案，因?yàn)樗皇呛芎玫靥岢?。尤其是，我們沒(méi)有對(duì)有意義的信息進(jìn)行精確的測(cè)量。然而，這個(gè)問(wèn)題是我們可以問(wèn)的關(guān)于通信系統(tǒng)的基本問(wèn)題的一個(gè)例子。信息不是物理實(shí)體，而是抽象概念，一般來(lái)說(shuō)很難量化。尤其是在利用信息時(shí)涉及人為因素的情況下。例如，當(dāng)我們用激光唱盤演奏貝多芬的小提琴協(xié)奏曲時(shí)，我們從擴(kuò)音器接收到音樂(lè)信息。我們喜歡這些信息，因?yàn)樗芗ぐl(fā)我們內(nèi)心的某種情感。當(dāng)我們收到同樣的信息時(shí)，