編輯推薦

本書針對通信工程、電子信息工程和信息工程等專業的教學需要，重點講授香農信息論的基本原理及其應用，強調在信息傳輸係統這一工程應用背景下建立信息論的數學分析方法。

內容簡介

本書重點介紹瞭香農信息論的基本原理及其應用。在保持一定理論深度的基礎上，盡可能簡化繁雜的公式、定理的證明，采用較多的例題和圖示來展示基本概念和原理的應用。敘述上力求概念清楚、重點突齣、深入淺齣、通俗易懂；內容上力求科學性、先進性、係統性與實用性的統一。 本書共8章，內容包括：緒論、離散信源及其信息度量、離散信道及其信道容量、連續信源和連續信道、無失真信源編碼、有噪信道編碼、限失真信源編碼和網絡信息論初步。

作者簡介

於秀蘭，重慶郵電大學通信學院副教授，主要從事通信原理和信息論的教學和科研工作；重慶市精品課程《信息論基礎》和第二負責人（實際負責人）；重慶市精品課程《通信原理》第二負責人；編著有"信息論”和"通信原理”等多部教材。

目錄

第1章 緒論 1
1．1 信息的概念 1
1．1．1 什麼是信息 1
1．1．2 信息如何度量 2
1．2 信息傳輸係統 4
1．3 信息論的研究內容 7
1．3．1 基本信息論的研究內容 7
1．3．2 一般信息論的研究內容 8
1．3．3 廣義信息論的研究內容 8
1．4 香農信息論的形成和發展 8
習題 10
第2章 離散信源及其信息度量 12
2．1 離散信源的分類 12
2．2 離散信源的統計特性 13
2．2．1 單符號離散信源的統計特性 13
2．2．2 多符號離散信源的統計特性 13
2．3 離散隨機變量的信息度量 14
2．3．1 自信息和信息熵 14
2．3．2 聯閤自信息和聯閤熵 19
2．3．3 條件自信息和條件熵 21
2．3．4 各類熵之間的關係 24
2．4 離散信源的N次擴展信源 27
2．4．1 離散信源的N次擴展信源的熵 27
2．4．2 離散無記憶信源的N次擴展信源的熵 28
2．5 離散平穩信源 29
2．5．1 離散平穩信源的數學定義 29
2．5．2 有限維離散平穩信源的條件熵 31
2．5．3 二維離散平穩信源的平均符號熵 32
2．5．4 離散平穩信源的極限熵 33
2．5．5 計算極限熵的處理方法 36
2．6 馬爾可夫信源 37
2．6．1 馬爾可夫信源的描述 37
2．6．2 齊次遍曆的馬爾可夫信源 39
2．6．3 齊次遍曆馬爾可夫信源的極限熵 41
2．7 離散信源的相關性和剩餘度 46
習題 48
第3章 離散信道及其信道容量 53
3．1 離散信道的分類 53
3．2 離散信道的數學模型 54
3．2．1 單符號離散信道的數學模型 54
3．2．2 多符號離散信道的數學模型 57
3．3 離散隨機變量的互信息和平均互信息 59
3．3．1 互信息的定義 59
3．3．2 互信息的性質 60
3．3．3 平均互信息的定義 61
3．3．4 平均互信息的性質 62
3．3．5 平均互信息與各類熵之間的關係 65
3．3．6 平均聯閤互信息和平均條件互信息 66
3．4 信道容量的定義 68
3．4．1 信息傳輸率和信息傳輸速率 68
3．4．2 信道容量 69
3．5 單符號離散信道及其信道容量 71
3．5．1 典型信道的信道容量 71
3．5．2 串聯信道及其信道容量 75
3．5．3 信息處理定理 76
3．5．4 一般離散信道的信道容量 77
3．6 多符號離散信道及其信道容量 85
3．6．1 多符號離散信道的平均互信息 85
3．6．2 離散無記憶信道的信道容量 86
3．6．3 獨立並聯信道及其信道容量 86
3．7 信源與信道的匹配 87
習題 88
第4章 連續信源和連續信道 93
4．1 連續信源的分類和統計特性 93
4．1．1 連續信源的分類 93
4．1．2 連續信源的統計特性 93
4．2 連續隨機變量的信息度量 95
4．2．1 連續隨機變量的熵 96
4．2．2 連續隨機變量的平均互信息 98
4．3 連續信源的信息度量 99
4．3．1 單符號連續信源的熵 100
4．3．2 多符號連續信源的熵 100
4．3．3 波形信源的熵率 101
4．4 連續信源的最大熵 102
4．4．1 瞬時功率受限的連續信源 103
4．4．2 平均功率受限的連續信源 103
4．4．3 連續信源的熵功率 105
4．5 連續信源熵的變換 106
4．6 連續信道和波形信道的分類 108
4．6．1 連續信道的分類 108
4．6．2 波形信道的分類 109
4．7 連續信道的平均互信息 110
4．7．1 連續信道 110
4．7．2 加性信道 111
4．8 連續信道的信道容量 112
4．8．1 一維高斯加性信道 113
4．8．2 多維無記憶高斯加性信道 114
4．9 波形信道的信道容量 116
4．9．1 限帶AWGN信道的容量 116
4．9．2 香農公式的討論 117
習題 120
第5章 無失真信源編碼 123
5．1 信源編碼的基本概念 123
5．1．1 信源編碼的數學模型 123
5．1．2 信源編碼的分類 124
5．1．3 唯一可譯碼和即時碼 125
5．1．4 編碼效率 128
5．2 無失真信源編碼定理 130
5．2．1 無失真定長信源編碼定理 131
5．2．2 無失真變長信源編碼定理 135
5．3 常見的無失真信源編碼方法 137
5．3．1 香農（Shannon）碼 138
5．3．2 霍夫曼（Huffman）碼 139
5．3．3 費諾（Fano）碼 147
5．3．4 香農-費諾-埃利斯碼 148
5．3．5 算術碼 149
5．3．6 LZ碼 152
習題 154
第6章 有噪信道編碼 158
6．1 錯誤概率 158
6．1．1 錯誤概率和譯碼規則 158
6．1．2 錯誤概率和編碼方法 162
6．2 有噪信道編碼定理 163
6．3 聯閤信源信道編碼定理 166
6．4 信道編碼的基本概念 167
6．4．1 信道編碼的分類 168
6．4．2 綫性分組碼的檢錯和糾錯能力 168
6．4．3 最小漢明距離譯碼 170
6．4．4 差錯控製的三種方式 171
6．4．5 差錯控製的途徑 172
6．5 綫性分組碼 173
6．5．1 綫性分組碼的編碼 173
6．5．2 綫性分組碼的譯碼 180
6．5．3 完備碼和漢明碼 185
6．6 循環碼 186
6．6．1 循環碼的碼多項式 186
6．6．2 循環碼的生成多項式和生成矩陣 187
6．6．3 循環碼的伴隨式 190
6．6．4 BCH碼和RS碼 192
6．7 捲積碼 194
6．7．1 捲積碼的解析錶示 194
6．7．2 捲積碼的圖形描述 198
6．7．3 捲積碼的譯碼方法 200
6．7．4 遞歸型係統捲積碼 202
6．8 交織碼 203
6．9 級聯碼 205
6．10 Turbo碼 205
6．11 LDPC碼 207
習題 208
第7章 限失真信源編碼 212
7．1 失真測度 212
7．1．1 失真函數 213
7．1．2 平均失真 215
7．1．3 保真度準則 216
7．2 信息率失真函數 217
7．2．1 信息率失真函數的定義 217
7．2．2 R(D)函數的性質 217
7．3 常見信源的R(D)函數 220
7．3．1 R(D)函數的參量錶示法 220
7．3．2 離散對稱信源的R(D)函數 224
7．3．3 高斯信源的R(D)函數 229
7．4 限失真信源編碼定理 231
7．5 聯閤限失真信源信道編碼定理 232
習題 233
第8章 網絡信息論初步 237
8．1 網絡信源 237
8．2 網絡信道 239
8．2．1 多址接入信道 239
8．2．2 廣播信道 241
8．3 網絡信源和網絡信道的聯閤/分離 242
8．4 網絡編碼 243
8．4．1 網絡編碼原理 243
8．4．2 綫性網絡編碼原理 244
8．4．3 網絡編碼的優勢 245
8．5 協作通信 246
8．5．1 中繼網絡中協作策略及其容量 247
8．5．2 多中繼高斯信道的容量 250
附錄A 詹森不等式及其應用 253
附錄B 信息度量的常用公式 260
參考文獻 263

前言/序言

信息社會被廣泛認為是繼農業社會、工業社會之後的第三次偉大的科技革命與社會變革，信息論、控製論和係統論成為信息社會最基礎的理論體係。信息論是20世紀40年代末期由美國數學傢香農等人創立的，它是關於通信的數學理論，是一門高度概括的、應用廣泛的綜閤性學科，經過幾十年的發展，已經成為信息科學的重要基礎理論。

香農信息論應用概率論、隨機過程和數理統計等方法來研究信息的存儲、傳輸和處理中的一般規律，揭示如何采用適當的編碼提高信息係統的可靠性和有效性，為構造最佳通信係統提供瞭重要的理論依據。其主要內容包括三個基本概念（信源熵、信道容量和信息率失真函數）及其三個編碼定理（無失真信源編碼定理、有噪信道編碼定理和限失真信源編碼定理）。

本書針對通信工程、電子信息工程和信息工程等專業的教學需要，重點講授香農信息論的基本原理及其應用，強調在信息傳輸係統這一工程應用背景下建立信息論的數學分析方法。全書共8章，主要內容如下。

第1章介紹香農信息論的概況，包括信息的概念、信息傳輸係統的組成、信息論的研究內容、形成和發展。

第2章介紹離散信源及其信息度量。首先介紹離散信源的分類和統計特性，然後討論離散隨機變量的信息度量，包括自信息和信息熵、聯閤自信息和聯閤熵、條件自信息和條件熵，進而討論離散信源的Ｎ次擴展信源、離散平穩信源和馬爾可夫信源的信息度量，最後介紹離散信源的相關性和剩餘度。

第3章介紹離散信道及其信道容量。首先介紹離散信道的分類和數學模型，然後定量地研究信道傳輸的平均互信息及其重要性質，並重點討論幾種典型單符號離散信道的信道容量，進而研究一般單符號離散信道的信道容量的計算方法，而後討論多符號離散信道的信道容量，最後討論信源和信道的匹配問題。

第4章介紹連續信源和連續信道。首先介紹連續信源的分類及其統計特性，進而討論其信息度量，而後介紹連續信道的分類及其信道容量，並重點討論錶徵AWGN信道容量的香農公式。

第5章論述無失真信源編碼定理，並給齣幾種常見的無失真信源編碼方法。

第6章論述有噪信道編碼定理，並討論幾種常見的信道編碼和譯碼的方法。

第7章論述限失真信源編碼定理，並討論信息率失真函數的定義、性質及其計算。

第8章介紹網絡信息論的一些基本理論和新成果。

本書在敘述上力求概念清楚、體係完整、重點突齣、通俗易懂；在內容上力求科學性、先進性、係統性與實用性的統一。讀者在學習時應結閤實際通信係統來理解信息論和編碼理論，注重對物理概念的理解，培養分析和解決通信係統中實際問題的能力。

本書由於秀蘭、陳前斌、王永編著，其中第1章、第2章、第5章和第6章由於秀蘭編寫；第4章和第8章由陳前斌編寫；第7章由王永編寫；第3章由於秀蘭和王永共同編寫；最後由於秀蘭統稿。

本書在編寫過程中得到瞭重慶郵電大學雷維嘉教授、蔣青教授、陳善學教授和唐倫教授等多位同行的幫助，在齣版過程中得到瞭電子工業齣版社的鼎力支持，在此一並錶示誠摯的謝意。

由於作者水平有限，書中錯誤難免，敬請讀者批評指正。

作 者

2017年1月