情報エレクトロニクス学科共通科目・２年次・第１学期〔必修科目〕 講義「情報理論」(クラスC) 　　　 第1回 第１章 情報理論とは 2016/06/08 情報理論 講義資料

情報理論とは 情報の伝達を効率よく、信頼性高く行うための理論 キーワード：情報の伝達、効率性、信頼性 2016/06/08 情報理論 講義資料

情報の伝達 情報の伝達の本質は、受け手の知識の変化 受け手の知識の変化が大きいのは？ <１月の札幌の天気>　受け手は札幌に長年住んでいると仮定 Case 1 雪降っているよ 外の天気を知らない場合 Case 2 雨降っているよ 外の天気を知らない場合 Case 3 雨降っているよ 外の天気を知っている場合 2016/06/08 情報理論 講義資料

情報の伝達 受け手の知識の変化＝ 何らかの統計的知識に基づいて受け手が与えている 確率分布の変化 晴 曇 雨 雪 5.5% 1.2% 　　　　　何らかの統計的知識に基づいて受け手が与えている 　　　　　確率分布の変化 受け手の世界 確率分布 晴 曇 雨 雪 5.5% 1.2% 0.2% 93.1% 統計的知識 雨降っているよ 過去の統計とか 晴 曇 雨 雪 0% 100% 2016/06/08 情報理論 講義資料

通信システムのモデル 情報理論では、受け手の世界（確率分布）を既知と仮定して、情報伝達の効率性と信頼性についての理論を展開する。 そのためには通信モデルをはっきりさせる必要がある。 誤りや ひずみ 符号器 復号器 情報源 information source 符号化 coding 通信路 Communication channel 復号 decoding あて先 destination ディジタル情報源 アナログ情報源 電線 光ファイバ 記録媒体 人間 etc… データ（通報) data(message) データ（通報) data(message) ディジタル情報 アナログ情報 010111010… 今日学校の帰りに カラオケ行こうぜ 今日学校の帰りに カラオケ行こうぜ 電波 光ファイバーなど 電波 2016/06/08 情報理論 講義資料

ディジタルとアナログ ディジタル量： 離散的な値をとる量（例： 記号、数字） ディジタル量：　離散的な値をとる量（例：　記号、数字） 　　ディジタルデータ(通報)：　ディジタル量で表されるデータ(通報) 　　ディジタル情報源：　ディジタルデータ(通報)を発生する情報源 　　ディジタル通信路：　入出力ともにデジタル量である通信路 アナログ量：　　連続的な値をとる量（例：　音声、画像） 　　アナログデータ(通報)：　アナログ量で表されるデータ(通報) 　　アナログ情報源：　アナログデータ(通報)を発生する情報源 　　アナログ通信路：　入力、出力の少なくとも一方がアナログ量で 　　　　　　　　　　　　　　ある通信路 2016/06/08 情報理論 講義資料

ディジタル通信路・アナログ通信路 0,1で表されるディジタル量をパルスに変換してアナログ量にできる。下図のようなシステムの場合、③④⑤をまとめてデジタル通信路と考えることもできる。 デジタル通信路 ① ② ③ アナログ通信路 英文の 情報源 英文 ⇒0,1の列 0→ 1→ ④ ⑦ ⑥ ⑤ あて先 0,1の列 ⇒ 英文 パルスの極性の判定 ＋ ⇒ 0, － ⇒ 1 音声アナログ情報をパルス符号変調技術(PCM)によってディジタル量にできる。（アナログ通報もディジタル通信路で送ることが可能） 2016/06/08 情報理論 講義資料

効率性・信頼性の高い符号化 より効率よい（短い系列への）符号化 ⇒ 情報源符号化 より信頼性を高めるための符号化 ⇒ 通信路符号化 より効率よい（短い系列への）符号化　⇒　情報源符号化 より信頼性を高めるための符号化　⇒　通信路符号化 (例） 英文の 情報源 符号化 英文 ⇒ 0,1の列 ディジタル通信路 2元通信路 入力、出力ともに0,1 あて先 復号 0,1の列 ⇒ 英文 2016/06/08 情報理論 講義資料

効率的で信頼性が高い符号とは？ 例）天気情報を２元通信路を介して送る ２元通信路では送られた記号数に応じて課金される。 できるだけ送る記号数を減らしたい。 送られた情報源記号晴,曇,雪,雨が誤っている確率を 小さくしたい。 情報源記号 確率 晴 0.055 曇 0.012 雨 0.002 雪 0.931 情報源 {晴,曇,雪,雨} 符号化 coding 2元通信路 誤り率10-3 復号 decoding あて先 destination 2016/06/08 情報理論 講義資料

効率的な情報源符号化法とは C1とC2ではどっちが効率的(通信料が安くなる)？ 【問1.2】 符号語 符号アルファベット＝{0,1} : 2元符号 （q個あったらq元符号） 情報源記号 確率 C1 C2 晴 0.055 0 0 1 0 曇 0.012 0 1 1 1 0 雨 0.002 1 1 1 0 雪 0.931 1 1 C1とC2ではどっちが効率的(通信料が安くなる)？ １情報源記号あたりの平均符号長が短いほど効率的（通信料が安い）！ 2016/06/08 情報理論 講義資料

情報源符号化と合わせて1つの符号語の中に誤りが生じる確率は？ 信頼性の高い通信路符号化法とは 【問1.3】 誤り 誤り率10-3 符号化 0→000 1→111 通信路 復号化 xyz→MAJORITY{x,y,z} 例）010→0 110→1 復号誤り率は？ 3C2(10-3)2(1-10-3)+(10-3)3　≈　3・10-6 情報源符号化と合わせて1つの符号語の中に誤りが生じる確率は？ C1の場合　　　　　　約6・10-6 　　　　 C2の場合は？　→　教科書【問1.4】参照 2016/06/08 情報理論 講義資料

情報理論の問題の設定 情報源（と宛先）および通信路が与えられたとき次の二つを達成する符号化の具体的方法および符号化による改善の理論的限界を探る 通信路使用の効率（efficientcy）の向上 信頼性（reliability）の向上 符号化部分を分けて考える！ 符号化 情報源 情報源 符号化 通信路 符号化 通信路 復号 あて先 情報源 復号 通信路 復号 2016/06/08 情報理論 講義資料

（狭義の）信号理論は本講義では取り扱わない 情報理論の分野 Claude Elwood Shannon（クロード・エルウッド・シャノン） C. E. Shannon, “A mathematical theory of communication,” Bell System Technical Journal, vol. 27, pp. 379-423 and 623-656, July and October, 1948. 暗号理論 （狭義の）符号理論 （狭義の）情報理論 符号化の限界を主眼とする理論 シャノン理論ともいう Claude Elwood Shannon (1916-2001) 暗号理論もたぶんやらない。 （代数学に基づく）通信路符号化の具体的構成法および符号化・復号法を主眼とする理論 安全な情報伝達の理論 （狭義の）信号理論は本講義では取り扱わない 2016/06/08 情報理論 講義資料

シャノン理論 情報量の定義 情報源符号化の概念とその限界 通信路符号化の概念とその限界 　確率pの事象が起こったことを知ったとき、どれだけの情報量を得たと考えればよいか 情報源符号化の概念とその限界 　情報源の確率モデルが与えられたときに、どれだけ短く符号化できるか 通信路符号化の概念とその限界 　通信路の確率モデル（誤り発生のモデル）が与えられたときに、どれだけの速度で情報を安全に情報を送れるか 2016/06/08 情報理論 講義資料

情報理論の応用分野 情報量、エントロピー 自然言語処理 情報源符号化（高能率符号化技術） データ圧縮、音声・画像の符号化 　自然言語処理 情報源符号化（高能率符号化技術） 　データ圧縮、音声・画像の符号化 通信路符号化（誤り訂正技術） 　通信、電子計算システム、オーディオ、ビデオ 情報理論的な考え方 　機械学習、パターン認識 2016/06/08 情報理論 講義資料

現代の情報理論 多端子情報理論 複数の情報源の符号化、多入力多出力通信路の符号化 アドホックネットワークにおける通信理論 　複数の情報源の符号化、多入力多出力通信路の符号化 アドホックネットワークにおける通信理論 ad hoc•••••その場限りの 電子透かし技術 　改竄や不正コピーを検出する技術 暗号化技術•認証技術 　情報の漏洩を防ぐ技術 量子情報理論 　量子力学的な素子を直接操作する情報処理の理論 2016/06/08 情報理論 講義資料