【第二講義】1次元非線形写像の不変集合とエントロピー

Slides:



Advertisements
Similar presentations
北海道大学 Hokkaido University 1 情報理論 講義資料 2016/06/22 情報エレクトロニクス学科共通科目・2年次・第 1 学期〔必修 科目〕 講義「情報理論」第 5 回 第 3 章 情報源のモデル [ 後半 ] 3.5 情報源のエントロピー.
Advertisements

1. 補間多項式 n 次の多項式 とは、単項式 の 線形結合の事である。 Definitions: ( 区間, 連続関数, abscissas (データ点、格子点、差分点), 多項 式 ) Theorem. (補間多項式の存在と一意性) 各 i = 0, …, n について、 をみたす、次数が高々 n.
0章 数学基礎.
第1回 確率変数、確率分布 確率・統計Ⅰ ここです! 確率変数と確率分布 確率変数の同時分布、独立性 確率変数の平均 確率変数の分散
富山大学 公開講座 2008 「QRコードを作ろう!」 ~ QRコードを作ろう! ~.
( ) ( ) 行 列 式 置 換 n文字の置換σ: n個の文字{1,2,・・・,n}から自分自身への1対1の写像 1 2 ・・・ n
復習.
Akio Arimoto March 7,2011 Seminar at Tokyo City University
ソフトウェア基礎科学 授業資料: 論理関係(logical relations)のお話
確率・統計Ⅰ 第11回 i.i.d.の和と大数の法則 ここです! 確率論とは 確率変数、確率分布 確率変数の独立性 / 確率変数の平均
情報科学概論I 【第5週】単位区間上のカオスとフラクタル ~実数の不思議~ 徳永隆治 (情報学類).
データ構造と アルゴリズム 理工学部 情報システム工学科 新田直也.
スペクトル法による数値計算の原理 -一次元線形・非線形移流問題の場合-
Generating Functions (前半) B4 堺谷光.
今日の目標 情報理論の概略を説明できる 情報とは何かを説明できる ニュースバリューの要因を示せる 科学的に扱う情報を確率の概念で説明できる
デジタル信号処理③
【第三講義】 1次元写像の軌道と安定性.
2012年度 情報数理 ~ QRコードを作ろう!(1) ~.
多変数関数の積分(6/3~24) 重積分(2重積分) 第6章(§5は除く) 重積分の定義 「連続関数は積分可能」
データ構造と アルゴリズム 知能情報学部 新田直也.
Probabilistic Method 6-3,4
      線形写像  線形写像 U,V:R上のベクトル空間 T:UからVへの写像 (1)T(u+v)=T(u)+T(v)  (u,v∈U),
Probabilistic method 輪講 第7回
電気回路学Ⅱ エネルギーインテリジェンスコース 5セメ 山田 博仁.
(ラプラス変換の復習) 教科書には相当する章はない
Lorenz modelにおける 挙動とそのカオス性
第6章 カーネル法 修士2年 藤井 敬士.
Statistical Physics and Singularity Theory
確率・統計Ⅰ 第3回 確率変数の独立性 / 確率変数の平均 ここです! 確率論とは 確率変数、確率分布 確率変数の独立性 / 確率変数の平均
形式言語の理論 5. 文脈依存言語.
数値積分.
第9章 混合モデルとEM 修士2年 北川直樹.
物理学者でない人 のための統計力学 東京工業大学 渡辺澄夫 DEX-SMI 1/1/2019.
【第七講義】 大域分岐.
7.4 Two General Settings D3 杉原堅也.
情報理工学系研究科 数理情報学専攻 数理第四研究室 博士三年 指導教員: 駒木 文保 准教授 鈴木 大慈 2008年8月14日
【第四講義】接空間と接写像.
Basic Tools B4  八田 直樹.
6. ラプラス変換.
1. 集合 五島 正裕.
非線形システム特論 (平成20年度版) 徳永隆治 筑波大学 システム情報工学研究科 CS専攻.
予測に用いる数学 2004/05/07 ide.
Extractor D3 川原 純.
計算の理論 II 言語とクラス 月曜4校時 大月美佳.
【第六講義】 局所分岐.
様々な情報源(4章).
9.通信路符号化手法1 (誤り検出と誤り訂正の原理)
【第五講義】 アトラクタとリアプノフ指数.
SUNFLOWER B4 岡田翔太.
計算の理論 I ー閉包性ー 月曜3校時 大月 美佳.
生物情報ソフトウェア特論 (2)たたみ込みとハッシュに 基づくマッチング
4. システムの安定性.
「データ学習アルゴリズム」 第3章 複雑な学習モデル 報告者 佐々木 稔 2003年6月25日 3.1 関数近似モデル
サポートベクターマシン Support Vector Machine SVM
5.3, 5.4 D2 岡本 和也.
第9章 学習アルゴリズムとベイズ決定側 〔3〕最小2乗法とベイズ決定側 発表:2003年7月4日 時田 陽一
計算の理論 I -プッシュダウンオートマトン-
人工知能特論II 第8回 二宮 崇.
【第六講義】非線形微分方程式.
Additive Combinatorics輪講 6章
d b c e a f 年度 有限幾何学 中間試験 問1 次の用語の定義をそれぞれ述べよ.
行列 一次変換,とくに直交変換.
4.プッシュダウンオートマトンと 文脈自由文法の等価性
電気回路学Ⅱ 通信工学コース 5セメ 山田 博仁.
ソースフィルタモデル.
Cプログラミング演習 ニュートン法による方程式の求解.
図2 x11 図1 x6 x10 x12 x3 x5 x7 x9 x13 x2 x4 x8 x14 (0,0) (1,0) x1 x15
情報生命科学特別講義III (3)たたみ込みとハッシュに 基づくマッチング
数理論理学 最終回 茨城大学工学部情報工学科 佐々木 稔.
8.2 数値積分 (1)どんなときに数値積分を行うのか?
Presentation transcript:

【第二講義】1次元非線形写像の不変集合とエントロピー

〔2.0〕 復習 【質問】開区間(0,1)の閉包を求めよ. 0 x  1 【質問】 {1, 1/2, 1/3,…,1/n,….}の閉包を求めよ. x1 x2 【質問】 [0,1]上に有理数は,〔  〕個存在する. 【質問】 [0,1]上に無理数は, 〔  〕個存在する. 【質問】x0が有理数なら,軌道は〔  〕と呼ばれる. x0 【質問】[0,1]上に周期軌道は〔  〕個存在する. 【質問】x0が無理数なら,軌道は〔  〕と呼ばれる. 【質問】[0,1]上に非周期軌道は〔  〕個存在する. 【質問】閉包を取ると[0,1]となる軌道を〔  〕と呼ぶ.

〔2.1〕 不変集合 【定義:コンパクト集合】実空間上の有界かつ閉集合をコンパクト集合という. 【定義:不変集合】実空間上の写像f : RN → RNにおいて,f X = Xを満足する集合Xを 不変集合という. 0 x  1 【質問】右の写像における不変集合を幾つか挙げよ. x1 x2 【定義:最大の不変集合】 有界領域V⊂RN上のすべての不変集合の合併を最大の不変集合という. 最大の不変集合Xは,任意のMにおいて, fMX = Xを 満たし,不変集合上の任意の点xは, 常にfMx∈X. よって,ある初期点xが発散する場合,初期点xは, 不変集合には含まれない. x0 【質問】右の写像における最大の不変集合を答えよ.

【非線形漸化式】 f:x  [0,1]  (3/2) (1-|2x-1|)  R1 【質問】最大の不変集合はどんな形になるか? 0       1 【ヒント】区間の像の関係  f : [1,∞]  [0, - ∞]  f : [0, - ∞]  [0, - ∞]  から,一度でも1よりも大きくなると軌道は発散してしまう.

〔2.2〕 Cantor集合 【質問】発散しない初期値の集合  Λ = {x [0,1] : limn→∞ xn [0,1] }  はどんな形になるか? I00 I01 I11 I10 I0 I1 【解答】xn [0,1] か否かは,合成関数fnで判別できる. 閉区間を3等分にして,中心の開区間を取り除く操作を全ての閉区間で無限回再帰的に反復してできる集合-Cantor集合となる. 【定義:Cantor集合】 ①コンパクト集合(有界かつ閉集合)  どの段階でも閉集合であり,極限も閉集合 ②完全非連結(内点を持たない)  どの段階でも区間の左と右は離れている 000 001 011 010 110 111 101 100 L ③完全(非可算集合)  区間を表す記号は,[0,1] 上の2進数と1:1対応する

〔2.3〕 自己相似集合と非整数次元 【定義:自己相似集合】自身の縮小像の和集合で自身を構成できる集合 【例:単位線分】単位線分は最も単純な自己相似集合である. = 【例:単位正方形】単位正方形は最も単純な自己相似集合である. = 【例:Cantor集合】 Cantor集合は自己相似集合である. =

【例:単位線分】単位線分の位相次元は1である. = 1 = 1/2 + 1/2 ○ 【例:単位正方形】単位正方形の位相次元は2である. = 1 = 1/2 + 1/2 + 1/2 + 1/2 × 1 = (½)2 + (½)2 + (½)2 + (½)2 ○ 【例:Cantor集合】 Cantor集合の位相次元は?????? = 1 = (1/3)D + (1/3) D 1 = 2(1/3) D 0 = log2 - D log3 D = log2/log3

【質問】以下の過程の極限で生成される自己相似集合の非整数次元を求めよ.

〔2.4〕 記号力学系とパイコネ変換 【定義:記号力学系】すべての片側無限ビット列を含む空間Σを記号空間といい、シフト写像が定める力学系を記号力学系という. 【定義:同相写像】点x∈[0,1]を片側無限ビット列σ∈Σに移す写像τ (2進小数への変換)は,1対1(one to one)かつ上への(onto)写像である. 【定義:位相共役性】上述のように実数区間上のパイコネ変換を2進小数のシフト写像で 調べることができるのは、両者の相空間上の構造が同相写像によって移り合うためである. σ∈Σ       →      φσ∈Σ    位相共役 φτ=τF τ ↑ σ=τx τ ↑ φσ=τFx x∈I        →     Fx∈I    【質問】大学の基礎数学で上記と同様の関係をすでに学んでいる.これは何か答えよ.

【質問】4シンボルのいずれかをN個選んで作られる列の記述には、何[bit]を要するか? 〔2.5〕  エントロピー符号 【質問】4シンボルのいずれかをN個選んで作られる列の記述には、何[bit]を要するか? 【例示:ハフマン符号】シンボル列が{a,a,b,b,a,b,c,b,c,a,d,a,b,c,a,a}であるとき,確率は p(a) = 7/16, p(b) = 5/16, p(c) = 3/16 , p(d) = 1/16 である. 5/16 3/16 7/16 1/16 4/16 9/16 5/16 3/16 7/16 1/16 4/16 5/16 3/16 7/16 1/16 5/16 3/16 7/16 1/16 4/16 9/16 16/16 固定長符号で、シンボル列 2[bit]×16=32[bit]が, 1[bit]×7+ 2[bit]×5 + 3[bit]×3 + 3[bit]×1=29[bit] に圧縮できる. 1 【質問】ハフマン符号は,理論的な圧縮限界を実現できない.簡単な例を挙げて説明せよ. 【解答】2つのシンボルからなる列は,圧縮できない.確率は実数であるが,2分木という 離散構造で近似するために最適な符号は必ずしも得られない.

【定義】ビット列σ=s0 s1s2 …sNに対応する区間をIσ (p) ,σに含まれる“0” の総数をn(≦N)とする. 〔2.6〕  1係数族パイコネ変換の逆変換 1 1/p 1/(1-p) 1-p p -2 : 0 0 1 1 -1 : 0 1 0 1 1 -3 : 0 0 0 0 1 1 1 1 -2 : 0 0 1 1 0 0 1 1 -1 : 0 1 0 1 0 1 0 1 【定義】ビット列σ=s0 s1s2 …sNに対応する区間をIσ (p) ,σに含まれる“0” の総数をn(≦N)とする. 【命題1】x∈Iσ(p)を初期値とするfの軌道fnxは,Θ(fnx-p)=snを満たす. 【Remark】Iσ(p)上の最小桁数の2進少数aはビット列σの“符号”となる. 【命題2】区間Iσ(p)の長さは,pn(1-p)N-nである. 【Remark】区間Iσ(p)が長い程,ビット列σの“符号”の候補の数が増える.

N k ³ + Û p - ) ( log > p - ) ( log 符号化器 復号器 〔2.7〕 圧縮可能性と情報エントロピー 〔2.7〕 圧縮可能性と情報エントロピー 【証明】Iσ(p)は単位区間上の1山関数となる. σ∈ΣN → φnσ∈ΣN x ∈ Iσ   →  fnx ∈ Iφnσ τ-1 ↓       ↑τ 符号化器              復号器 【命題3】Iσ(p)の長さを最大化するpは,n/Nである. 【命題4】p=n/N≠1/2ならば,IσにはN[bit]より少ない“符号”が存在する. 【証明】Iσ(p)は2-k-1分割と2-k分割の間に入るとする. N k ³ + Û p - 1 2 ) ( log > 【定義】                を情報エントロピーという. p - 1 2 ) ( log