NTTコミュニケーション科学基礎研究所 村山 立人

Slides:



Advertisements
Similar presentations
1 宇宙は何からできてくるか ? 理学部 物理 森川雅博 宇宙を満たす未知のエネルギー:暗黒エネル ギー 局在する見えない未知の物質:暗黒物質 銀河・星・ガス 何からできているか … 2006/7/25.
Advertisements

効率的に計算可能な 加法的誤りの訂正可能性 安永 憲司 九州先端科学技術研究所 SITA 2012 @ 別府湾ロイヤルホテル
プログラミング言語論 第10回(演習) 情報工学科 木村昌臣   篠埜 功.
データの圧縮.
量子化(Mid-riser型) 出力y 入力x 通信ネットワーク特論(量子化・符号化).
データ解析
ソーラス符号の パーシャルアニーリング 三好 誠司 上江洌 達也 岡田 真人 神戸高専 奈良女子大 東大,理研
菊池自由エネルギーに対する CCCPアルゴリズムの拡張
Reed-Solomon 符号と擬似ランダム性
11.確率モデル 確率・・・不確実性の経済学や金融やファイナンス で重要 密度関数がある場合に期待値を取る計算を中心に、紹介.
P,Q比が変更可能なScaLAPACKの コスト見積もり関数の開発
ベイズ的ロジスティックモデル に関する研究
PSOLA法を用いた極低ビットレート音声符号化に関する検討
「データ学習アルゴリズム」 第2章 学習と統計的推測 報告者 佐々木 稔 2003年5月21日 2.1 データと学習
クラスター変分法と確率的情報処理 --Belief Propagation と画像処理アルゴリズム--
確率モデルによる 画像処理技術入門 --- ベイズ統計と確率的画像処理 ---
統計力学と情報処理 ---自由エネルギーの生み出す新しい情報処理技術--- 2003年8月12日前半
ベイズ基準によるHSMM音声合成の評価 ◎橋本佳,南角吉彦,徳田恵一 (名工大).
10.通信路符号化手法2 (誤り検出と誤り訂正符号)
第3回: 今日の目標 平均情報量を説明し、計算できる シャノンの通信モデルを説明できる 情報源符号化の条件を示せる
相関分析.
4章までのまとめ ー 計量経済学 ー.
Statistical Physics and Singularity Theory
正規分布における ベーテ近似の解析解と数値解 東京工業大学総合理工学研究科 知能システム科学専攻 渡辺研究室    西山 悠, 渡辺澄夫.
背 景 多数の「スピン」とそれらの「相互作用」という二種類の変数を有する系の解析においては,相互作用の方は固定されておりスピンだけが 変化するモデルを考える場合が多い.   (例:連想記憶モデル) 「スピン」よりもゆっくりと「相互作用」も変化するモデル(パーシャルアニーリング)の性質は興味深い.
はじめに: 平均場理論を用いた情報処理の最近の動向
タップ長が一般化された 適応フィルタの統計力学
センサーネットワークでも 「More is different」
P3-12 教師が真の教師のまわりをまわる場合のオンライン学習 三好 誠司(P)(神戸高専) 岡田 真人(東大,理研,さきがけ)
あらまし アンサンブル学習の大きな特徴として,多数決などで生徒を組み合わせることにより,単一の生徒では表現できない入出力関係を実現できることがあげられる.その意味で,教師が生徒のモデル空間内にない場合のアンサンブル学習の解析は非常に興味深い.そこで本研究では,教師がコミティマシンであり生徒が単純パーセプトロンである場合のアンサンブル学習を統計力学的なオンライン学習の枠組みで議論する.メトロポリス法により汎化誤差を計算した結果,ヘブ学習ではすべての生徒は教師中間層の中央に漸近すること,パーセプトロン学習では
確率伝搬法と量子系の平均場理論 田中和之 東北大学大学院情報科学研究科
複数の相関のある情報源に対するベイズ符号化について
ランダムグラフ エルデシュとレーニイによって研究された.→ER-model p:辺連結確率 N:ノード総数 分布:
第7章 疎な解を持つカーネルマシン 修士2年 山川佳洋.
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
予測に用いる数学 2004/05/07 ide.
量子系における 確率推論の平均場理論 田中和之 東北大学大学院情報科学研究科
2009年12月4日 ○ 前田康成(北見工業大学) 吉田秀樹(北見工業大学) 鈴木正清(北見工業大学) 松嶋敏泰(早稲田大学)
(昨年度のオープンコースウェア) 10/17 組み合わせと確率 10/24 確率変数と確率分布 10/31 代表的な確率分布
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
2012年度 情報数理 ~ 様々なデジタル情報(1) ~.
連続体とは 連続体(continuum) 密度*が連続関数として定義できる場合
9.通信路符号化手法1 (誤り検出と誤り訂正の原理)
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
ベイズ・アプローチによる グラフィカル・テスト理論
Hoffman符号 2011/05/23.
「データ学習アルゴリズム」 第3章 複雑な学習モデル 報告者 佐々木 稔 2003年6月25日 3.1 関数近似モデル
若手研究者・学生向けに,最新技術をわかりやすく紹介する講演会 確率的情報処理としての移動体通信技術
クロスバリデーションを用いた ベイズ基準によるHMM音声合成
富山大学 公開講座 2008 「QRコードを作ろう!」 ~ ハミング距離 ~.
確率モデルを用いた 情報通信技術入門 ー誤り訂正符号を中心にー
HMM音声合成における 変分ベイズ法に基づく線形回帰
ベイズ基準による 隠れセミマルコフモデルに基づく音声合成
ベイズ音声合成における 事前分布とモデル構造の話者間共有
エラー訂正符号を含むシステム CD, DAT, MD, DVD, ディジタルVTR等 ディジタル(衛星)TV放送 ディジタル・セルラ
ガウス分布における ベーテ近似の理論解析 東京工業大学総合理工学研究科 知能システム科学専攻 渡辺研究室    西山 悠, 渡辺澄夫.
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
統計力学と情報処理 ---自由エネルギーの生み出す新しい情報処理技術--- 2003年8月14日前半
分枝カット法に基づいた線形符号の復号法に関する一考察
確率的フィルタリングを用いた アンサンブル学習の統計力学 三好 誠司 岡田 真人 神 戸 高 専 東 大, 理 研
線形符号(10章).
Q状態イジング模型を用いた多値画像修復における 周辺尤度最大化によるハイパパラメータ推定
確率的フィルタリングを用いた アンサンブル学習の統計力学 三好 誠司 岡田 真人 神 戸 高 専 東 大, 理 研
岡村耕二 ビット誤りと訂正演習 岡村耕二 情報ネットワーク.
2019年度 情報数理特論B ~ 様々なデジタル情報(1) ~.
2008年度 情報数理 ~ 授業紹介 ~.
2012年度 情報数理 ~ 授業紹介 ~.
一般ボルツマンマシンにおける平均場近似自由エネルギーの漸近的挙動
2012年度 情報数理 ~ ハミング距離 ~.
教師がコミティマシンの場合のアンサンブル学習 三好 誠司(神戸高専) 原 一之(都立高専) 岡田 真人(東大,理研,さきがけ)
Presentation transcript:

NTTコミュニケーション科学基礎研究所 村山 立人 murayama@cslab.kecl.ntt.co.jp データ圧縮の統計力学 NTTコミュニケーション科学基礎研究所 村山 立人 murayama@cslab.kecl.ntt.co.jp

概要 疎行列符号化 ビリーフ プロパゲーション 符号化の統計力学 だいたいのアイデアは? TAPの方法による直感的導出 情報理論との整合性 ベイズ統計との整合性

疎行列符号化

データ圧縮(可逆,歪なし) 冗長なNビットのデータをMビットに符号化する. Mビットの符号語からNビットのデータを正確に復号する. 圧縮率(レート)R=M/Nとデータの冗長度pにはトレードオフの関係がある. ベルヌイ系列に対するシャノン限界

疎行列符号化 NビットのデータをMビットに線形圧縮する. データ(情報)の系列 符号語(パリティ検査)の系列 行列AはM行N列で,各行K個,各列C個だけ1が存在する.他の要素はすべて0である.

トイ モデル(1) 疎行列 データ(情報)系列: 符号語(検査)系列: データの復号は?

トイ モデル(2) M=3はN=4より小さいので,逆算は不可能. 最初のビットが分かっていれば,逆算は可能. 「シャノン限界」

ビリーフ プロパゲーション

検査ノード(1) 局所システムの定義と記法

検査ノード(2) 検査ノードのフロー

情報ノード(1) 局所システムの定義と記法

情報ノード(2) 情報ノードのフロー

周辺化 周辺事後確率の近似式

局所計算モデル TAP方程式 事後確率の近似式

2値関数のパラメータ表示 情報ビットのパラメータ表示 検査ビットのパラメータ表示 事後確率のパラメータ表示

符号化条件 パリティ検査 事前確率 有効磁場:

検査ノードのTAP方程式(1) 検査ノードの方程式

検査ノードのTAP方程式(2) [Technique] 周辺化の方法

検査ノードのTAP方程式(3) 検査ノードの方程式(続き)

情報ノードのTAP方程式(1) 情報ノードの方程式

情報ノードのTAP方程式(2) [Technique] 線形化の方法

情報ノードのTAP方程式(3) 情報ノードの方程式(続き)

TAP方程式のパラメータ表示(1) 検査ビットのパラメータ表示 検査ノードのTAP方程式

TAP方程式のパラメータ表示(2) 情報ビットのパラメータ表示 情報ノードのTAP方程式

周辺事後確率のパラメータ表示 周辺事後確率のパラメータ表示 周辺事後確率のパラメータ方程式

ビリーフ プロパゲーション 初期化 逐次更新 周辺事後確率

MPM復号 周辺事後確率の最大化

符号化の統計力学

統計力学(1) 微視的状態の実現確率 巨視的状態の実現確率

統計力学(2) 分配関数 検査ビット系列のインスタンスに依存 分配関数の大きい巨視的状態が実現

統計力学(3) 自由エネルギー 巨視的状態にだけ依存 自由エネルギーが小さい巨視的状態が実現する

レプリカ解析(1) 自由エネルギー 巨視的状態は関数のペアで特徴づけられる

レプリカ解析(2) 鞍点方程式 強磁性解 常磁性解

レプリカ解析(3) 強磁性解 常磁性解

レプリカ解析(4) ある冗長度で突然,強磁性解と常磁性解の大小関係が交代する「相転移」が起こる. 単一情報源符号化についてのシャノン限界

レプリカ解析(5) MPM復号の性能は「秩序パラメータ」の共役変数で解析的に評価できる.

レプリカ法(6) 強磁性相でのMPM復号 情報理論のシャノン限界 常磁性相でのMPM復号 ベイズ統計の「コイン投げ」

データ圧縮の統計力学 TAPの方法によるビリーフ プロパゲーション レプリカ法による相転移の理論 学際的研究動向 情報理論との整合性 ベイズ統計との整合性 学際的研究動向 相関データの分散符号化(ネットワーク情報理論) 乱数系列の不可逆圧縮(レート・歪理論)