ソーラス符号の パーシャルアニーリング 三好 誠司 上江洌 達也 岡田 真人 神戸高専 奈良女子大 東大,理研

Slides:



Advertisements
Similar presentations
効率的に計算可能な 加法的誤りの訂正可能性 安永 憲司 九州先端科学技術研究所 SITA 2012 @ 別府湾ロイヤルホテル
Advertisements

List decoding for Reed-Muller codes and its application to polar codes 安永 憲司 東京工業大学 大学院情報理工学研究科 数理・計算科学専攻 1.
有限差分法による 時間発展問題の解法の基礎
情253 「ディジタルシステム設計 」 (5)Noise5
原子核物理学 第3講 原子核の存在範囲と崩壊様式
自己重力多体系の 1次元シミュレーション 物理学科4年 宇宙物理学研究室  丸山典宏.
光学トラップ中の スピン自由度のあるボース凝縮系
理化学研究所 脳科学総合研究センター 脳数理研究チーム 岡田真人
多数の疑似システムを用いた システム同定の統計力学 三好 誠司 岡田 真人 神 戸 高 専 東 大, 理 研
Reed-Solomon 符号と擬似ランダム性
エージェントアプローチ 人工知能 21章 B4 片渕 聡.
「データ学習アルゴリズム」 第2章 学習と統計的推測 報告者 佐々木 稔 2003年5月21日 2.1 データと学習
クラスター変分法と確率的情報処理 --Belief Propagation と画像処理アルゴリズム--
確率モデルによる 画像処理技術入門 --- ベイズ統計と確率的画像処理 ---
統計力学と情報処理 ---自由エネルギーの生み出す新しい情報処理技術--- 2003年8月12日前半
ワイヤレス通信におけるMIMO伝送技術.
10.通信路符号化手法2 (誤り検出と誤り訂正符号)
ー 第1日目 ー 確率過程について 抵抗の熱雑音の測定実験
脳活動に関するデータ データの種類 データの特徴 脳波・脳磁図・fMRI画像 脳活動とパフォーマンスの関係はきわめて冗長。
計測工学 復習.
ガウス過程による回帰 Gaussian Process Regression GPR
第3回: 今日の目標 平均情報量を説明し、計算できる シャノンの通信モデルを説明できる 情報源符号化の条件を示せる
1次元電子系の有効フェルミオン模型と GWG法の発展
黒体輻射とプランクの輻射式 1. プランクの輻射式  2. エネルギー量子 プランクの定数(作用量子)h 3. 光量子 4. 固体の比熱.
正規分布における ベーテ近似の解析解と数値解 東京工業大学総合理工学研究科 知能システム科学専攻 渡辺研究室    西山 悠, 渡辺澄夫.
背 景 多数の「スピン」とそれらの「相互作用」という二種類の変数を有する系の解析においては,相互作用の方は固定されておりスピンだけが 変化するモデルを考える場合が多い.   (例:連想記憶モデル) 「スピン」よりもゆっくりと「相互作用」も変化するモデル(パーシャルアニーリング)の性質は興味深い.
奈良女子大集中講義 バイオインフォマティクス (9) 相互作用推定
はじめに: 平均場理論を用いた情報処理の最近の動向
領域ベースの隠れ変数を用いた画像領域分割
タップ長が一般化された 適応フィルタの統計力学
センサーネットワークでも 「More is different」
NTTコミュニケーション科学基礎研究所 村山 立人
物理学者でない人 のための統計力学 東京工業大学 渡辺澄夫 DEX-SMI 1/1/2019.
モデルの逆解析 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
確率論の基礎 「ロジスティクス工学」 第3章 鞭効果 第4章 確率的在庫モデル 補助資料
P3-12 教師が真の教師のまわりをまわる場合のオンライン学習 三好 誠司(P)(神戸高専) 岡田 真人(東大,理研,さきがけ)
あらまし アンサンブル学習の大きな特徴として,多数決などで生徒を組み合わせることにより,単一の生徒では表現できない入出力関係を実現できることがあげられる.その意味で,教師が生徒のモデル空間内にない場合のアンサンブル学習の解析は非常に興味深い.そこで本研究では,教師がコミティマシンであり生徒が単純パーセプトロンである場合のアンサンブル学習を統計力学的なオンライン学習の枠組みで議論する.メトロポリス法により汎化誤差を計算した結果,ヘブ学習ではすべての生徒は教師中間層の中央に漸近すること,パーセプトロン学習では
教師がコミティマシンの場合の アンサンブル学習
冷却原子スピン系における 量子雑音の動的制御
第10回 FIR回路とIIR回路.
Introduction to Soft Computing (第11回目)
2009年12月4日 ○ 前田康成(北見工業大学) 吉田秀樹(北見工業大学) 鈴木正清(北見工業大学) 松嶋敏泰(早稲田大学)
2次元系における超伝導と電荷密度波の共存 Ⅰ.Introduction Ⅱ.モデルと計算方法 Ⅲ.結果 Ⅳ.まとめと今後の課題 栗原研究室
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
パターン認識特論 担当:和田 俊和 部屋 A513 主成分分析
9.通信路符号化手法1 (誤り検出と誤り訂正の原理)
盗聴・改ざんに対して耐性を持つ ネットワーク符号化について
チャネル結合AMDによる sd殻Ξハイパー核の研究
第一原理計算でひも解く合金が示す長周期積層欠陥構造の形成メカニズム
「データ学習アルゴリズム」 第3章 複雑な学習モデル 報告者 佐々木 稔 2003年6月25日 3.1 関数近似モデル
ベイズ最適化 Bayesian Optimization BO
教師がコミティマシンの場合の アンサンブル学習
富山大学 公開講座 2008 「QRコードを作ろう!」 ~ ハミング距離 ~.
確率モデルを用いた 情報通信技術入門 ー誤り訂正符号を中心にー
京大院情報学研究科 Graduate School of Informatics, Kyoto University
全原子の位置 r(t) を求める(各原子がいつ,どこにあるか)
Massive Gravityの基礎と宇宙論
教師が真の教師のまわりを まわる場合のオンライン学習
ポッツスピン型隠れ変数による画像領域分割
ガウス分布における ベーテ近似の理論解析 東京工業大学総合理工学研究科 知能システム科学専攻 渡辺研究室    西山 悠, 渡辺澄夫.
実習 実験の目的 現行と目標値の具体的数値を記す。 数値がわからなければ設定する。.
実験計画法 Design of Experiments (DoE)
領域ベースの隠れ変数を用いた決定論的画像領域分割
確率的フィルタリングを用いた アンサンブル学習の統計力学 三好 誠司 岡田 真人 神 戸 高 専 東 大, 理 研
Massive Gravityの基礎と宇宙論
線形符号(10章).
確率的フィルタリングを用いた アンサンブル学習の統計力学 三好 誠司 岡田 真人 神 戸 高 専 東 大, 理 研
2012年度 情報数理 ~ 授業紹介 ~.
2012年度 情報数理 ~ ハミング距離 ~.
教師がコミティマシンの場合のアンサンブル学習 三好 誠司(神戸高専) 原 一之(都立高専) 岡田 真人(東大,理研,さきがけ)
Presentation transcript:

ソーラス符号の パーシャルアニーリング 三好 誠司 上江洌 達也 岡田 真人 神戸高専 奈良女子大 東大,理研 ソーラス符号の パーシャルアニーリング 三好 誠司  上江洌 達也  岡田 真人 神戸高専 奈良女子大 東大,理研

背 景 多数の「スピン」とそれらの「相互作用」という二種類の変数を有する系の解析においては,相互作用の方は固定されておりスピンだけが 変化するモデルを考える場合が多い.   (SKモデル,連想記憶モデル) 「スピン」よりもゆっくりと「相互作用」も変化するモデルの性質は興味深い.         (たとえば神経生理学的な観点などから)

先行研究 Penny, Coolen and Sherrington, J. Phys. A (1993), Coupled dynamics of fast spins and slow interactions in neural networks and spin systems Coolen, Penny and Sherrington, Phys. Rev. B (1993), Coupled dynamics of fast spins and slow interactions: An alternative perspective on replicas Penny and Sherrington, J. Phys. A (1994), Slow interaction dynamics in spin-glass models Dotsenko, Franz and Mezard, J. Phys. A (1994), Partial annealing and overfrustration in disordered systems Uezu and Coolen, J.Phys.A (2002), Hierarchical self-programming in recurrent neural networks

目 的 パーシャルアニーリングの情報工学分野における可能性を探る 目 的 パーシャルアニーリングの情報工学分野における可能性を探る 誤り訂正符号の復号を行う相互作用系にパーシャルアニーリングを適用した場合の特性についてレプリカ法を用いて解析 ソーラス符号

ソーラス符号 (N=4, K=2) ξ1 ξ2 ξ3 ξ4 σ2 σ1 σ4 σ3 ξ1ξ3 J24 J12 J14 J23 J34 J13 ξ1 ξ2 ξ3 ξ4 σ2 σ1 σ4 σ3 ξ2ξ4 ξ1ξ2 ξ1ξ4 ξ2ξ3 ξ3ξ4 通信路 西森温度で有限温度復号(MPM復号)を行えばビット誤り率が最小 N→∞,K→∞でシャノン限界達成

モデル (1/2) 2体のソーラス符号 AWGN(加法的白色ガウス雑音)通信路 逆温度βで有限温度復号 スピンσの変化は相互作用Jの変化よりも十分に速い

モデル (2/2) スピンσの変化はβで特徴づけられている 相互作用Jの変化は で特徴づけられている ランジュバンノイズ ヘブ則の強さ ランジュバンノイズ 受信信号 スピンσの変化はβで特徴づけられている 相互作用Jの変化は  で特徴づけられている

理 論 (1/3) 実効ハミルトニアン 相互作用Jのダイナミクス 系全体の分配関数        ひとつめのレプリカ数(正の有限値)

理 論 (2/3) 自由エネルギー n2 ふたつめのレプリカ数(→0) オーダーパラメータ レプリカ対称性の仮定 理 論 (2/3) 自由エネルギー (受信信号Bに乗っている雑音=クエンチされたランダムネスに関する平均) n2  ふたつめのレプリカ数(→0) オーダーパラメータ レプリカ対称性の仮定

理 論 (3/3) 鞍点方程式 送信情報と復号結果の重なり

計算機実験の方法 (1/2) σ1 σ3 σ2 σ4 これをまずR3=500回実行 続くR4=500回でq1,q2,mを測定 J24 J12 J14 J23 J34 J13 σ1 σ3 これをまずR3=500回実行 続くR4=500回でq1,q2,mを測定 時刻 t で スピンをまずR1=1000回更新 続くR2=1000回の更新で<σiσj>を測定 Jij を差分で更新(Δt =0.02) σ2 σ4 スピン更新のトータル回数=N (R1+R2) (R3+R4)

計算機実験の方法 (2/2) q1 Jをコピー (時間経過) q2

結 果 (1/4) PAを用いない場合(J2=1) PA(J2=0, =1, ε=0) β=2で最大値0.944

結 果 (2/4) PA(J2=0, =1, ε=1) PAを用いない場合(J2=1) PA(J2=0, =1, ε=0)

結 果 (3/4) PA(J2=1, =1, ε=0) PA(J2=1, =1, ε=1)

結 果 (4/4) PA(J2=1, =10) PA(J2=1, =1)

まとめ 2体ソーラス符号の復号にパーシャルアニーリングを適用した場合のRS解を求めた ヘブ則εを強くするとMが増大するとともに,βの広い範囲でMがフラットになる.   とεを大きくした場合は計算機実験と合わない. RS解の安定性解析やK体ソーラス符号への拡張は今後の課題