背 景 多数の「スピン」とそれらの「相互作用」という二種類の変数を有する系の解析においては,相互作用の方は固定されておりスピンだけが 変化するモデルを考える場合が多い.   (例:連想記憶モデル) 「スピン」よりもゆっくりと「相互作用」も変化するモデル(パーシャルアニーリング)の性質は興味深い.

Slides:



Advertisements
Similar presentations
効率的に計算可能な 加法的誤りの訂正可能性 安永 憲司 九州先端科学技術研究所 SITA 2012 @ 別府湾ロイヤルホテル
Advertisements

List decoding for Reed-Muller codes and its application to polar codes 安永 憲司 東京工業大学 大学院情報理工学研究科 数理・計算科学専攻 1.
ソーラス符号の パーシャルアニーリング 三好 誠司 上江洌 達也 岡田 真人 神戸高専 奈良女子大 東大,理研
有限差分法による 時間発展問題の解法の基礎
情253 「ディジタルシステム設計 」 (5)Noise5
自己重力多体系の 1次元シミュレーション 物理学科4年 宇宙物理学研究室  丸山典宏.
光学トラップ中の スピン自由度のあるボース凝縮系
理化学研究所 脳科学総合研究センター 脳数理研究チーム 岡田真人
[復習]通信路符号化の限界 通信路符号化定理(Shannonの第2符号化定理)
多数の疑似システムを用いた システム同定の統計力学 三好 誠司 岡田 真人 神 戸 高 専 東 大, 理 研
Reed-Solomon 符号と擬似ランダム性
エージェントアプローチ 人工知能 21章 B4 片渕 聡.
「データ学習アルゴリズム」 第2章 学習と統計的推測 報告者 佐々木 稔 2003年5月21日 2.1 データと学習
クラスター変分法と確率的情報処理 --Belief Propagation と画像処理アルゴリズム--
確率モデルによる 画像処理技術入門 --- ベイズ統計と確率的画像処理 ---
統計力学と情報処理 ---自由エネルギーの生み出す新しい情報処理技術--- 2003年8月12日前半
安永憲司 大阪大学 大学院情報科学研究科 2005年12月7日 大阪市立大学文化交流センター
10.通信路符号化手法2 (誤り検出と誤り訂正符号)
ー 第1日目 ー 確率過程について 抵抗の熱雑音の測定実験
計測工学 復習.
ガウス過程による回帰 Gaussian Process Regression GPR
第3回: 今日の目標 平均情報量を説明し、計算できる シャノンの通信モデルを説明できる 情報源符号化の条件を示せる
1次元電子系の有効フェルミオン模型と GWG法の発展
PCAからICAへ? 狩野裕+清水昌平 (大阪大学人間科学部) 日本行動計量学会:東京大学 平成12年10月.
黒体輻射とプランクの輻射式 1. プランクの輻射式  2. エネルギー量子 プランクの定数(作用量子)h 3. 光量子 4. 固体の比熱.
2. 論理ゲート と ブール代数 五島 正裕.
正規分布における ベーテ近似の解析解と数値解 東京工業大学総合理工学研究科 知能システム科学専攻 渡辺研究室    西山 悠, 渡辺澄夫.
奈良女子大集中講義 バイオインフォマティクス (9) 相互作用推定
はじめに: 平均場理論を用いた情報処理の最近の動向
領域ベースの隠れ変数を用いた画像領域分割
タップ長が一般化された 適応フィルタの統計力学
センサーネットワークでも 「More is different」
NTTコミュニケーション科学基礎研究所 村山 立人
物理学者でない人 のための統計力学 東京工業大学 渡辺澄夫 DEX-SMI 1/1/2019.
正規分布確率密度関数.
モデルの逆解析 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
Online Decoding of Markov Models under Latency Constraints
P3-12 教師が真の教師のまわりをまわる場合のオンライン学習 三好 誠司(P)(神戸高専) 岡田 真人(東大,理研,さきがけ)
あらまし アンサンブル学習の大きな特徴として,多数決などで生徒を組み合わせることにより,単一の生徒では表現できない入出力関係を実現できることがあげられる.その意味で,教師が生徒のモデル空間内にない場合のアンサンブル学習の解析は非常に興味深い.そこで本研究では,教師がコミティマシンであり生徒が単純パーセプトロンである場合のアンサンブル学習を統計力学的なオンライン学習の枠組みで議論する.メトロポリス法により汎化誤差を計算した結果,ヘブ学習ではすべての生徒は教師中間層の中央に漸近すること,パーセプトロン学習では
教師がコミティマシンの場合の アンサンブル学習
確率伝搬法と量子系の平均場理論 田中和之 東北大学大学院情報科学研究科
冷却原子スピン系における 量子雑音の動的制御
第10回 FIR回路とIIR回路.
Introduction to Soft Computing (第11回目)
ルンゲクッタ法 となる微分方程式の解を数値的に解く方法.
2009年12月4日 ○ 前田康成(北見工業大学) 吉田秀樹(北見工業大学) 鈴木正清(北見工業大学) 松嶋敏泰(早稲田大学)
2次元系における超伝導と電荷密度波の共存 Ⅰ.Introduction Ⅱ.モデルと計算方法 Ⅲ.結果 Ⅳ.まとめと今後の課題 栗原研究室
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
計算の理論 II 前期の復習 -有限オートマトン-
9.通信路符号化手法1 (誤り検出と誤り訂正の原理)
盗聴・改ざんに対して耐性を持つ ネットワーク符号化について
第一原理計算でひも解く合金が示す長周期積層欠陥構造の形成メカニズム
ベイズ最適化 Bayesian Optimization BO
教師がコミティマシンの場合の アンサンブル学習
富山大学 公開講座 2008 「QRコードを作ろう!」 ~ ハミング距離 ~.
確率モデルを用いた 情報通信技術入門 ー誤り訂正符号を中心にー
京大院情報学研究科 Graduate School of Informatics, Kyoto University
教師が真の教師のまわりを まわる場合のオンライン学習
ポッツスピン型隠れ変数による画像領域分割
ガウス分布における ベーテ近似の理論解析 東京工業大学総合理工学研究科 知能システム科学専攻 渡辺研究室    西山 悠, 渡辺澄夫.
実習 実験の目的 現行と目標値の具体的数値を記す。 数値がわからなければ設定する。.
統計力学と情報処理 ---自由エネルギーの生み出す新しい情報処理技術--- 2003年8月14日前半
分枝カット法に基づいた線形符号の復号法に関する一考察
実験計画法 Design of Experiments (DoE)
領域ベースの隠れ変数を用いた決定論的画像領域分割
確率的フィルタリングを用いた アンサンブル学習の統計力学 三好 誠司 岡田 真人 神 戸 高 専 東 大, 理 研
線形符号(10章).
確率的フィルタリングを用いた アンサンブル学習の統計力学 三好 誠司 岡田 真人 神 戸 高 専 東 大, 理 研
2012年度 情報数理 ~ ハミング距離 ~.
教師がコミティマシンの場合のアンサンブル学習 三好 誠司(神戸高専) 原 一之(都立高専) 岡田 真人(東大,理研,さきがけ)
Presentation transcript:

パーシャルアニーリングの レプリカ解析 - 2体ソーラス符号の場合 - 三好 誠司  上江洌 達也  岡田 真人 神戸高専 奈良女子大 東大,理研

背 景 多数の「スピン」とそれらの「相互作用」という二種類の変数を有する系の解析においては,相互作用の方は固定されておりスピンだけが 変化するモデルを考える場合が多い.   (例:連想記憶モデル) 「スピン」よりもゆっくりと「相互作用」も変化するモデル(パーシャルアニーリング)の性質は興味深い.

先行研究 Penny, Coolen and Sherrington, J. Phys. A (1993), Coupled dynamics of fast spins and slow interactions in neural networks and spin systems Coolen, Penny and Sherrington, Phys. Rev. B (1993), Coupled dynamics of fast spins and slow interactions: An alternative perspective on replicas Penny and Sherrington, J. Phys. A (1994), Slow interaction dynamics in spin-glass models Dotsenko, Franz and Mezard, J. Phys. A (1994), Partial annealing and overfrustration in disordered systems Uezu and Coolen, J.Phys.A (2002), Hierarchical self-programming in recurrent neural networks

目 的 パーシャルアニーリング(PA)の情報工学分野における可能性を探る 目 的 パーシャルアニーリング(PA)の情報工学分野における可能性を探る 誤り訂正符号の復号を行う相互作用系にパーシャルアニーリングを適用した場合の特性についてレプリカ法を用いて解析

ソーラス符号 (N=4, K=2の例) N.Sourlas, Spin-glass models as error-correcting codes, Nature, 339, 693-695, (1989). 送りたいメッセージビットξの 代わりにパリティ(積)を送る ξ1ξ3 J24 J12 J14 J23 J34 J13 ξ1 ξ3 σ2 σ1 σ4 σ3 ξ2ξ4 ξ1ξ2 ξ1ξ4 ξ2ξ3 ξ3ξ4 通信路 ξ2 ξ4 西森温度で有限温度復号(MPM復号)を行えばビット誤り率が最小 N→∞,K→∞でシャノン限界達成

通信路のモデル AWGN(加法的白色ガウス雑音)通信路 信号の強さ(2体のソーラス符号) 受信信号 雑音の分散

復号の方法 (1/2) 逆温度βで有限温度復号 スピンσの変化は相互作用Jの変化よりも十分に速い

復号の方法 (2/2) スピンσの変化はβで特徴づけられている 相互作用Jの変化は で特徴づけられている 相互作用Jのダイナミクス ヘブ則の強さ 受信信号 ランジュバンノイズ スピンσの変化はβで特徴づけられている 相互作用Jの変化は  で特徴づけられている

理 論 (1/3) 実効ハミルトニアン 相互作用Jのダイナミクス 系全体の分配関数        ひとつめのレプリカ数(正の有限値)

理 論 (2/3) 自由エネルギー n2 ふたつめのレプリカ数(→0) オーダーパラメータ レプリカ対称性の仮定 理 論 (2/3) 自由エネルギー (受信信号Bに乗っている雑音=クエンチされたランダムネスに関する平均) n2  ふたつめのレプリカ数(→0) オーダーパラメータ レプリカ対称性の仮定

理 論 (3/3) 鞍点方程式 送信情報と復号結果の重なり

計算機実験の方法 (1/2) Jのダイナミクス σ1 σ3 σ2 σ4 これをまずR3=500回実行 時刻 t で スピンをまずR1=1000回更新 続くR2=1000回の更新で<σiσj>を測定 Jij を差分で更新(Δt =0.02τ) σ2 σ4 これをまずR3=500回実行 続くR4=500回でq1,q2,mを測定 スピン更新のトータル回数=N (R1+R2) (R3+R4)

計算機実験の方法 (2/2) q1,q2の測定方法 q1 Jをコピー (時間経過) q2

結 果 (1/4) PAを用いない場合(J2=1) PA(J2=0, =1, ε=0) 西森温度(β=2)で最大値0.944 等価 結 果 (1/4) 西森温度(β=2)で最大値0.944 PAを用いない場合(J2=1) PA(J2=0, =1, ε=0) 等価 ヘブ則無し

結 果 (2/4) ヘブ則を入れるとm,q1,q2,Mが増大 PA(J2=0, =1, ε=0) PA(J2=0, =1, ε=1)

結 果 (3/4) PA(J2=1, =1, ε=0) PA(J2=1, =1, ε=1)

結 果 (4/4) PA(J2=1, =1) PA(J2=1, =10)

ま と め 2体ソーラス符号の復号にパーシャルアニーリングを適用した場合のRS解を求めた ヘブ則εを強くするとMが増大するとともに,βの広い範囲でMがフラットになる.   とεを大きくした場合は計算機実験と合わない. RS解の安定性解析やK体ソーラス符号への拡張は今後の課題