目次 はじめに 収束性理論解析 数値実験 まとめ 特異値計算のための dqds 法 シフトによる収束の加速

Slides:



Advertisements
Similar presentations
大規模な三角 Toeplitz 線形方 程式の高速解法とその応用 ○ 安村 修一(法政大学 4 年) 李 磊(法政大学) 日本応用数理学会「行列・固有値の解法とその応用」研究部会 第6回研究会.
Advertisements

List decoding for Reed-Muller codes and its application to polar codes 安永 憲司 東京工業大学 大学院情報理工学研究科 数理・計算科学専攻 1.
新設科目:応用数学 イントロダクション 情報工学科 2 年前期 専門科目 担当:准教授 青木義満.
Level-3 BLASに基づく特異値分解 アルゴリズムのSMP上での性能
Fill-in LevelつきIC分解による 前処理について
一般化Bi-CGSTAB(s, L) (=一般化IDR(s, L))
A Q R QR分解とは? → × ◆QR分解 QTQ = I (単位行列) ◆応用例 ◆主な計算方法 n m 今回はこの方法に注目
ネットワーク理論講義補助資料 Text. 組合せ最適化とアルゴリズム 4.5 節 主・双対法 pp
離散数学入門 (集合論、ベン図) 情報システム学科 中田豊久.
ラベル付き区間グラフを列挙するBDDとその応用
三重対角化アルゴリズムの性能評価 早戸拓也・廣田悠輔.
全体ミーティング (4/25) 村田雅之.
研究集会 「超大規模行列の数理的諸問題とその高速解法」 2007 年 3 月 7 日 完全パイプライン化シフト QR 法による 実対称三重対角行列の 固有値並列計算 宮田 考史  山本 有作  張 紹良   名古屋大学 大学院工学研究科 計算理工学専攻.
Finger patternのブロック化による 陰的wavelet近似逆行列前処理の 高速化
局所探索に基づく 原子炉燃料装荷パターンの最適化
Approximation of k-Set Cover by Semi-Local Optimization
AllReduce アルゴリズムによる QR 分解の精度について
Semantics with Applications
      線形写像  線形写像 U,V:R上のベクトル空間 T:UからVへの写像 (1)T(u+v)=T(u)+T(v)  (u,v∈U),
応用数理工学特論 線形計算と ハイパフォーマンスコンピューティング
5.5 The Linear Arboricity of Graphs (グラフの線形樹化数)
応用数理工学特論 第5回 計算理工学専攻 張研究室 山本有作.
正方行列向け特異値分解の CUDAによる高速化
計算アルゴリズム 計算理工学専攻 張研究室 山本有作.
計算アルゴリズム 計算理工学専攻 張研究室 山本有作.
応用数学 計算理工学専攻 杉原研究室 山本有作.
高次元データの解析 -平均ベクトルに関する検定統計量の 漸近分布に対する共分散構造の影響-
非対称行列向けマルチシフトQR法の 性能予測方式
応用数理工学特論 第6回 計算理工学専攻 張研究室 山本有作.
Level-3 BLASに基づく二重対角化 アルゴリズムとその性能評価
第25章 単一始点最短路 3節 Bellman-Fordのアルゴリズム
正規分布における ベーテ近似の解析解と数値解 東京工業大学総合理工学研究科 知能システム科学専攻 渡辺研究室    西山 悠, 渡辺澄夫.
確率的学習アルゴリズムを用いた有限状態オートマトンの抽出に関する研究
混合ガウスモデルによる回帰分析および 逆解析 Gaussian Mixture Regression GMR
Jh NAHI 横田 理央 (東京工業大学) Hierarchical low-rank approximation methods on distributed memory and GPUs 背景  H行列、H2行列、HSS行列などの階層的低ランク近似法はO(N2)の要素を持つ密行列をO(N)の要素を持つ行列に圧縮することができる。圧縮された行列を用いることで、行列積、LU分解、固有値計算をO(NlogN)で行うことができるため、従来密行列の解法が用いられてきた分野では階層的低ランク近似法
Mathematicaによる固有値計算の高速化 ~ Eigenvalue calculation speed by Mathematica ~ 情報工学科 06A2055 平塚 翔太.
確率的学習アルゴリズムを用いた有限状態オートマトンの抽出に関する研究
「R入門」  5.7 行列に対する諸機能  10月23日 (木) 発表者 大城亜里沙.
独立成分分析 (ICA:Independent Component Analysis )
トーリックイデアルの グレブナ基底を求める アルゴリズム – F4およびF5 –
知能システム論I(13) 行列の演算と応用(Matrix) 2008.7.8.
量子系における 確率推論の平均場理論 田中和之 東北大学大学院情報科学研究科
変換されても変換されない頑固ベクトル どうしたら頑固になれるか 頑固なベクトルは何に使える?
パターン認識特論 担当:和田 俊和 部屋 A513 主成分分析
名古屋市立大学大学院システム自然科学研究科 MIRU2009: 第12回 画像の認識・理解シンポジウム
進化ゲームと微分方程式 第15章 n種の群集の安定性
資料 線型変換のイメージ 固有値、固有ベクトル 平賀譲(209研究室) 資料
4. システムの安定性.
わかりやすいパターン認識 第7章:部分空間法  7.1 部分空間法の基本  7.2 CLAFIC法                  6月13日(金)                  大城 亜里沙.
B03 量子論理回路の 最適化に関する研究 西野哲朗,垂井淳,太田和夫,國廣昇 電気通信大学 情報通信工学科.
データ解析 静岡大学工学部 安藤和敏
Max Cut and the Smallest Eigenvalue 論文紹介
``Exponentiated Gradient Algorithms for Log-Linear Structured Prediction’’ A.Globerson, T.Y.Koo, X.Carreras, M.Collins を読んで 渡辺一帆(東大・新領域)
ガウス分布における ベーテ近似の理論解析 東京工業大学総合理工学研究科 知能システム科学専攻 渡辺研究室    西山 悠, 渡辺澄夫.
Jh NAHI 横田 理央 (東京工業大学) Hierarchical low-rank approximation methods on distributed memory and GPUs 背景  H行列、H2行列、HSS行列などの階層的低ランク近似法はO(N2)の要素を持つ密行列をO(N)の要素を持つ行列に圧縮することができる。圧縮された行列を用いることで、行列積、LU分解、固有値計算をO(Nlog2N)で行うことができるため、従来密行列の解法が用いられてきた分野では階層的低ランク近似
メモリ使用量の少ないGCR法の提案 東京大学理学部情報科学科 工藤 誠 東京大学情報基盤センター 黒田 久泰
1ーQー18 音声特徴量抽出のための音素部分空間統合法の検討
半正定値計画問題(SDP)の 工学的応用について
アルゴリズムとデータ構造 --- 理論編 --- 山本 真基
電気回路学Ⅱ 通信工学コース 5セメ 山田 博仁.
密行列固有値解法の最近の発展 (I) - Multiple Relatively Robust Representation アルゴリズム - 2004年11月26日 名古屋大学 計算理工学専攻 山本有作 日立製作所の山本有作です。 「~」について発表いたします。
Mathematicaによる固有値計算の高速化 Eigenvalue calculation speed by Mathematica
キャッシュマシン向け三重対角化 アルゴリズムの性能予測方式
図2 x11 図1 x6 x10 x12 x3 x5 x7 x9 x13 x2 x4 x8 x14 (0,0) (1,0) x1 x15
密行列固有値解法の最近の発展(II) ー マルチシフトQR法 ー
大阪市立大学 孝森 洋介 with 大川,諏訪,高本
応用数学 計算理工学専攻 張研究室 山本有作.
東京工業大学情報理工学研究科 小島政和 第1回横幹連合コンファレンス 2005年11月25,26日 JA 長野県ビル
2008年 7月17日 応用数理工学特論 期末発表 鈴木綾華,程飛
一般ボルツマンマシンにおける平均場近似自由エネルギーの漸近的挙動
Presentation transcript:

2つの最小特異値下界に対する dqds 法の収束性について 2007年3月4日 山本有作    宮田考史   名古屋大学 大学院工学研究科 計算理工学専攻

目次 はじめに 収束性理論解析 数値実験 まとめ 特異値計算のための dqds 法 シフトによる収束の加速 dqds 法 + Ostrowski 型下界 dqds 法 + Brauer 型下界 数値実験 まとめ

はじめに 本研究で扱う問題 計算機を用いた特異値計算 特異値分解 行列を扱いやすい形に直交変換 直交変換で特異値は不変 二重対角化 対角化 二重対角化 対角化 対角成分に特異値

dqds 法 (The differential quotient-difference with shift method) LR 法による 対称正定値行列の 固有値計算 特異値計算の数値解法 dqds 法 (K. Fernando and B. N. Parlett 1994) 高速 : Root free 高精度 : 減算なし (収束を速めるシフト部分以外) ・・・ 二重対角行列 特異値 ・・・ ・・・ 相似変換 三重対角行列 固有値 = (特異値)2 非対角成分

dqds 法のアルゴリズム

目的 在来研究 (K. Aishima et al. 2006) 本研究の目的 dqds 法の収束性理論解析 大域的収束性のための条件 Johnson 下界 (C. R. Johnson 1989) 大域的な収束性保証 & 漸近的に 1.5 次収束 本研究の目的 Ostrowski 型下界 (C. R. Johnson 1989) 漸近的に?次収束 Brauer 型下界 (C. R. Johnson 1989) Nakatsukasa 下界 (Y. Nakatsukasa 2006)

最小特異値に対する いくつかの下界

シフト選択 大域的収束性の十分条件 Johnson 下界(Gerschgorin の定理) 本研究で用いるシフト 0 ≦ シフト < 大域的収束性保証 & 漸近的に 1.5 次収束 本研究で用いるシフト Ostrowski 型下界(Ostrowski の定理) 大域的収束性保証 Brauer 型下界(Cassini の卵形) Nakatsukasa 下界(Cassini の卵形の改良)

各下界の導出 (1) Johnson下界,Brauer型下界,Nakatsukasa下界 補題 三重対角行列の最小固有値に関する下界から導かれる。 補題 A,B をそれぞれ m×m の対称三重対角行列,上二重対角行列とし, lm(A),sm(B) をそれぞれ A の最小固有値,B の最小特異値とする。このとき,   さらに,B の二重対角成分がすべて非零ならば,狭義の不等式が   成り立つ。

三重対角行列の最小固有値に対する下界 Gerschgorin 型下界 Brauer 型下界 Nakatsukasa 下界 Brauer の定理(Cassini の卵形) Nakatsukasa 下界 Brauer 型下界で実は j = k–1 と置いてよいことがわかるので, より

二重対角成分が非零の場合,これらはすべて狭義の下界 二重対角行列の最小特異値に対する下界 三重対角行列に対する3つの下界に補題を適用すると,最小特異値に対する次の3つの下界を導ける。 Johnson 下界 Brauer 型下界 Nakatsukasa 下界 sm < sm < sm < 二重対角成分が非零の場合,これらはすべて狭義の下界

Ostrowski 型下界では,等号が成立する場合が起こりうる。 各下界の導出 (2) Ostrowski 型下界 Ostrowski の定理   を非正則行列   に適用し,零固有値を含む領域が存在することを用いると,次の下界を導ける。 sm ≦ Ostrowski 型下界では,等号が成立する場合が起こりうる。

実用上は,狭義の下界を与えると考えても問題ない。 Ostrowski 型下界の等号成立条件 定理: B を二重対角成分がすべて非零の上二重対角行列とする。このとき,次の3つの条件は同値である。 (1) B に対する Ostrowski 型下界が最小特異値を与える。 (2) B に対する Ostrowski 型下界の式において,min の中の式が k によらずすべて同じ値を与える。 (3) B の正規化された右特異ベクトル,左特異ベクトルをそれぞれ x,y とするとき,|yk| = |xk+1| (1≦k≦m – 1)かつ |ym| = |x1| が成り立つ。 これより,次のことが言える。 Ostrowski 型下界の値は最小特異値に一致する状況はありうるが,それは極めて特殊な場合である。 この状況が起こったときは,容易に検知できる。 実用上は,狭義の下界を与えると考えても問題ない。

下界のまとめと演算量 Johnson 下界 Ostrowski 型下界 Brauer 型下界 Nakatsukasa 下界 下界 J O B

下界間の関係 下界 包含関係 Johnson 下界 : Ostrowski 型下界 : Brauer 型下界 : Nakatsukasa 下界 : 包含関係 大域的収束性の保証 Johnson 下界よりも 効果的なシフト(?) より効果的なシフト

収束性理論解析

理論的な結果 定理 1 (dqds 法 + Ostrowski 型下界) 定理 2 (dqds 法 + Brauer 型下界) 漸近的に 1.5 次収束 1 反復 定理 2 (dqds 法 + Brauer 型下界) 漸近的に超 1.5 次収束 (Nakatsukasa 下界に対しても成立) ・・・

証明のあらすじ(Ostrowski 型下界 ,1/5) シフトの設定法 Ostrowski 型下界   を使って,シフトを次のように設定。 すると,(特殊な場合を除いて) 0 ≦ sO(n) < sm が成り立つ。

証明のあらすじ(2/5)

証明のあらすじ(3/5) n が十分大きいとき,シフト量の式が確定

証明のあらすじ(4/5)

証明のあらすじ(5/5)

証明のあらすじ(Brauer 型下界) 証明の道筋は Ostrowski 型下界の場合とほぼ同じ ただし,各補題の証明において,不等式のより精密な評価が必要 特に,「ある整数 N が存在して,任意の n > N で Brauer 型下界の値が正となる」ことを示すのが難しい

数値実験

数値実験 テスト問題 計算機環境 厳密解の分かる上二重対角行列 B (n = 10) Type 1 : (a, b) = (1.0, 0.2) Type 2 : (a, b) = (1.0, 0.02) 計算機環境 PowerPC G5 (2.0 GHz) , Memory (2.0 GB) 特異値分布が密集

収束次数 (Type1) Ostrowski 型下界 Brauer 型下界 Ostrowski 型下界 : 漸近的に 1.5 次収束 Nakatsukasa 下界は,より速く収束

収束次数 (Type2) Ostrowski 型下界 Brauer 型下界 Ostrowski 型下界 : 漸近的に 1.5 次収束 Nakatsukasa 下界は,より速く収束

収束履歴 Type 1 Type 2 Johnson 収束の速さ 1. Nakatsukasa 下界 Ostrowski Johnson Brauer 収束の速さ 1. Nakatsukasa 下界 2. Ostrowski,Brauer 型下界 3. Johnson 下界

まとめ 本研究では dqds 法の収束性を理論的に解析した. 数値実験より 今後の課題 Ostrowski 型下界 : 漸近的に 1.5 次収束 Brauer 型下界 : 漸近的に 超 1.5 次収束 数値実験より dqds 法のシフトに Ostrowski,Brauer,Nakatsukasa 下界を用いると, Johnson 下界よりも速く収束した. 今後の課題 減次を含めた場合の性能比較 より多様な行列での性能比較 より良いシフトの提案と理論解析