遺伝的交叉を用いた 並列シミュレーテッドアニーリング 同志社大学工学部/大学院 廣安知之,三木光範,○小掠真貴

Slides:



Advertisements
Similar presentations
多目的GAに対する パレート最適個体の分布制御 九州大学大学院工学府知能機械システム専攻徳井 宏司.
Advertisements

並列分散遺伝的アルゴリズムの有効 性 学績番号 畠中 一幸 知的システムデザイン研究室 Intelligent Systems Design Laboratory.
三木 光範 (同志社大学工学部) 廣安 知之 (同志社大学工学部) 花田 良子 (同志社大学工学部学部 生) 水田 伯典 (同志社大学大学院) ジョブショップスケジューリング問 題への 分散遺伝的アルゴリズムの適用 Distributed Genetic Algorithm for Job-shop.
MicroAVS 超入門 赤塚浩太. MicroAVS とは Visualization Tool Excel Java 膨大,高度なデータ処理が困難 高度なプログラミング能力必要 誰でも簡単に可視化できるツールの必要性 Micro AVS.
世帯マイクロデータの適合度評価における 重みの決定手法
遺伝的アルゴリズムにおける ランドスケープによる問題のクラス分類
リフレッシュ型分散遺伝的アルゴリズムの 組み合わせ最適化問題への適用
MPIを用いたグラフの並列計算 情報論理工学研究室 藤本 涼一.
区間グラフにおける区間表現からMPQ-treeを効率よく構成するアルゴリズム
最適化アルゴリズムの動向 ーメタヒューリスティックスを中心としてー (基礎編)
グローバルコンピューティング環境における遺伝的アルゴリズムの検討
疫学概論 二項分布 Lesson 9.頻度と分布 §B. 二項分布 S.Harano,MD,PhD,MPH.
点対応の外れ値除去の最適化によるカメラの動的校正手法の精度向上
遺伝的アルゴリズム  新川 大貴.
対話型遺伝的アルゴリズムを用いた室内レイアウトシステムの開発
研究集会 「超大規模行列の数理的諸問題とその高速解法」 2007 年 3 月 7 日 完全パイプライン化シフト QR 法による 実対称三重対角行列の 固有値並列計算 宮田 考史  山本 有作  張 紹良   名古屋大学 大学院工学研究科 計算理工学専攻.
Finger patternのブロック化による 陰的wavelet近似逆行列前処理の 高速化
局所探索に基づく 原子炉燃料装荷パターンの最適化
遺伝的アルゴリズム概説 An Outline of Parallel Distributed Genetic Algorithms
PCクラスタにおける2個体分散遺伝的アルゴリズムの高速化
谷村 勇輔 (同志社大学大学院) 廣安 知之 (同志社大学) 三木 光範 (同志社大学) 青井 桂子 (同志社大学大学院)
モード付き並列機械における オンラインスケジューリング
遺伝アルゴリズムによる NQueen解法 ~遺伝補修飾を用いた解探索の性能評価~
分散遺伝的アルゴリズムによる各種クラスタのベンチマーク
情報工学科 05A2301 樽美 澄香 (Tarumi Sumika)
リンクパワーオフによる光ネットワークの省電力化
分散確率モデル遺伝的アルゴリズムにおける解探索メカニズムの検討
マイクロシミュレーションにおける 可変属性セル問題と解法
制約条件の確率的選択に基づく 資源追加削減法の改良 三木 光範(同志社大工) 廣安 知之(同志社大工) ○小林 繁(同志社大院)
情報工学科 05A2301 樽美 澄香 (Tarumi Sumika)
ネットワーク性能に合わせた 分散遺伝的アルゴリズムにおける 最適な移住についての検討
(b) 定常状態の近似 ◎ 反応機構が2ステップを越える ⇒ 数学的な複雑さが相当程度 ◎ 多数のステップを含む反応機構
並列計算技術によるタンパク質の構造解析 IBM RS/6000SPを用いた研究 同志社大学大学院 小掠真貴 同志社大学工学部 廣安知之
協調機械システム論 ( ,本郷) 協調機械システム論 東京大学 人工物工学研究センター 淺間 一.
MPIを用いた並列処理 ~GAによるTSPの解法~
遺伝的アルゴリズムへの 統計力学的アプローチ 大阪大学 大学院理学研究科 鈴木譲 CISJ2005 於早稲田大学理工学部
確率的学習アルゴリズムを用いた有限状態オートマトンの抽出に関する研究
モデルの逆解析 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
確率的学習アルゴリズムを用いた有限状態オートマトンの抽出に関する研究
知的システムデザイン研究室 学籍番号: 笠井 誠之
遺伝的アルゴリズムを用いた 構造物の最適形状探索の プログラムの作成
Introduction to Soft Computing (第11回目)
進化的計算手法の並列計算機への実装 三木 光範
Data Clustering: A Review
連続領域におけるファジィ制約充足問題の 反復改善アルゴリズムによる解法 Solving by heuristic repair Algorithm of the Fuzzy Constraint Satisfaction Problems with Continuous Domains 北海道大学.
ファジィ制約充足問題への 連続領域の導入 Introducing continuous domains to
Genetic Algorithm-based Partial Least Squares GAPLS Genetic Algorithm-based Support Vector Regression GASVR 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
背景 課題 目的 手法 作業 期待 成果 有限体積法による汎用CFDにおける 流体構造連成解析ソルバーの計算効率の検証
適応的近傍を持つ シミュレーテッドアニーリングの性能
知識科学研究科 知識システム構築論講座 林研究室 佛明 智
SIFTとGraph Cutsを用いた 物体認識及びセグメンテーション
ナップサック問題 クマさん人形をめぐる熱いドラマの結末.
Data Clustering: A Review
遺伝的交叉を用いた 並列シミュレーテッドアニーリングによる タンパク質立体構造予測
遺伝アルゴリズムによる NQueen解法 ~問題特性に着目した突然変異方法の改善~
ビット空間における GAの解探索モニタリングシステム
環境分散遺伝的アルゴリズムの 多目的最適化問題への適用
表紙 分散遺伝的アルゴリズムのための 新しい交叉法.
シミュレーテッドアニーリングにおける 重要温度領域に関する考察
情報工学科 05A2301 樽美 澄香 (Tarumi Sumika)
分枝カット法に基づいた線形符号の復号法に関する一考察
分散遺伝的アルゴリズムにおけるパラメータの検討
BSPモデルを用いた 最小スパニング木 情報論理工学研究室 02-1-47-134 小林洋亮.
渡邉 真也, 廣安 知之, 三木 光範 同志社大学 工学部 Faculty of Engineering,Doshisha Univ
MPIを用いた 並列処理 情報論理工学研究室 06‐1‐037‐0246 杉所 拓也.
Q q 情報セキュリティ 第7回:2005年5月27日(金) q q.
東京工業大学情報理工学研究科 小島政和 第1回横幹連合コンファレンス 2005年11月25,26日 JA 長野県ビル
各種荷重を受ける 中空押出形成材の構造最適化
遺伝的交叉を用いた 並列シミュレーテッドアニーリングの検討 小掠 真貴 廣安 知之 三木 光範 角 美智子 岡本 祐幸 同志社大学大学院
Presentation transcript:

遺伝的交叉を用いた 並列シミュレーテッドアニーリング 同志社大学工学部/大学院 廣安知之,三木光範,○小掠真貴 May 16th 2000 遺伝的交叉を用いた 並列シミュレーテッドアニーリング Parallel Simulated Annealing using Genetic Crossover タイトル 同志社大学工学部/大学院 廣安知之,三木光範,○小掠真貴 Intelligent Systems Design Laboratory

研究背景 シミュレーテッドアニーリング(SA) 組み合わせ最適化問題に対して有効 探索が最適解へ収束する保証をもつ 解を得るまでの計算量が非常に多い SAは最適化問題を解く近似法の1つであり,多くの組み合わせ最適化問題に対して有効である.SAの探索は最適解へ収束するという保証を持つが,解を得るまでの計算量が非常に多いという短所がある.連続最適化問題を対象とした場合,特に多くの計算時間が必要であり,実用的でない.そのため,逐次処理であるSAを並列化し高速化する研究や,他の手法とのハイブリッド化によって適用範囲を拡張する研究が行われている. ‐連続最適化問題 SAの並列化,ハイブリッド化 Intelligent Systems Design Laboratory

研究背景 SAの並列化 ‐温度並列シミュレーテッドアニーリング SAのハイブリッド化 (小西, 瀧ら 1995) SAのハイブリッド化 ‐Parallel Recombinative Simulated Annealing SAを並列化する研究にはさまざまな方法があり,その1つにTPSAが挙げられる.またSAと遺伝的アルゴリズム(GA)とのハイブリッド手法にはこの2つが挙げられる.PRSAはGAの選択演算時にSAのメトロポリス基準を用いるものであり,TDGAは選択演算時に熱力学的なエントロピーと温度の概念を取り入れた手法である.しかし,SAのアニーリングを行っている途中でGAのオペレータを組み込むという手法はない. [PRSAは交叉した後,親2個体・子2個体間でボルツマン分布に従って選択を行う.TDSAは選択演算のときに熱力学的なエントロピーと温度の概念を取り入れた手法.] (Mahfoud, Goldbergら 1992) ‐熱力学的遺伝アルゴリズム (森, 喜多ら 1996) Intelligent Systems Design Laboratory

本研究の目的 並列SA 遺伝的交叉(GAオペレータ) + 比較的少ない計算量で良好な解を得るアルゴリズム SAの適用範囲を拡張 そこで本研究では,連続最適化問題を対象とする場合でも比較的少ない計算量で良好な解を得るアルゴリズムとして,並列SAにGAオペレータを組み込んだハイブリッド手法を提案する.提案手法は並列に複数実行しているSAの解の伝達時にGAオペレータである交叉を用いたものである.局所探索が得意なSAに大域探索が得意でかつ部分解の組み合わせで最適解が得られるGAオペレータを取り入れることでSAの適用範囲を拡張することができる.また,提案するアルゴリズムをテスト関数に適用し,その有効性を検証する.本手法はGAのオペレータを用いたSAであるため,SAの並列数を個体数,アニーリングステップを世代数とよぶ. 提案するアルゴリズムをテスト関数に適用し, その有効性を検討 Intelligent Systems Design Laboratory

遺伝的交叉を用いた並列SA 並列SAの解の情報交換に遺伝的交叉を用いる手法 n n ・・・ n high temperature SA n:crossover interval n ・・・ low temperature n 本研究で提案する遺伝的交叉を用いた並列SAは,並列SAの解の情報交換に遺伝的交叉を用いる手法である.複数のプロセス上でそれぞれSAの操作が行われ,一定間隔のアニーリングを行った後,ランダムに2個体ずつをペアにして遺伝的交叉を行う.交叉によって得られた個体からまた一定間隔のアニーリングを行い交叉を行う.この操作を温度が十分低くなるまで繰り返し,終了条件を満たすところで終了する.この遺伝的交叉の部分を Intelligent Systems Design Laboratory

遺伝的交叉を用いた並列SA e.g. 3設計変数の連続関数最小化問題 -2.0 -1.1 x1 x2 x3 2 1 3 4 x1 x2 x3 evaluation -2.0 -1.1 parent1 parent2 x1 x2 x3 rank 2 1 3 4 next search point x1 x2 x3 -1.8 -1.3 crossover child1 child2 x1 x2 x3 3設計変数の連続関数最小化問題を例にして説明する.並列に実行しているSAからランダムにこのような2個体が親として選ばれ,評価値が~だったとする.この親からランダムに交叉点を決定し,子を生成.これら4個体のうち表価値の高い2個体を次の探索点とする.この操作はすべての個体に対して行われる.ある設計変数の最適値が求まっている場合,遺伝的交叉によってその設計変数の最適値を他のSA探索に伝達することができるため,アニーリングの収束をはやめることができる. Intelligent Systems Design Laboratory

数値実験の概要 対象:連続関数最小化問題 GAオペレータを用いた3種の並列SAとの比較 遺伝的交叉を用いた並列SAの解探索能力 GAオペレータのうち, 遺伝的交叉を用いることの有効性を検証 遺伝的交叉を用いた並列SAの解探索能力 逐次SA,分散GAとの解探索能力の比較 Intelligent Systems Design Laboratory

GAオペレータを用いた 3種の並列SAとの比較 エリート選択を用いた並列SA(elitePSA) ルーレット選択を用いた並列SA(roulettePSA) エリート保存を含むルーレット選択を用いた 並列SA(e‐roulettePSA) Intelligent Systems Design Laboratory

パラメータ 20 , 200 5 , 10 , 20 , 30 0.93 32 parameter value 個体数 初期温度 20 , 200 5 , 10 , 20 , 30 0.93 32 parameter value 個体数 初期温度 クーリング率 解情報交換周期 パラメータはこのように設定した. 初期温度は予備実験により,十分高いと思われる30を最高温度,低いと思われる5を最低温度とした. その他のパラメータも予備実験により決定した. 終了条件は,解の値の変化が1.0*10-4以下でしかおこらないこととした. この終了条件により,本実験では1.0*10-4以下の解を良好な解と定義する. 終了条件 解の値の変化が 1.0e-4 以下でしかおこらず, それを満たす摂動が連続して100世代おこること Intelligent Systems Design Laboratory

対象問題 Rastrigin関数 [2dimensions] Griewank関数 [2dimensions] 依存関係なし,大域探索 Rastrigin function 依存関係なし,大域探索 依存関係あり,局所探索 Griewank関数 [2dimensions] 対象問題として2設計変数のRとGを用いた.Rは大域的に解があり,部分解の組み合わせで最適解が求められる.変数間に依存関係のない関数である.Gは大域的に見るとなだらかな景観だが,部分的に見ると解を多く持つ関数である.これらは2つとも各設計変数の値が0のとき,最小値0をとる関数である. Griewank function Intelligent Systems Design Laboratory

実験結果[Rastrigin] [population size 20, 10trials Average] 個体数を20としてRを解いた結果.縦軸はエネルギー,つまり解の値.最適解は0なので下にいくほど良い解だといえる.今回は終了条件の設定から1.0*10-4未満の値を良好な解とする.横軸は初期温度を示している.赤のグラフが提案する遺伝的交叉を用いた並列SAの結果だが,他の3つの手法では全く良好な解を求められなかったが,遺では常に良好な解を得られた. 各並列SAの個体数を10倍の200としてRを解いた場合4つの手法すべてで最適解が得られた. Intelligent Systems Design Laboratory

実験結果[Griewank] [population size 200, 10trials Average] Intelligent Systems Design Laboratory

遺伝的交叉を用いた並列SAの解探索能力 遺伝的交叉を用いた並列SAのパラメータ 400 10 0.93 32 parameter value 個体数 初期温度 クーリング率 交叉周期 Intelligent Systems Design Laboratory

遺伝的交叉を用いた並列SAの解探索能力 逐次SA‐long(SSA‐long) 逐次SA‐short(SSA‐short) 分散GA 3,200,000世代(8,000世代×400個体相当)の 計算を実行 逐次SA‐short(SSA‐short) 8,000世代の計算を独立に400回実行 分散GA 20個体×20島(400個体)による 8,000世代の計算を実行 Intelligent Systems Design Laboratory

対象問題 Rastrigin関数 [10 , 30dimensions] Griewank関数 [10 , 30dimensions] 強い依存関係あり 依存関係なし,大域探索 依存関係あり,局所探索 Griewank関数 [10 , 30dimensions] Rosenbrock関数 [10 , 30dimensions] Rosenbrock function Intelligent Systems Design Laboratory

実験結果[Rastrigin] 分散GA SSA‐short SSA‐long 提案手法 10 ( 0.0000 ) 3,034,881 773,940 ( 0.9950 ) 1 3,117,641 3,181,940 10 設計 変数 30 ( 12.85 ) ( 21.21 ) 3,200,000 ( 199.9 ) ( 190.6 ) [10trials] 良好な解を得た回数 評価計算回数 [10trials Average] Intelligent Systems Design Laboratory

実験結果[Griewank] 分散GA SSA‐short SSA‐long 提案手法 9 ( 0.0000 ) ( 0.0074 ) 10 7 10 設計 変数 30 ( 1.642 ) ( 0.1512 ) ( 0.3994 ) ( 0.4666 ) 3,008,201 3,200,400 3,200,000 3,118,041 2,922,120 [10trials] 良好な解を得た回数 評価計算回数 [10trials Average] Intelligent Systems Design Laboratory

実験結果[Rosenbrock] 分散GA SSA‐short SSA‐long 提案手法 10 ( 0.0000 ) ( 0.0004 ) ( 18.79 ) 10 設計 変数 30 1 ( 0.0005 ) ( 0.0001 ) 2,750,721 3,200,400 2,723,441 3,200,000 これらの結果から,単にSAのアニーリング時間や回数を増加させただけでは結果が向上しないことが明らかになった.またGAが苦手な問題に対して有効な結果を示した. [10trials] 良好な解を得た回数 評価計算回数 [10trials Average] Intelligent Systems Design Laboratory

結論 遺伝的交叉を用いた並列シミュレーテッドアニーリングを提案 並列SAに遺伝的交叉を用いることで適用範囲の拡張,探索能力の向上 本実験では遺伝的交叉を用いた並列SAを提案した.局所探索が得意なSAに大域探索が得意でかつ部分解の組み合わせで最適解が得られるGAオペレータを取り入れることでSAの適用範囲を拡張することができた.また,提案手法の解探索能力の検証も行った. 提案手法の解探索能力を検証 Intelligent Systems Design Laboratory

結論と今後の課題 連続最適化問題を対象として, 遺伝的交叉を用いた並列SAの解探索能力を比較 GAオペレータを用いた3種の並列SA 逐次SA すべての対象問題において,提案手法が有効 分散GA GAが苦手とする問題に対して,提案手法が有効 既存のハイブリッド手法との比較 Intelligent Systems Design Laboratory