久保幹雄 東京海洋大 宇野 毅明 国立情報学研究所 藤澤 克樹 中央大学 宮本 裕一郎 上智大学

Slides:



Advertisements
Similar presentations
1 広島大学 理学研究科 尾崎 裕介 石川 健一. 1. Graphic Processing Unit (GPU) とは? 2. Nvidia CUDA programming model 3. GPU の高速化 4. QCD with CUDA 5. 結果 6. まとめ 2.
Advertisements

HBSP モデル上での 行列積を求めるアルゴリ ム 情報論理工学 吉岡健太.
情報基盤アルゴリズムとして のメタヒューリスティクスの 研究 茨木俊秀、巳波弘佳、藤原洋志、 千葉英史、関口良行(関西学院大 学)、 藤重悟(京都大学)、 柳浦睦憲(名古屋大学)、 野々部宏司(法政大学)、 梅谷俊治(電気通信大学)
A Simple Constant Time Enumeration Algorithm for Free Trees 中野 眞一 宇野 毅明 群馬大学 情報学研究所 2003 年 9 月 19 日 アルゴリズム研究会.
2 dimensional bit vector approach Mikio Kubo. TIGER/Line graph DC.tmp 9559 nodes and arcs Shortest Paths between all border nodes of 2 regions.
事例: 自動販売機に対する在庫配送計画 宮本 裕一郎(発表者) 久保 幹雄 東京商船大学 共同研究:富士電機(株) 2001年3月5日.
ハノイグラフの生成と最短経路の導出 東京電機大学 理工学部 村田和也 松浦昭洋
MPIを用いたグラフの並列計算 情報論理工学研究室 藤本 涼一.
到着時刻と燃料消費量を同時に最適化する船速・航路計画
制約付き最短路問題に対する実験的解析 上智大学 宮本裕一郎 o 1 d (7, 15) (9,4) (12,4)
区間グラフにおける区間表現からMPQ-treeを効率よく構成するアルゴリズム
  スケジュール管理手法PERT-Time      解 説    “最早開始時間計算のアルゴリズム”
キャッシュ付PRAM上の 並列クィックソートと 並列マージソート
最短路プロジェクト 共同研究 中間報告 2007年 10月 久保 幹雄.
基本情報技術概論(第10回) 埼玉大学 理工学研究科 堀山 貴史
Chapter11-4(前半) 加藤健.
高度情報演習1A “テーマC” 実践 画像処理プログラミング 〜画像認識とCGによる画像生成〜 第四回 演習課題 画像中からの物体抽出処理(背景情報を手がかりとして) 芝浦工業大学 工学部 情報工学科 青木 義満 2006/05/15.
2009/12/4 グラフ (2) 第10講: 平成21年12月4日 (金) 4限 E252教室 コンピュータアルゴリズム.
極小集合被覆を列挙する 実用的高速アルゴリズム
三重対角化アルゴリズムの性能評価 早戸拓也・廣田悠輔.
A: Attack the Moles 原案:高橋 / 解説:保坂.
全体ミーティング (4/25) 村田雅之.
Finger patternのブロック化による 陰的wavelet近似逆行列前処理の 高速化
最短路問題に対する新しいアルゴリズム 階層メッシュ疎化法 (Level-wise Mesh Sparsification: LMS)
ネットワーク理論 Text. Part 3 pp 最短路問題 pp 最大流問題 pp.85-94
An Algorithm for Enumerating Maximal Matchings of a Graph
リンク構造を考慮したベクトル空間法によるWebグラフ分割手法に関する研究
オペレーティングシステムJ/K 2004年11月4日
データ構造とアルゴリズム 分割統治 ~ マージソート~.
第11講: 平成18年12月 8日 (金) 4限 E352教室 グラフ (1).
ネストした仮想化を用いた VMの安全な帯域外リモート管理
ネットワーク性能に合わせた 分散遺伝的アルゴリズムにおける 最適な移住についての検討
最短路問題のための LMS(Levelwise Mesh Sparsification)
演算/メモリ性能バランスを考慮した マルチコア向けオンチップメモリ貸与法
変更文の移動を可能にした 静的単一代入形式上の部分冗長性除去
ネットワーク理論講義補助資料 Text. 組合せ最適化とアルゴリズム 4.3 節 Lagrange緩和 pp
二分探索木によるサーチ.
型付きアセンブリ言語を用いた安全なカーネル拡張
大阪市立大学 学術情報総合センター 大西克実
ネットワーク理論 Text. Part 3 pp 最短路問題 pp 最大流問題 pp.85-94
アルゴリズムとデータ構造 2013年7月16日
グラフアルゴリズムの可視化 数理科学コース 福永研究室 高橋 優子 2018/12/29.
構造情報に基づく特徴量を用いた グラフマッチングによる物体識別 情報工学科 藤吉研究室  EP02086 永橋知行.
仮想計算機を用いたサーバ統合に おける高速なリブートリカバリ
最短路を ものすごくはやく 答える方法.
オペレーティングシステムJ/K (仮想記憶管理)
動的データ依存関係解析を用いた Javaプログラムスライス手法
アルゴリズムとデータ構造 2012年7月17日
A Simple Algorithm for Generating Unordered Rooted Trees
連続領域におけるファジィ制約充足問題の 反復改善アルゴリズムによる解法 Solving by heuristic repair Algorithm of the Fuzzy Constraint Satisfaction Problems with Continuous Domains 北海道大学.
未使用メモリに着目した 複数ホストにまたがる 仮想マシンの高速化
GPGPUによる 飽和高価値 アイテム集合マイニング
バイトコードを単位とするJavaスライスシステムの試作
目的:高速QR分解ルーチンのGPUクラスタ実装
VMが利用可能なCPU数の変化に対応した 並列アプリケーション実行の最適化
仮想マシンの監視を継続可能なマイグレーション機構
Data Clustering: A Review
サプライ・チェイン最適化について 研究者・実務家が知っておくべきこと
重み付き投票ゲームにおける 投票力指数の計算の高速化
短い部分文字列の ミスマッチトレランスを 高速計算するアルゴリズム
離散数学 06. グラフ 序論 五島.
大規模ネットワークに対する 実用的クラスタ発見アルゴリズムの開発
アルゴリズムとデータ構造 2011年7月11日
オペレーティングシステムJ/K (管理のためのデータ構造)
コストのついたグラフの探索 分枝限定法 A*アルゴリズム.
IPmigrate:複数ホストに分割されたVMの マイグレーション手法
分散メモリ型並列計算機上での行列演算の並列化
全体ミーティング (9/12) 村田 雅之.
ベイジアンネットワークと クラスタリング手法を用いたWeb障害検知システムの開発
2008年 7月17日 応用数理工学特論 期末発表 鈴木綾華,程飛
Presentation transcript:

久保幹雄 東京海洋大 宇野 毅明 国立情報学研究所 藤澤 克樹 中央大学 宮本 裕一郎 上智大学 最短路プロジェクト 共同研究 報告 2008年 2月 久保幹雄 東京海洋大 宇野 毅明 国立情報学研究所 藤澤 克樹 中央大学 宮本 裕一郎 上智大学

プロジェクト概要 Hi! L1 L2 RAM HD,Flash クエリ高速化 前処理による 対話型のための モデルの拡張 メモリ階層による高速化 Hi!

本年度の成果 メモリ階層の考慮による高速化 実装+実験 前処理による高速化: 階層メッシュ疎化法:特許,実装,数値実験,論文投稿 2次元ビットベクトル法:アルゴリズムを改良,実装 経由点通過法:実装,改善,実装,予備実験 様々なモデルの拡張に対する検討 時刻依存 確率的 動的 高速道路の時間帯別料金の考慮

前処理とクエリの分離(1) 2000万点の 最短路 ネットワーク ダイクストラ法1回 (数十秒) 旧来の方式 注:我が国のナビの最短路は最適でないヒューリスティクス

前処理とクエリの分離(2) 前処理(preprocessing) 2000万点の ネットワーク 補助データ ダイクストラ法たくさん (数時間;並列で数分) クエリ(query) 補助データ 最短路 2000万点の ネットワーク 高速探索 (数ミリ秒)

前処理による高速化(1) 2次元ビットベクトル法 階層メッシュ疎化法 最初に開発したアルゴリズム メモリアクセス小 前処理が遅い アルゴリズムの改良+実装(報告書に添付) 階層メッシュ疎化法 汎用の高速化法(他の解法と融合可) (国際)特許申請 実装(報告書に添付) 実験+論文投稿 6

前処理による高速化(2) 経由点通過法(transit node routing) Bast-Funke-Sanders-Schultesが開発 最速のクエリ時間 Scientific American SciAM 50 awards受賞 (EUのグループなので)特許申請しない方針 =>自由に使える! 実装(報告書に添付) アルゴリズムの改善 未発表論文のバグの修正 「前処理の前処理」による高速化 並列による高速化(2CPUで1.8倍,4CPUで3.1倍) 7

経由点通過法のアイディア アクセス点

経由点の集合 (すべてのセルからのアクセス点) Washington DC 9559点 =>経由点150程度抽出

経由点グラフ 総点数nに対して√nの点数から成るグラフ =>全点間の最短路を事前に計算

経由点通過法の最短路クエリ min [ 始点sからアクセス点A(s)への最短距離+ アクセス点 A(s)からアクセス点A(t)への最短距離+ アクセス点 A(t)から終点tへの最短距離 ] 経由点間の最短距離行列 t s

経由点の高速計算 +2 +1 -1 -2 アクセス点 Sweep line(赤)を またぐ端点への 最短路を解き, 左から右への最短路 -1 -2 アクセス点 Sweep line(赤)を またぐ端点への 最短路を解き, 左から右への最短路 上の点のみ残す この操作をすべての Sweep line(縦,横) に対して行う 左 右 Sweep line 12

計算例 左の点集合と右の点集合 の間の最短路上の点が 経由点

経由点 にならなかった点 セルを細かい 順に計算し, 候補を限定する 左 右 14

左 右 15

予備実験によると,計算時間が1割から5割程度の減少 右 左 予備実験によると,計算時間が1割から5割程度の減少 16

前処理の前処理(2-coreの計算) 次数(点に接続する枝数) が0,1の点の除去 次数 2 の点の短絡除去 9559点から7048点に縮小

2core(New York)の例 264346点 365050枝 次数ヒストグラム 143945点 240687枝 [0, 41169, 40354, 124535, 56998, 1124, 157, 8, 1] 143945点 240687枝 次数ヒストグラム [0, 0, 0, 95607, 47282, 917, 134, 4, 1] 予備実験によると,計算時間が2割から8割程度の減少

メモリの階層構造 Intel Core 2 : E6600 2.4GHz の例 L1 キャッシュ: x 4 1 [ns] x 100 m : 10-3 n : 10-9 p : 10-12 fast レジスタ アクセスコストの例 250[ps] L1 キャッシュ: 命令 32KB, データ 32KB x 4 TLB addr 1 [ns] L2 キャッシュ: 4MB x 100 100 [ns] RAM x 100000 10 [ms] slow Disk(HDD)

始点と終点、それに現在の位置から次に訪れるメッシュを先読みして、メモリから L2 キャッシュに移動してブロッキングする

構造体か配列か? メモリアクセスのオーバヘッドの減少 &ハードウェアプリフェッチの効果

モデルの拡張に対する検討 =>アルゴリズムは完成,未実装 課題:前処理による高速化とどのように合わせるのか? 22 時刻依存の移動時間をもつ最短路 不確実性をもつ移動時間をもつ最短路 多目的を有する最短路 制約付き最短路 =>アルゴリズムは完成,未実装  課題:前処理による高速化とどのように合わせるのか? 22

領域分割による前処理 New Yorkの15分割 領域の縁の点 まどの最短路     + 縁の点間の最短路     = 経由点通過法と 同様の高速化

分割の方法 施設配置問題へのアプローチ(点の座標情報を利用し,重心に施設を配置することによるクラスタリング) k-means法,Weiszfeld法(2000万点だと遅い) グラフ分割問題へのアプローチ(異なる領域間に跨る枝数(カット)を最小にするようにグラフをk-分割) METISソルバー;早い(?)けど,飛び地ができる. =>座標とグラフ情報を利用した大規模問題に対する新解法