内視鏡画像からの奥行き情報提示による 視覚支援システムの開発 筑波大学 システム情報工学研究科 コンピュータサイエンス専攻 安藤竜太　福井幸男　三谷純　西原清一

発表の流れ 研究の背景と目的 奥行き情報抽出手法とシステムの概要 従来手法 提案手法 比較実験 まとめ・今後の課題

研究の背景(1/2) 内視鏡手術とは 患者の体表面の小さな穴に内視鏡と手術器具 を入れ、内視鏡からの映像を元に手術を行う １．研究の背景と目的

研究の背景(2/2) 内視鏡手術の利点 内視鏡手術の欠点 患者への負担が少ない 手術時間の短縮が可能 奥行き情報が少なく、手術器具が各器官と接触する恐れがある １．研究の背景と目的

研究の目的 安全な手技操作を可能にする視覚支援システムの開発 目指すシステムは・・・ 奥行き情報を視覚支援レベルで抽出できる 　目指すシステムは・・・ 奥行き情報を視覚支援レベルで抽出できる リアルタイム性を持つ 結果の安定性を持つ 計算時間の安定性を持つ システム １．研究の背景と目的

奥行き抽出手法 動画像の注目点追跡情報から奥行き情報を抽出する 時刻ｔ 時刻ｔ＋⊿ｔ 赤で囲った物体のほうが 青で囲った物体より手前にある カメラを横に動かし て撮影すると… 赤で囲った物体のほうが 青で囲った物体より手前にある 時刻ｔ 時刻ｔ＋⊿ｔ ２．奥行き情報抽出手法とシステムの概要

特徴点 特徴点とは、複数フレームに渡って追跡を行いやすい点である 特徴点には、線の終点や線の屈折点、2 本の線の結合点、色が周辺と違う点などを使用する 先ほどの画像で見た物体の角は非常に追跡を行いやすい点でした ２．奥行き情報抽出手法とシステムの概要

内視鏡画像の特徴 全体的に丸みを帯びている 急激に色が変化している部分がない 特徴点が取りづらい 追跡情報には誤差が含まれる ２．奥行き情報抽出手法とシステムの概要

追跡点と奥行き情報提示法 第1フレームの画像上に一様に置いた点を注目点として追跡 第1フレームの画像上に奥行き情報を色で出力 近 遠 これにより、画像一様に３次元情報が抽出でき、またある点に大きな誤差が含まれる場合などでも結果が安定します 遠 第1フレームの画像上に 一様に注目点を置く 奥行き情報を色で出力 ２．奥行き情報抽出手法とシステムの概要

従来手法 注目点追跡には、ブロックマッチング法を改良したものを使用 ブロックマッチング法 第1画像中の任意の点に対する第2画像中での対応点をブロック間のパターンマッチングに基づいて決定する方法 ピクセル単位で注目点を追跡する 時間 ブロックBと最も似ているブロック ３．従来手法

従来手法 注目点追跡情報からの奥行き情報計算には、２フレーム間の注目点移動ベクトルをオプティカルフローと考えて最小二乗法によって計算する手法を使用 オプティカルフローとは 時間的に連続した画像の明るさから得られる、画像中の各画素の瞬間速度ベクトル ３．従来手法

注目点の画像上の速度ベクトルに 対する透視投影モデル最小二乗法 画像面内の点pの座標 画像面内のオプティカルフロー ｝ 入力 カメラの並進運動成分： ｝ 出力 カメラの回転角速度： 点Pの速度： V=－ｔ－ω×ｒ ３．従来手法

計算手法 以下の二乗和を最小にする に関して最小化（ となる） 　　に関して最小化（　　　　　　　　　　　　　となる） 　　　　　　　　　　　　　という自明の解を避けるためにラグランジュ乗数　　を用いて　　　　　　　　　　　　という拘束条件を追加する 以下を繰り返して最小化する．初期値は　　　　　　　　　　　　　を与える （　　　　　　　を固定して　　　　　　で最小化） （　　　　　　　を固定して　　　　　　で最小化）　 計算を線形にするためにかける 計測されたオプティカルフロー 推定オプティカルフロー 注目点 各過程は線形計算 ３．従来手法

提案手法 注目点追跡には、従来手法と同様に改良ブロックマッチング法を使用 奥行き計算に、 Poelman and Kanadeによって提唱された「疑似透視投影モデル因子分解法によって得られた初期値を、透視投影モデル最小二乗法によって真解に近づける手法」を使用 ４．提案手法

疑似透視投影モデル 因子分解法 投影モデルを線形投影モデルである疑似透視投影モデルに近似する 線形計算によって解を求めることができる 注目点群の中心 平行に投影 透視投影 焦点距離 注目点群の中心を通り 画像平面に平行な平面 画像平面 ４．提案手法

注目点の２次元画像座標に対する 透視投影モデル最小二乗法 以下のように注目点の画像座標は定義される ３次元座標系の原点 画像平面 ４．提案手法

透視投影モデル最小二乗法 疑似透視投影因子分解法の解を初期値として、透視投影モデルに基づく評価式の最小化を行う 疑似透視投影因子分解法の解を初期値として、透視投影モデルに基づく評価式の最小化を行う　　　　 追跡情報は、速度ではなく位置として扱う 以下を繰り返して最小化を行う 注目点の３次元座標を固定してカメラの向き・位置で最小化 カメラの向き・位置を固定して注目点の３次元座標で最小化 また、　　　　は焦点距離と画像平面の大きさから正確に決める 計測された注目点座標 フレーム 注目点 注目点座標の推定値 ４．提案手法

比較実験 仮想物体を用いて奥行き誤差を測定する 実際に撮影した画像群から奥行き誤差を測定する 追跡情報に誤差を含まない 追跡誤差に誤差を含ませる 実際に撮影した画像群から奥行き誤差を測定する 追跡情報にブロックマッチング法による誤差を含む ５．比較実験

実験１ 仮想物体を用意し、正確な注目点追跡情報を得て偏差値誤差を測定する ５．比較実験

実験１ 第1フレームの画像上に一様に置く21×21=441個の点に両手法を用いる 様々なカメラ運動に対して実験を行う 各注目点の奥行きの偏差値を計算する 誤差の指標として以下を比較する 奥行き偏差値の絶対誤差の平均 奥行き偏差値の絶対誤差の標準偏差 ５．比較実験

実験１の結果 （並進運動のみ） 抽出結果（カメラに近い順に、赤→緑→青）と誤差 第1フレームの画像 従来手法の結果 提案手法の結果 A = 3.10×10-5 B = 7.72×10-4 A = 0.133　B = 0.149 ※ A：奥行き偏差値の絶対誤差平均 B：奥行き偏差値の絶対誤差の標準偏差 　　繰り返し計算回数=500 ５．比較実験

実験１の結果 （回転運動のみ） 抽出結果（カメラに近い順に、赤→緑→青）と誤差 第1フレームの画像 従来手法の結果 提案手法の結果 A = 2.64　B = 2.70 A = 0.121　B = 0.100 ※ A：奥行き偏差値の絶対誤差平均 B：奥行き偏差値の絶対誤差の標準偏差 　　繰り返し計算回数=500 ５．比較実験

実験１の結果 （並進運動＋回転運動） 抽出結果（カメラに近い順に、赤→緑→青）と誤差 第1フレームの画像 従来手法の結果 提案手法の結果 A = 0.133　 B = 5.32×10-2 A = 2.20　B = 2.48 ※ A：奥行き偏差値の絶対誤差平均 B：奥行き偏差値の絶対誤差の標準偏差 　　繰り返し計算回数=500 ５．比較実験

実験１の結果 計算時間と偏差値誤差平均の変化 ５．比較実験

従来手法の誤差の原因 従来手法では、以下の近似により誤差が生じる 本来の速度ベクトル 注目点の軌跡 利用する速度ベクトル （オプティカルフロー） 本来、計算に使用すべきは瞬間の速度ベクトルであるが、 今回はオプティカルフローを使用しているため誤差が生じる ５．比較実験

実験２ 実験２では、仮想物体から得た注目点追跡情報に誤差を含ませて実験を行った ３種類の誤差に対して従来・提案の両手法で実験を行った 追跡情報の小数第一位を四捨五入することで誤差を含ませる ブロックマッチング法の最良解 追跡情報のx,y方向にそれぞれ-3～+3ピクセルの誤差を加える 追跡情報のx,y方向にそれぞれ-5～+5ピクセルの誤差を加える カメラの運動は並進と回転を含むようにした 240ピクセル 240ピクセル ５．比較実験

実験２の結果 従来手法（繰り返し計算回数=500） 提案手法（繰り返し計算回数=500） 四捨五入 追跡誤差最大3ピクセル 追跡誤差最大5ピクセル 四捨五入 追跡誤差最大3ピクセル 追跡誤差最大5ピクセル ５．比較実験

実験２の結果 計算時間と偏差値誤差平均の変化 ５．比較実験

実験３ 実験1と同じ状況を実際に用意して実験を行う 物体には内視鏡画像を貼り付けた ・・・ 第１フレーム画像 第６フレーム画像 貼り付けた内視鏡画像 ※赤は補正した 移動ベクトル 第１・６フレーム間の各注目点の移動ベクトル ５．比較実験

実験３の結果 抽出結果（カメラに近い順に、赤→緑→青）と誤差 従来手法の結果 提案手法の結果 第1フレームの画像 (720×543ピクセル) A = 6.20　B = 6.88 A = 6.64　B = 9.53 ※ A：奥行き偏差値の絶対誤差平均 B：奥行き偏差値の絶対誤差の標準偏差 　　繰り返し計算回数=500 ５．比較実験

実験３の結果 計算時間と偏差値誤差平均の変化 ５．比較実験

誤差の原因 ブロックマッチング法でのピクセル単位の探索による誤差の影響が大きかった (b)誤差の影響が大きい場合 (a)誤差の影響が小さい場合 ５．比較実験

提案手法の誤差増大の原因 提案手法は、焦点距離やレンズ中心位置が正確である必要がある 焦点距離やレンズ中心位置の誤差の影響を受ける 実際のカメラで使用するにはキャリブレーションが必要 ５．比較実験

まとめ 従来手法 提案手法 2フレームのみしか使用できず、奥行き誤差を緩和できない カメラが回転運動する場合に弱い カメラの焦点距離などの情報が必要ない 収束が早い 提案手法 3フレーム以上使用でき、奥行き誤差を緩和できる カメラが回転運動する場合でも３次元情報を抽出できる カメラのキャリブレーションが必要 収束速度が遅い ６．まとめ・今後の課題

今後の課題 従来手法・提案手法の長所･短所をふまえて新たな手法の提案をする 注目点追跡の精度向上 計算時間の短縮 ６．まとめ・今後の課題

御清聴ありがとうございました