内視鏡画像からの奥行き情報提示による 視覚支援システムの開発 筑波大学 システム情報工学研究科 コンピュータサイエンス専攻 安藤竜太 福井幸男 三谷純 西原清一
発表の流れ 研究の背景と目的 内視鏡動画像に適した奥行き推定手法 比較実験 提案 まとめ・今後の課題
研究の背景(1/2) 内視鏡下手術とは 患者の体表面の小さな穴に内視鏡と手術器具 を入れ、内視鏡からの映像を元に行う手術 １．研究の背景と目的
研究の背景(2/2) 内視鏡下手術の利点 内視鏡下手術の欠点 患者にとって低負担 手術時間の短縮 奥行き情報の欠如 手術器具による接触事故 １．研究の背景と目的
研究の目的 奥行き情報提示による視覚支援システムの開発 目指すシステムは・・・ 奥行き情報を高精度で抽出できる リアルタイム性を持つ 目指すシステムは・・・ 奥行き情報を高精度で抽出できる リアルタイム性を持つ 医師に上手く提示する システム １．研究の背景と目的
内視鏡動画像に適した奥行き推定手法を提案 内視鏡動画像の特徴と 奥行き推定手法 内視鏡動画像の問題点・利点を理解 既存手法を理解 内視鏡動画像に適した奥行き推定手法を提案 ２．内視鏡動画像に適した奥行き推定手法
内視鏡動画像の問題点１ 鏡面反射の多さ 反射関数を用いた手法 関連研究： 複数枚の写真からの３次元形状と反射係数復元 Athinodoros S. Georghiades Department of Electrical Engineering, Yale University, New Haven, CT 06520, U.S.A. ２．内視鏡動画像に適した奥行き推定手法
奥行き抽出手法 注目点追跡 → 奥行き推定 手法 赤が手前 青が奥 時刻ｔ 時刻ｔ＋⊿ｔ ２．内視鏡動画像に適した奥行き推定手法
内視鏡動画像の問題点２ 特徴点の少なさ 特徴点を使用した追跡 ２．内視鏡動画像に適した奥行き推定手法
注目点追跡 一様に置いた注目点を使用 注目点追跡 結果 注目点 ２．内視鏡動画像に適した奥行き推定手法
内視鏡動画像の問題点３ 光源移動による注目点の輝度値変化 通常のブロックマッチング法 4 1 1 1 1 1 1 1 1 1 2 1 4 1 9 6 9 6 1 3 2 1 8 7 8 7 1 2 1 1 3 1 時刻ｔ 時刻ｔ+Δｔ ２．内視鏡動画像に適した奥行き推定手法
ブロックマッチング法の改良 勾配を利用 6 5 4 2 1 3 4 4 -1 2 3 2 -4 -2 -1 -2 3 4 4 -1 2 3 2 -4 -2 -1 -2 ２．内視鏡動画像に適した奥行き推定手法
ブロックマッチング法の改良 結果 フレーム１ フレーム２ それでも、誤差を含む
注目点追跡情報からの 奥行き推定 注目点追跡誤差に強い手法 疑似透視投影因子分解法 最小二乗法１ 最小二乗法２ 線形計算が可能 内視鏡動画像 内視鏡動画像 → 多視点画像群 ２．内視鏡動画像に適した奥行き推定手法
比較実験 計算機内の仮想物体による実験 追跡情報の誤差なし カメラ移動が自由 ３．比較実験
結果 計算時間 並進運動 に対する強さ 回転運動 疑似透視投影因子分解法 リアルタイム 約30ms 普通 誤差=0.96 誤差=0.90 最小二乗法１ 速い 約0.50s 強い 誤差=3.1×10-5 弱い 誤差=2.6 最小二乗法２ 遅い 約20s 誤差=0.27 誤差=0.30 ※誤差：奥行き偏差値の誤差 ３．比較実験
提案１ 模擬手術では… 奥行きがわかりにくい箇所 は時間を掛けて慎重に手術していた 疑似透視投影因子分解法を使用 最小二乗法１を使用 最小二乗法２ 計算時間 並進運動 に対する強さ 回転運動 疑似透視投影因子分解法 リアルタイム 約30ms 普通 誤差=0.96 誤差=0.90 最小二乗法１ 速い 約0.50s 強い 誤差=3.1×10-5 弱い 誤差=2.6 最小二乗法２ 遅い 約20s 誤差=0.27 誤差=0.30 ※誤差：奥行き偏差値の誤差 ４．提案
提案１ 処理の流れ 開始 終了 精度 必要か 回転 含むか 最小二乗法２ 因子分解法 最小二乗法１ YES NO ４．提案
提案２ 精度と計算時間の短縮 少数の注目点 注目点追跡 カメラ運動推定 全注目点追跡 ２回目以降は 探索範囲が絞られる 注目点追跡の見直し（収束するまで） ２回目以降は 探索範囲が絞られる ４．提案
今後の課題 画素単位より小さいレベルでの注目点追跡 医師への見せ方 直感的に奥行きがわかりやすいように ５．まとめ・今後の課題
御清聴ありがとうございました