自走式車椅子の危険回避における オプティカルフローの利用と そのソフトウェア実装 首都大学東京 数理科学コース４ 年 福永研究室 斎藤健司

内容 研究背景 オプティカルフローとは オプティカルフローの自走式車椅子への利用法 ソフト実装の挙動 今後の課題

研究の背景 本研究室では TPCORE と呼ばれる、並列処理言語 OCCAM による実装を可能にした、並列動作可能な オリジナルの CPU を開発 TPCORE を利用したシステムとして、本年度「自走 式車椅子に車載したカメラと TPCORE による高速画 像処理を用いた危機回避システム」の開発を提案 今回はその前研究の一つとして、動画像処理の一 つであるオプティカルフローの方法を研究し「車 椅子への活用」という観点から利用法を考え、ソ フトウェアとして実装した (Java)

オプティカルフローとは

そもそもオプティカルフローと は オプティカルフローとは、動画において、 フレーム間で「どの部分が、どの方向へ、 どれだけ動いたかの見かけの動き」 を、 ベクトル（方向と、大きさ）により表す という方法である フレーム１フレーム 2

オプティカルフローの方法 ブロックマッチング法 ‥動画の前後フレーム同士の直接的な比較により変 化を求める方法。 回転や拡大といった変化に弱く、計測に時間がかか る場合があり、範囲を絞り込むなどの高速化の必要 がある 。 勾配法 ‥動画の輝点の微小変化を微分により計測する方法。 比較的早いが、ノイズや急激な輝度変化に弱い。 ※今回はブロックマッチング法を用いてを実装・テ ストした

オプティカルフローの 自走式車椅子への利用法

オプティカルフローを利用するために 考えたこと Ⅰ : 車椅子における危険にはどんなものがあ るのか Ⅱ : Ⅰで判明している危険を回避するために、 オプティカルフローをどう利用するか Ⅲ : そのために必要なことは何か

自走式車椅子における 危険な状況 １．人や物体の進路への突発的な侵入 ‥乗り手が気付かない・反応できない場合が多く、 危険。車椅子は即座に方向変更ができず、衝突を避 けにくい。 ２．進行方向に平行な段差 ( 死角になる ) ‥椅子に座っているため足元が確認し辛く、タイヤ を段差に滑らせると転倒・落下につながりうる。 今回はこれらを２つを認識することを目 標にした。

１．進入物の認識 考え → 画面内側に向かってくる物の動きを認識でき れば良いのではないか？ → 自身が移動しているので、うまくいかない！ ↓ どうすれば良いか？ 考え２ → 周囲の静止物のオプティカルフローから進行 方向を判断し、その上で危険な動きを見つける。

１．進入物の認識 フロー中心ＦＯＥ ‥カメラが移動している場合、そのフローベクト ルの始点は FOE (Focus of Expansion ）と呼ばれる 定点に集まることが知られている。 → 始点を FOE からはずれたベクトルから、危険 なものを発見する。

２．死角にある段差の回避 考え → 進行方向にある段差を認識しておき、そ の付近のオプティカルフローをチェック する。 （段差が自分に近づいてきたら危険、な ど） → 段差である基準を知り、認識できる必要があ る。

２．死角にある段差の回避 進行方向に並走する段差の判断基準として、 今回は以下のように考えて実装した ・ 道と道の境界線部分 ( 段差により道どうしは影で分けられる ) ・ 境界線が一定の長さ以上続いている ・ 進行方向直線上にある 上の判断基準を満たす箇所の判断に、次の画像処理手法 を用いた。 ・ Canny フィルタ ‥画像中の境界線を抽出 ・ Hough 変換 ‥画像中の点を一定数以上通る直線を検出

２．死角にある段差の回避 先ほどの判断基準を満たす点の判断に、次 の画像処理技法を用いた。 ・ Canny フィルタ ‥画像中の境界線を抽出す る ・ Hough 変換 ‥画像中の点を一定以上通る直 線を見つける

２．死角にある段差の回避 元画像 境界線画像 直線検出 段差（候補）検 出 ↓ Canny フィル タ ↓ Hough 変換 ↓ 方向絞り込み

実装にあたり考慮した点 精度と実行時間 ‥精度を求めれば多く、細かな点での動き情 報が欲しいが、フローベクトル計測には 時間がかかる。 → 「進入物の認識」では、画面全体の動 き情報が要るが、密な範囲での情報は必 要ない。 → 「段差接近の認識」では、段差の付近で は正確で詳細な情報が欲しいが、他の動 き情報は必要ない。

オプティカルフローのソフト実 装 と、その実行結果

テスト環境 実装環境 Java により実装 (java アプレットを使用 ) ( コンパイラバージョン : JDK1.6_0.14 ） テスト撮影画像 グレースケール ( 白黒 256 階調 ) サイズ 640×480 フレームレート : 30fps (1 秒間に 30 枚 ) 通常歩行により撮影.( 撮影協力 : 家村光 (M1) )

結果の考察（進入物の認識） 危険物のみの抽出はまだ出来ていないものの、オプティ カルフローにより進入物が発見できる事が分かった。 ＦＯＥ計測の点から見ると、カメラの上下ぶれなど、テ スト前には分からなかった誤差が存在した（車椅子固定 ではどうなるかはまだ分からない）

結果の考察（段差の回避） 段差を認識していれば、その部分でのオプティカルフ ローから段差への接近を検知できていることが示された。 段差認識において、今回自分で設定した基準では状況を 選ぶ場合が大いにあることが分かった。（タイル面、平 坦な道の境界線など）

今後の課題 リアルタイム計算を想定した並列化・ハード ウェア化による高速化の考察 「段差である」等の判断を下すための、より明 確かつ正確な方法の研究 TPCORE への実装を想定した、 OCCAM プログラム への書き換え 車椅子からの実際の画像を用いたテスト 車椅子の他の危険状況に関する考察 危険回避に対する、より有用な手法の模索

参考資料 書籍 C 言語による画像処理入門 ( 昭晃堂 / 安居院 猛, 長尾 智晴. 著 ) 詳解 OpenCV ( オライリージャパン /Gary-Bradski&Adrian-Kaebler. 著 / 松田晃一. 訳 ) Web サイト (URL のみ ) Optical Flow

おわりです ご静聴ありがとうございました。