被災家屋内の人の検出と救助の為 の 3 次元環境地図作成に関する考 察 神戸大学 工学研究科 井上淳一、滝口哲也、有木康雄.

Slides:



Advertisements
Similar presentations
地図の重ね合わせに伴う 位相関係の矛盾訂正手法 萬上 裕 † 阿部光敏* 高倉弘喜 † 上林彌彦 ‡ 京都大学工学研究科 † 京都大学工学部 * 京都大学情報学研究科 ‡
Advertisements

パノラマ合成 富山商船高等専門学校 情報工学科4 年 富田 大志 長岡技術科学大学オープンハウス テーマ:ロボット実践コース③-映像信号処 理- 研修期間 2009 年 8 月 17 日~ 21 日.
生体情報を利用したオンライン認証システムに関する研 究 情報工学科 大山・山口・小尾研究室 学士課程4年田中 丈登.
自動映像生成のための パーティクルフィルタによるボールの追 跡 2007 年 3 月 21 日 神戸大学大学院自然科学研究科 矢野 一樹.
円形管における3次元骨組解析への適用事例 平成16年9月17日 (株)アイエスシイ 犬飼隆義.
高精度画像マッチングを用いた SAR衛星画像からの地表変位推定
点対応の外れ値除去の最適化によるカメラの動的校正手法の精度向上
HOG特徴に基づく 単眼画像からの人体3次元姿勢推定
高度情報演習1A “テーマC” 実践 画像処理プログラミング 〜画像認識とCGによる画像生成〜 第四回 演習課題 画像中からの物体抽出処理(背景情報を手がかりとして) 芝浦工業大学 工学部 情報工学科 青木 義満 2006/05/15.
パノラマ動画像モデルによる 仮想空間表現システムの研究
Pose Tracking from Natural Features on Mobile Phones
画像処理工学 2012年2月2日 担当教員 北川 輝彦.
全方位ステレオ画像センサによる 実環境の仮想環境への取り込み
Deep learningによる 読唇システム
3-Q-28 話者交替を考慮したシステムへの問い合わせと雑談の判別
神奈川大学大学院工学研究科 電気電子情報工学専攻
徳島大学工学部知能情報工学科 A1 グループ 学部4年 森陽司
異種センサを用いた人の行動検知 研究概要 研究の独自性 isi担当 高汐グループ成果 スライド到着待ち yasu担当.
状況の制約を用いることにより認識誤りを改善 同時に野球実況中継の構造化
クラスター変分法と確率的情報処理 --Belief Propagation と画像処理アルゴリズム--
東京工業大学    ○ 青木 康平 正 大西 有希 正 天谷 賢治 株式会社アールテック      清水 利恭 小杉 隆司 名古屋大学      礒田 治夫
コンピュータビジョン Computer Vision(CV) パワーポイント 抜粋
3次キュムラントのバイスペクトラムと PCAによる音声区間検出
固定カメラ映像からの音声情報を 用いた映像コンテンツ生成
画像情報を用いた交通流計測 情報工学科 藤吉研究室 EP02076 都築勇司
みさと8m電波望遠鏡の 性能評価 富田ゼミ 宮﨑 恵.
長岡技科大オープンハウス 岐阜高専4年電子制御工学科 森 永二郎.
複数尤度を用いた 3次元パーティクルフィルタによる選手の追跡 IS1-39
顔部品の検出システムの構築 指導教員 廉田浩 教授 1DS04188W  田中 甲太郎.
~Lookie~ WEBカメラを用いた対話時における 視線不一致問題の解決手法の提案と 解決支援機構の開発
内視鏡画像からの奥行き情報提示による 視覚支援システムの開発
Bottom-UpとTop-Down アプローチの統合による 単眼画像からの人体3次元姿勢推定
ステレオカメラを用いた人の行動解析.
人間の教示動作の視覚処理に基づく物体機能の抽出
米山研究室紹介 -システム制御工学研究室-
利用関係に基づく類似度を用いたJavaコンポーネント分類ツールの作成
中京大学 情報理工学部 機械情報学科 H 野口裕司
音響伝達特性を用いた単一マイクロホンによる話者の頭部方向の推定
構造情報に基づく特徴量を用いた グラフマッチングによる物体識別 情報工学科 藤吉研究室  EP02086 永橋知行.
1-P-6 パラボラ反射板を用いたアクティブマイクロフォンによる方向推定
高度情報演習1A “テーマC” 実践 画像処理プログラミング 第六回 最終課題 画像処理による動物体自動抽出、モーションキャプチャ
東京農業大学 東京情報大学 附属第一高等学校・中等部 附属第二高等学校 附属第三高等学校・中等部
GPSを使わないBebop Droneの 自動飛行
パノラマ合成 電子制御工学科 4年 大久保卓也.
複数特徴量の重み付け統合による一般物体認識
顔特徴点移動量・点間距離変化量の組み合わせに基づく顔表情認識
Number of random matrices
各会話シーン毎に、発話(音源)方向を推定
SIFTとGraph Cutsを用いた 物体認識及びセグメンテーション
Wavelet係数の局所テクスチャ特徴量を用いたGraph Cutsによる画像セグメンテーション
Bottom-UpとTop-Down アプローチの組み合わせによる 単眼画像からの人体3次元姿勢推定
小型無人ヘリコプタの遠隔操縦を 支援するための情報提示法の提案
過学習を考慮した IS1-60 AAMパラメータの選択と回帰分析による 顔・視線方向同時推定 顔・視線同時推定 研究背景
8方向補間ブロックマッチングの実装 福永研究室 数理科学コース 学部4年 能城 真幸.
ETPB: Extraction of Context from Pedestrians' Behavior
ステレオカメラを用いた歩行者の行動解析.
1ーQー18 音声特徴量抽出のための音素部分空間統合法の検討
音響伝達特性モデルを用いた シングルチャネル音源位置推定の検討 2-P-34 高島遼一,住田雄司,滝口哲也,有木康雄 (神戸大) 研究の背景
音響特徴量を用いた自閉症児と定型発達児の識別
音響伝達特性を用いたシングルチャネル音源方向推定
制約付き非負行列因子分解を用いた 音声特徴抽出の検討
ロボットから人に話しかける 判断モデルの構築
「データ学習アルゴリズム」 第3章 複雑な学習モデル 報告者 佐々木 稔 2003年8月1日 3.2 競合学習
自己縮小画像と混合ガウス分布モデルを用いた超解像
CSP係数の識別に基づく話者の 頭部方向の推定
AAMと回帰分析による視線、顔方向同時推定
市松模様を使用した カメラキャリブレーション
ベイジアンネットワークと クラスタリング手法を用いたWeb障害検知システムの開発
グラフ-ベクトル変換を用いたグラフ構造表現による一般物体認識
ランダムプロジェクションを用いた音響モデルの線形変換
Presentation transcript:

被災家屋内の人の検出と救助の為 の 3 次元環境地図作成に関する考 察 神戸大学 工学研究科 井上淳一、滝口哲也、有木康雄

社会状況と背景  阪神淡路大震災以降 防災対策の不十分 研究開発の必要  文科省 先端技術を災害軽減への積極的利活用  大都市大災害軽減化特別プロジェクト 人体検索・情報収集・配信等を支援す るロボット・センサ等の開発と実用化 防災分野への情報技術応用の期待

従来研究 瓦礫内探索  電磁波探索装置 新潟中越地震、トルコ西部地震で既に使用 心臓の鼓動、肺の動きをとらえ、生存者のみを発見 人が見て判定する必要、高コスト  探索ロボット 移動機構のため誤差蓄積、探索時間の長期化  ばら撒き型センサ(新井: ” 探索ボール ” ) 移動機構無し ロボットが入り込めない 瓦礫内の狭い空間も探索可能 認識能力が無い ※ U.C.Berkley : “ SmartDust ” 体積約 100 平方 mm 中に通信装置、センサなどを搭載

提案 ①人体検出ボール 安価 大量散布 ②地図作成ボール 高価 少量散布 人が生存しているかどうか判定 被災者までの救助経路地図の作成 迅速で広域な救助を目指す

①人体検出ボール 1. 熱画像センサ 2. マイクロフォンアレイ  救助者の意識が無い場合、生死判定可能  CO2センサは遠距離では使用不可 安価で解像度の粗い 64 点熱画像センサ を用いて人体の検出が可能かどうか検証

実験環境 研究室内実験室 20 時 室温 27.0 度 64 点二次元放射温度計 温度範囲 -50 ℃ ~1000 ℃ 分解能 0.1 ℃ 撮影範囲 0.5m ~ ∞ ズーム機能 なし

撮影熱画像 背景 ランダム撮影 人体 距離: 1m 、 2m 露出 : 頭、腕、足、全 身

検出手法  人体、背景それぞれ半分の枚数から人体 と背景の温度の平均、分散算出  人体、背景それぞれの正規分布を求め、 人体温度の閾値を決定、人体検出 ℃ 人体 背景 閾値

結果 部位別 各部位画像のみで学習し、他の部位画像を 人体、背景を背景と区別できるか

部位別 平均温度

結果 距離別 各距離の画像のみで学習し、他の距離の 画像を人体、背景を背景と区別できるか

距離別 平均温度

考察 人体検出  64点の解像度の粗い熱画像センサでも、人 体の検出は十分可能  さらに温度が高い部位のみを学習すれば、適 合率をあげる事が可能  今後、マイクロフォンアレイの併用で、精度 向上を目指す

②地図作成ボール 1. ステレオオムニカメラ  水平360度の情報を一度に取得可能  複数のボールを散布する事で瓦礫で隠れ た箇所も補間可能 オムニカメラが小型化された際に適用可 能な3次元測定のアルゴリズム

ステレオカメラ 焦点距離 基線長 対応点探索キャリブレーショ ン 視差

従来研究  山澤 上下に2台のオムニカメラ 対応点探索に SSD ( Sum of Squared Difference ) 瓦礫内の問題 ①基線長が短い場合、適用不可 ②輝度変化の少ない部分、局所的に類似し た部分で誤対応

対応点探索 領域ベース SAD + 等角直線 フィッティン グ SSD + パラボラ フィッティン グ POC 精度 × △ ○ 計算コス ト ○○ △ ロバスト 性 ×× ○ ①位相情報を用いる事によるロバスト性 ②相関ピーク形状の理論モデルに基づいた 高精度フィッティング

位相限定相関法( POC ) ハニング窓 DFT 合成位相スペクトル IDFT ピクセル単位の移動量が ピークの位置として求ま る

サブピクセルマッチング 複数点で式を離 散データと フィッティング し、サブピクセ ル精度の移動量 δ を推定する

実験環境 オムニカメラを 上下に2台設置 研究室内実験室 全方位画像をパノラマ展開 し、垂直方向に対応点探索

結果 視差画像 実際に距離の計測を行い、評価する必 要

今後の方向  マイクロフォンアレイ併用による人 体検出の精度向上  距離計測の測定評価  複数台を仮定して瓦礫内の3次元環 境地図作成

正解判定法 正解領域 正解例 失敗例 人体領域 検出領域

学習テスト正解失敗 人体 24 枚 27 枚 0枚0枚 背景 25 枚 13 枚 12 枚 正解率 100% 適合率 76.9% 実験結果 人体検出 熱源に対し、誤検出 → 複数のマイクロフォンで人物方向の推 定

実験 人体検出 パーツ別  頭部だけで学習し、他のパーツを人体、背 景を背景と区別できるか? 学習テスト背景学習背景テス ト 正解率適合率 頭部 16 枚 34/34 25 枚 20/25100%92% 手 941/41259/25100%76% 足 1436/362513/25100%79% 全身 1139/392514/25100%82% すべて 2327/272513/25100%77%

パーツ別 平均・分散 学習枚数平均分散 頭部 16 枚 ℃ 1.97 手 足 全身 すべて 背景

実験 人体検出 距離別  2 m だけで学習し、 1 m を人体、背景を 背景と区別できる か? 学習テスト背景学習背景テス ト 正解率適合率 1m 22 枚 28/28 25 枚 15/25100%81% 2m2822/222513/25100%74% すべて 2327/272513/25100%77%

距離別 平均・分散 学習枚数平均分散 1m 22 枚 ℃ m すべて 背景

参考資料  コンピュータビジョン -視覚の幾何学 佐藤淳 コロナ社  全方位視覚センサ HyperOmniVision に関する 研究-移動ロボットのナビゲーションのために - 山澤一誠,奈良先  High-Accuracy Subpixel Image Registration Based on Phase-Only Correlation Kenji Takita,Tohoku University  A Flexile New Technique for Camera Calibration Zhengyou Zhang