視覚補助のための物体検出 白井研究室 T215085 若松大仁 1.研究目的 視覚障害者の方に物体検出を用いることで視野外の信号機や建物の入り口を認識して知らせる。 視覚障害者の方に信号の色などの判別できないと安全にかかわるものを認識して知らせる。 ・物体検出を用いることで弱視の方の歩行移動をサポートをする ・弱視のみならず色覚、光覚障害の方へのサポートをする。 2.使用するソフト YOLO(You only look once) YOLOとは物体検出を行うニューラルネットワークである。 最新版はv3となっており、速度と精度に優れている。 YOLOの仕組みとしては入力に対して位置情報とクラス分類を同時に処理をする。 https://arxiv.org/pdf/1506.02640.pdf 3.現状 外部カメラで撮影し、リアルタイムで物体検出を行うことが出来る。 人を検出した際に音声を出力する。 人を検出すると「こんにちは」と音声が出力される 4.評価方法 撮影者の目線に近い高さの衣服にカメラを設置し、街中などで動画を撮影する。 撮影した動画をPC上で起動し、物体検出によって正しく判別でき、それに応じた音声が出力されているかで評価を行う。 5.今後の展望 信号機や点字ブロックなどの画像を収集し、学習データを作成する。 障害物によって途切れた点字ブロックや信号機の赤や黄の状態であることを音声で使用者に伝える。
視覚補助のための物体検出 白井研究室 T215085 若松大仁 1.研究目的 視覚障害を持つ人が歩行移動を行うための支援システムを作製する 物体検出によって歩行時に必要な情報である点字ブロックや信号機の情報を知らせる ・物体検出を用いることで弱視の方の歩行移動をサポートをする ・弱視のみならず色覚、光覚障害の方へのサポートをする。 2.使用するソフト 物体検出 YOLO(You only look once) 入力画像に対して7×7のブロックに区切りを行う バウンディングボックスでオブジェクトの位置情報を予測する オブジェクトごとの範囲をそれぞれ色によって区切りをつける 2つを合体させることでオブジェクトの位置情報と範囲を線で表示する https://arxiv.org/pdf/1506.02640.pdf 3.現状 外部カメラで撮影し、リアルタイムで物体検出を行うことが出来る 人を検出した際に音声を出力する 人を検出すると「こんにちは」と音声が出力される 4.評価方法 撮影者にカメラを持たせて街中などで動画を撮影する 撮影した動画をPC上で読み込み、物体検出によって正しく判別でき、それに応じた音声が出力されているかで評価を行う 5.今後の展望 障害物によって途切れた点字ブロックや信号機の赤や黄の状態であることを音声で使用者に伝える 最終目標としてはリアルタイムで作動させることで実際に有効性があるか確認する