音声認識によるロボット制御 白井研究室 T214084 山田翔也 ○研究目的 ・ロボットに対する指示を音声で行い、目標を画像認識によって識別し、SLAMを用いて目標へと到着するロボットを作成すること ○実際に使用するモジュールとキット ・Open RoboticsとROBOTISが共同開発したキットの「Turtlebot3」 ・ubuntu mate ・ROS kinetic ・ julius 4.3.1 ・find_object_2d ・レーザーレンジファインダ ・arduino 1.6.13 ©ROS COMPONENTSl ○現在の進捗状況 ・音声認識の認識率が低いため、ロボットに指示する言葉だけの辞書の作成を試みている。 ・画像認識はロボットとの連動を試みている。 ○SLAMとは ・Simulataneously Localization Mappingの略であり、センサを用いた自己位置推定とセンサ類から得られた情報をもとにMAPの作成を同時に行うことを指す。 ・ロボットに実装することによって未知の場所であってもロボットは活動することが出来る 図１：Turtle bot3 ○ROSとは ・Robot Operating Systemの略であり、プロセス間をつなぐプロセス間通信を行うための道具であり、開発者のためにソフトウェアの提供も行っている ・物体認識と音声認識のプログラムはPCで動作させてその結果をロボットに送信する形をとっているが、それぞれのプログラムはROSによってつながっている状態になっている。 ○ロボットの処理内容 ①搭載したマイクから指示（音素）を受け取る。 ②PCへと指示を送信し、PCで音声認識を行う。 ③PCで音声認識された指示（文字列）を受信する。 ④あらかじめ保持していた画像（ラベル付き）の中から指示（文字列）と合致するするものを探し、これを目標とする。 ⑤MAPを移動しながら、搭載しているカメラで目標を探す。 ○今後の計画 （１）MAPを用いてロボットを動かす （２）SLAMによる実現を図る。 （３）音声認識、画像認識、SLAM、を合わせた全体のテストおよび、改良を行う。 PC ロボット ① ② ③ 図2：動作フロー ○参考文献 ・ピョ ユンソク他(2018) ROSロボットプログラミングバイブル オーム社 ・上田 隆一(2017) RaspberryPiで学ぶROSロボット入門 日経BP社
PC ロボット ① ② ③ 図2：動作フロー ロボッ ① ② PC ロボット ③ PC