教示動作の視覚処理に基づく 物体の機能情報の抽出

Presentation on theme: "教示動作の視覚処理に基づく 物体の機能情報の抽出"— Presentation transcript:

1 教示動作の視覚処理に基づく 物体の機能情報の抽出
A Sampling Process for Information of Objects Function Based on Motion Recognition by Vision 電気通信大学 情報システム学研究科 佐藤　啓宏 「教示動作の視覚処理に基づく物体の機能情報の抽出」 というタイトルで、電気通信大学の佐藤が発表します。

2 発表内容 はじめに 人の作業解析 物体の機能情報の抽出 3次元トラッキング まとめ まず、「はじめに」で研究の背景を説明します。
次に「人の作業解析」を行った内容と結論として得たアイデアを説明します。 「物体の機能情報の抽出」では、システムへの実装について話します。 「3次元トラッキング」では、ビジョンシステムについて簡単に紹介します。 最後に「まとめ」で、現在までの成果と今後の課題について述べます。

3 はじめに １．研究の背景 ・人とロボットの協調作業 ・人まねロボット ２．従来の研究
視覚による人の動作認識に基づくロボットへの教示や人との協調作業は、ロボットに必要とされる重要な技術の1つであり、さまざまな研究が進められています。私達も、写真1のようなヒューマノイドロボットを開発し人とロボットの協調作業の研究を進めています。 従来の研究として、木村らは、物体や人の動作を認識しそれに基づくロボットの動作計画の組み立てを自動的に行う手法を提案し、人とロボットの協調作業を実現しています。 Fig1. CVL Robot　(仮称) ２．従来の研究 ・人の教示動作の視覚による動作認識に基づきタスクモデルを自動構築　（H.Kimura、’99)

4 タスクモデルの枠組 Result obj(a).f(i)& obj(b).f(j) operated Preconditions
State　#1 ・・・・・・・ タスクモデル State obj(a).f(i){ & obj(b).f(j)}operated Attributes Frame for grasping. Point coincided. Axes aligned. ・・・・・・ Operation operate obj(a).f(i) {to obj(b).f(j)} スキルモデル 木村らは、ロボットが行う作業を「プリコンディション]と「リザルト」という概念を用いて、このようなタスクモデルで記述しました。 「プリコンディション」は「リザルト」が発生する前提条件を示し、「リザルト」は取り扱う2つの対象物の機能部の状態を示します。 「プリコンディション」の「ステート(状態)」は、具体的な物体の取り扱い（スキルモデル)で記されます。物体の「オペレーション」（操作）は、「アトリビュート(属性情報)」を用いて「ステート」（状態）が満たされると、呼びだされます。 Fig.2　Task　Model

5 研究の目的 問題点の解決 物体を扱うために物体の機能をプログラミングしておく必要がある． 教示動作より、物体の機能情報を抽出する.
その属性情報のことを、ここでは機能情報と呼びロボットが物体を扱うために必要な機能座標と操作を意味します。 タスクモデルの教示動作から自動構築することは実現しましたが、しかしながら、従来の研究ではロボットが物体を扱うにあたり、莫大な量の情報とプログラムを必要としていました。 そこで本研究では、人間が物体を取り扱う様子をロボットの視覚システムにより観察し、物体を取り扱うために必要な情報を、システムが自動的に抽出できる手法の開発を目標とします。 ・機能情報の定義 ロボットが物体を扱うために必要な座標情報と操作

6 人の作業解析 物体の機能を伴う動きは、平面や軸に拘束されることが多い.
動作の拘束面 物体の機能を伴う動きは、平面や軸に拘束されることが多い. 例.のこぎり、レンチ、きり、ドライバー、ハンマー、ナイフ、はさみ、など. まず私達は、のこぎりやレンチなどのハンドツールやはさみやペンなどの日常品を対象に15種類の物について、それぞれ異なる簡単なタスクを想定し観察しました。 図に示したのこぎりで板を切るといった、物体の機能をOperation(操作)している状態に注目すると、その動作は道具と対象物で構成されるような平面や軸で拘束されていることが多いと気づきます。例として、のこぎりだけでなく、レンチやきり、ドライバーやハンマー、ナイフ・はさみなどにも、そのような平面や軸を見つけることができます。 このような平面や軸のことを、ここでは動作の拘束面、拘束軸と呼ぶことにします。 （ハンドツールは、元々扱いやすいように規格化されているので、動きの要素が簡潔になっていますので、その様子が特に強く現れます。） Fig.3　作業の解析

7 動作の拘束面・拘束軸 動きの拘束面 動きの拘束軸 obj(a) obj(b) 拘束されない obj(b) obj(a) (II) (I)
x Ｙ z 動きの拘束面 動きの拘束軸 obj(a) obj(b) 締める 拘束されない obj(b) この図(I)は、レンチobj(a)でナットobj(b)を締めるといったタスクを想定して、一連の動作を模擬的に物体の重心の動きで示したものです。同様に、(II)は、ドライバーobj(a)でネジobj(b)を締めるといったタスクを想定したものです。 この図では、obj(b)は座標系に固定されていますので、obj(a)はobj(b)との相対位置の軌跡を描いていることになります。 レンチは、ナットに歯を噛ませて回転するという機能があります。回転の操作に注目して観察すると、図に示したような動きの拘束面を発見できます。また、ドライバーはネジを回すという機能があり、その操作に注目すると図のような拘束軸が発見できます。また、逆に何も規則だった動きがないように見えるところ見られます。あとで、それぞれの状態について考察します。 obj(a) (II) (I) Fig.4　動作の拘束面(I)・拘束軸(II)の概念

8 動作の拘束面によるタスク分割 動きの拘束面1 f(2) 動きの拘束面2 f(3) obj(b) 動きの拘束軸 f(1) obj(a)
x Ｙ z 動きの拘束面1 f(2) 動きの拘束面2 f(3) obj(b) ここで、同じ拘束軸･拘束面上での連続した動きは、同一の機能であると考えられます。このような動きの拘束軸・拘束面といったアイデアを導入すると、3次元空間の運動を2次元の運動の組み合わせとして分割して扱うことができ、タスクの解析が容易になります。 (この図は、その動きの拘束軸・拘束面の概念を示します。図中の赤○・黄○は、それぞれobj(a),obj(b)の重心位置を示し、その偏移を矢印で示しています。この図では、obj(b)は座標系に固定されていますので、obj(a)はobj(b)との相対座標で表されていると見ることができます。 obj(a)の軌跡は、拘束軸1に近似されるような動きでobj(b)に近づきます。次に、obj(b)の周りを拘束面1の上で周り、次に拘束面2上でまた円を描いていくといったように見ることができます。) 動きの拘束軸 f(1) obj(a) Fig.5　動作の拘束面・拘束軸によるタスクの分割

9 機能をともなう動作の検出 レンチ締め ハンマー のこぎり ドライバー 比較的簡単な幾何解析で対処できる. Fig.6 機能ごとの動作要素
拘束面 obj(a) obj(a) obj(a) obj(b) 拘束面 拘束面 obj(b) obj(b) 物体の各機能は、動作プリミティブ(要素)の知識ベースから比較的簡単な幾何解析で検出することができます。 多くの機能を伴う動きは、回転運動や並進運動で記述することができ、例えば、レンチ締めでは、obj(a)はobj(b)を中心に円弧を描く動作と記述できます。ハンマーでは、obj(a)はobj(b)に向かって円弧を描く往復運動を描きます。のこぎりは、obj(a)はobj(b)と結ばれる線の法線方向に往復運動をします。またドライバーは、obj(a)は拘束軸に沿った方向に回転運動をします。 検出した動作は、動作の拘束面と共に、物体の機能として記述することができます。 （とはいうものの、動きの意味を考慮すると軌跡は同じようでも、位置が重要なのか、エネルギーが重要なのかといったように分類でき、このように一概に軌跡だけで論じることはできない。） ドライバー obj(a) 比較的簡単な幾何解析で対処できる. 緩める 締める obj(b) Fig.6　機能ごとの動作要素 拘束軸

10 拘束されない動作 機能点への位置合わせ ＝ Precondition 機能座標の検出 拘束された動きへ切り替わる時点の物体の位置関係
自由に動くことができる obj(b) 機能座標の検出 　拘束された動きへ切り替わる時点の物体の位置関係 何の拘束もなく物体が動ける状態は、次の機能を発生するためのプリコンディションの状態だと考えられます。obj(a).f(i)の機能点の座標をobj(b).f(j)の機能点の座標に位置合わせすることが、プリコンディションを満たすための1つの状態となります。 この機能座標を検出することは、重要な問題となります。検出方法は、次の操作が行われる直前の位置関係を調べることで、機能座標を抽出できます。また経験的には、人間はそのような点を目で見て確認する事が多いので動作が一度静止する事が多く、止まった瞬間の点が、機能点であると記述できると思われます。 （人間の動きを観察しないと正確には、分類できない。 人間は、そのような点を目で見て確認する事が多いので、動作が一度静止する。 止まった瞬間の点が、機能点。 その静止点を機能点として、記述する。） obj(a) Fig.7 拘束されない動き

11 視覚処理適応への問題点 拘束軸・拘束面は、必ずしも重心の動きに現れない. 動きの速さやエネルギーが重要なのか、位置が重要なのか分からない.
接触状態の考慮 プリコンディションの状態でも拘束面、軸が検出されることがある

12 物体の機能情報の抽出 物体の3次元トラッキング 位置、姿勢、時間 前提条件 ・物体の幾何モデル ・2物体の関係を取り扱う 現在の進行具合
　位置、姿勢、時間 前提条件 ・物体の幾何モデル ・2物体の関係を取り扱う 現在の進行具合 物体の相対位置の軌跡から平面のハフ変換 3次元トラッキングシステムを用いて観察した物体の重心位置と姿勢・時間をデータとする。また、前提条件として

13 3次元トラッキング トラッキングシステム 　3次元テンプレートマッチング

14 トラッキング実験 Fig.レンチの回転運動のトラッキング結果

15 接触情態の抽出実験 Fig.ナットとレンチの接触状態の抽出

16 まとめ 動作の拘束面・拘束軸という概念を示し、視覚による機能情報の抽出方法についてのアイデアを示した。
動作の拘束面・拘束軸という概念を示し、3次元運動を2次元運動に落として扱うことで、視覚による機能情報の抽出ができるというアイデアを示しました。また同時に、プリコンディションの概念を拡張し、より一般的なタスクを記述できるようにタスクモデルを拡張しました。 ロボットにタスクを実装する際には、動作の拘束面を考慮することで、アテンションポイント（観察点)を決めることができ、ステレオカメラを用いずとも物体の動きの観察が容易にできます。 今後の発展として、物体の幾何形状と動作要素の関係を調べることで、物体の機能座標を割り出すことを考えている。

17 はじめに １．従来の研究 ・人とロボットの協調作業 ・人まねロボット ２．問題点
・物体を扱うために物体の機能をプログラミングしておく必要がある． 視覚による人の動作認識に基づくロボットへの教示や人との協調作業は、ロボットに必要とされる重要な技術の1つであり、さまざまな研究が進められています。私達も、写真のようなヒューマノイドロボットを開発し、物体や人の動作を認識しそれに基づくロボットの動作計画の組み立てを行う手法を提案し、人とロボットの協調作業を実現しています。 しかし、従来の研究ではロボットが物体を扱うにあたり莫大な量の情報とプログラムを必要としていました。そこで本研究では、人間が物体を取り扱う様子をロボットの視覚システムにより観察し、物体を取り扱うために必要な情報を、システムが機械的に抽出できる手法の開発を目標とします。 教示動作より、物体の機能を抽出する.

18 物体幾何モデルとの関係