Kinect を用いたダンス学習支援システムの開発 Development of Dance Training Support System Using Kinect 北原研究室 山内雅史 篠本亮

目次 研究題目 研究の背景・目的 先行研究 課題と解決策 システムの構成 評価実験と考察 まとめ

研究の背景 近年において、ダンスは我々にとって身近な存在と なりつつある。 K-POP AKB48 EXILE テレビでダンス番組が放送されたり、動画サイトで 「踊ってみた」動画の投稿などが盛んに行われてい る。

研究の背景 教育の分野では、昨今小中学校の体育でダンス が必修化された。 ダンス学習支援を目的とした研究が行われている。

研究の目的 ダンス学習上の問題 学習者が正しく踊れているかを独力で判定 し、改善すること 本研究では個人のダンス学習支援が出来るような システムを提案する。

先行研究 先行研究 小学校体育授業における表現運動「学習支 援デジタル教材」の開発と評価 (安藤 幸/2009) モーションキャプチャ装置を用いたサンバ リズム習得過程の分析(石川 幸平/2006) ダンスの初心者指導について (宮川 則子/2005) ダンス教育支援を目的とした自動振付シス テムの試作(曽我 麻佐子/2007)

モーションキャプチャ装置を用いたサンバリズム習得過程の分析 初心者に特徴的なリズムのサンバダンスを指導 練習によるリズム感の向上を客観的に観察 計測装置にモーションキャプチャを使用

Kinectを用いた関連事例 Dance Evolution(KONAMI) 振り付けの要所にマーカー(判定ポイント)があり、指示通り に踊れると、スコアが加算される。

先行研究・事例との違い ダンスなど技能取得の要素を「技」と「リズム感」とし、特にリ ズム感に着目した研究である。 モーションキャプチャ装置を用いたサンバリズム習得過程の分析(石川 幸平/2006) ダンスなど技能取得の要素を「技」と「リズム感」とし、特にリ ズム感に着目した研究である。 リズム感の向上の過程の観察を主な研究目的としており、 支援という部分には触れていない。 本研究では、「技」と「リズム感」の双方を考慮し、ユーザの ダンス学習支援ができるようなシステムを目指す。

先行研究・事例との違い Dance Evolution(KONAMI) ダンスの正確さに基づいて決まるスコアを競うもの で、初心者がじっくりダンスを学ぶという視点のもの ではない。 本研究ではゲーム性を追求せずに、初心者がダン スを学ぶための機能について検討する。

課題と解決策(1) ユーザが正しく踊れていない状況では、以下の場 合が考えられる。 そもそもリズム自体を正しく取れていな い そもそもリズム自体を正しく取れていな い　　　　　　　　　　　　　　　　　　　　　　 リズムは正確に取れているが、体の動 かし方(以降振り)を習得していない。

課題と解決策(2) この２つの状況をKinectの観測データのみで区別 することは困難である。 リズム感と振りの正確さをそれぞれ区別して判定 ワイヤレスミニマウスでリズム感 判定 Kinectで振り判定 リズム感と振りの正確さをそれぞれ区別して判定

Kinectとは Kinectとは、MicrosoftがXbox360向けに発売したゲームデ バイス。 カメラより取得した骨格情報を使いコントローラを使わず操 作できる。 モーションキャプチャーより安価である。

Kinectによるユーザ認識 Kinectが認識できる関節の数は図で示す 15箇所である。

システムの構成 (1) Kinectによるユーザ認識 (2) 見本映像の事前確認 (3) 練習の実行 (4) 改善点の提示 適切な振りorテンポ をユーザに提示 (1) Kinectによるユーザ認識 (2) 見本映像の事前確認 (3) 練習の実行 2回繰り返す (4) 改善点の提示 (5) 練習結果の判定

（２）見本映像の事前確認 右画面：見本の映像の表示 左画面：リアルタイムでの映像の表示 Kinectからの映像 見本の映像

（３）練習の実行 マウス・振りの比較判定の開始 音楽の再生 Kinectからの映像 見本の映像

Kinectによる振り習得判定(1) 上 左 右 下 ユーザーのダンスに対してリアルタイムで関節座標を求め、 予め用意した見本の座標データの比較を行う。 振りの種類は「腕を動かす」に限 定 肩を基準に上下左右に領域を分 ける 見本と同じ領域であれば「一致」 とみなす 上 手座標 左 肩座標 右 下

Kinectによる振り習得判定(2) 前スライドの判定処理は、音楽再生時より計測さ れる四分音符のビート時刻で行う。ビート時刻は予 め付与しているものとする。6割以上の一致が習得 条件。 不一致 上 上 上 上 上 左 右 右 ビート時刻(ms)

ワイヤレスマウスによるリズム感判定 リズムの判定範囲は現在のビート時刻と次のビート 時刻の差を４等分したものに、 JUST,SLOW,FASTを設定する。

ワイヤレスマウスによるリズム感判定 不一致 ユーザのクリック時刻と、予め用意したビート時刻の差が許 容誤差以内である時、リズムは正しくとれていると判断す る。 7割以上正しくリズムを取れることが条件 不一致 FAST! JUST! SLOW! JUST! 許容誤差 許容誤差 許容誤差 許容誤差 ビート時刻(ms)

改善点の提示 見本と一致 見本と不一致 ビート毎の両手の領域の表示 リズムの結果例 よいリズム感です 走っています 遅れています

練習結果の判定 2回の練習結果から、以下のような条件で、次の 練習への指示を行う。 判定 振り→○ 振り→× リズム→○ テンポを上げる 振りを難しくする テンポを下げる リズム→× 振りを簡単にする 指示の例。リズムも振りも○ だったので、振りかテンポを上 げる選択を表示。

デモ動画

評価実験 実験環境 百周年の会議室４

評価実験 実験環境 百周年の会議室４ Kinect 100cm 被験者 75cm 100cm 200cm スクリーン 250cm イメージ図

評価実験 実験方法 システムの説明・練習（２５分） 休憩（５分） システム有り＋テスト（１５分＋α） 休憩（１０分） システム無し＋テスト（１５分＋α） １回あたりの練習時間:８小節(32拍)

評価実験 被験者４人 男性３人、女性１人 ダンス未経験者 ２つのグループで実施 システム有り→システム無し システム無し→システム有り 　システム有り→システム無し 　システム無し→システム有り 使用音楽 RWC研究用音楽データベース ジャンル：ダンス(ソウル/R&B)

評価実験 システム有り レベルが１番高い振りで音楽のテンポが１ 番速いものから始める マウスクリックと振りの一致度を判定する 判定結果を表示する 判定結果によってユーザに適切な振りやテ ンポを提示する

システム有の練習の例 レベル１ 超ゆっくり レベル２ ゆっくり レベル３ 等速 テンポの速さ(３段階) 振付のレベル(３段階) 2回練習 リズム感→× 振付を簡単にする

システム有の練習の例 レベル１ 超ゆっくり レベル２ ゆっくり レベル３ 等速 テンポの速さ(３段階) 振付のレベル(３段階) リズム感→× 振り→× 2回練習 振付をテンポ を簡単にする

システム有の練習の例 レベル１ 超ゆっくり レベル２ ゆっくり レベル３ 等速 テンポの速さ(３段階) 振付のレベル(３段階) リズム感→○ 振り→○ 2回練習 振付かテンポ を上げる

システム有の練習の例 振付のレベル(３段階) テンポの速さ(３段階) レベル１ 超ゆっくり レベル２ ゆっくり レベル３ 等速 振付を選択

評価実験 システム無し レベルが１番高い振りで音楽のテンポが１ 番速いものから始める(有りと同様) マウスクリックと振りの一致度の判定は被 験者に見えない形で行う 判定結果に関わらず、振りのレベル・テン ポは変わらない

システム無しの練習の例 レベル１ 超ゆっくり レベル２ ゆっくり レベル３ 等速 テンポの速さ(３段階) 振付のレベル(３段階) 2回練習 同じ振付・テンポのまま

実験アンケート スポーツが好きですか 目標の振り付けを習得することが出来ましたか 振り付けのレベルやテンポの変更の指示は適切だと思いましたか 結果画面の内容は分かりやすかったですか 上下左右、リズムの判定を練習に活かすことが出来ましたか 独りで行う練習で、本システムは有用だと思いましたか 練習を楽しめましたか 意見・感想・アドバイスをお願いします

実験結果・考察 間違い減少率(%) 減少率(%)＝{1－(最後に間違えた振りの回数 / 最初 に間違えた振りの回数)}×100

実験結果・考察 １５分間の練習での振りの間違い減少率では大 きな差は見られなかった 被験者Bのシステム有りでの練習では間違い減少 率が９０％以上の高い数値が得られた 被験者A・Dでは間違い減少率が低い 被験者B・Cでは間違い減少率が高い

実験結果・考察 被験者B・Cでは間違い減少率が高い １５分間の練習でレベル３、等速の振りに戻って 来られた 1回目 15分練習後

ユーザが練習をする上でのモチベーションの面からも有用性が窺える 実験結果・考察 被験者A・Dでは間違い減少率が低い １５分間の練習でレベル３、等速の振りに戻って来 られなかった ユーザが練習をする上でのモチベーションの面からも有用性が窺える

まとめ ダンスが正確に踊れていない状況は そもそもリズムが正しく取れていない リズムは正確に取れているが、体の動かし方(振り )を習得していない という２つの場合が挙げられた。 そこで、Kinectとワイヤレスマウスを用いて、リズム感と振りの 正確さを区別して判定した。 実験の結果、「振り」と「リズム感」の双方を考慮し、ユーザ のダンス学習支援ができる練習を提案するシステムを実現 することが出来た。

今後の課題 長期的な実験を考慮した練習時間の設定で、間 違い減少率の向上を目指す 振りやリズム感の判定手法を改善し、システムの有 用性を高められるようにする 両手以外の部位も判定に考慮できるようにする 個別の振りの練習だけでなく、複数の振りを合わせ た一連のフレーズでの練習をできるようにする