Studio di musica -音楽学習におけるインターフェースの提案-

Presentation on theme: "Studio di musica -音楽学習におけるインターフェースの提案-"— Presentation transcript:

1 Studio di musica -音楽学習におけるインターフェースの提案-
発表を始めさせていただきます． CPSF B1のmarkunです． 親はchachaさん tackyさんにお願いしております. 今期はStudio di musica –音楽学習における効率的なインターフェースの提案-というテーマで 発表させていただきます． Presenter: B1 markun Advisor : chacha tacky

2 背景 ・西洋音楽という最も原始的で制約の厳しい音楽ジャンルを専門に勉強している
・モバイル端末の普及により，音楽学習環境向上したが，未だコンピュータと人間のインターフェースが未熟なために，コンピュータを学習に有効活用できずにいる ・前期はアプリケーションの中身部分をやったので 今期はインタフェース部分を勉強したい このテーマにいたった背景として， 私が，学校の学業とは別に，専攻楽器をトロンボーンとして西洋音楽を学んでおり， 長らくその音楽学習の現場に触れてきたということがあげられます， 西洋音楽はその長い歴史から，ある程度，学習手法が確立されているため， コンピュータやデバイスを有効活用すればより学習効率性を挙げるが可能だと考えます. しかし，それらのインターフェースが未熟なため，ユーザーが音楽学習に有効活用できていないという現状にあります． また前期はフーリエ変換を用いていい音と葉どんな音かを判定するというアプリケーションの中身について勉強したため， 今期はインターフェース部分を勉強したいと考えております.

3 音楽学習のSTEP 模倣 分析 ・師の演奏を模倣 ・自己の演奏の分析 ・師の演奏との比較 昇華 ・師の演奏を自己の表現として吸収
音楽学習者はまず，聞いた音楽を実際演奏してマネをする模倣するという模倣過程からはじまり， 次に，目標としている音楽はどこでテンポをはやめて，どの音を大きくしてどの音を小さくしているのか という表現や演奏手法の微細な分析，また自己の演奏どう違うのかを細かく比較する分析過程を経ます. これらの二つの過程を何回も繰り返し行き来することを通して，他者の表現を自己の表現として吸収し, さらに個有な表現を追求していきます． 昇華 ・師の演奏を自己の表現として吸収 ・個有な表現の追求

4 音楽学習のSTEP 模倣 分析 ・師の演奏を模倣 ・自己の演奏の分析 ・師の演奏との比較 昇華 ・師の演奏を自己の表現として吸収
今期はこの３過程のうち模倣と分析の過程に着目し， 効率的なインターフェースの提案を行いたいと考えています. 昇華 ・師の演奏を自己の表現として吸収 ・個有な表現の追求

5 問題意識1:模倣過程の現状 移動 楽器を置いて・・・ ・巻き戻し ・練習中両手が ・再生 塞がっている
問題意識に一つ目として，模倣過程では,音楽学習者は楽器演奏中，もう一度音源を聞きたいと思ったとき, 演奏を中断して楽器を置いて，macやaudio機器のところに移動して，再生する， そして楽器を取りにいって演奏を再開せねばならず，その移動が面倒だ非効率的だという点があります． 移動 楽器を置いて・・・ ・巻き戻し ・再生 ・練習中両手が 　塞がっている

6 問題意識2:分析過程の現状 ・巻き戻しするときに巻き戻したい場所からジャストで再生されない ・再生バーを移動させるのが面倒
次に分析過程における問題意識としましては， 今日の図のような音楽プレイヤーは再生シーク，再生バーをインターフェースとして採用していることが 多いですが，分析過程では，細部まで聴き取るために１秒や２秒程度の微小時間の再生や繰り返しが行われます． そういった場合には再生バーの適切な調整はとても困難であり，また巻き戻しをしても再生したい場所からほんの少しずれた ところから再生されていしまうという現状があります．

7 機能要件 ジェスチャーで遠隔操作できること 無数のループポイントを設置でき，微細な単位で ループ可能であること
無数のループポイントを設置でき，微細な単位で ループ可能であること そこでこれらの機能要件として， ジェスチャーで遠隔操作できること 無数のループポイントを設置でき微細な単位でる

8 目的 ・音楽学習における効率的なインターフェースを追求する

9 ジェスチャー認識モジュール 具体的なジェスチャーモデル

10 ループポイントモジュール ・ループポイントにピンを設置し，その間を自由にループできるようにする

11 Studio di musica Demonstration
音楽再生 ループポイント 速度変換 録音

12 システム構成図 再生データ データ Leapmotion Mp３ファイル 再生管理 モジュール ID3タグ ループポイントモジュール
管理モジュール ループポイントモジュール ジェスチャ認識　モジュール データ Leapmotion Mp３ファイル

13 今期の実装 ループポイントモジュールの実装 ジェスチャー認識モジュールの実装 ループポイント設置インターフェース
ループポイント間の再生・繰り返し ジェスチャー認識モジュールの実装 指数認識による操作 指の平行移動による操作

14 Studio di musica Demonstration
ID3tagReader LoopPointer

15 評価方法 慶應義塾ワグネル・ソサエティ・オーケストラの団員5人(トロンボーン2人，トランペット1人,ホルン2人)に実際に利用してもらう
評価観点 ループポイントシステムの利便性 楽器ごとに適したジェスチャーに関して口頭アンケート

16 リピートシステムの評価 リピートポイントの設置箇所 リピートシステムの評価 曲番号(A.B)にそってポイントを設置する人が多かった
長いメロディーに関してはフレーズごとにポイントを打つ傾向がある リピートシステムの評価 １時間の曲の場合，聞きたいところを探すのに時間がかかるため，曲番号間で再生できることはとても評価できる

17 ジェスチャーシステムの評価 楽器ごとに最適なジェスチャーがある
仮説 楽器ごとに最適なジェスチャーがある 結果 複数のジェスチャーを提示した結果，どのジェスチャーがどの操作に対応しているのか忘れる 楽器ごとの適したジェスチャーよりも，再生や繰り返しをアフォードするようなジェスチャーの方が好ましい

18 考察 センサ精度によりジェスチャーの誤作動が多かったため，工夫が必要である リピートポイントの約0.5~1秒の微妙なズレの改善

19 今後の課題 UBI研究会に向けての論文の執筆 Kinectでも検証してみる Leapmotionにおける操作感が認識できるモジュールの実装

20 まとめ 音楽学習における音楽プレイヤーの効率的なインターフェースの提案ならびに，アプリケーションの実装を行った
評価において，仮説とは異なるユーザーの新しいニーズを発見できた