NIME04 Rencon 開催報告と 次回への課題 ○ 野池賢二（さきがけ研究２１） 橋田光代（和歌山大学，さきがけ研究２１） 平田圭二（ NTT CS 研） 片寄晴弘（関西学院大学，さきがけ研究２１） 平賀瑠美（文教大学）

Presentation on theme: "NIME04 Rencon 開催報告と 次回への課題 ○ 野池賢二（さきがけ研究２１） 橋田光代（和歌山大学，さきがけ研究２１） 平田圭二（ NTT CS 研） 片寄晴弘（関西学院大学，さきがけ研究２１） 平賀瑠美（文教大学）"— Presentation transcript:

1 NIME04 Rencon 開催報告と 次回への課題 ○ 野池賢二（さきがけ研究２１） 橋田光代（和歌山大学，さきがけ研究２１） 平田圭二（ NTT CS 研） 片寄晴弘（関西学院大学，さきがけ研究２１） 平賀瑠美（文教大学）

2 演奏表情付けシステムの歴史 –1980 年代 アドホックな表情付けルールの作成と適用 –1990 年代 学習型システムの出現 認知的構造理論への留意 –2000 年代 評価方法の問題 すごい !? ちょっと 変？ 公平な評価の方法は 定量的な評価の方法 は？

3 Rencon 発足 演奏生成システムを，演奏コンテストによっ て評価するプロジェクト “Rencon” を 2000 年 に発足 （ Rencon : Performance Rendering Contest ） 表情付けシステムに限らず，生成系システム の評価方法のひとつの切り口 公平な評価方法，定量的な評価方法の確立を 目指す

4 Rencon ロードマップ ↑ 現在このあたり

5 Rencon 開催の歴史 ICAD2002 Rencon （ ATR@ 京都） –Performance Rendering Systems: Today and Tomorrow FIT2002 Rencon （東京工業大学 @ 東京） –Toward the Number One Pianist in the World IJCAI-03 Rencon （？？？ @ アカプルコ） –on methods for automatic music performance and their applications in a public rendering contest NIME04 Rencon （静岡文化芸術大学 @ 浜松） – Turing Test for Musical Expression

6 NIME04 Rencon NIME(New Interfaces for Musical Expression) 「音楽／芸術表現のための新インタフェース」 国際会議 のデモセッションとして開催 日程 : 2004 年 6 月 3 日（木）～ 5 日（土） 開催地：静岡文化芸術大学（浜松）

7 開催プログラム 3 日 ( 木 ) 13:00 - 15:00 ( 演奏と生成システムとの対応を伏せた状態での聴き比べ投票 ) 4 日 ( 金 ) 13:00 - 15:00 ( 演奏と生成システムとの対応を伏せた状態での聴き比べ投票 ) 15:20 - 16:20 研究発表,, 表彰 Rumi Hiraga, Roberto Bresin, Keiji Hirata, Haruhiro Katayose: Rencon 2004: Turing Test for Musical Expression Haruhiro Katayose, Keita Okudaira: Using an Expressive Performance Template in a Music Conducting Interface Hideki Kawahara, Hideki Banno, Masanori Morise: Acappella synthesis demonstrations using RWC music database 5 日 ( 土 ) 13:00 - 15:00 オープン聴き比べコンテスト ( 演奏と生成システムとの対応がわかる状態での聴き比べ ) ブラインド聴き比べコンテスト ブラインド聴き比べコンテスト 聴き比べ結果の発表 統計的 分析

8 コンテスト実施要綱 規定部門 : ショパン作曲の小品聴き比べ – 提出形式 : SMF – 聴き比べ音源 : Nemesys GIGA Piano – 評価項目 : 演奏の人間らしさ，演奏の好み （それぞれ 5 段階評 価） 自由部門 : ジャンル，楽曲，楽器等に規定のない聴き比 べ – 提出形式 : 任意 – 聴き比べ音源 : 任意 – 評価項目 : 演奏の好み （ 5 段階評価） – 今回は，特に歌声生成を集めた 逆チューリングテスト ( ): 演奏の機械らしさの聴き 比べ – 提出形式 : SMF – 聴き比べ音源 : Nemesys GIGA Piano – 評価項目 : 演奏の機械らしさ，演奏の好み （それぞれ 5 段階評 価） Gnirut

9 コンテスト実施 総エントリ数： 18 エントリ（演奏時間 30 分 弱） → 2 時間のセッションで 4 回の聴き比べ ブラウザを利用した聴き比べシステム NIME04 参加者の多くが参加 – 少人数ずつではあるが， 3 日間を通して途切れるこ とがほとんどなかった 熱心な投票者が多い 有効投票数 51 票

10 The Director Musices Program ： Roberto Bresin (KTH) –Prelude Op.28 No.7 Ha-Hi-Hun ： 平賀瑠美（文教大）, 平田圭二（ NTT CS Lab ） –Etude Op.10, Nr.3 “Chanson de L‘Adieu” （人間の演奏）： はるか（ピアノ教師） –Etude Op.10, Nr.3 “Chanson de L‘Adieu” COPER ： 野池賢二（ PRESTO/JST ）, 豊田健一（関学）, 片寄晴弘（ PRESTO/JST, 関 学） –Etude Op.10, Nr.3 “Chanson de L‘Adieu” Kagurame Phase-II ： 鈴木泰山（株式会社デュオシステムズ） –Etude Op.10, Nr.3 “Chanson de L‘Adieu” （人間の演奏）： はるか（ピアノ教師） –Valse Op.64, Nr.1 WALTS （後の PopE ）： 橋田光代（ PRESTO/JST, 和歌山大）, 片寄晴弘 （ PRESTO/JST, 関学） –Impromptu, Op.66 “Fantasie-Impromptu” – （表情なし， テンプレート適用， テンプレート適用 +2 小節目第 4 拍目手動調節） 規定部門エントリ 同じ楽曲，同じ音源での聴き比べ（学習データなどは異 なる）

11 自由部門 SuperConductor TM ： – 黒澤 隆 ( フロンティアＫインターナショナル株式会社 ), Manfred Clynes, –J. S. Bach, Brandenburg Concerto No.5, D Major, 3rd Movement RUBATO ： Guerino Mazzola, Joachim Stange-Elbe (University of Zurich) –J. S. Bach, The Art of Fugue, Contrapunctus III WONDER HORN ： 青野裕司 (NTT サイバースペース研究所 ) – 森山直太朗, さくら（独唱） HMM-based singing voice synthesis system ： 酒向慎司 ( 東京大学大学院 ) – しあわせなら手をたたこう STRAIGHT ： 河原 英紀, 坂野秀樹, 森勢将雅 ( 和歌山大 ) – 武満 徹, Small Sky （参考出品） Vocaloid ： YAMAHA, Zero-G, （データ作成： 池淵 隆（大 阪芸大）） –John Bettis / Richard Carpenter, ``Yesterday Once More'‘ 歌声生成の聴き比べ

12 逆チューリング部門（ Gnirut ） The Director Musices Program ： Roberto Bresin (KTH) –J. S. Bach, The Well-Tempered Clavier, Prelude I, BWV 846 （人間の演奏） : はるか（ピアノ教師） –J. S. Bach, The Well-Tempered Clavier, Prelude I, BWV 846 （人間の演奏）： はるか（ピアノ教師） –J. S. Bach, Invention I, C Major 同じ楽曲，同じ音源での聴き 比べ

13 規定部門「演奏の人間らしさ」投票結果 有意水準 5% で標本平均に有意な差がある境界 3 グループに分かれる 同じ楽曲，同じ音 源

14 規定部門「演奏の好み」投票結果 人間らしさの結果と逆 有意水準 5% での境界

15 自由部門「演奏の好み」投票結果 歌声生成

16 逆チューリング部門「演奏の機械らしさ」投票結 果 同じ楽曲，同じ音 源

17 逆チューリング部門「演奏の好み」投票結果 同じ楽曲，同じ音 源

18 全部門「演奏の好み」投票結果 すぐ上との間には有意差がないので，二つ上との有意差を調べた

19 研究発表セッションの様子 Rumi Hiraga, Roberto Bresin, Keiji Hirata, Haruhiro Katayose:  Rencon 2004: Turing Test for Musical Expression Haruhiro Katayose, Keita Okudaira:  Using an Expressive Performance Template in a Music Conducting Interface Hideki Kawahara, Hideki Banno, Masanori Morise:  Acappella synthesis demonstrations using RWC music database

20 Rencon Award 規定部門 –WALTS （テンプレート適用）： 橋田光代（ PRESTO/JST, 和歌山大）, 片寄晴弘（ PRESTO/JST, 関 学） Impromptu, Op.66 “Fantasie-Impromptu” 自由部門 –SuperConductor TM ： 黒澤 隆 ( フロンティアＫインターナショナル株式会社 ), Manfred Clynes, J. S. Bach, Brandenburg Concerto No.5, D Major, 3rd Movement 逆チューリング部門 –The Director Musices Program ： Roberto Bresin (KTH) J. S. Bach, The Well-Tempered Clavier, Prelude I, BWV 846

21 聴き比べコンテスト実施上の検討項目 聴き比べ用音源の仕様公開 – ペダリング不自然さの解消 – 聴き比べ時の音源のコントロールデータなどの仕様を，できるだけ詳細に公開 する – エントリ希望者に音源を貸与する – エントリ者が聴き比べ時の音響データを実際に確認できる「試し聴きシステ ム」を提供する 投票者の負担への対処 – 投票者自身へのフィードバックが必要 – チューリングテスト方式の場合は，答え合わせができるように する – 自分の投票による結果の変化をその場で見せる – かつての聴取実験に照らし，被験者の聞き方タイプの分析結果 をフィードバックする， – インターネットを利用した Rencon 実施 共通学習データセット，評価データの準備 –MusicXML(4R) 形式でのデータセットの準備が進行中

22 評価方式の考慮 公平な評価，評価結果の信頼性の向上，生成に 関しての恣意性の排除 – 「人手の介入度合い」の考慮が必要 – フィギュアスケートの採点のような，技術点評価の 導入

23 エントリ楽曲の著作権 現状 – エントリ者側で解決してもらう –Rencon 配布 CD には収録しない 今後，考慮していくべきこと –RWC コーパスの活用 – エントリ楽曲の著作権についてのチェック

24 まとめ 第４回 Rencon 「 NIME04 Rencon 」を開催した エントリに人間の演奏を含め，チューリングテス ト方式を実施した 自由部門を設置し，歌声生成の聴き比べを行った 投票結果について，簡単な統計的分析を行った 2005 年は， ICMC にて開催できるよう準備が進行 中 Rencon Web サイト： –http://shouchan.ei.tuat.ac.jp/~rencon/