オノマトペを表現する身体動作を入力とした インタラクティブ絵本 21世紀プログラム課程 宮崎 絢 指導教員 富松 潔 教授 （芸術工学部 芸術情報設計学科）
研究概要 ・ オノマトペを表現する身体動作を入力とし、その絵を描くシステムの開発 ・ システムを利用した絵本のプロトタイプ制作及び評価 ・ オノマトペを表現する身体動作を入力とし、その絵を描くシステムの開発 ・ システムを利用した絵本のプロトタイプ制作及び評価 くるくる
研究のモチベーション ２つのモチベーション ・ 遊びとしての新規性 ・ 表現としての新規性 古くからある遊びをコンピュータ技術で融合 遊びに新しい楽しみを付加する オノマトペを表現する身体動作からインタラクティブに絵を生成する
オノマトペの特徴 音象徴語であり非言語的な要素を含んでいる 外国人がイメージを共有しづらい 子どもの興味・関心を引きやすい 非言語コミュニケーションの手段となる
ユーザーシナリオ くるくる = くるくる
調査 オノマトペを表現する動作・イメージに関する調査 対象：【調査1，2】大学生男女 10名 【調査3】4歳～10歳の子ども 8名 対象：【調査1，2】大学生男女 10名 【調査3】4歳～10歳の子ども 8名 調査方法：質問紙及びビデオ撮影
調査結果 形状の特性 類似するオノマトペの関係 動作との関係 丸いか、角ばっているか くるくるとぐるぐる、ころころとごろごろ 上昇と下降、回転や静止、速度の変化
体系化 形状・大きさ・速度・回転・点滅・移動方向 くるくる ぐるぐる ゆらゆら ぶくぶく ぽろぽろ ひらひら かくかく
システム全体図 Webカメラ 赤外線LED光源
入力部 Flashを利用した手位置のセンシング 指定色ピクセルを白色に塗りつぶし、面積の重心座標を求める
出力部 二次元平面状のマウスカーソルの動きに応じてオノマトペを表現する絵を表示
評価 オノマトペに対するイメージとの一致性評価 オノマトペを表現する身体動作または絵についてはおおむね適切である オノマトペに対するイメージとの一致性評価 オノマトペを表現する身体動作または絵についてはおおむね適切である 身体動作と絵の表示は自然に対応付けられていない →センシングの改善が必要
まとめ 表現としての新規性 オノマトペの音と属性には関連性が見られる オノマトペは形状や大きさなどの属性を持ち、それらはプリミティブな図形で表現しても意味を損なわずイメージを共有できる
まとめ 遊びとしての新規性 オノマトペを身体動作で表現しようとする行為には面白さがある 子どもと大人など複数人で行うことによるコミュニケーションの効果
参考文献 [1] 井口尚行 他，シリーズ「子どもの遊び」，明治図書出版，1969， [2] 辻井正，坂本竜生， メアリー・D．シェリダン 他，図説「子どもの発達と障害」，同朋舎出版，1983．12〜1984．8 [3] 筧寿雄，田守育啓オノマトピア：擬音・擬態語の楽園，勁草書房，1993 [4] 富川和代，絵で学ぶ擬音語・擬態語カード，スリーエーネットワーク，1997 [5] 小野正弘，日本語オノマトペ辞典，小学館，2007 [6] 前川峻志，田中 孝太郎，Built with Processing デザイン/アートのためのプログラミング入門，2007 [7] 白井暁彦，長谷川晶一，小池康晴，佐藤誠，タンジブルプレイルーム：「ペンギンホッケー」，日本バーチャルリアリティ学会論文誌Vol.7， No.4， 2002 [8] 馬場哲晃，牛尼剛聡，富松潔，人体接触検知を利用したコンピュータゲーム， インタラクション2007論文集, 情報処理学会，pp45-46，2007 [9] 上園幸郎，ダウン症児のコミュニケーションにおけるオノマトペの機能，琉球大学教育学部紀要 第44集 Ⅱ，1994 [10] Onomatopoeia（擬音語･擬態語)に関する音韻分析，丹野眞智俊，1981 [11] 財団法人イメージ科学研究所，ゲームソフトが人間に与える影響に関する調査報告書，2003