Development of a game software using virtual 3D sound spatialization for the visually impaired Department of Advanced Course of Electrical and Information System, Nagano National College of Technology Matsushima Fumiaki

About virtual 3D sound 5.1ch マルチスピーカー環境が普及してきている この環境であれば、スピーカーがいろいろな方向にあるため、音を立体的に表現が出来る 例えば、スライドにあるような5.1chの環境で左後ろからの音を表現する際には実際に 左後ろのスピーカーから音を出せばよい しかし、マルチスピーカー環境は設備に場所やお金がかかるといった問題がある 5.1ch

About virtual 3D sound from back left spatialization spatialize 本研究ではイヤホンでの再生としました。 このように、左後ろといった、ある方向から音が聞こえるようにすることを音を定位するといい、 そこから実際に音が出ているわけではないのに、まるでそこに音源があるかのように感じることを定位感といいます。 spatialize virtual 3D sound

Head-Related Transfer Function About virtual 3D sound Changing original characteristics left ear original characteristics right ear Head-Related Transfer Function

Back ground An app using virtual 3D sound An app using sound A game for the visually impaired

The number of game for the visually impaired In Vector(a software download site in Japan) The Number of Registered Software 115,000 Search results Keywords: “ゲーム 視覚障害” (Japanese words for "game visually impaired“) 4 視覚障害者向けゲームは少ない ソフトウェアダウンロードサイト、Vectorにおいて 登録されたソフト数 約115,000 本 「視覚障害 ゲーム」で検索 5 本

Current game for the visually impaired Only sound Almost solo Nothing can play over network Using pan (output sound from right or left speaker) to indicate direction Example : direction of ball → not intuitive 音のみを用いたゲーム 1人用ゲームがほとんど ネットワーク対戦するようなものはない パン(左右どちらから音を出すか)で方向表現 例)ボールの方向 → わかりにくい

A game for the visually impaired Purpose A game for the visually impaired Virtual 3D sound Communication

Summary HRTF DS3D Development ゲームの開発を行いました Development

Result DS3D HRTF Using HRTF

Method HRTF Convolving the HRTF database released by Nagoya University

HRTF database 44.1kHz 512 points 11.7ms 5° 1.52m 360°

The developed game Catch! このゲームはネットワークを介して複数人でプレイするゲームです 平面上に円があり、この円の中がフィールドとなります フィールドには犬がおり、この犬は吠えながら移動します 犬の鳴き声を頼りに、犬の近くに辿り着き、犬を他のプレイヤーより捕まえることがプレイヤーの目的です このゲームは視覚障害者向けであるため、画面には何も表示されません。 そのため、テキストチャットはできないためプレイヤー間のコミュニケーション手段としてボイスチャットを用いました

Developing environment Language Microsoft Visual C# Library Microsoft Managed DirectX - loading WAV file, etc WAVファイルの読み込みにManaged DirectXを使っています Skype4COM (Skype API) - voice chat, communication

How to play (mouse) Catch!

How to play (keyboard) forward W W A A S S D D right left back

How to play (keyboard) forward W W A A S S D D right left back

Flowchart Loading sound and the HRTF data Calculation of distance and angle Convolving the HRTF Output virtual 3D sound 仮想3Dサウンド出力までの流れ

Calculation of distance and angle θ l 角度、距離の計算 l θ

Convolving the HRTF FFT original HRTF(θ) IFFT 3D sound

Communication between players dog position, catching call requirement of catching call Host このゲームはネットワークを介してプレイしますが、犬の座標は共通であるためこれを同期する必要があります。 プレイヤーのうち1人がホストとなり、ホストが犬の座標を管理し、クライアントがその座標を受け取る形にすることで これを実現しています。 Client Client Client

Test-playing At Nagano school for the visually impaired

Feedback To use vibration Virtual 3D sound has a potential to be applied to other games Submarine game Fight in the dark 振動を導入 仮想3Dサウンドを用いた他のゲームも可能 潜水艦ゲーム 暗闇の中の戦い

A game for the visually impaired Communication Virtual 3D sound The new game for the visually impaired

Convolving the HRTF Source Source1 HRTF(θ) 3D Sound1 Source2 HRTF(θ)

Convolving the HRTF Source Calculation Source1 3D Sound1 → Output

Convolving Output characteristic sound to convolve transfer function Example : Get sound reverberation like generated in a large room when convolve the room transfer function 元の音に伝達特性を畳み込むことでその特性を再現することができる 例)広い部屋の伝達特性を畳み込むと その部屋で発生したかのような残響

Convolving theorem Computation order Convolving FFT フーリエ変換を使って畳み込みをかけ算に Cooley-Tukey 型 FFT アルゴリズムを使用

Skype, Skype API Skype Skype API A Internet phone service using P2P The Skype API enables third-party applications to communicate with Skype.

Skype, Skype API Skype Call with multiple people Get through NAT, Firewall Communication with voice chat Using as infrastructure

Communication using Skype Game Internet Host Client

Method DS3D Microsoft DirectSound3D Using position, direction, speed, time difference between right and left ears, etc calculation is done using position, direction, speed, time difference between right and left ears, nose, cheekbone, back of the head, behind the ears, earlobe, and the folds of the ear

Experimental method 8 directions Ask where sounds source 10 times each methods 27 sighted people (20’s) 2 visually impaired 4 times

Result(sighted)

Result(visually impaired)

Result(HRTF)

Result(HRTF)

Result(DS3D)

Result(DS3D)