Department of Advanced Course of Electrical and Information System,

Presentation on theme: "Department of Advanced Course of Electrical and Information System,"— Presentation transcript:

1 Development of a game software using virtual 3D sound spatialization for the visually impaired
Department of Advanced Course of Electrical and Information System, Nagano National College of Technology Matsushima Fumiaki

2 About virtual 3D sound 5.1ch マルチスピーカー環境が普及してきている
この環境であれば、スピーカーがいろいろな方向にあるため、音を立体的に表現が出来る 例えば、スライドにあるような5.1chの環境で左後ろからの音を表現する際には実際に 左後ろのスピーカーから音を出せばよい しかし、マルチスピーカー環境は設備に場所やお金がかかるといった問題がある 5.1ch

3 About virtual 3D sound from back left spatialization spatialize
本研究ではイヤホンでの再生としました。 このように、左後ろといった、ある方向から音が聞こえるようにすることを音を定位するといい、 そこから実際に音が出ているわけではないのに、まるでそこに音源があるかのように感じることを定位感といいます。 spatialize virtual 3D sound

4 Head-Related Transfer Function
About virtual 3D sound Changing original characteristics left ear original characteristics right ear Head-Related Transfer Function

5 Back ground An app using virtual 3D sound An app using sound
A game for the visually impaired

6 The number of game for the visually impaired
In Vector(a software download site in Japan) The Number of Registered Software 115,000 Search results Keywords: “ゲーム 視覚障害” (Japanese words for "game visually impaired“) 4 視覚障害者向けゲームは少ない ソフトウェアダウンロードサイト、Vectorにおいて 登録されたソフト数 約115,000 本 「視覚障害 ゲーム」で検索 5 本

7 Current game for the visually impaired
Only sound Almost solo Nothing can play over network Using pan (output sound from right or left speaker) to indicate direction Example : direction of ball → not intuitive 音のみを用いたゲーム 1人用ゲームがほとんど ネットワーク対戦するようなものはない パン(左右どちらから音を出すか)で方向表現 例)ボールの方向 → わかりにくい

8 A game for the visually impaired
Purpose A game for the visually impaired Virtual 3D sound Communication

9 Summary HRTF DS3D Development
ゲームの開発を行いました Development

10 Result DS3D HRTF Using HRTF

11 Method HRTF Convolving the HRTF database released by Nagoya University

12 HRTF database 44.1kHz 512 points 11.7ms 5° 1.52m 360°

13 The developed game Catch! このゲームはネットワークを介して複数人でプレイするゲームです
平面上に円があり、この円の中がフィールドとなります フィールドには犬がおり、この犬は吠えながら移動します 犬の鳴き声を頼りに、犬の近くに辿り着き、犬を他のプレイヤーより捕まえることがプレイヤーの目的です このゲームは視覚障害者向けであるため、画面には何も表示されません。 そのため、テキストチャットはできないためプレイヤー間のコミュニケーション手段としてボイスチャットを用いました

14 Developing environment
Language Microsoft Visual C# Library Microsoft Managed DirectX - loading WAV file, etc WAVファイルの読み込みにManaged DirectXを使っています Skype4COM (Skype API) - voice chat, communication

15 How to play (mouse) Catch!

16 How to play (keyboard) forward W W A A S S D D right left back

17 How to play (keyboard) forward W W A A S S D D right left back

18 Flowchart Loading sound and the HRTF data
Calculation of distance and angle Convolving the HRTF Output virtual 3D sound 仮想3Dサウンド出力までの流れ

19 Calculation of distance and angle
θ l 角度、距離の計算 l θ

20 Convolving the HRTF FFT original HRTF(θ) IFFT 3D sound

21 Communication between players
dog position, catching call requirement of catching call Host このゲームはネットワークを介してプレイしますが、犬の座標は共通であるためこれを同期する必要があります。 プレイヤーのうち1人がホストとなり、ホストが犬の座標を管理し、クライアントがその座標を受け取る形にすることで これを実現しています。 Client Client Client

22 Test-playing At Nagano school for the visually impaired

23 Feedback To use vibration
Virtual 3D sound has a potential to be applied to other games Submarine game Fight in the dark 振動を導入 仮想3Dサウンドを用いた他のゲームも可能 潜水艦ゲーム 暗闇の中の戦い

24 A game for the visually impaired
Communication Virtual 3D sound The new game for the visually impaired

25

26

27 Convolving the HRTF Source Source1 HRTF(θ) 3D Sound1 Source2 HRTF(θ)

28 Convolving the HRTF Source Calculation Source1 3D Sound1 → Output

29 Convolving Output characteristic sound to convolve transfer function
Example : Get sound reverberation like generated in a large room when convolve the room transfer function 元の音に伝達特性を畳み込むことでその特性を再現することができる 例)広い部屋の伝達特性を畳み込むと その部屋で発生したかのような残響

30 Convolving theorem Computation order Convolving FFT
フーリエ変換を使って畳み込みをかけ算に Cooley-Tukey 型 FFT アルゴリズムを使用

31 Skype, Skype API Skype Skype API A Internet phone service using P2P
The Skype API enables third-party applications to communicate with Skype.

32 Skype, Skype API Skype Call with multiple people
Get through NAT, Firewall Communication with voice chat Using as infrastructure

33 Communication using Skype
Game Internet Host Client

34 Method DS3D Microsoft DirectSound3D Using position, direction, speed,
time difference between right and left ears, etc calculation is done using position, direction, speed, time difference between right and left ears, nose, cheekbone, back of the head, behind the ears, earlobe, and the folds of the ear

35 Experimental method 8 directions Ask where sounds source
10 times each methods 27 sighted people (20’s) 2 visually impaired 4 times

36 Result(sighted)

37 Result(visually impaired)

38 Result(HRTF)

39 Result(HRTF)

40 Result(DS3D)

41 Result(DS3D)