空間共有機能を持つ ケアコミュニケーションシステムに関する研究 2008/02/14 小山研究室 竹中 陽亮

目次 研究背景 研究目的 関連研究 提案システム 評価実験 まとめ 今後の予定

研究背景 現在、医療現場にもIT技術が導入されはじめてきた そこで、入院患者のためのサービスがないか しかし、それらは業務の効率化を求めたものであり、 入院患者のためのサービスではない 入院患者のためのサービスは社会的有効性が 高いのではないか 患者・家族・医師・介護師の4者間コミュニケーションを手助けする ケアコミュニケーションシステムの開発

ベッドサイド端末システム (株式会社パースジャパン) 研究背景 入院患者のためのシステム ME&i VOD (株式会社ヴァイタス) ベッドサイド端末システム (株式会社パースジャパン) マルチメディアコンテンツの提供 院内システム・電子カルテとの連携 一人で楽しむコンテンツとしては有益だが、入院時の寂しさや孤独感を減少させる ものとしてはまだまだ改善の余地がある

研究背景 コミュニケーション 言語情報 同期的なコミュニケーション ・キャラクタベース ・・・・ チャット 　言語情報 　同期的なコミュニケーション ・キャラクタベース　　・・・・　　チャット ・マルチメディア 　・・・・ ビデオ会議，テレビ電話 非同期なコミュニケーション ・電子メール，掲示板 　非言語情報（空気・気配・環境情報・感情・身振りなど） アウェアネス情報 ・つながり感通信（センサによって情報取得） ・ビデオ会議，テレビ電話（感情・身振りなど）

アウェアネス情報を送る手段がほとんどない 研究背景 一般的なビデオ会議の利用例 ・Windows Live Messenger ・Skype アウェアネス情報を送る手段がほとんどない 空間の共有感が乏しい

研究目的 入院患者のQoL向上を目的とした入院生活支援システムにアウェアネス情報を考慮したコミュニケーションシステムを構築し、その有効性を検証する 空間共有機能をシステムに実装し、より患者と家族が近く感じられるようなシステムにし、その有効性を検証する

関連研究 ミラーインターフェース ２地点での映像を重畳させることにより共有空間を実現 画面上のアイコンや情報を利用できるようになっている 問題点 背景と人物が重なる

提案システムの構成・コンテンツ クライアント サーバ ・Apach ・DataBase ・PHP ・Flashプログラム 映像コンテンツ用 　　　　映像コンテンツ用 　　　　・Flash Media server2 サーバ クライアント

提案システムコンテンツ 会話 スケジュール 伝言作成・閲覧 空間共有 クリニカルパス インターネットリンク つながり感通信 ログイン 会話

つながり感通信機能 遠隔地にいる家族の様子を知らせる 家族の安心感・つながり感の向上 つながり感通信

概要図 家 病院 場所・時間などで エージェントが判断 時間で決定 人の存在などをセンシング 入院生活の一日の流れを入力 センシングデータをサーバにアップロード 場所・時間などで 　　エージェントが判断 Sensor of living Sensor of dining Other sensors システムでアニメーション、イラスト、メッセージの表示 人の存在などをセンシング システムでアニメーション、イラスト、メッセージの表示 入院生活の一日の流れを入力 時間で決定

空間共有機能 空間共有機能 ぬくもり伝達機能 離れた2人が同じ部屋の中に居ることで空間共有を実現する ２地点カメラ映像を重畳 人物抽出処理 ぬくもり伝達機能 人の温もりを伝えることによって，まるで同じ場所で手を繋いでる感覚を得る 手と手が触れ合ったらお互いの手を温める マイコンによるシグナルの受信とUSBポートの制御 USBヒーターの熱による温もりの伝達 その他USB機器の制御

病院の壁などは白色が基調であることが多い 衣服は肌色より濃い場合が多い(肌色が一番淡い) 人物抽出①　-色判定法- 病院の壁などは白色が基調であることが多い 衣服は肌色より濃い場合が多い(肌色が一番淡い) 肌色より色が淡い部分を消去すると人物抽出が出来る 利点 ・処理が簡単であるので、応答速度が速い 問題点 ・処理におけるノイズが多い ・どんな背景にも適応できない

pr ≧ tr && pg ≧ tg && pｂ ≧ tb ⇒ α = 0 人物抽出①アルゴリズム 抽出画像作成方法 各画素(pixel)のRGB値 : pr,pg,pb RGBの閾値 : tr, tg, tb （0 ≦ t ≦ 255）（閾値は肌色） 各画素の透明度 : α pr ≧ tr && pg ≧ tg && pｂ ≧ tb ⇒ α = 0 肌色 RGB（241, 187, 147）:明るさに影響をうけやすい HSV（26, 39%, 95%） ※閾値の値は経験的に求め（環境に大きく作用してしまうが）、 　さらにユーザ自身が微調整をすることができる

システムの動作例　-色判定法-

背景画を撮影させる機能を持たせその画像との差分を取り人物抽出を行う 人物抽出② -背景差分法- 背景画を撮影させる機能を持たせその画像との差分を取り人物抽出を行う 利点 ・処理が簡単であるので、応答速度が速い ・背景に依存せず、抽出精度も高い 問題点 ・最初の背景画取得の部分で処理が増える

人物抽出 -差分手法アルゴリズム- 1. 背景画像Bgの取得 現在の画像Nと背景画像Bgとの差の絶対値を取り画像Mを作成 M = N - Bg Mの画素を走査しでRGB値が閾値Trより低い部分を透明にする Mi, j < Tr ⇒ α(Mi, j) = 0 Mの透明色でない部分の画素値を0（黒）に置き換える α(Mi, j) ≠ 0　⇒ Mi, j = 0 Mと現在の画像Nと差の絶対値を取り抽出画像Dを作成する D = N - M Mi,j : 画像Mの画素i, jにおけるRGB値 α(Mi, j) : 画像Mの画素i, jにおけるα値

システムの動作例　-背景差分法-

システム動作比較 色判別法 背景差分法

ノイズ除去 色が抜けてしまった部分の補填 取り除ききれなかったノイズを除去 最小ノイズサイズNminの設定 色がない部分にコンボリューションフィルタをかける Di,j = 0 ⇒ ConvolutionFilter(Di,j) x-1, y-1 x, y-1 x+1, y-1 x-1, y x, y x+1, y x-1, y+1 x, y+1 x+1, y+1 ((x-1, y-1)×a0 + (x, y-1)×a1 + (x+1, y-1)×a2 + (x-1, y) ×a3 +・・・+ (x+1, y+1)×a8) ÷divisor +bias マトリックス 任意のピクセル(x, y)と周囲のピクセル 変換後の(x, y)カラー値 マトリックスがすべて１で、divisor(除数)が９で、biasが０であれば変換後のカラーは周囲ピクセルのカラーを平均化　⇒　ぼかし効果 そのほか、マトリックスの指定の仕方によってさまざまな画像効果がかけられる（シャープ、エンボス（画像を浮き立たせて見せる）、エッジ抽出） 色が抜けてしまった部分の補填 取り除ききれなかったノイズを除去

ぬくもり伝達機能 ～接触判定～ 画像の接触判定法 ①ラベリング処理を行う（重心も計算） ②ラベリング処理の結果１番大きい部分を顔、 ぬくもり伝達機能　～接触判定～ 画像の接触判定法 ①ラベリング処理を行う（重心も計算） ②ラベリング処理の結果１番大きい部分を顔、 　２番目を手として認識させる ③顔と手にオブジェクトを配置し、重心に追尾させる ④オブジェクトが重なったときに接触と見なす ラベリング処理 連結している画素に同じラベルを付加することで複数の領域をグループとして分類すること 4方向に連結している画素に対して、同じラベルを付加する 重心はラベリングされた各要素すべてのxy座標を平均して求める ラベリング処理のイメージ図

外部出力ユニット制御 アクチュエータの部分にUSB機器を使用 USB電源の制御 USBはPC電源が入っている限り通電してしまう H8マイコンを使いUSB電源の制御 USB電源の制御 リレー回路 USB電源を使用した機器 PCからのUSB電源供給 PCからのマイコン制御信号

外部出力ユニット制御 Server Client ソケット通信 (TCP/IP) 接触判定 ソケット通信 flagの変化 受信プログラム Action Script(Flash) C++ 接触判定 flagの変化 ソケット通信 受信プログラム ソケット通信 マイコン制御信号 IP,flag C C++ マイコンプログラム ソケット通信 送信プログラム (TCP/IP) リレー回路ON/OFF 機器制御 ぬくもり

評価 評価方法 実験A：定量的評価による比較 実験B：主観的評価 関連研究と色判定法と背景差分法の処理時間の比較 人物抽出の処理精度 実験にあたり，ミラーインターフェースの技術を仮定した手法を実装し，以下の実験により提案手法と比較した． 実験A：定量的評価による比較 関連研究と色判定法と背景差分法の処理時間の比較 人物抽出の処理精度 実験B：主観的評価 空間共有，ぬくもりの伝達についてのアンケート

評価 ～処理速度～ 30fps ⇒ 33ms 人物抽出処理と透過処理のみの処理時間比較 （色判別抽出法・背景差分法） 平均(15回) 評価　～処理速度～ 人物抽出処理と透過処理のみの処理時間比較 （色判別抽出法・背景差分法） 30fps ⇒ 33ms 平均(15回) 色判別法 ：29.4ms 背景差分法 ：28.8ms 関連研究 ：28.0ms

評価 ～抽出精度～ 評価方法 1.評価用動画を撮影し，ランダム時間の静止画を抜き取る． このとき背景差分法用の背景画像も取得 評価　～抽出精度～ 評価方法 1.評価用動画を撮影し，ランダム時間の静止画を抜き取る． このとき背景差分法用の背景画像も取得 2.静止画をアルゴリズムにより人物抽出を行い画像を作成 3.静止画をphotshopで，人物抽出を手動で行う 4.手動ので人物抽出を行った画像とアルゴリズムにより作成した画像の一致度を測定する 手動 比較 自動

評価　～抽出精度～ 人物抽出の処理精度比較（２０回） 色判別法 ：　86％ 背景差分法 ：　90％ 平均

人物抽出において色判別法と背景差分法のどちらの方が良かったか？ 評価　～アンケート結果～ Q1 人物抽出において色判別法と背景差分法のどちらの方が良かったか？ 結果 背景差分 色判別 Q2 人物抽出に関する自由記述 回答 ・背景が白で，色判別の抽出精度が問題ないときは色判別の方が背景を撮影しなくて良い分使い勝手は良かったが，そのような場面はなかなかないのでは？ ・背景差分の方が，人物領域がくっきり抽出されていて良い ・このように表示されて会話できるシステムは使ったことがないので面白いと思った．会話が弾むような気がする． ・システム右上のインタフェースの部分で微調整の数値がよくわからない ・背景差分法の時，カメラが少しでも動いてしまうと，背景を撮りなおさないといけないのでその手間をなくしてほしい．

ぬくもり伝達機能，その他についての自由記述 評価　～アンケート結果～ 問 5段階評価　(5：良　⇔　悪：1) 平均 Q3 人物接触判定は正しく動作していたか？ 3.7 Q4 ぬくもり伝達機能を使って，相手のぬくもりを感じることができたか？ 3.8 Q5 システムを使用して，離れていてもまるで同じ空間に居るような感覚を持てたか？ 4.7 Q6 システムの操作はわかりやすかったか？ 2.7 Q7 全体を踏まえ，このシステムは有益だと思うか？ Q8 ぬくもり伝達機能，その他についての自由記述 回答 ・接触判定の部分がちょっとわからない部分もあるが，そんなにシビアに接触を判断しなくてもよいのでは？ ・実際に相手の画像に触れると相手の反応がみられて面白い ・USB機器の制御のみだけなく，いろんなものが制御できるようになるといい ・今後の発展，いろんな使い方によっては期待の出来るシステムだとおもう．

まとめ アウェアネス情報の伝達として、つながり感通信、空間共有機能を提案した 人物抽出において色判別法も背景差分法も共に遅延なしにシステムに導入可能ということを示した 人物抽出は背景差分法が精度が高く，利用者にとっての評価も高いことを示した アンケートの結果、ぬくもり伝達機能には有効性はあるもののまだまだ改善の余地がある

今後の課題 抽出処理の最適な初期値の設定 抽出精度が落ちてきた時の対処 様々なアクチュエータを想定したインタラクションの策定 フィールド実験

空間共有機能を持つ ケアコミュニケーションシステムの研究 終 空間共有機能を持つ ケアコミュニケーションシステムの研究 小山研究室 竹中　陽亮

つながり感通信機能 センサを用いて存在情報、環境情報を得る ケアコミュニケーションシステムで処理 ・センシングした時間、場所 ・その他センサで提供できる情報 ・患者、家族に入力してもらう　　　スケジューリング情報 サーバーにアップロード ケアコミュニケーションシステムで処理

つながり感通信機能の動作例（患者） 家 病院 大学 Web server & FCS 寝室のセンサ : 9:28 サーバにデータをアップロード 大学 Web server & FCS

患者アメニティの向上を目的に、より患者の立場に立ったサービスや医療体制を作るシステム 関連システム　ME&i VOD 患者アメニティの向上を目的に、より患者の立場に立ったサービスや医療体制を作るシステム ・マルチメディアコンテンツの利用 ・インターネット（Eメール）の利用 ・電子カルテの閲覧 ・院内施設の案内 ・診療リハビリなどの各種予約 etc 医療機関向けVOD配信をはじめ、インターネットやメールサービス、 施設案内、医師・スタッフの紹介、食事の選択、さらにベットサイドにおける電子カルテの閲覧などを通して、 院内アメニティの向上を図るとともに、 セキュリティを確保した独自回線を活用した専用データーセンターへの医療情報のバックアップサービス、 さらに個人情報保護法に準拠した地域連携サービスを通して患者さんの笑顔を創造していくプロジェクトの総称です。

誰にでも使いやすく，直感的なものであるべき 研究背景 人とコンピュータのインターフェース 誰にでも使いやすく，直感的なものであるべき 空間を共有しながら，非接触で遠隔地の実物体とのインタラクションができない ・画像を重畳することで没入感を醸成 ・同じ物体を指し示せる共有空間が実現 ・画面に触らず物体やCGにタッチしてインタラクション

空間共有機能 あたかも双方のユーザが同じ空間にいるような状況 触れ合うことでぬくもりが伝わる 相手空間の機器の制御

研究背景 アウェアネス情報を送る手段がない 空間共有の感覚が乏しい 一般のシステムでは アウェアネス情報を送る手段がない 空間共有の感覚が乏しい 患者と家族のコミュニケーションを強化するためにつながり感通信と空間共有機能を実現 本研究では 安心感・つながり感が増し、 QoL向上に役立つシステム

提案システムコンテンツ 4者で共有のスケジュールの閲覧、入力が可能 患者の病状についての状態を共有する場 スケジュール クリニカルパス

提案システムコンテンツ 伝言閲覧・作成が1クリックで可能 各コンテンツの操作方法を表示 話しかけるような表示方法を とって操作説明を行うふきだし キャラクター 操作ヘルプエージェント 伝言作成

関連研究 e-lifeアメニティシステム 各種センサを用いて相手の存在，位置，状態などの間接的情報を常時交換 問題点 実際の会話の画面が寂しい 空間共有感に欠ける 各種センサを用いて相手の存在，位置，状態などの間接的情報を常時交換 みんなのようす センサ出力 温度・光の経時変化をグラフ表示 相手の在・不在を アイコンにより表示

概要図 ・人物抽出　 ⇒ ・画像重畳　 ⇒ ・ぬくもり伝達　⇒ システム概要図

ぬくもり伝達機能，その他についての自由記述 評価　～アンケート結果レジュメ用～ 問 5段階評価　(5：良　⇔　悪：1) 平均 Q1 人物接触判定は正しく動作していたか？ 3.7 Q2 ぬくもり伝達機能を使って，相手のぬくもりを感じることができたか？ 3.8 Q3 システムを使用して，離れていてもまるで同じ空間に居るような感覚を持てたか？ 4.7 Q4 システムの操作はわかりやすかったか？ 2.7 Q5 全体を踏まえ，このシステムは有益だと思うか？ Q6 ぬくもり伝達機能，その他についての自由記述 回答 ・接触判定の部分がちょっとわからない部分もあるが，そんなにシビアに接触を判断しなくてもよいのでは？ ・実際に相手の画像に触れると相手の反応がみられて面白い ・USB機器の制御のみだけなく，いろんなものが制御できるようになるといい ・今後の発展，いろんな使い方によっては期待の出来るシステムだとおもう．