輝度が近い異色相の像の継時加法混色による背景同化と瞬目による残像知覚による表現手法の提案 「輝度が近い異色相の像の継時加法混色による背景同化と瞬目による残像知覚による表現手法の提案」と題しまして私、電気通信大学知能機械工学科4年の時崎が発表させていただきます。 ○時崎 崇　 須佐 育弥 椎名 美奈 加藤 史洋 *青木 孝文 *三武 裕玄 長谷川 晶一 電気通信大学　知能機械工学科 *東京工業大学　精密工学研究所

関連研究：Saccade-based Display 背景 関連研究：Saccade-based Display 1本の棒状のものに敷き詰められたLEDが別々の点滅 サッケード時に平面像が見える J. Watanabe, H. Ando, T. Maeda, S. Tachi: Gaze-contingent Visual Presentation based on Remote Saccade Detection これまでに、ふとした瞬間にのみ知覚するディスプレイとして、NTTの渡邊氏らによるサッケードディスプレイなどの研究が挙げられます。これは、一本の棒状のものにLEDが敷き詰められており、それが時系列に別々のパターンで点滅することにより、視線の移動（サッケード）を行った時にその点滅パターンを平面的に認識することで像を認識するシステムです。 ふとした瞬間にのみ知覚されるようなディスプレイの生成

継時加法混色による像の提示を提案 いくつかの色で像を描き時分割方式でその色を高速切替することで継時加法混色を起こす 背景色と混色が等しくなるように設定し、像を背景上に隠す このような、ふとした瞬間に知覚されるディスプレイを実現するにあたり、今回私達は継時加法混色という現象を利用します。 継時加法混色というのは選択した複数色を高速で切り替えることで人の眼にその中間色を知覚させるという現象のことを指します。 今回提案する表現といたしまして、この継時加法混色を用いて像を描きその混色後の色を背景色とすることで像を溶け込ませ、瞬きやサッケードなどをした瞬間にのみ像を知覚するということを提案します。 デモ映像をご覧下さい。ここではカメラの前で手を振って一時的に光を遮ることにより、人間の瞬きと同じ効果を得ています。 この映像では継時加法混色に、青色とその輝度に近い赤色、背景にその混色したものを用いています。 輝度を近い色に設定する理由といたしましては、輝度が異なると継時加法混色を行った際に輝度の点滅が目立ちちらついてしまうためです。 Memo： 瞬きやサッケードを行わない場合には単色の光が見えるだけなので、 提示していることがわからず、見えた時の印象が効果的である。 白黒でも可能だが、輝度が等しい方がちらつきが少ない。 色あわせがシビアなので同じ規格のデバイスで使用されることが期待される。

期待される利用例 単色光照明と見せかけて現実空間に投影 ⇒ふとした瞬間に現実空間に像が見える 映画などのシーンで黒く影になっている部分などに情報を提示する テレビゲーム中のヒントとして用いる 透明人間・幽霊などの見えないものの表現 この手法の利用が期待される事例として、店舗等で単色光照明見せ掛けて投影し、 来客者の瞬きやサッケードにより、ふとした瞬間に現実空間に像が見えるといったコンテンツを提供したり、 映画のワンシーンで黒く影になってる部分に継時加法混色で描いた像を忍ばせることで新しい映像表現につながるとも考えられます。 また、携帯ゲーム機のような統一された再生媒体のゲーム上でのヒントとして用いることもできると考えられます。 他にも、透明人間、幽霊といった人の眼では本来見ることができないものの表現手法としても利用が期待されると考えられます。 ふとした瞬間に見えるという提示を行えるという特徴を持つため、 普段の状態では提示しているということが気づかれず、現実にうまく溶け込ませることが可能だと期待されます。 今回は単色光照明と見せかけて現実空間に投影することを目的とする

検証 境界が矩形的に変化する静止画できちんと消え、瞬きをした時にのみ知覚されるという原理の確認を行った。 （先ほどのデモ映像の実験） 提案手法で動画を再生することができるか。（ブラウン管） DLPプロジェクタによる投影で同様のことができるか。 今回提案させていただきました表現を実現するためにいくつかの基礎実験を行いました。 まず、原理の確認として、像と背景との境界が矩形的に変化する静止画の色の高速切替を行い、 本当に背景と同化し、瞬きやサッケードでのみ知覚されるかどうかを確認しました。 次に提案手法で動画を再生するためにいくつかの実験を行いました。 最後に単板式DLPプロジェクタを用いて意図した表現が行えるかどうかを実験しました。

空間周波数 度で表す <<計算の仕方>> 視点と画面の距離に関係なく絶対的な大きさで測ることができる。

ブラウン管を用いた動く像の提示 正方形を混色させ左右に移動 正方形の大きさ：6度 速度 45度/秒、2/3秒で折り返し 注視点の有無で実験 注視点なしの場合 正方形の左右にエッジが見える 正方形とともに動く注視点ありの場合 等速運動時はエッジが現れなかった 折り返し時に色エッジが見える 6度 30度 まず、静止画の時と同じように像の端と背景との間が矩形的に変化する正方形を用意し、 これを左右に動かしました。正方形を左右に動かした場合、左右にエッジが見えました。 そこで、四角形に注視点を設け再び実験を行いました。この時等速度運動時には先ほど見えていたエッジが消え、折り返し時に選択した2色のエッジが見えました。

ブラウン管を用いた静止したグラデーションの提示 奇数フレームの提示画像 （偶数フレームは赤→青） 三角波状に色が変化する画像 空間周波数：3度と6度を比較 画面から30cmの距離で観察 75Hz 結果 空間周波数が小さい方がはっきりと 色（赤と青の縦縞）が見える 空間周波数が大きい方が 形状の認識を行うことが難しい 次に矩形的に像の端が変化することがエッジに影響していると考え、 静止したグラデーションの提示を行い、どのような幅でグラデーションをかけると像が知覚しやすいか実験を行いました。 今回は空間周波数が3度と6度とで実験を行い、どちらの方が見やすいかを実験しました。 この結果、空間周波数が小さい3度の方が縞が知覚しやすいという結果になりました。 また、これ以外にも空間周波数を大きくしていくと形状の認識ができなくなるといったことが起きました。

グラデーションを動かす 6度 3度 10度/秒 で左右に動かす 3度の混色提示を見る 20度/秒で左右に動かす 0.75度くらいの濃淡の縦縞が うっすら見える 注視点を出して注視すると消える 20度/秒で左右に動かす 6度の混色提示にも1度程度の 濃淡の縦じまが見える。 注視点を中心にパターンが見にくい領域が出た 3度には常に0.75度程度の縞が見える。 40度/秒で左右に動かす 3度では、うっすらと赤・青の縦縞が見える 6度では濃淡の縦縞が見える。 6度 3度 グラデーションを動かすという実験を行いました。 一番目の実験では3度の混色提示を10度/secで動かすという実験をしました。 このときには0.75度程度の濃淡の縦縞がうっすらと出るという結果になりました。 また、注視点を出し、そこを注視することで出ていた濃淡の縞模様が消えるという結果になりました。 次に、周期的に変わる混色提示を20度/secで動かすという実験を行いました。 この時、6度のグラデーションでは、1度程度で濃淡の縦縞が見られました。注視点を出すとそこから周囲6度程度は縞が見にくいという結果になりました。 3度のグラデーションの時には常に0.75度程度の濃淡縦縞が見られるようになりました。 三度目に、さらに移動速度を上げた40度/secで左右に動かすという実験を行いました。 この時には3度ではうっすらと赤と青の縦縞が常に見え、6度の時には濃淡の縞が見られました。

DLPプロジェクタでの実験 背景の境界にグラデーションをかけた人体モデルをアニメーションさせた 中間色を背景にしてプロジェクションを行った ⇒切替をしている物体にブラウン管では起きないちらつきが生じ、通常でも像の存在が知覚されることが多かった ⇒照明が明るすぎたために像の形状を知覚することが困難だった ⇒動作が速すぎる場合には色エッジが見えてしまった 背景色に像と逆位相の色を用いて継時加法混色を用いた ⇒背景もちらついているので物体が認識されにくくなった ⇒他の問題点は改善されなかった 提案した表現を用い、60fpsのDLPプロジェクタで人体モデルをアニメーションさせ表現の実現ができるかどうか実験を行った。 まず、背景色を継時加法混色したときの混色の色に設定し、モデルをアニメーションさせました。 この時、高速切替をしているモデルにブラウン管では見られなかったちらつきが生じ、何もしない状態でも何かがそこに映っていることを知覚できてしまいました。 また、設置した場所の照明条件が明るすぎたために、ちらつきが知覚されているのにも関わらず、何が映っているのかを見ることができないという状況になりました。 また、アニメーション動作が速すぎると色のエッジが見えてしまうという状況になりました。 像のちらつきを知覚できないように、映っている像と逆位相で背景に継時加法混色させることを行いました。 この結果、背景もちらついているので、何もしない状態で物体が認識されるということは少なくなった。しかし、動作が速すぎると色エッジが見えてしまったり、照明が明るすぎるために知覚しづらいという問題は改善されなかった。

考察 DLPは時分割で諧調を出している ２色を交互に出した場合、DLPが信号処理を行い、中間色を提示することがある この処理の副作用により、輝度を等しくしても輝度のフリッカーが起きることがある 背景として単色を選んでしまうと、輝度フリッカーにより像の存在が知覚されてしまう。 ⇒背景に継時加法混色を選ぶことで副作用が抑えられる ⇒継時加法混色を選んだ場合には像で選択した色しか使用できない

まとめ 継時加法混色と背景同化による、ふとした瞬間にのみ知覚できる表現を提案した。 動く像の認識は、背景と像との境界について、矩形的に変化する場合ではエッジが出てしまう領域に、グラデーションをかけることで提案手法を用いて動画の再生ができる可能性があるということがわかった。 しかし、速い動きではグラデーションをかけても色のエッジが見えてしまうことがわかった また、グラデーションの空間周波数を大きくしすぎてしまうと形状の認識ができないということがわかった

今後の展望 現状で意図した提示が可能なのはブラウン管のみ ⇒実験環境の整備する ⇒照明条件の影響を考慮する ⇒他のディスプレイやプロジェクタを用いた比較対照 ⇒ディスプレイと人との向き ⇒被験者の数 ⇒ DLPの信号処理内容を調査 サッケードや瞬きを計測して実験を行う これらの動作と像の知覚の関係を探る 輝度をきちんとした装置で合わせて実験を行う 濃淡の縞がなぜ出てしまうのかを探る 液晶ディスプレイでの提示可能条件は？

複合現実感 Mixed Reality: 現実と仮想の境界を無くす・融合する技術 川上ら：光学迷彩 青木ら：パウダースクリーン これは現実世界に仮想の物体や情報を重ね合わせることにより現実空間と仮想空間の境界を融合しようという考えです。 このMixed Realityの例として東京大学の川上らによる光学迷彩や、 東京工業大学の青木らによるパウダースクリーンなどが挙げられます。 光学迷彩ではHMPと呼ばれる特殊なデバイスを通してみると再帰性反射材の部分だけに映像が映っているように見えます。 この時、再帰性反射材の布をまとった人の向こう側の映像を投影することで、透明人間というものを実現しています。 この時特殊な布の部分にだけ投影するという考えがMixed Realityです。 またパウダースクリーンではバーチャルなスクリーン映像から実物体である魚が飛び出してくるというところにMixed Realityの考えが用いられています。 川上ら：光学迷彩 青木ら：パウダースクリーン

色の選定 色の選定 輝度が近い色を 選ぶため、青と赤 を点滅させちらつきが 最も弱くなる輝度 を選定 　 最も弱くなる輝度 を選定 混色＝背景色と なるように背景色 を選定 RG, GB, BRでは、 BR＞RG＞GBの順で観察しやすい像が提示できた。 輝度が違っても混色は起きるが、ちらつきを知覚しやすくなってしまう 等輝度：RGB値が等しいわけではない。

色の選定 混色＝背景となる、10段階の色を選定 背景と、混色の元の2色を10段階に補間した色を表示 補間した色の混色が背景色となるように、色を調整 ガンマ補正だけでは、混色＝背景色とならない 継時混色と並置混色でガンマ値が合わない

液晶ディスプレイでの並進運動 色１、色２、移動で交互に描画 進行方向両脇に選択色のエッジが出現 色１、移動、色２、移動で描画 進行方向両脇に輝度のエッジが出現 液晶ディスプレイ 反応速度が遅いため、高速化のための工夫がされている 輝度が大きく変わる時、本来の輝度よりも大きな電圧で駆動し、 オーバーシュートを起こさせることで反応速度を上げている。 ⇒輝度の異なるエッジができてしまう。 色エッジの様子 輝度エッジの様子

関連研究：映像へのコード埋め込み 継時加法混色による像 人には見えないが、カメラでは計測できる 不可視コードによる映像への情報埋め込み A. Grundhofer, M. Seeger, F. Hantsch, O. Bimber Dynamic Adaptation of Projected Imperceptible Codes, IEEE International Symposium on Mixed and Augmented Reality (ISMAR'07), Nov 2007

更新周期と像の見えやすさ 画面の更新周期を変更 60~145Hz 2色の距離が離れるほど像を認識しやすい 像が見える頻度は B-R > R-G > G-B ６０Hzでは常時ちらついてしまう 素早く注視点を動かせば 145Hzでも見える 無意識のサッケードの方が はっきり見えることがある Luv座標系での色情報の距離が離れている方が像を認識しやすい。