JSPS未来開拓学術研究推進事業研究プロジェクト 知能情報･高度情報処理 マルチメディア･コンテンツの高次処理の研究 大阪大学工学研究科 情報システム工学専攻 西尾 章治郎

JSPS Multimedia Contents Project マルチメディアデータベースの アプローチ 第1世代 異なるメディアの 統合管理 画像 テキスト 第2世代 時間による関連を付加 男･運動している･ ボールを持っている 音声 第3世代 空間的な関連を付加 3次元データ 第4世代 内在する知識の導出機能を付加 動画像データ しかし、第1世代のシステムすらも完成していない JSPS Multimedia Contents Project

JSPS Multimedia Contents Project マルチメディアデータモデル 統一モデル：統一的なデータモデル。完全 には実現されていない｡ 統合モデル：複数のレイヤの統合モデル。 協調モデル：異種分散協調モデル。 「プロトコル」を用いてボトムアップ に構築。 分散オブジェクトモデル プレゼンテーションレイヤ リンクレイヤ データベースレイヤ JSPS Multimedia Contents Project

JSPS Multimedia Contents Project 研究組織機構図 マルチメディア･データモデルとコンテンツの知的構造化 リーダー 龍谷大学教授 有木 康雄 神戸大学教授 上原 邦昭 マルチメディア･コンテンツのアクセスアーキテクチャ リーダー 神戸大学教授 田中 克己 大阪大学助教授 下條 真司 神戸大学助手 田島 敬史 大阪大学助手 春本 要 プロジェクトリーダー 西尾 章治郎 大阪大学工学部教授 マルチメディア･コンテンツのデータベースからの仮想空間･ 拡張現実空間の生成と活用（モーバイルDBを含む） リーダー 大阪大学教授 岸野 文郎 広島市立大学助教授 有川 正俊 大阪大学助教授 北村 喜文 大阪大学助教授 塚本 昌彦 大阪大学助手 正城 敏博 JSPS Multimedia Contents Project

JSPS Multimedia Contents Project ハードウェア･ソフトウェアの発達 Power Up ハードウェア･ソフトウェアからコンテンツへ JSPS Multimedia Contents Project

JSPS Multimedia Contents Project コンテンツの重要性 マルチメディア･コンテンツ 提供 加工･編集 ＤＢ ユーザ 要求 獲得･蓄積 JSPS Multimedia Contents Project

JSPS Multimedia Contents Project マルチメディア･コンテンツの高次処理 マルチメディア･データモデルとコンテンツの知的構造化 マルチメディア･コンテンツのアクセスアーキテクチャ 仮想空間･拡張現実空間の生成と活用 JSPS Multimedia Contents Project

マルチメディア･データモデルと コンテンツの知的構造化 （龍谷大 有木）

マルチメディア・データモデルとコンテンツの知的構造化 研究の背景 メディアのディジタル化と統合 マルチメディア環境 電子図書館 仮想博物館 仮想美術館 仮想キャンパス 放送（テレビ） 出版（新聞、書籍） 娯楽・教養（映画、講義） 通信（インターネット） JSPS Multimedia Contents Project

JSPS Multimedia Contents Project 研究の目的 マルチメディア環境 人間の知的活動を行う情報空間 マルチメディア・データの自己組織化によるコンテンツ抽出 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（龍谷大学 有木）　 マルチメディアコンテンツの構造化と概念獲得 　（神戸大学 上原） マルチメディア・データモデルとコンテンツの知的 構造化 JSPS Multimedia Contents Project

マルチメディア･データモデルと コンテンツの知的構造化 構造化とビュー コンテンツ 概念 記述の抽象化＆意味付け （構造の発見・人手も含む） 構造化／自己組織化 状況 時空間における関係付け 従来の データベース （関係の発見） 記号 認識＆索引付け マルチメディア データベースの モデル化とビュー （表現単位の発見） パターン セグメンテーション＆分類 データ 信号 JSPS Multimedia Contents Project

マルチメディア・データの自己組織化によるコンテンツ抽出 研究内容 マルチメディア・データのアーカイビング（平成９年度） マルチメディア・データの収集 マルチメディア・データの自己組織化（平成１０～１２年度） 信号からパターンへ パターンから記号へ 記号から状況へ マルチメディア・データベースの構築と検索（平成１３年度） オブジェクト集合、ラベル集合の関係をハイパーリンクで実現 パターン／記号／状況に関する連想検索 JSPS Multimedia Contents Project

JSPS Multimedia Contents Project マルチメディア・データのアーカイビング マルチメディア･データの収集 テレビで放映されている映像･音響データ ニュース、ドラマ、ドキュメンタリ、スポーツ、アニメ、教養 ビデオに収録されている映像･音響データ 講義、映画、旅行 個人が収録した映像･音響データ 特定のイベントやアクション（全体の中の一部）を 検索可能にする JSPS Multimedia Contents Project

JSPS Multimedia Contents Project マルチメディア・データの自己組織化 表現メディアの特質 音声 内容を表現 文字 内容を要約 映像 情景･状況を伝達 セグメンテーション･分類･認識･ 索引付け･関係付け バイグラム音声認識による内容理解 テロップやフリップ文字認識による 内容理解 顔やシーンの映像認識による情景･状況理解 状況 関係付け 記号 認識 索引付け パターン セグメンテーション分類 信号 JSPS Multimedia Contents Project

マルチメディア・データベースの 構築と検索 パターン 信号 記号 状況 質 問 ・ 検 索 人 間 マルチメディア・ データ 音 声 文 字 映 像 JSPS Multimedia Contents Project

マルチメディアコンテンツの構造化と概念獲得 （神戸大学 上原）

マルチメディアコンテンツの構造化と概念獲得 研究目標 ビデオデータの内容記述形式の定式化 ビデオデータの意味表現言語の開発 意味内容を考慮した映像検索方式 見たい映像をどのように検索するか ビデオデータの自己組織化方式 ビデオデータの階層的な管理方式の開発 ビデオデータからの概念獲得 ビデオデータの共有と再利用 JSPS Multimedia Contents Project

JSPS Multimedia Contents Project 動画像データの特徴 基準 テキスト 画像 動画像 情報量 貧弱 豊富 非常に豊富 静的で 空間が無い 静的で 空間がある 時間と 空間がある 次元 構造化 されている されていない されていない 単純かつ 豊富な定義 関係 複雑かつ貧弱な定義 量 少量 中間 多量 JSPS Multimedia Contents Project

JSPS Multimedia Contents Project 動画像データの構成要素 音声や画像の内容記述 オーディオ、カラー、テクスチャ 対象物の動き、位置関係 カメラの動き 意味的な内容記述 文脈的な（ストーリに関する）内容記述 有木 上原 JSPS Multimedia Contents Project

内容に基づく映像検索システム （試作版）の機能 ストーリに基づく検索 ストーリ全体を見て必要なサブストーリを選択 登場人物や行動に基づく検索 特定の人物や行動を検索 動画像のダイジェスト化 意味的に余分なシーンを省略して、ビデオのダイジェストを作成 JSPS Multimedia Contents Project

JSPS Multimedia Contents Project 内容に基づく映像検索システム（試作版） JSPS Multimedia Contents Project

JSPS Multimedia Contents Project 現在進行中のプロジェクト 「まんが日本昔ばなし」 10 話分のビデオ データベース化 「東映アニメ映画予告編映像」 33 編（将来 2,000 編の予定）のビデオデータベース化 JSPS Multimedia Contents Project

マルチメディア･コンテンツの アクセスアーキテクチャ 神戸大学 田中･田島 大阪大学 下條･春本

JSPS Multimedia Contents Project コンテンツを取り巻く状況 通信，放送の融合 技術的にも政治的にも コンテンツにおける流通革命 生産者と消費者の距離が近くなる 生産者と消費者の境がなくなっていく 新しいアクセスアーキテクチャが求められている （コンテンツの流通方法） JSPS Multimedia Contents Project

JSPS Multimedia Contents Project これからのメディア流通 Public Media データベースと 情報フィルタリング データベースと エージェント技術 Community Media Private Media コンテンツの生産者 消費者 JSPS Multimedia Contents Project

マルチメディア･コンテンツのアクセス アーキテクチャの研究 マルチメディア・コンテンツの流通・共有・ 再利用の向上 大規模マルチメディア・データベースのアーキテクチャの確立 大量のマルチメディアコンテンツを短時間で アクセスするためのメディア処理技術 生産のための技術と消費のための技術 JSPS Multimedia Contents Project

JSPS Multimedia Contents Project 消費のための技術 利用者に即したコンテンツの動的生成方式 コンテンツのアクセス権管理や版権管理 放送型コンテンツ配送におけるコンテンツ検索と動的組織化 JSPS Multimedia Contents Project

JSPS Multimedia Contents Project 生産のための技術 マルチメディア・コンテンツの構造化・索引 生成方式 映像などの連続メディアに即した記述・検索モデル 映像制作のためのデジタル映像素材データベース 再利用，再構成のためのメディア蓄積技術 広域放送のための情報配送、異機種分散環境への適応、QoS JSPS Multimedia Contents Project

マルチメディア・コンテンツの構造化・索引生成方式 ３次元自己組織化マップ ハイブリッド型構造化機構 コンテンツとメタ情報併用によるコンテンツ群の自己組織化 分類精度の向上 メタ情報記述の軽減 Kohonenの自己組織化マップの3D化 インターネットで収集した情報の動的な分類 Javaによる汎用ツールとして実装 JSPS Multimedia Contents Project

JSPS Multimedia Contents Project 利用者に即したコンテンツの動的 生成方式 部分選択 詳細化 全体図 注釈リンク 付 半構造化データとしてのコンテンツ ラベル付き木構造 同一タグの出現レベルが不定 例：VRMLデータ 半構造化データのフィルタリング・再構成・問い合わせ形成 半構造データ操作言語の開発 詳細度，注釈リンク，アクション等の制御 例：VRMLデータのビュー定義や，walkthroughによる質問形成 ？？？ JSPS Multimedia Contents Project

映像などの連続メディアに即した記述・検索モデル 内容記述モデルの課題 ビデオ内容の多様性 区間指定の困難さ 記述情報の有効範囲と同時性 x*: substantiality (どこでも) {island*, 21st-century*} x^: surface (この範囲のみ） {somersault^} x : somewhere (どこか） {cyborg, enemy, fighting} x・y : xとyが同時 { cyborg・enemy} 記述情報の半順序関係による近似解検索 内容記述 検索 JSPS Multimedia Contents Project

JSPS Multimedia Contents Project コンテンツのアクセス権管理 マルチメディアコンテンツのアクセス権管理 多レベルの詳細度を持つ 利用者毎に異なる詳細度 複雑な部分・全体関係 従来のDBMSのアクセス権管理はall-or-nothing Non all-or-nothingなアクセス権管理方式の必要性 マルチメディアDBのための新しいアクセス権管理手法の確立が求められる JSPS Multimedia Contents Project

JSPS Multimedia Contents Project コンテンツの版権管理 マルチメディアコンテンツと認証機構のカプセル化による版権管理 分散オブジェクト技術にもとづく自律的な認証・配送 認証レベルに応じた索引情報の活用 マルチメディアデータ オブジェクト化 認証要求 認証された 画像オブジェクト 認証されていない 画像オブジェクト Level1 index Level2 index Level3 index Methods JSPS Multimedia Contents Project

映像制作のためのデジタル映像素材データベース 仮想スタジオ素材DB 3D CGオブジェクト（大道具・小道具） 仮想キャラクタのためのモーションデータ 実写ビデオ映像 オーサリング 印象語 (3D CG)，自己組織化（テクスチャ） 階層記述(モーションデータ) 検索 類似検索、組み合わせ検索 合成 VRML空間での合成・表示 仮想スタジオ用素材 モーションデータ テクスチャ素材 実写映像 JSPS Multimedia Contents Project

放送型コンテンツ配送における コンテンツ検索と動的組織化 デジタル衛星放送の電子番組ガイド 動的リンク付与：連続問合せ機構、フィルタリング 動的再構築方式 PUSH型に対応したNODシステム 受信 送出システム ｔ ブラウザ JSPS Multimedia Contents Project

マルチメディア･コンテンツのデータベースからの 仮想空間･拡張現実空間の生成と活用 大阪大学 岸野･西尾･北村･塚本･正城 広島市立大学 有川

JSPS Multimedia Contents Project 仮想空間・拡張現実空間の生成と活用 仮想空間・拡張現実空間を生成 マルチメディア・コンテンツDBを検索・加工･提示 仮想空間･拡張現実空間の活用 実映像を用いた3次元シーンの獲得とインタラクティブ操作への適用 モーバイルコンピューティングによる仮想空間と実空間の人々のコミュニケーション（透明人間システム） JSPS Multimedia Contents Project

拡張現実を基本とするマルチメディア コンテンツの提示法 （広島市立大学 有川）

JSPS Multimedia Contents Project 時空間情報ベースと空間ハイパー メディア 大規模仮想空間をネットワーク環境下で扱う技術の確立 実時間ビデオ映像と３次元仮想空間の融合 アバタの振る舞いに応じた仮想空間の動的 再構成 現実世界の実時間映像のハイパーメディア化 JSPS Multimedia Contents Project

大規模仮想空間をネットワーク環境下で扱う技術の確立 JSPS Multimedia Contents Project

JSPS Multimedia Contents Project 実時間ビデオ映像と３次元仮想空間の融合 JSPS Multimedia Contents Project

アバタの振る舞いに応じた仮想空間の動的再構成 JSPS Multimedia Contents Project

現実世界の実時間映像の ハイパーメディア化 各種センサー、マーカーと地図データを用いた物体の同定 空間情報ベースからの検索結果を実時間映像にオーバーラップ 現実世界の物体へのアンカーの取り付け ネットワーク環境下で、現実世界へ仮想物体を配置し、共有する枠組みの確立 JSPS Multimedia Contents Project

実映像を用いた3次元シーンの獲得とインタラクティブ操作への適用 （大阪大学 岸野）

JSPS Multimedia Contents Project 実世界3次元シーンの獲得 Real world Virtual world JSPS Multimedia Contents Project

JSPS Multimedia Contents Project 各種インタラクションの例 観察 捕獲 様々な ｲﾝﾀﾗｸｼｮﾝ 接触 餌付け JSPS Multimedia Contents Project

実世界3次元シーンの獲得(Fish tank) Virtual world Real fishtank JSPS Multimedia Contents Project

JSPS Multimedia Contents Project インタラクティブ操作 魚を捕る 視点移動 魚の見え隠れの観察 餌をやる、手を叩く、水槽を叩く．．． JSPS Multimedia Contents Project

モーバイルコンピューティングによる 仮想空間と実空間の人々のコミュニケーション （大阪大学 塚本･西尾 ）

JSPS Multimedia Contents Project 透明人間環境 実空間と仮想空間を相互にマッピング 実空間から仮想空間の状況を，仮想空間から実空間の状況を知ることが可能 両空間からのインタラクションが可能 利用例 　遠隔会議，在宅勤務，ホームオートメーション，旅行，旅行ガイド，電子秘書，アンパイアなど JSPS Multimedia Contents Project

JSPS Multimedia Contents Project 透明人間環境 仮想空間 実空間 Invisible Person Host (IPH) 実人間 Existence-Sensitive Pad (ESP) 透明人間 ESPer JSPS Multimedia Contents Project

JSPS Multimedia Contents Project 透明人間環境 遠隔地のユーザ（透明人間）は，グラフィックワークステーションを用いて仮想的に実空間に訪れる． 実空間において，透明人間の姿は（もちろん）見えない． 実人間は，ESPを用いることで透明人間の姿が見える． ESPを持つ人をエスパー（ESPer）と呼ぶ． JSPS Multimedia Contents Project

JSPS Multimedia Contents Project

JSPS Multimedia Contents Project イメージ図（実装中） JSPS Multimedia Contents Project

JSPS Multimedia Contents Project 研究課題 多視点動画像解析・処理による対象物の追跡と切り出し、3次元位置の計測 仮想世界とのインタラクション ⇒ 動物体との接触、隠蔽関係の処理 動物体の把持 ⇒ 当該対象物を背景色でマスキング 視点に対する前後関係の判断 ⇒ 他の視点のカメラを利用したマスキングレイヤの調整 動物体の生態に基づくシーンの切り出しと、インタラクションの局面に応じた再生 JSPS Multimedia Contents Project

JSPS Multimedia Contents Project 年度別研究計画 マルチメディア･コンテンツ処理のベースとなるマルチメディア･データモデルの構築（平成９年度） マルチメディアコンテンツの共有･再利用･加工技術およびコンピュータ･ネットワーク技術に関する研究（平成１０年度） マルチメディア･コンテンツの高次処理技術システムを構築（平成１１年度） JSPS Multimedia Contents Project

JSPS Multimedia Contents Project 年度別研究計画 マルチメディア･コンテンツを含む情報ベースに知識システムを導入（平成１２年度） 研究成果の評価および、より高度なネットワーク環境下におけるデータベース･アーキテクチャの検討（平成13年度） JSPS Multimedia Contents Project