知能情報・高度情報処理 マルチメディア・コンテンツの 高次処理の研究

Slides:



Advertisements
Similar presentations
ウィキについて 1 1040431 1 1040431 植木貴宏 植木貴宏. ウィキとは? ウェブブラウザを利用して Web サーバ 上のハイパーテキスト文書を書き換え るシステムの一種。 ウェブブラウザを利用して Web サーバ 上のハイパーテキスト文書を書き換え るシステムの一種。 Wiki とは、ハワイ語で「速い」を意味.
Advertisements

Web-GIS の開発と地盤情報の 高度利用に関する共同研究について -具体的な共同研究テーマ ( 案 ) - 「地質・地盤情報協議会」・ 「 Web-GIS コンソーシアム」説明会資料 全国地質調査業会連合会・情報化委員会.
Software Engineering Laboratory, Department of Computer Science, Graduate School of Information Science and Technology, Osaka University 1 ソフトウェア部品推薦のための.
顔表情クラスタリングによる 映像コンテンツへのタギング
動画像品質調整機能を組み込んだ プロキシキャッシングシステムの 実装と評価
初めてのパソコン目次へ パソコンでできること
[グループ名]向けウェブナー [所属機関名] [日付] [発表者の氏名] [発表者の敬称/肩書]
第2章 ネットサービスとその仕組み(前編) [近代科学社刊]
不特定多数の発信者を考慮した ストリーミングシステムの実現
DRMのコンセプト 2004/01/15 DRM 入江 伸.
前期総合(CMを作ろう) 情報科教育法 13 回目 2005/7/9 太田 剛.
第1回 ガイダンス 工学部担当 教員 吉岡 理文 ・ 岩村 雅一
早稲田大学大学院理工学研究科 情報科学専攻修士2年 後藤滋樹研究室 坂本義裕
西尾 章治郎 大阪大学大学院工学研究科 情報システム工学専攻
情報爆発A01支援班 マイサーチエンジン開発環境支援グループ 中村聡史, 大島裕明, 田中克己, 喜連川優
米山研究室紹介 -システム制御工学研究室-
マルチメディア・コンテンツの 内容記述と検索 田中克己 京都大学大学院情報学研究科 社会情報学専攻
NIIメタデータデータベースの構想 国立情報学研究所 開発・事業部 コンテンツ課 米 澤 誠
TCPデータ通信との公平性を考慮した 輻輳適応能力を有する MPEG動画像通信のための品質調整機構
モバイルエージェントの応用 概要 モーバイルエージェントの応用分野 AgentSpaceシステム エージェント移動 応用:ソフトウェアの配信
InfoLibDBRによる      システム構築  山口大学 情報環境部 深川昌彦.
DB マルチメディア・コンテンツの組織化機構 マルチメディア・コンテンツ ①組織化機構 解体・整理の仕事 現実世界に流通するマルチ
状況の制約を用いることにより認識誤りを改善 同時に野球実況中継の構造化
卒業論文 最終発表 WWW情報検索 ナビゲーションシステムの設計と実装
知能情報・高度情報処理 マルチメディア・コンテンツの 高次処理の研究
標準空間情報の整備及び 異種データベース間のデータ交換手法 に関する研究開発
学術機関リポジトリとは 定義 学術機関リポジトリ (Institutional Repository) は,大学あるいは研究機関の電子的な知的生産物(論文,電子的教材,実験データ,学会発表資料)を蓄積し,保存し,(原則として)無料で発信するための保存書庫。 意義 研究成果の視認性とアクセシビリティの向上.
VideoOnDemand型 e-Learningシステムのご提案
Webを利用した授業支援システムの開発 北海道工業大学 電気電子工学科 H 渋谷 俊彦.
BML (Broadcast Markup Language)
ユビキタス環境における コミュニケーション・ツール選択支援機構の提案
ストリーム処理エンジンを用いた 顔映像に対する 補助情報提供システム
画像工学 2011年10月6日 担当教員 北川 輝彦.
アンビエント情報社会基盤創成拠点 -アンビエントインタフェース領域-
教育系サブジェクトリポジトリとしての展開
JSPS未来開拓学術研究推進事業研究プロジェクト
Java ソフトウェア部品検索システム SPARS-J のための リポジトリ自動更新機能の実現
東京大学空間情報科学研究センターを 中心とした空間情報データベースの整備
インターネットと遠隔講義/講座 大阪市立大学 学術情報総合センター 中野秀男
マルチメディア・コンテンツの 配送・フィルタリング機構
Bottom-UpとTop-Down アプローチの統合による 単眼画像からの人体3次元姿勢推定
ビデオデータベース.
Javaソースコード蓄積・ 検索システムSPARS-Jの概要
米山研究室紹介 -システム制御工学研究室-
マルチメディア・コンテンツの 組織化機構 ー映像メディアに対する知的構造化ー 有木康雄 龍谷大学理工学部 電子情報学科
コマンドパイプラインによる マルチメディアストリーム処理
只見町 インターネット・エコミュージアムの「キーワード」検索の改善
情報検索(6) メディア検索の仕組み 教員 岩村 雅一
コンピュータ教育開発センター Eスクエア・アドバンス ◆産業協力情報授業◆ CGアニメ入門 (株)ドーガ 代表取締役 かまた ゆたか.
Internet広域分散協調サーチロボット の研究開発
12. 意味・意図の解析 12.1 意味表現とは 12.2 規則による意味解析処理 12.3 統計的な意味解析処理 12.4 スマートフォンでの音声サービス ニューラルネットワークによる意味解析.
高汐 一紀 慶應義塾大学 新しい空間の創出:uPlatea 新しい道具の創出: u-Photo 思考する家具・部材: u-Texture
オープンソース開発支援のための リビジョン情報と電子メールの検索システム
端末およびサービス透過的な 情報共有支援システムの構築
端末およびサービス透過的な 情報閲覧支援システムの構築
ユビコン環境構築のためのソフトウェアプラットフォーム ユビコン環境における化身話利用の可能性
Spatial Linker - 空間コンテンツ融合の研究 -
情報共有による Z39.50データベース選択支援環境
各会話シーン毎に、発話(音源)方向を推定
国立国会図書館の インターネット上の 情報資源に対する取り組み
tranService Next Generation
BSJ特別セッション(2001、甲子園大学) 「人間科学データの蓄積と利用」 指定討論2 林 篤裕 (大学入試センター)
若手研究者・学生向けに,最新技術をわかりやすく紹介する講演会 確率的情報処理としての移動体通信技術
大規模科学技術シミュレーションソフトウエア開発 -プロジェクト・マネージメントの視点から-
ETPB: Extraction of Context from Pedestrians' Behavior
Webページタイプによるクラスタ リングを用いた検索支援システム
異種セグメント端末による 分散型仮想LAN構築機構の設計と実装
窪田進太郎 有木康雄(神戸大) 熊野雅仁(龍谷大)
オブジェクト指向メトリクスを用いた 開発支援に関する研究 --- VC++とMFCを用いた開発を対象として ---
P2Pによる協調学習システム 唐澤 信介   北海道工業大学 電気工学専攻.
Presentation transcript:

知能情報・高度情報処理 マルチメディア・コンテンツの 高次処理の研究 AMCP 平成9年度開始 西尾 章治郎 大阪大学大学院工学研究科 情報システム工学専攻 nishio@ise.eng.osaka-u.ac.jp

AMCP‐Project 参加研究者 参加研究者 プロジェクトリーダー 上原 邦昭 (神戸大学) 西尾 章治郎 (大阪大学) 下條 真司 (大阪大学) 有川 正俊 (東京大学) 北村 喜文 (大阪大学) 塚本 昌彦 (大阪大学) 角谷 和俊 (神戸大学) 春本  要 (大阪大学) 田島 敬史 (神戸大学) 正城 敏博 (大阪大学) 原 隆浩 (大阪大学) コアメンバー 有木 康雄 (龍谷大学) 岸野 文郎 (大阪大学) 田中 克己 (神戸大学)

本日の講演の内容 プロジェクトの概要 本年度の成果 平成9年度以降の活動の特記事項 「インタラクションによるコンテンツの 生成と提示」の研究内容

Hardware Software Multimedia Contents void main() ・・ }

マルチメディア・コンテンツ処理技術 DB マルチメディア・コンテンツ ⑤提示機構 ①組織化機構 ⑥生成支援機構 ユーザ 共有・ 再利用 マルチメディア・コンテンツ DB ①組織化機構 部品化 ・蓄積 ②内容記述・検索モデル ユーザ ③アクセス管理機構 ④配送・フィルタリング

AMCP-Project のねらい マルチメディア・コンテンツの高次処理の実現 マルチメディアデータベースとしての高度機能 連続メディア,半構造メディア処理機能など 組織化機構 内容記述・検索モデル アクセス管理機構 配送・フィルタリング 提示機構 生成支援機構 マルチメディアデータベース  の新しいソフトウェアプラット フォームの確立 新分野の開拓の可能性 連続メディアの科学 演出工学 放送とデータベース

プロジェクトの成果の例

Computer graphics (3-D data) マルチメディア・コンテンツの特徴(1) 3つの連続性 Video image (1-D data) Time Computer graphics (3-D data) Map (2-D data) s Quality Space

マルチメディア・コンテンツの特徴(2) 半構造性 ニュース番組の 半構造ネットワーク 個々の ニュース番組も 半構造表現 A News Story ニュース番組の 半構造ネットワーク time time Micro-topic 個々の ニュース番組も 半構造表現

User adaptation = Personalization マルチメディアシステム開発の要件 適応性(Adaptation) ネットワーク環境 端末環境 コンテンツ制作者の意図 (author intention) ユーザの嗜好 (user preference) 個別化(Personalization) ユーザの嗜好によるコンテンツ適応 User adaptation = Personalization

映像メディアに対する知的構造化 解析系 記述系 編集系 音声・話者認識の統合 による構造化(H9) 映像・文字認識による 1 組織化機構 2 内容記述・検索モデル 5 提示機構 6 生成支援機構 解析系 音声・話者認識の統合 による構造化(H9) 映像・文字認識による クロスメディア検索(H10) 記述系 映像データ中の内容記述モデルの開発(H10) 映像データ中の意味的構造の発見(H11) 編集系 映像メディア編集支援システム(H12)

映像メディア編集支援システム ロケ カメラマン 映像 文法 ディレクター エディター 映像 生成 検索 インデキシング カメラマンは 絵コンテにあう 映像を撮影する ディレクターは 絵コンテを 作成する カメラマン 指示 素材映像 映像 文法 ディレクター 指示 エディター 映像 生成 検索 結果 検索 インデキシング 撮り下ろし映像 のデータベース 素材映像 データベース

番組の映像として使用できるショットの自動抽出 映像メディア 編集支援システムの ユーザインタフェース ショットの代表フレームを表示 代表フレーム カメラワーク 構図の方向 動作 人 フォーカス 色 pan fix 1S/FF/F 0S 1S/CU/F FS TS LS right R L F 素材映像 static left ショットの切れ目 番組の映像として使用できるショットの自動抽出

適応型コンテンツ配送アーキテクチャ 適応型Webコンテンツ配送 インタラクティブコンテンツの品質制御 1 組織化機構 4 配送・フィルタリング 5 提示機構 適応型Webコンテンツ配送 ネットワーク環境への適応 (Adaptation) 端末,個人プロファイルの取り込み(Personalization) PDAのためのコンテンツ詳細度制御(Synchronization) インタラクティブコンテンツの品質制御 サービス品質を考慮した配送アーキテクチャ 複数サーバへの負荷分散 マルチキャストの利用,詳細度制御 (Adaptation)

適応型 Webコンテンツ配送 個人化,同期化 端末プロファイル 個人プロファイル コンテンツ 適応機構 端末・個人への適応 コンテンツ提供者 適応型 Webコンテンツ配送 (abc company) (bbb company) (xyz company) コンテンツ配送サービスの適用 端末プロファイル 個人プロファイル メタデータ ユーザ プロファイル コンテンツ ユーザプロファイルの登録・更新 コンテンツ 適応機構 WWWサーバ コンテンツ要求 個人化,同期化  端末・個人への適応 ネットワーク環境への適応 適応コンテンツの配送 ブラウザ(ユーザ)

情報放送環境のためのデータベース コンテンツの受動的視聴技術 ディジタルTV・携帯端末の ためのWebコンテンツの 受動的視聴技術の開発 1 組織化機構 2 内容記述 4 フィルタリング 5 提示機構 6 生成支援機構 コンテンツの受動的視聴技術 ディジタルTV・携帯端末の ためのWebコンテンツの 受動的視聴技術の開発 Webコンテンツの自動番組化技術 番組コンテンツ記述のためのscript記述言語 (S-XML) Relax!

コンテンツの受動的視聴技術の開発 SMIL (映像ストリーム) TVML (音声読み上げ, Webの受動的視聴 S-XML 意味構造解析 news.com ニュース 高橋尚子が国際千葉駅伝を欠場 左ひざ痛で(17:55) 高橋尚子が国際千葉駅伝を欠場 左ひざ痛で シドニー五輪女子マラソンで金メダルを獲得した高橋尚子(積水化学)が、五輪後初の公式レースとして出場を予定していた23日の国際千葉駅伝を左ひざ痛のため欠場することになった。 意味構造解析 (部分文書抽出, タグ解析による 同期化領域の発見) 台本自動生成 (提示パス生成) SMIL (映像ストリーム) A1 S-XML 通常のWeb (HTML文書) 同期化 コンテンツ 生成 台本記述 (S-XML) TVML (音声読み上げ, CGアニメ)

空間メディア統合による マルチメディア・コンテンツの提示 1 組織化機構 2 内容記述・検索モデル 5 提示機構 6 生成支援機構 空間メディア統合 映像空間メディア,  静止画空間メディア,  言語空間メディアとその統合手法の確立 これらの空間メディアを基本として構築した位置情報の統合管理・利用基盤の構築 応用システムの構築

HMD-TOPとROBO-TOPによる 現実空間でのコンテンツ共有 遠隔地ユーザの 操縦するシステム 遠隔地ユーザの画面 現実空間にいるユーザ HMD-TOPとROBO-TOPによる 現実空間でのコンテンツ共有

インタラクションによる コンテンツの生成と提示 1 組織化機構 2 内容記述・検索モデル 5 提示機構 6 生成支援機構 映像データベース インデックス 映像特有の特徴パラメータ(形状,動き等) 検索キー 特徴パラメータを直感的に入力(ジェスチャ) 検索結果 コンテンツの生成に利用

AMCP-Projectの大規模応用システム 実コンテンツと関連したプロトタイプ バーチャル適塾・懐徳堂 エデュテイメントとデータベースの一例 AMCPプロジェクトの最終年    2001年5月完成予定 大阪大学グループ 大阪大学70周年 記念事業

適塾塾生データベース 検索画面 人物情報画面

国内外との連携・交流 AMCP’98で関連分野の著名な研究者を6名を招聘 →これらの研究者との継続した研究交流     →これらの研究者との継続した研究交流 同様な国家プロジェクトを推進しているオランダCWI,Univ. of Twenteの研究グループとの情報交換 米国San JoseのNECの研究所,シンガポールNUSなどとの協調的な研究の継続 DBWeb2000の共催 我が国のデータベース研究領域における最大規模のシンポジウム 「マルチメディア・コンテンツの知的構造化」の研究会を共催(2000年11月)

これまでの研究業績 (平成9年度のプロジェクト開始以降) 特許出願中 1件 公開を目的としたソフトウェアの開発 13件 招待講演 34件 招待論文(英文誌) 5編 本プロジェクトを紹介した特集英文論文誌   (NGC Vol. 18, No. 4, 2000) 論文誌掲載論文 79編 国際会議録掲載論文 148編 国内シンポジウム・研究会・学会大会等 300編以上 岩波講座「マルチメディア情報学」 第7,8,12巻