ＤＢ マルチメディア･コンテンツの組織化機構 マルチメディア･コンテンツ ①組織化機構 解体・整理の仕事 現実世界に流通するマルチ

Presentation on theme: "ＤＢ マルチメディア･コンテンツの組織化機構 マルチメディア･コンテンツ ①組織化機構 解体・整理の仕事 現実世界に流通するマルチ"— Presentation transcript:

1 ＤＢ マルチメディア･コンテンツの組織化機構 マルチメディア･コンテンツ ①組織化機構 解体・整理の仕事 現実世界に流通するマルチ
メディア・コンテンツを部品に 解体する． ①組織化機構 部品が大道具・小道具として 共用・再利用できるように特徴 づけを行う． ＤＢ 道具：メディア解析技術， 人工知能技術 有木，田中，有川，田島

2 マルチメディア・コンテンツに対して 要求される機能(1)
放送（テレビ映像） （今見ているニュースに関係している ＢＢＣのニュースが見たい） 類似したトピックの検索 放送内容の要約･解説 索引付け トピック抽出，　トピッククラスタリング （手短に，分かり易く） 通信（Ｗｅｂ文書） 希望するトピックの検索 Ｗｅｂ文書の自動分類 ユーザ視点による分類の修正 トピック抽出 （宇宙飛行について知りたい）

3 マルチメディア・コンテンツに対して 要求される機能(2)
ストーリの無い映像 映像中のオブジェクトに対する情報検索 空間記述データ （位置と方位，ＧＰＳ） 地球･都市空間データ （３次元） 　　　　　　　映像とすり合わせて統合 （この建物は何？） ストーリのある映像 因果関係の検索 予測 トピック抽出と内容記述の統合 （何故こうなったの？） （今後はどうなるの？）

4 テレビ映像の組織化プロセス コンテンツ 概念 構造化 トピック 構造化／組織化 部品 記号 組織化 パターン データ 信号 意味検索
記述の抽象化＆意味付け トピック 構造化／組織化 トピック検索 時空間における関係付け 記号 オブジェクト 検索 部品 認識＆索引付け 組織化 パターン パターン検索 セグメンテーション＆分類 データ 信号 信号検索

5 テレビ映像の組織化の内容 概念 トピック 記号 パターン 信号 音声 文字 映像 統合 トピック 抽出 認識 セグメン テーション
類似トピック 複数言語 トピック抽出 トピック分類 ディクテーション 重要語抽出 話者認識 音声/音楽の分離 話者区間の検出 重なり検出 類似トピック 複数言語 トピック抽出 トピック分類 文字認識 形態素解析 重要語抽出 フレーム抽出 文字領域抽出 文字抽出 シーンタイプ イベント抽出 状況記述 フレームの認識 動物体抽出と追跡 静止物体の認識 カット検出 動領域抽出と追跡 静止領域の分割 概念 統合 トピック トピック 抽出 記号 認識 パターン セグメン テーション 信号 音声 文字 映像

6 テレビ映像の組織化システム ニュース映像の情報検索 ＷＳ ＴＶ 記事クラスタ この単語は？ ディジタル 画像指示 ビデオ この人は誰？
NHK この単語は？ ＷＳ 日本、PKOに参加 ディジタル 　ビデオ ＴＶ 画像指示 この人は誰？ スポーツ・野球？ 音声入力 Loop Point PKOって何？ A1 A2 記事クラスタ Cut Point A3

7 ニュース記事のリアルタイム切り出し 記事切り出し率　99.2%

8 音声ディクテーションによる ニュース記事の組織化
音声ディクテーションによる 　　ニュース記事の組織化 単語正解精度　67.6% 記事分類率　　 87.3% 分類表索引 キャスター音声 制裁 期限 を 目的 に 控えた 日米 自動車 問題 を めぐる ニュース 記事 10分類 総類 政治 経済 労働 文化 科学 社会 事件 スポーツ 国際 制裁 大蔵 日米 自動車 問題 分類確率 ディクテーション 時間 分類結果 政治

9 テロップ解析による ニュース記事の組織化 フレーム検出率 91.7% テロップ文字認識率 81.4% 記事分類率 83.8% 国際、経済
テロップ解析による ニュース記事の組織化　　　　　　 　　　　　　　　　 フレーム検出率　　 　91.7% テロップ文字認識率　81.4% 記事分類率　　　　　　83.8% 文字認識 （ａ）　ニュース映像 （ｂ）　文字領域の切り出し （ｃ）　認識結果 北朝鮮浬不届 コメ援助要請 （ｅ）　キーワード （ｆ）　分類 （ｄ）　形態素 ＊北朝鮮，15-浬， 10-不，10-届，10-コメ， 10-援助，16-要請，16 国際、経済 北朝鮮，コメ，援助，要請

10 フレーム特徴を用いたスポーツ ニュース映像の組織化
分類率　98.6%

11 自己組織化マップを用いた Web文書の組織化
自己組織化マップ(SOM) T. Kohonen， 教師無し学習モデル SOMの3次元表示とWeb文書・映像コンテンツの自己組織的分類 キーワード記述とSOMを併用した映像の分類とオーサリング環境の実現 SOMとの対話による分類修正 ユーザインタラクションによる分類・質問の段階的修正． 検索エンジンgooの出力結果の分類 Web文書の部分グラフの分類

12 自己組織化マップを用いた Web文書の組織化と対話型修正
SOMに対する対話型操作(拡大・合併等）による修正 goo検索エンジンへの質問修正とSOM再計算 Web検索エンジンの出力結果を，ユーザの視点から組織化することが可能 競技 五輪 選手 大会 聖火 会場 信州 放送 スキー 開催 委員会 商品 ニュース 協力 活動 応援 ボランティア 競技 五輪 選手 大会 聖火 会場 信州 放送 スキー 開催 特集 商品 ニュース 協力 活動 応援 ボランティア スケート 販売 野市 長野五輪のURLの自動分類例 競技に注目した再計算例

13 Web文書グラフからの意味の抽出（1） WWWページの文書単位の検索 WWW上の一つの文書は，複数のノードに亘っていることがある．
複数キーワードによる検索では，それらが同一文書中の異なるページに現れる場合がある． 隣接ノードの文書間の類似度を用いて一つの文書に対応する連結サブグラフを発見し，検索の単位とする． 検索：｛ｈｙｐｅｒｔｅｘｔ， ｑｕｅｒｙ｝

14 Web文書グラフからの意味の抽出（2） Webグラフ中の順路の検出
ページ著者は順路を仮定し，そのページへの順路上で記述済みの情報を省略することがある． 各ページへの順路を発見し，順路上のページ中の単語で索引を補完． 順路の発見には，ＵＲＬ中のディレクトリ構造に基づくヒューリスティクスを用いる． ＤＢグループ 研究 論文リスト 順路リンク 非順路リンク 検索：｛ＤＢグループ，論文リスト｝

15 空間ハイパーメディア Name-at の基本原理
リアルタイムビデオと 都市空間情報の合成

16 空間ハイパーメディア Name-at の画面例（１）

17 空間ハイパーメディア Name-at の画面例（２）