マルチメディア・コンテンツの 内容記述と検索 田中克己 京都大学大学院情報学研究科 社会情報学専攻

Presentation on theme: "マルチメディア・コンテンツの 内容記述と検索 田中克己 京都大学大学院情報学研究科 社会情報学専攻"— Presentation transcript:

1 マルチメディア・コンテンツの 内容記述と検索 田中克己 京都大学大学院情報学研究科 社会情報学専攻

2 マルチメディア・コンテンツの 内容記述と検索
情報のパーソナライゼーション 情報の組織化・構造化 によるメタデータ生成 情報流通 情報組織化 情報の配送と提示 連続メディアデータと 半構造データ コンテンツの権利処理と アクセス管理 協調アノテーション インタラクションによる検索 コンテンツの内容記述と 検索のモデル 情報検索 情報の検索と探査

3 映像コンテンツのメタデータと内容記述 メタデータの種類 映像信号やカメラから抽出できるメタデータ 音声・画像認識から抽出できるメタデータ
NHKクローズドキャプション(15秒delay，音声認識) 手動で制作されているメタデータ EPG(電子番組表)，番組インデックス(ARIB)，データ放送(BML，BXML) 権利情報 関連するWebコンテンツ

4 メタデータ（内容記述）の表現モデル 標準化 記述モデル MPEG7 MPEG21 構造化法(セグメンテーション法) 層状化法
内容記述のための記述子，記述スキーマ，記述定義言語等 MPEG21 著作権情報，コンテンツID 記述モデル 構造化法(セグメンテーション法) Informedia(金出) 層状化法 OVID(田中)：内容記述情報の継承 Algebraic Video(Weiss)：入れ子型層状化

5 内容記述（索引付与）の困難さ 音声・画像認識から抽出できるメタデータ 手動で制作されるメタデータ 関連するWebコンテンツ
ビデオ区間の特定の困難さ 索引の断片性，該当区間が不明，推定の必要性 情報の重複や誤り 画像と音声の相補的な関係 検索用語とのギャップ 手動で制作されるメタデータ コストと帯域（データ放送） 関連するWebコンテンツ 映像コンテンツとの関連性の発見 ScoopCast ・ライブ映像の動的編集配信システム ・音声内容記述 ・映像索引・映像のマルチキャスト配信 ・キーワードによる映像フィルタリング ・有限オートマトンによる区間推定

6 索引（キーワード）の断片性と該当区間の不明
内容記述（索引付与）の困難さ 情報の欠落や重複 ラジオとTV 映像と音声の相補性 「ピッチャー野村が投げた」 ピッチャー 野村 投げた 索引（キーワード）の断片性と該当区間の不明

7 Query By Camera カメラ情報からのメタデータ生成と検索
注目被写体範囲のアニメーション 問合せ映像 検索結果 問合せ形成画面 検索結果画面

8 映像コンテンツの検索モデル 連続メディアデータのための代数的検索 断片的で素なインデックスを有するビデオデータに対する検索操作の理論的基盤
代数的な検索操作と質問処理最適化

9 断片的で疎な索引からの映像検索 キーワード検索によって 意味のある映像を得る 断絶のある映像 意味のある一連の映像 「女性」と「犬」
ビデオストリーム park woman dog park dog woman park dog 「女性」と「犬」 による検索 画像フレームまたはショット 単位で付加されたキーワード群 断絶のある映像 woman dog キーワード検索によって 意味のある映像を得る まず、本研究の動機ですが、断片的にキーワードが振られている１本のビデオデータに対して、いくつかのキーワードによってシーン検索を行う場合、ユーザが望む解というのは、細切れで断片的な区間というよりも意味的にまとまりのある一連の区間であると思われます。 そのため、そのような意味的にまとまりのある一連の区間を検索できるビデオ検索モデルが必要となってきます。 意味のある一連の映像 park dog woman

10 グルー結合演算 x x y y x y X Y X * Y 区間グルー 区間集合への拡張 区間x,yを含む最少区間
Pairwise Glue Powerset Glue y x y x , y2 } x2 } y , X={ Y={ X Y X * Y x1 y1 x1 y2 x2 y1 このグルー演算は、与えられたキーワードに該当する区間を動的に合成し、解となり得る区間をすべて生成することが可能です。 しかし、明らかに不適切な区間も解として返してしまいます。そのため、後で述べますフィルタ演算によって、そのような明らかに不適切な区間を取り除く必要があります。 また、このグルー演算は3段階に分けて定義されており、まず区間同士の演算である区間グルー演算、そして区間集合同士の演算であるペアワイズグルー演算、さらにこれもどうように区間集合同士の演算でありますパワーセットグルー演算です。そして、実際の区間検索においては、与えられたキーワードが振られている区間の集合にこのパワーセットグルー演算を適用して、解を求めます。 それでは、このパワーセットグルー演算とはどのようなものであるかといいますと、 x2 y2 X Y ３つのpairwise gluesに還元可能 X ＊Y = (X X) (Y Y) x1 x2 y1 x2 y1 y2 X * Y

11 選択演算 (Filters) σFw(X ＊Y)=σFw(σFw(X X) σFw(Y Y)) 選択演算σF(I) フィルタ
σF(I) :区間集合I から，条件(フィルタ）F を満たす区間集合を選択 フィルタ σkey=‘woman’(I) ：キーワード‘woman’が付いた区間を検索 σwidth≦1000(I)：区間長が1000以下のものを検索 woman dog 区間長 区間長フィルタFW ：区間長がw以下のものを検索 次に、先ほど出てきましたフィルタ演算についてですが、フィルタ演算としてタイム ウィンドウ フィルタというのが定義されております。このタイム ウィンドウ フィルタというのは、指定したタイムウィンドウ幅Wよりも長い区間を解から取り除くフィルタです。例えば、このようにビデオストリームに人、犬というキーワードが振られているとしますと、この人、犬にグルー演算を行うことによりこのような区間が解として得ることができますが、このようなあまりにも長い区間というのは、解としては明らかに不適切であるため、このタイムウィンドウフィルタによって取り除かれます。 そして、このタイムウィンドウフィルタはこのようにグルー演算の演算過程に挿入することができるため、演算の初期の段階で解の候補となる区間を減らしておくことができ、演算処理の効率化が図れます。 区間長フィルタ FW は選択・グルー質問で push down 可 σFw(X ＊Y)=σFw(σFw(X X) σFw(Y Y)) 選択・グルー質問の最適化の可能性

12 最適化可能フィルタ 関係データベースにおける 質問の最適化処理とのアナロジー グルー質問結果への選択演算の適用
σF(X ＊Y)=σF( (X X) (Y Y)) 最適化可能であるための必要十分条件 σF(X ＊Y)=σF(σF(X X) σF(Y Y)) F(i)= trueとなる任意の区間 i に対して，i のすべての部分区間i’がF(i’)= true を満たす． 30 60 フィルタ F 区間 i OK まず、効率化可能フィルタの必要十分条件について説明します。効率化可能フィルタというは、このようにグルー演算の演算結果に挿入し、演算処理の効率化が可能なフィルタのことです。 その必要十分条件とは、任意の区間iにおいてF(i)=true、すなわち区間iがフィルタFを通るとき、そのiのすべての部分区間i’もフィルタを通らなければならないということです。 例えば、このような区間iがあったとします。この30,60というのはそれぞれ個の区間のスタート時間、エンド時間を表しているものとします。この区間にフィルタFをかけ、その結果この区間はフィルタFを通るとします。 そのとき、このiの任意の部分区間であるi’。ここで、区間iの部分区間というのは、iに完全に含まれる区間のことです。この例でいうと、30から60の間にすっぽり収まってしまうような区間のことです。それで、必要十分条件というのはiがフィルタを通るならば、その部分区間i’もフィルタを通らなければいけないということです。 40 50 部分区間 i’ OK 関係データベースにおける 質問の最適化処理とのアナロジー

13 有用な最適化可能フィルタ dog NG dog OK dog NG dog OK ノイズ長フィルタ noise > N woman
Video stream noise　> N woman dog NG noise < N dog woman OK 区間論理フィルタ Allen の区間論理にもとづくフィルタ Video stream それでは、そのような効率化可能フィルタとして、どのような有用なフィルタを考えることができるかということで、本研究では２つのフィルタを提案いたしました。 まず、最長ノイズフィルタですが、このフィルタは最長ノイズ幅Nよりも長いノイズを持った区間を解から取り除くフィルタです。例えば、このようにビデオストリームに人、犬というキーワードが振られていたとしますと、これら2つのキーワードに対してグルー演算を行うことによって、このような区間を解として得ることができます。このとき、この区間が含んでいるノイズというのは、人というキーワードも犬というキーワードも含んでいない、この部分がノイズということになります。そして、このノイズがNよりも長いすなわち、あまりにも長いノイズを含んだ区間というのは、意味的につながりのある可能性が低いため、この最長ノイズフィルタによって取り除かれます。しかし、このように間に犬という区間が存在していたとしますと、これら3つの区間に対するグルー演算は、先ほどと同じ区間を解として返しますが、この区間に含まれるノイズはこのようにNよりも短くなり、このフィルタを通ることができます。 次に、順序関係フィルタですが、このフィルタは指定した順序関係に反する区間を解から取り除くためのフィルタです。例えば、このようなビデオストリームがあったとしますと、グルー演算の結果はこのように3つの区間が解として返されます。そして、このように人の方が犬よりも先に出現するという順序関係フィルタを用いますと、この順序関係に反する、すなわち犬の方が先に出現している区間は解から取り除かれ、結果としてこの区間だけが解として返されます。 dog woman NG 時間的な関係 Woman appears before dog dog woman OK

14 最適化可能フィルタの push downの効果

15 コンテンツの権利処理とアクセス管理 研究概要 目的 マルチメディアコンテンツの安全な流通とコンテンツ個別化のための機構の実現
カプセル化コンテンツとLoS制御 版権管理機能と適切な課金処理機能の実現 作者の意図と利用者アクセス履歴に基づくコンテンツ個別化 ActiveWeb コンテンツ複合化のための意図記述 異なるメディアのコンテンツの融合のための作者の意図記述

16 Javaを用いたカプセル化コンテンツ 不正ユーザに対する保護機能 Javaのクラス内部に画像データをカプセル化
ユーザ認証機能・表示変更機能により，ユーザ毎のサービスの変更が可能 認証されたカプセル化 コンテンツ 認証されていない カプセル化コンテンツ 認証サーバへの 認証要求

17 サービスレンジに基づくLoS制御 同価値のサービスとなるサービスの領域に課金 動的にサービスの配分を変更し、必要なサービスに価値を集中
制御前 サービスレベルを低下 サービスレベルを向上 制御後

18 作者の意図と利用者アクセス履歴に 基づくコンテンツ個別化
利用者の閲覧・視聴履歴と位置・時間によってコンテンツの内容を動的に変化させる． 簡単なルール表現で作成者が設定可能とする．技術的には，アクティブDB技術を発展的に適用

19 ActiveWeb 著者の意図と利用者のアクセス履歴・状況による 内容のパーソナライゼーション ActiveWeb サーバ 能動 ルール
DB 著者による 意図表現入力 XMLルール 生成 ルールの検索 アクセス 履歴DB 能動ルール の収集・ 評価 ユーザアクセス 動的な コンテンツ生成 個別化・複合化 されたコンテンツ

20 コンテンツの個別化/適応化 Author Intention (Metadata) コンテンツ作者の意図
JSPS - RFTF AMCP Project コンテンツの個別化/適応化 Author Intention (Metadata) コンテンツ作者の意図 User Intention (Profile) ユーザの意図・嗜好・振る舞い Personalization 個人への対応 ・Krakatoa Chronicle 　-Web新聞，relevance feedback ・Banner広告埋め込み 　-Baudishら，relevance feedback 　-Langheirichら，非侵入的． 　　keyword/banner click関連度 ・e-commerce (Ceriら） 　-購買履歴，active rule活用 ・Webサイトの仮想化 (Atzeniら) Adaptation 環境への対応 ・Content Transcoding (IBM) 　-PDA/Mobile対応 　-外部注釈ファイル(XML/RDF) ・Synchronized Content 　-Rousseauら 　-同期化コンテンツの動的生成

21 コンテンツの個別化/適応化 Author Intention (Metadata) コンテンツ作者の意図
JSPS - RFTF AMCP Project コンテンツの個別化/適応化 Author Intention (Metadata) コンテンツ作者の意図 User Intention (Profile) ユーザの意図・嗜好・振る舞い Personalization 個人への対応 ・我々のアプローチ 　-MetadataとしてのECAルール 　-ページアクセス履歴とアクセス　　　場所･時間を条件 　-ページ･リンクのアクセス権管理 　-コンテンツ作者の意図表現 　-XMLタグ拡張による実現 Adaptation 環境への対応 　-受動的視聴コンテンツ作者の　　　explicitな同期化指定と 　　演出表現(S-XML) 　-同期化推定と演出付加による 　　自動変換 　-利用者によるスタイル選択 デジタルTVやモバイル機器での受動的視聴

22 コンテンツの複合化に関する意図記述 複合化に関する意図記述例 配信環境に関するルール例 利用者のアクセス履歴に関するルール例
著作権に加えて，コンテンツの複合化・同期化・個別化・配信環境に関するコンテンツ作者の意図記述 能動型ルールによる意図記述 XML表現によってコンテンツと一体化 コンテンツの動的生成時に能動型ルールを処理 ルール例 複合化に関する意図記述例 「この画像の提示中に必ずこのテキストを読み上げる」 「このキーワードを有する映像を配信する際は最初にこのCMを流す」 「この画像を提示する場合は同種類の画像を提示しない」 配信環境に関するルール例 「この映像を短縮して配信する場合，指定の箇所は必ず配信する」 利用者のアクセス履歴に関するルール例 「ここ2週間頻繁にアクセスしているユーザには配信コンテンツを追加する」

23 午前中からこうして大勢のみなさまが・・・・・
コンテンツ複合化に関わる作者の意図記述 小泉純一郎は日本の総理大臣で自民党・・ 午前中からこうして大勢のみなさまが・・・・・ 小泉純一郎です。・・・・・ ここでは、小泉首相の演説の番組を見ています。ところが視聴者は、小泉純一郎という人物についてよく知らず、追加の説明が必要であったとします。そのようなときに●別のコンテンツから、小泉純一郎という人物の説明をもってきてそこに挿入します。そして、視聴者が理解した上で、●次のシーンへと進んでいきます。このように、●元のコンテンツに別のコンテンツを付け加えることをコンテンツの複合化と呼びます。● 元のコンテンツに別のコンテンツを挿入

24 新しい放送型情報環境 放送＋インターネット＋データベース
関連情報の検索 放送コンテンツの再構造化 放送 映像・音声・ メタデータ Web 放送・Webコンテンツの融合によるコンテンツ作成 関連情報のWebからの発見，映像インデックス自動生成 生成コンテンツの受動的視聴環境 蓄積型テレビ機能を用いたパーソナルな番組コンテンツ生成 新しい情報放送環境に向けて 新鮮度・ローカル度などの新しい尺度による検索 サーバ型放送のための理論的基盤