IPS:インクリメンタル画像検索システム tomomi＠ECN 親　ichiriki さん サブ親　masato さん 環境情報学部4年　中村友美 わかりやすい副題　逐次的な　透過的な　同期的　インクリメンタル 画像をもちいた画像検索エンジン

アウトライン 絵チャットとは 既存絵チャットの紹介と問題点列挙 インクリメンタル画像検索システム（IPS） の提案 IPSの設計 まとめ アウトラインをわかりやすくする

絵チャットとは Web上でのコミュニケーションの多様化 絵チャットの普及 描画を利用したコミュニケーションの浸透 同時に複数のユーザと描画が可能 充実した描画ツール マスキング　など チャットスペース 描画領域 描画コミュニケーションの確立 描画アプリケーション・インフラの普及 描画を利用したコミュニケーションの浸透

絵チャットの意義 描画テーマによってユーザが集合 描画によるコミュニケーション 趣味の共有が可能 共同作業による一体感 言語に依存しない即時的な情報伝達

絵チャットの問題点 逐次検索の不可 描画スキルへの依存 類似テーマ検索の不可 以下の問題点を解決する 絵チャットットを設置してるサイトは少ない 開催日程は不定期 絵チャットのテーマが好みじゃない

逐次検索の不可 描画中絵チャットの発見が不可 透過的、段階的な検索が不可 同描画テーマ でも発見不可 再度検索 の必要 異なる キャンバス 変更 描画情報送信 再度検索 の必要

逐次検索の不可 テキストベースの検索のみ 登録された絵チャットの情報の不審性 リンク切れ 登録時と違う 描画テーマ 絵チャット 発見 検索要請 登録時と違う 描画テーマ

描画スキルへの依存 ユーザの描画スキルに依存 同じ絵だと認識 するのが困難

類似テーマ検索の不可 類似テーマ検索が不可 検索される 似ている絵 テーマは異なる 検索 されない 似ていない絵 テーマは同じ

システム提案 インクリメンタル絵チャット検索システム（IPS） 描画中ユーザの検索 描画スキルに依存しない検索 ユーザのニーズにあった絵チャットの検索 ■利点 文字情報に頼らないグラフィックス検索 世界中の人がユニバーサルに検索できる ----- 調査 システム手順 時間軸 サーバの機能 絵

機能要件 インクリメンタル画像検索機能 描画コンテンツ解析機能 類似テーマ検索機能 逐次検索の実現 描画スキルに依存しない検索の実現 類似テーマ検索の実現 文字がすごく多い ちょっと Sigraph　 学習によるイメージ推測 ユーザが何を描画したいのかを推測 描画スキルの差を排除することが可能 類似ではなく、ユーザの求めるキャンバスを検索

（1）インクリメンタル画像検索機能 サーバのデータベースを定期的に検索 開催中の絵チャット 類似したテーマで描画中の絵チャット 描画コンテンツ解析機能 類似テーマ検索機能を利用

（1）インクリメンタル画像検索機能 画像情報抽出 輪郭情報の抽出 描画コンテンツ入力領域の各ブロック毎に画 素を取得 サーバに定期的に送信

（2）描画コンテンツ解析機能 特徴からの画像推測 クライアントから送信された輪郭情報を利用 汎用的な画像パターンを学習する 輪郭情報を利用 例）特徴＝頭の角 ⇒ 魔人ブゥ

（3）類似テーマ検索機能 テーマ相関探索機能 類似テーマ検索機能 サーバに蓄積される画像情報を利用 関連が強い描画コンテンツの発見 各ユーザに描画された個々の画像は関連が強い 類似テーマ検索機能 テーマ相関管理表をもとに絵チャット検索

システム構成 ① サーバ起動 ① Client PC Server ④ 画像情報送信 ④ ②クライアント起動 ② ③ 一定時間毎に 画像情報抽出 ③ ⑥ 絵チャット 　 情報送信 ⑥ Client PC ⑤ 絵チャット検索 ⑤ 字おおきくする Data base

Clientシステム構成 ①絵チャット情報 クライアント 取得 絵チャットのキャンバス ②描画コンテンツ ① 情報抽出 コンテンツ情報抽出 　 取得 クライアント 絵チャットのキャンバス ② ②描画コンテンツ 　情報抽出 コンテンツ情報抽出 ③ ③絵チャット情報 コンテンツ情報 　 送信 絵チャット情報 受信 メッセージ送信 字がちいさい、背景の色変える ④ ④絵チャット情報 　受信 ネットワーク

Serverシステム構成 ① ①メッセージ受信 サーバ 絵チャット検索 ② ②絵チャット情報 コンテンツ情報 受け渡し ③ ③絵チャット検索 テーマ 相関 管理表 ユーザ 情報 管理表 参照 ② ②絵チャット情報 　 コンテンツ情報 受け渡し ③ ③絵チャット検索 ④ ④絵チャット情報 送信 テーマ 相関探索 コンテンツ 解析 画像 情報 管理表 参照 参照 メッセージ受信 ネットワーク

実装 使用言語 Ｊａｖａ 実装した機能 絵チャット基本機能 IPSを搭載 描画ツール、チャット機能 インクリメンタル画像検索機能 使用言語　Ｊａｖａ 実装した機能 絵チャット基本機能 描画ツール、チャット機能 IPSを搭載 インクリメンタル画像検索機能 描画コンテンツ解析機能 類似テーマ検索機能 実装は設計のあと 類似テーマ検索機能はうまく動いてないっていう

⇒ IPS スクリーンショット

デモ デモを行います 描画中の検索 インクリメンタル絵チャット検索の結果 http://www.ht.sfc.keio.ac.jp/~tomomi/soturon/te st.html クライアント起動 描画開始 絵チャットテーマ設定 インクリメンタル絵チャット検索の開始

評価 コンテンツ解析率 インクリメンタル画像検索機能 消費帯域 描画途中の解析率 描画段階における検索率の上昇率 検索時間 クライアント数増加による影響 インクリメンタル検索機能追加による影響 もじ

(1)コンテンツ解析率 描画コンテンツ解析結果の妥当性検証 画像8 枚を用意 10 人の被験者に初見にて模倣してもらう 描画用画像を指定 評価 描画した画像が用意した画像と一致する割合 サーバが一致率の高い上位3位の画像テーマを通知 検索用 画像⇒ 評価手法 描画開始後、情報がサーバに送信され検索開始 検索終了後、一致率の高い画像テーマがクライアントに上位3位まで通知される

(1)コンテンツ解析率 描画画像が検索結果と一致する割合 類似した画像であれば解析率は高い 3 位に入る割合：100％ ユーザの目的とする絵チャット検索に有用

(2)インクリメンタル検索機能 インクリメンタル検索機能の妥当性検証 (2)インクリメンタル検索機能 インクリメンタル検索機能の妥当性検証 被験者による描画実験 描画順を3 段階指定 描画途中の各段階毎に検索結果を検証 データベースはコンテンツ解析率の評価で使用し たものと同一

(2)インクリメンタル検索機能 描画途中の検索率 描画途中でも目的とする絵チャットの検索が可能 第1 段階で描画画像と検索結果が一致：80％ 第2段階：被験者全員 描画途中でも目的とする絵チャットの検索が可能

(2)インクリメンタル検索機能 描画段階における検索率の上昇率 平均検索時間：2452.9 ms 描画段階を進めたときの上昇率：75％ 描画段階を進める毎に適切な 絵チャットが絞り込まれる 平均検索時間：2452.9 ms インクリメンタル検索による 描画への負荷は少ない

(3)消費帯域 描画ユニット当たりのトラフィック量の計測 実験環境 ローカルホスト 想定ユーザ数：2人～6人 IPS 上で四角を5 つ描画、平均トラフィック量計測

(3)消費帯域 クライアント数増加による影響 1 クライアント数増加毎に260 bytes ～356 bytes 増 想定ユーザ数：2人～6人 IPS 上で四角を5 つ描画、平均トラフィック量計測 クライアント数が増加しても描画に影響は少ない

(3)消費帯域 インクリメンタル検索機能追加による影響 全体のトラフィック量を計測、比較 トラフィック量は1.18 倍しか増加しなかった インクリメンタル絵チャット検索を行った場合と通常の絵チャットのみを行った場合 インクリメンタル検索機能によるオーバヘッドは少ない

定性的評価 検索機能における関連研究との比較 評価項目 絵チャット検索エンジン 類似画像検索 絵チャット 検索機能 描画機能 悪質なユーザ対策機能

定性的評価 評価対象 絵チャット検索エンジン 類似画像検索 絵チャット テキストベースによる検索しかできない 登録情報の信頼性がない 定性的評価　評価対象 絵チャット検索エンジン テキストベースによる検索しかできない 登録情報の信頼性がない 実装例：お絵かき検索 類似画像検索 類似テーマ検索を考慮しない 実装例：Retrievr 絵チャット 検索機能を備えていない 実装例：らくがきチャット

定性的評価 評価結果 適切な絵チャットを、随時発見できるため有用 画像を検索キーワードとした検索 描画途中の検索、描画テーマの変化へ対応可能 定性的評価　評価結果 画像を検索キーワードとした検索 描画途中の検索、描画テーマの変化へ対応可能 テーマの類似度をもとに検索 検索機能 画像を検索キーワードとした検索 描画途中の検索、描画テーマの変化へ対応可能 テーマの類似度をもとに検索 適切な絵チャットを、随時発見できるため有用

IPSの評価 描画コミュニケーションに必要な基本機能 も備えている

まとめ IPS：インクリメンタル絵チャット検索システム の提案と実装 問題点を解決 評価 逐次的な検索 描画スキルに非依存の検索 類似テーマによる検索 評価 描画途中でも検索が可能 画像テーマによる適切な絵チャット検索が可能 重要　かきなおし なにはなしたか　研究に意味があるっていう