嗜好分類に基づく 個人適応型サッカー映像の 自動生成技術 神戸大学　有木研究室　　窪田進太郎

放送の多様化 現代の映像放送は、従来の地上波・数チャンネルではなく、BS、CS、地上波デジタルなども加わり膨大な数に増大している Ex.）スカイパーフェクTV：数百チャンネル 現在の配信型放送ではなく、放送局から配信された映像を各家庭に保存してそれを視聴するサーバ型放送移行するためのインフラの整備が整ってきている Ex.）DVD・HDDレコーダーの普及

放送の多様化による問題点 撮影チャンネルの増大につれ撮影の人員、機材、コストなど放送局の負担の増大 多チャンネル化による映像資源の不足 ↓ 自動処理でコストを削減でき 人間とは違った処理による 質の高い映像を簡易に生成をできる デジタルカメラワークの提案

デジタルカメラワークとは 高解像度固定映像から、映像処理により画像を切り出し、その位置を連続的に変化させることによって新たな映像を生成する手法

デジタルカメラワークとは 長所 映像の先読みが可能なので、人間のように映像の取りこぼしが起こりにくい 元映像さえあれば何種類もの映像が生成できる 短所 視点がひとつしかなく面白みに欠ける →スイッチング技術の研究 画質の制限 →画質の低下しにくい高解像度化の研究

テレビ映像用にプロカメラマンが撮影した映像を、パン処理とズーム処理を用いて模倣 従来手法と提案手法 テレビ映像用にプロカメラマンが撮影した映像を、パン処理とズーム処理を用いて模倣 誰にでも受け入れられる映像 ↓ 誰にでも最適な映像ではなく、 個人に対して最適な映像の生成

処理の流れ 入力映像 画像処理 状況認識 カメラワーク 出力映像 背景差分 ルール適応 嗜好分類 膨張･縮小処理 イベント認識 フレームサイズ 孤立点除去 内枠位置 領域ラベリング フレーム座標 ボール認識

デジタルカメラワークの概要1 ルーズショット、ミドルショット、タイトショットの3種類のフレームサイズを用いる。以下の図が示すようにミドルショットとズームアウトは相互に連続的に変化し、ズームインのシーンを合間に断続的に挿入することによってカメラワークを実現する。 　　＊このルールは嗜好分類によって可変 ミドルショット ルーズショット タイトショット

デジタルカメラワークの概要1 タイトショット ミドルショット ルーズショット

デジタルカメラワークの概要2 画面内に内枠を設け、その中にボールが収まるようにクリッピング座標を移動させていく。これによりボールの微小な動きには反応しない視聴しやすい映像を生成する。 内枠の位置は基本的には中心に設置するが、状況によって移動させることによってボール以外の注目部も映像に収めることができる。

状況認識 フレームサイズの変化のタイミングのルールを設け、それに当てはまるときにフレームサイズを変化させる ルーズショット→ミドルショット ゴール前 ボール付近に選手が密集している時 ミドルショット→ルーズショット ボール付近にロングパスなどでボールが高速に長距離動く時 選手が散開している時 タイトショット ボールの取り合いなどでボールがほとんど動かない状況

状況認識 ルーズショット→ミドルショットの例 →ゴール前に選手が集まっている例

イベント認識 ボール座標が一定時間変化しないようなイベント、すなわち、 フリーキック コーナーキック スローイン ゴールキック ペナルティキック を検出する。ボール座標の継続時間と、ボール座標、オブジェクトとの位置関係によって検出する。 Ex) ボール座標・コーナースポット、選手の集団が比較的近くに存在　→　コーナーキック イベントごとにフレームサイズ、内枠の位置を定めておき、それを適応する。 Ex)コーナーキックであればカメラがミドルショットでゴール前を押さえ、ゴールが入るように内枠を上下に移動

イベント認識 イベント認識の例：スローイン ボールの座標：サイドライン 選手の密集地：ボールから離れている ↓ ルーズショットで 内枠を移動

生成映像

個人適応技術 カメラワーク変化パラメータの内、4種類を変化させる→ズーム速度、ズーム処理、画面サイズ、イベント評価 ①ズーム速度：デフォルトは15フレームでそれを変化 ②ズーム処理：三種類の解像度の比率を変化 ③画面サイズ：デフォルトは240*180のものを変化 ④イベント評価：イベントに関して特別な処理を行うかどうか 例）それぞれのプレイを見るのではなく、高解像度映像に近い映像がみたい 　　　　→ズーム速度：DOWN（15→24） ズーム処理：高解像度の頻度をUP 画面サイズ：UP（320＊240） イベント評価：なし

嗜好分類 個人適応技術に用いたパラメータの入力状況から個人嗜好を6つに分類 望遠：ルーズショットを多用して全体を撮影 個人：タイトショットを多用して全体を撮影 イベント：イベントを重視した撮影 瞬間：望遠と個人の中間の撮影 オフェンス：攻撃側を重視した撮影 ディフェンス：防御側を重視した撮影

嗜好分類 視聴者の生成映像選択による嗜好の学習

嗜好分類 望遠映像

AHP法を用いた映像の評価① AHP法（Analytic Hierarchy Process) 不確定な状況や多様な評価基準における 　　　不確定な状況や多様な評価基準における 　　　意思決定手法であり、評価基準に 　　　個人の嗜好を反映させることができる。 評価項目 ズーム処理 パン処理 ショットサイズ ショット持続時間 画質 試合の流れ 評価対象 提案手法映像（適応前） 高解像度固定映像 TV映像

実験結果・考察① フリースロー以外は認識率90%以上 試合の流れを把握することが最重要 ズーム処理の付与 →映像の基本構成を備え、TV映像と各嗜好の評価の割合が類似 ズーム処理の低評価 →ズーム処理の他基準への影響 フリースロー以外は認識率90%以上 試合の流れを把握することが最重要 ズーム処理の付与 →映像の基本構成を備え、TV映像と各嗜好の評価の割合が類似 ズーム処理の低評価 →ズーム処理の他基準への影響

実験結果・考察② 個人の嗜好に大きくかかわるズーム処理などをなくすことができることにより、ショットサイズ、ショット持続時間の評価向上、 広角を要求する被験者が多かったために画質評価も若干向上 試合の流れに関しては双方変わらず TV映像と比較して、プロの技術が有効なズーム処理・パン処理に関しては劣るものの、個人によって好みが変わるショットサイズ・ショット持続時間には有効

課題 画質の大幅な劣化に対して、質の下がりにくいデジタルズーム 高度なボール追従技術 状況に左右されないイベント認識 主観的な評価だけではなく、TV映像との比較にカメラワークをどれだけ再現できているかという客観的な評価 全景映像を用いての映像生成 より詳細なルールの設定 ズーミング、パンニングに、スイッチングを追加 各評価項目の重みから個人の嗜好を逆算