個人適応型サッカー映像の 自動生成技術 神戸大学　有木研究室　　窪田進太郎

放送の多様化 現代の映像放送は、従来の地上波・数チャンネルではなく、BS、CS、地上波デジタルなども加わり膨大な数に増大している Ex.）スカイパーフェクTV：数百チャンネル 現在の配信型放送ではなく、放送局から配信された映像を各家庭に保存してそれを視聴するサーバ型放送移行するためのインフラの整備が整ってきている Ex.）DVD・HDDレコーダーの普及

放送の多様化による問題点 撮影チャンネルの増大につれ撮影の人員、機材、コストなど放送局の負担の増大 多チャンネル化による映像資源の不足 ↓ 自動処理でコストを削減でき 人間とは違った処理による 質の高い映像を生成をできる デジタルカメラワークの提案

デジタルカメラワークとは 高解像度固定映像から、映像処理により映像を切り出し、その位置を連続的に変化させることによって新たな映像を生成する手法

テレビ映像用にプロカメラマンが撮影した映像を、パン処理とズーム処理を用いて模倣 従来手法と提案手法 テレビ映像用にプロカメラマンが撮影した映像を、パン処理とズーム処理を用いて模倣 ↓ 誰にでも最適な映像ではなく、 個人に対して最適な映像の生成

処理の流れ 入力映像 画像処理 状況認識 カメラワーク 出力映像 背景差分 ルール適応 個人適応 膨張･縮小処理 イベント認識 フレームサイズ 孤立点除去 内枠位置 領域ラベリング フレーム座標 ボール認識

デジタルカメラワークの概要1 ズームイン、ミドルショット、ズームインの3種類のフレームサイズを用いる。以下の図が示すようにミドルショットとズームアウトは相互に連続的に変化し、ズームインのシーンを合間に断続的に挿入することによってカメラワークを実現する。 ミドルショット ズームアウト ズームイン

デジタルカメラワークの概要1 タイトショット ミドルショット ルーズショット

デジタルカメラワークの概要2 画面内に内枠を設け、その中にボールが収まるようにクリッピング座標を移動させていく。これによりボールの微小な動きには反応しない視聴しやすい映像を生成する。 内枠の位置は基本的には中心に設置するが、状況によって移動させることによってボール以外の注目部も映像に収めることができる。

個人適応技術 カメラワーク変化パラメータの内、4種類を変化させる→ズーム速度、ズーム処理、画面サイズ、イベント評価 例）それぞれのプレイを見るのではなく、高解像度映像に近い映像がみたい 　　→ズーム速度：DOWN、 ズーム処理：高解像度の頻度をUP 画面サイズ：UP イベント評価：なし

状況認識 フレームサイズの変化のタイミングのルールを設け、それに当てはまるときにフレームサイズを変化させる。 ズームアウト→ミドルショット ゴール前 選手が密集している時 ミドルショット→ズームアウト ロングパスなどでボールが高速に長距離動く時 選手が散開している時 ズームイン ボールの取り合いなどでボールがほとんど動かない状況

イベント認識 ボール座標が一定時間変化しないようなイベント、すなわち、 フリーキック コーナーキック スローイン ゴールキック ペナルティキック を検出する。ボール座標の継続時間と、ボール座標、オブジェクトとの位置関係によって検出する。 Ex) ボール座標・コーナースポット、選手の集団が比較的近くに存在　→　コーナーキック イベントごとにフレームサイズ、内枠の位置を定めておき、それを適応する。 Ex)コーナーキックであればカメラがミドルショットでゴール前を押さえ、ゴールが入るように内枠を上下に移動

提案手法映像

AHP法を用いた映像の評価 評価対象 評価項目 AHP法（Analytic Hierarchy Process) 　　　不確定な状況や多様な評価基準における 　　　意思決定手法であり、評価基準に 　　　個人の嗜好を反映させることができる。 評価対象 提案手法映像 従来手法映像 高解像度固定映像 TV映像 評価項目 ズーム処理 パン処理 ショットサイズ ショット持続時間 画質 試合の流れ

実験結果・考察 フリースロー以外は認識率90%以上 試合の流れを把握することが最重要 ズーム処理の付与 →映像の基本構成を備え、TV映像と各嗜好の評価の割合が類似 ズーム処理の低評価 →ズーム処理の他基準への影響

課題 画質の大幅な劣化に対して、質の下がりにくいデジタルズーム 状況に左右されないイベント認識 主観的な評価だけではなく、TV映像との比較にカメラワークをどれだけ再現できているかという客観的な評価 全景映像を用いての映像生成 より詳細なルールの設定

参考文献(1) 大野義典, 三浦純, 白井良明, “サッカーゲームにおける選手とボールの追跡,” CVIM 114-7, 1999. 宮森恒, 越後富夫, 飯作俊一, “短時間動作記述によるスポーツ映像の表現と検索方式の検討,” 知能情報メディアシンポジウム, S-9, 1999. 新田直子, 馬場口登, 北橋忠宏, “放送型スポーツ映像の構造を考慮した重要シーンへの自動アノテーション付け,” 信学論 (D-II), vol.J84-D-II, no.8, pp.1838-1847, Aug.2001. 新田直子, 馬場口登, “放送型スポーツ映像の意味内容獲得のためのストーリー分割法,” 信学論 (D-II), vol.J86-D-II, no.8, pp.1222-1233, Aug.2003. 瀧剛志, 長谷川純一, “チームスポーツにおける集団行動解析のための特徴量とその応用,” 信学論 (D-II), vol.J81-D-II, no.8, pp.1802-1811, Aug.1998. 高橋正樹, 三須俊彦, 合志清一, “オブジェクト抽出技術のスポーツ番組への応用,” SLDM 111-1, 2003. 藤村光, 杉原厚吉, “優勢領域に基づいたスポーツチームワークの定量的評価,” 信学論(D-II), vol.J87-D-II, no.3, pp.818-828, Mar.2004. 大西正, 輝泉正夫, 福永邦雄, “デジタルカメラワークを用いた自動映像生成,” 画像の認識・理解シンポジウム (MIRU2000), pp.I-331-I-336, Jul.2000. 前田英作, 高橋裕子, 石井健一郎, “環境変動にロバストな物体有無判定法,” 信学会(D-II), vol.J74-D-II, no.12, pp.1731-1740, Dec.1991. 田中健二, 鈴木健治, 佐藤正人, 荒川佳樹, “高精細度映像(WHD : Wide/Double HD)伝送システム,” 信学会(D-II), vol.J84-D-II, no.6, pp.1094-1101, Jun.2001.

参考文献(2) 坂木和則, 横田健一郎, 大野啓司, 鈴木康平, 有澤博, “多視点テレビ放送を用いた映像内のオブジェクト位置の認識と追跡,” 信学会(D-I), vol.J87-D-I, no.2, pp.175-187, Feb.2004. 宮内進吾, 馬場口登, 北橋忠宏, “テキスト・音声・画像の協調的処理による放送型スポーツ映像におけるハイライト検出とインデクシング,” 信学会(D-II), vol.J85-D-II, no.11, pp.1692-1700, Nob.2002. 三須俊彦, 苗村昌秀, 境田慎一,鄭文涛, 金次保明, “複数情報の融合によるサッカー選手のロバストな追跡法,” 信学技報, PRMU2001-67, 2001. 越後富夫, 宮森恒, 飯作俊一, “GMRFとオプティカルフローを利用したサッカー映像のオブジェクト抽出,” 画像の認識・理解シンポジウム(MIRU’98), TP3-05, 1998. 瀧剛志, 松本貴之, 長谷川純一, 福村晃夫, “サッカー映像からのチームワーク評価方法の検討,” 信学技報, PRMU96-10, May.1996. 松本貴之, 瀧剛志, 長谷川純一, “団体球技のゲーム分析のための集団働き特徴量とその応用,” 情処学研報, CVIM106-17, pp.123-130, July.1997. 吉田貴男, 小沢慎治, “サッカー中継のシーン解析,” 第2回画像センシングシンポジウム, pp.183-188, 1996.