符号化のための重み付きジョイントバイラテラルフィルタを用いた 奥行き画像超解像 名古屋工業大学大学院 工学研究科 ＊福嶋 慶繁 松尾 琢也 石橋 豊
背景 -問題- 多視点映像からの自由視点映像合成 圧縮 画像合成
背景 –DIBR- (4)ブレンド (1)ワーピング (5)インペイント (2)抑制フィルタ (3)逆ワーピング Ｚ Ｚ Ｚ Ｚ
奥行き画像符号化の問題 JPEG，MPEGなどの変換符号化 可逆圧縮（png, JPEG-LS, JPEG2000） モスキートノイズの影響大 可逆圧縮（png, JPEG-LS, JPEG2000） 符号化効率は低
ジョイントバイラテラルフィルタによる 変換符号化のノイズ除去（１） １．原画像と奥行き（対象）画像の２画像を使用 ２．原画像の色の違いと距離を重みにしたフィルタ ３．原画像のエッジをキープしたノイズリダクション 拡大画像 カーネルの重み 入力画像 フィルタリング 入力奥行き画像
ジョイントバイラテラルフィルタによる 変換符号化のノイズ除去（２） フィルタ後 奥行き画像 視点変更後 奥行き画像 視点変更後 画像 フィルタ前 量子化したノイズが消せるのなら そもそも，その情報（高周波）は必要ないのでは？
目的 奥行き画像の サブサンプルによる圧縮 超解像による復号 で効率的な圧縮を実現 変換 量子化 符号化 復号 逆変換 間引き 符号化・復号
奥行き画像超解像：従来研究（１） 原画像の位置・色 の重み付き平均 の重み付き平均 J. Kopf et al.: “Joint bilateral upsampling”, ACM Trans. on Graphics, vol. 26, no. 3, p. 96, Jul. 2007.
奥行き画像超解像：従来研究（２） 原画像上で最も 色・位置の近い値 の複製 M. Wildeboer et al.: “Depth up-sampling for depth coding using view information”, in Proc. 3DTV-CON, 2011.
従来手法の問題と提案手法 従来手法の問題 提案手法 ぼけを抑制し，滑らかな変化を実現 キーアイディア 従来手法（１）：線形補間をするため 境界にぼけ，にじみが発生 従来手法（２）：最近傍法のような処理 滑らかな変化を表現不能 提案手法 ぼけを抑制し，滑らかな変化を実現 キーアイディア 大きく離れた値を混合しない 従来手法の（１）と（２）を適応的に
提案手法 １．最も近い値の選択 ２．その値から閾値以上 離れた画素の重みを０に ３．残る値から，色・位置の 重み付き線形補間
実験 実験条件 使用したデータセット：Teddy 真値の奥行き画像を縦横 1/2倍，1/４倍，1/8倍，1/16倍 に縮小して超解像 解像度 450x375pixel 真値の奥行き画像を縦横 1/2倍，1/４倍，1/8倍，1/16倍 に縮小して超解像 実験項目 実験（１）：超解像の精度 従来超解像との比較 実験（２）：符号化効率 JPEG符号化との比較
実験（１） 超解像の精度 従来超解像 との比較
超解像結果（入力） 入力画像 入力奥行き画像 8倍超解像
超解像結果（最近傍） 入力画像
超解像結果（従来１） 入力画像
超解像結果（従来２） 入力画像
超解像結果（提案） 入力画像
実験結果（不正解率） 表：真値と誤差が閾値より大きい画素の割合 |真値ー超解像|＞閾値 不正解率＝ ×１００ 全画素 方法 従来手法１ 従来手法２ 提案手法 閾値=0.5 [%] 7.56 7.26 6.23 閾値=1.0 [%] 4.99 5.27 3.98 |真値ー超解像|＞閾値 不正解率＝ ×１００ 全画素 提案手法の精度がもっとも良い
実験（２） 符号化効率 JPEG符号化 との比較
実験結果（符号化効率） 34 33 32 合成画像のPSNR [dB] 31 30 29 28 27 1 2 3 4 5 6 7 8 9 Proposed x2 Proposed x4 Proposed x8 Proposed x16 x16 x8 x4 x2 JPEG+Filter JPEG+Filter [2] 34 33 JPEG 32 合成画像のPSNR [dB] 31 30 29 奥行き画像の PSNRではない 28 27 1 2 3 4 5 6 7 8 9 bit/pixel
２０倍の高速化 実験結果（計算時間） 従来：符号化＋フィルタリング 提案：サブサンプル＋超解像（ 8倍） 5ms＋25ms = 30ms
むすびと今後の課題 今後の課題 むすび 「奥行き画像の超解像による符号化を提案」 JPEG＋ポストフィルタより，サブサンプル＋超解像 動的に重みを変更することで従来手法よりも精度の高い奥行き画像の超解像を実現 計算速度の向上 奥行き画像を間引いて計算可能 →奥行き推定の劇的な高速化 今後の課題 ノイズに強い超解像方式の対応 ジョイントバイラテラルフィルタに向いた基底の検討