東京都立産業技術高等専門学校 専攻科1年 田邉 亮 長岡技術科学大学 オープン・ハウス 東京都立産業技術高等専門学校 専攻科1年 田邉 亮
目的 OpenCVの基本的な使用方法を習得する OpenCVを用いてパノラマ合成を行うことで、画像処理の基本的な技術や考え方を学ぶ
背景 パノラマ合成 Googleストリートビュー カメラのパノラマ機能 気象
日程（8/22～26） 1日目 OpenCVの基本的なプログラム作成 2日目 OpenCVを用いたパノラマ合成 3日目 パノラマ写真の評価 4・5日目 プレゼン作成・発表
パノラマ合成 パノラマ合成 複数の写真（動画のフレーム）をつなぎ合わせて、広い範囲を写した写真にする 「ブロックマッチング」 2つの画像を重ねながら少しずつずらし、 最も似ている位置を合成位置にする
特徴量を移動させながら比較して、最も似た パノラマ合成 SSD(Sum of Squared Difference) 画像1 画像2 縦方向の輝度値の総和→横方向の特徴量 横方向の輝度値の総和→縦方向の特徴量 特徴量を移動させながら比較して、最も似た 形になる位置を合成位置とする
重なった部分の2乗誤差の総和が最小になる位置を合成位置にする パノラマ合成 SSD(Sum of Squared Difference) 画像1の特徴量 画像2の特徴量 合成位置m 重なった部分の2乗誤差の総和が最小になる位置を合成位置にする
パノラマ合成 ※SSDでは・・・ RGB画像→グレースケール画像 ずらし量の最大値を設定する 適切な位置の2乗誤差の総和よりも 画像1の特徴量 画像2の特徴量 適切な位置の2乗誤差の総和よりも 不適切な位置の2乗誤差の総和のほうが 小さくなる可能性がある 適切な合成位置 不適切な合成位置
パノラマ写真の評価 パノラマ合成が成功する場合と失敗する 場合について、実際に写真を撮り、考察
パノラマ写真の評価 校舎・上移動 合成結果 うまく合成できた 特徴量のグラフを確認 校 舎 カメラ ・・・ ・・・
パノラマ写真の評価 校舎・上移動 縦方向の特徴量から 合成位置を検出している 縦方向の特徴量 横方向の特徴量 横方向の輝度値の総和 縦方向の輝度値の総和 ━画像1 ━画像2 ━画像1 ━画像2 縦方向の移動 横方向の移動 縦方向の特徴量から 合成位置を検出している 画像1 画像2
パノラマ写真の評価 白い壁・平行移動 合成結果 上にずれが発生しているのはおかしい カ メ ラ 理想
パノラマ写真の評価 白い壁・平行移動 縦方向の特徴量により上にずれが発生している きれいな波形ではないが、横方向の合成位置は検出できている 横方向の特徴量 横方向の輝度値の総和 縦方向の輝度値の総和 ━画像1 ━画像2 ━画像1 ━画像2 縦方向の移動 横方向の移動 縦方向の特徴量により上にずれが発生している きれいな波形ではないが、横方向の合成位置は検出できている
パノラマ写真の評価 コーン・回転移動 奥 コーン 手前 手前と奥のコーンの移動速度が同じ カ メ ラ
移動しても変わらないため、うまく合成できる パノラマ写真の評価 コーン・回転移動 合成結果 手前と奥のコーンの位置関係は、カメラが 移動しても変わらないため、うまく合成できる
パノラマ写真の評価 コーン・平行移動 手前と奥のコーンの移動速度に差がある 手前のコーン・・・速い 奥のコーン・・・遅い カ メ ラ 奥
パノラマ写真の評価 コーン・平行移動 合成結果 移動速度に差があると、手前と奥のコーンの 位置関係にも差ができるため、合成できない
パノラマ写真の評価 校内・360度
まとめ 基本的なプログラム作成を通して、OpenCVの使用方法を習得できた