東京都立産業技術高等専門学校 専攻科1年 田邉 亮

Presentation on theme: "東京都立産業技術高等専門学校 専攻科1年 田邉 亮"— Presentation transcript:

1 東京都立産業技術高等専門学校 専攻科1年 田邉 亮
長岡技術科学大学 オープン・ハウス 東京都立産業技術高等専門学校 専攻科1年　田邉　亮

2 目的 OpenCVの基本的な使用方法を習得する OpenCVを用いてパノラマ合成を行うことで、画像処理の基本的な技術や考え方を学ぶ

3 背景 パノラマ合成 Googleストリートビュー カメラのパノラマ機能 気象

4 日程（8/22～26） 1日目 OpenCVの基本的なプログラム作成 2日目 OpenCVを用いたパノラマ合成 3日目 パノラマ写真の評価
4・5日目 プレゼン作成・発表

5 パノラマ合成 パノラマ合成 複数の写真（動画のフレーム）をつなぎ合わせて、広い範囲を写した写真にする 「ブロックマッチング」
　　2つの画像を重ねながら少しずつずらし、 　　最も似ている位置を合成位置にする

6 特徴量を移動させながら比較して、最も似た
パノラマ合成 SSD(Sum of Squared Difference) 画像1 画像2 縦方向の輝度値の総和→横方向の特徴量 横方向の輝度値の総和→縦方向の特徴量 特徴量を移動させながら比較して、最も似た 形になる位置を合成位置とする

7 重なった部分の2乗誤差の総和が最小になる位置を合成位置にする
パノラマ合成 SSD(Sum of Squared Difference) 画像1の特徴量 画像2の特徴量 合成位置m 重なった部分の2乗誤差の総和が最小になる位置を合成位置にする

8 パノラマ合成 ※SSDでは・・・ RGB画像→グレースケール画像 ずらし量の最大値を設定する 適切な位置の2乗誤差の総和よりも
画像1の特徴量 画像2の特徴量 適切な位置の2乗誤差の総和よりも 不適切な位置の2乗誤差の総和のほうが 小さくなる可能性がある 適切な合成位置 不適切な合成位置

9 パノラマ写真の評価 パノラマ合成が成功する場合と失敗する 場合について、実際に写真を撮り、考察

10 パノラマ写真の評価 校舎・上移動 　　　　　　　　　　　　　　　　　　　　　　　合成結果 うまく合成できた　 特徴量のグラフを確認 校 舎 カメラ ・・・ ・・・

11 パノラマ写真の評価 校舎・上移動 縦方向の特徴量から 合成位置を検出している 縦方向の特徴量 横方向の特徴量 横方向の輝度値の総和
縦方向の輝度値の総和 ━画像1 ━画像2 ━画像1 ━画像2 縦方向の移動 横方向の移動 縦方向の特徴量から 合成位置を検出している 画像 画像2

12 パノラマ写真の評価 白い壁・平行移動 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　合成結果 上にずれが発生しているのはおかしい カ メ ラ 理想

13 パノラマ写真の評価 白い壁・平行移動 縦方向の特徴量により上にずれが発生している きれいな波形ではないが、横方向の合成位置は検出できている
横方向の特徴量 横方向の輝度値の総和 縦方向の輝度値の総和 ━画像1 ━画像2 ━画像1 ━画像2 縦方向の移動 横方向の移動 縦方向の特徴量により上にずれが発生している きれいな波形ではないが、横方向の合成位置は検出できている

14 パノラマ写真の評価 コーン・回転移動 奥 コーン 手前 手前と奥のコーンの移動速度が同じ カ メ ラ

15 移動しても変わらないため、うまく合成できる
パノラマ写真の評価 コーン・回転移動 合成結果 手前と奥のコーンの位置関係は、カメラが 移動しても変わらないため、うまく合成できる

16 パノラマ写真の評価 コーン・平行移動 手前と奥のコーンの移動速度に差がある 手前のコーン・・・速い 奥のコーン・・・遅い カ メ ラ 奥

17 パノラマ写真の評価 コーン・平行移動 合成結果 移動速度に差があると、手前と奥のコーンの 位置関係にも差ができるため、合成できない

18 パノラマ写真の評価 校内・360度

19 まとめ 基本的なプログラム作成を通して、OpenCVの使用方法を習得できた