パノラマ合成 富山商船高等専門学校 情報工学科４ 年 富田 大志 長岡技術科学大学オープンハウス テーマ：ロボット実践コース③－映像信号処 理－ 研修期間 2009 年 8 月 17 日～ 21 日.

Presentation on theme: "パノラマ合成 富山商船高等専門学校 情報工学科４ 年 富田 大志 長岡技術科学大学オープンハウス テーマ：ロボット実践コース③－映像信号処 理－ 研修期間 2009 年 8 月 17 日～ 21 日."— Presentation transcript:

1 パノラマ合成 富山商船高等専門学校 情報工学科４ 年 富田 大志 長岡技術科学大学オープンハウス テーマ：ロボット実践コース③－映像信号処 理－ 研修期間 2009 年 8 月 17 日～ 21 日

2 目的 ・ MATLAB を用いてパノラマ写真を作る。 ・パノラマ合成が失敗する場合の原因と、 それに対する対策を考える。 ・パノラマ合成の技術を用いてどんなこと ができるのか考察する。

3 パノラマ合成の手法 ①パノラマ合成する画像（もしくは動画）を取 り込む ②グレースケール変換 ③縦方向、横方向の輝度の総和を用いて移動量 を調べる ④判明した移動量の分だけ画像をずらして貼り 付け 以上のことを繰り返すとパノラマ写真がで きる

4 移動量の測定 1 右の図は、横方向の 移動量を測定するため に縦に輝度の総和をとっ ている。

5 移動量の測定 2 ２つの画像の輝度の総和の比較をする。 画像を水平方向（もしくは垂直方向）に ずらしていき、差の２乗の総和がもっと も 小さくなる値を移動量とする。 比較

6 合成結果 求めた移動量から２枚 の画像を合成した。 元画像

7 失敗例 車上から撮影した動画から合成した結果 カメ ラ 理想 カメ ラ 実際 画像の真ん中の部分だけを使用すれば解決？

8 失敗原因 後ろにある校舎はほとんど動いていないのに 前方にある車は大きく動いている。 100 フレーム目 105 フレーム目

9 パノラマ合成に対する考察 ・ 輝度の総和を用いてパノラマ合成をし ているので、画像に特徴となる点がなく、 似たような光景が続く場合、きれいにパ ノラマ合成できないのではないか。 ・直前の画像からの移動量が大きすぎる と 合成が失敗するのではないか。 ・明るさが急激に変わるような場合は合 成ができないのではないか。

10 検証 1 似たような光景が連続する動画を、今回作成 したプログラムを用いてパノラマ合成した。 動画

11 検証結果 合成に失敗した。動画のどの場面においても輝度の総和が 同じような値となるため、貼り付け位置が定まらなかった のではないかと考えられる。

12 検証結果 その２ 手法を変えて POC という手法でパノラマ 合成した結果、合成はうまくいった。 手法を変えればうまくいく場合が あるということがわかった。

13 検証 2 直前の画像からの移動量が大きすぎると 失敗するのではないかということを検証 するため、３枚の画像を用いるところを 2 枚の画像でパノラマ合成をした。 この画像を飛ばす

14 検証結果 中間を飛ばして合成した結 果 3 枚使って合成した結果 今回、画像の横幅（もしくは縦幅）の 4 分の 3 以上の距離を移動 した場合は比較回数が減り、計算結果の信頼性が低くなると考 えたため、その場合の計算結果を貼り付け位置の計算に用いな かった。 よって 4 分の 3 以上の移動量となる場合、合成に失敗する。 今回失敗したのはそのせいであると考えられる。

15 検証 2 その２ 動画のフレーム読み込み間隔を大きくするこ とに よって移動量を大きくし、パノラマ合成をし て検証する。 動画

16 検証結果 フレーム読み込み間隔「 70 」の場合 フレーム読み込み間隔「 1 」の場合

17 検証 3 明るさが急に変わるような場合、合成に 失敗するのではないか、ということを検 証するために合成する画像の片方の輝度 を変えて合成した。 使用する元画像

18 検証結果 その１ 片方の輝度を 2 倍したとき 片方の輝度を 2 分の 1 にしたとき

19 検証結果 その 2 片方の輝度を 1.5 倍したとき他の画像で 1.5 倍を試したとき 「 ○○ 倍までなら大丈夫」とは一概には言えない

20 失敗しないようにする対策 検証１から 合成する画像が変化に乏しく、特徴量が少 ないと、移動量の推定がうまくいかないた め、 なるべく変化に富んだ画像を用いる。 変化に乏しく、失敗しやすい変化に富んでいる

21 失敗しないようにする対策 引き続き検証１から 同じような光景が続くような画像では この手法ではパノラマ合成が失敗しや すい。 例 1 枚目 2 枚目 縦方向の輝度 横方向の輝度

22 失敗しないようにする対策 引き続き検証１から ある手法で失敗した場合は別の手法を用 いて合成してみる。いくつかの手法を試し てみることが必要である。 手法を変えると・・・

23 失敗しないようにする対策 検証２から 合成しようとしている画像間の移動量が 大きすぎる場合、合成に失敗するので、 撮影するときはカメラを動かし過ぎない ようにする。 また、動画の場合はフレーム読み込み間 隔をなるべく小さな値にする。 少しずつ動かす

24 失敗しないようにする対策 検証３から 合成しようとする画像にもよるが、２つ の画像で明るさが違いすぎると合成に失 敗するので、 なるべく明るさを均一にして撮影、合成 する。 1 枚目 2 枚目

25 パノラマ合成の応用 パノラマ合成の技術を用いて実現できそうな もの ・人の目線での地図の作成 ・体内の消化器官の立体図の作成 ・常時 360° 監視システム

26 まとめ 今回用いたパノラマ合成の手法には、う まく合成するためにさまざまな制約があ り、きれいなパノラマ写真を合成するに は、それらに対する対策をとらなければ ならないということがわかった。

27 感想 屋外で撮影した 360° のパノラマ合成がうまく いって感動した。 今後機会があれば、その他のパノラマ合成の手 法についても調べてみたいと思う。