一方向画像からの ３Dモデル生成 電気電子工学科　白井研究室 T215049　田原　大輝

研究背景 1/2 ３Dプリンタが普及し、３Dモデルを簡単に作成できるようになってき ている。 研究背景　1/2 ３Dプリンタが普及し、３Dモデルを簡単に作成できるようになってき ている。 http://www.nihonbinary.co.jp/Products/3DModeling/Makerbot/Replicator5th.html http://www.3dfree.jp/3d/3dm_mc.html

研究背景 2/2 実際に撮影した３Dモデルを作成する方法としては、 様々な角度から複数の画像を撮影して作成されるものが一般的である。 研究背景　2/2 実際に撮影した３Dモデルを作成する方法としては、 　様々な角度から複数の画像を撮影して作成されるものが一般的である。 https://drone.tsukuba.co.jp/kusatsu-3D-photograph.html

研究目的 一方向からの画像のみで３Dモデルを作成する。 その際、３Dモデルの欠損部分をデータベースの３Dモデルにより補 完する。

使用環境 Kinect マイクロソフト社から発売したジェスチャー、音声認識によって操作 できるデバイス 　マイクロソフト社から発売したジェスチャー、音声認識によって操作 　できるデバイス 　本研究ではKinect　XBOX360　を使用し、深度データ(距離データ） 　とRGB画像を撮影する

手順 1．KinectでRGB画像、深度の点群データを取得する 2．点群データを３Dメッシュモデルに変換する 3．足りない点群データをデータベースのモデルより補完する 4．作成したモデルを３Dプリンターで出力する

点群(ポイントクラウド）データとは 点群データとはコンピュータで扱う点の集合のこと。 空間は3次元であり、直交座標 (x, y, z) で表現されることが多い。 http://www.open3d.org/docs/index.html

手順1 KinectでRGB画像、深度データを取得 本研究では、raspberry piでKinectを使用し、RGB画像と 　深度データを取得する。

手順2 点群データを３Dメッシュモデルに変換する 1/2 なぜ点群データをメッシュモデルに変換するのか 　→点群データのままでは面としてつながっている情報がないため 　　　３Dモデルとして使用できないため メッシュ前のモデル メッシュ後のモデル

手順2 点群データを３Dメッシュモデルに変換する 2/2 本研究では、点群データ可視化ソフトとしてMeshLabを使用する MeshLab 　３Dデータの編集、変換するフリーソフト

手順3 足りない点群データを別の３Dモデルを使って補完する 1/4 点群データの補完方法について 本研究では、YOLOを用いて撮影したRGB画像から補完する物体を 　識別し、データベースから取得する YOLO 　リアルタイム画像検出のアルゴリズム https://pjreddie.com/darknet/yolo/

手順3 足りない点群データを別の３Dモデルを使って補完する 2/4 YOLOを使って撮影したRGB画像の物体を認識する

手順3 足りない点群データを別の３Dモデルを使って補完する 3/4 YOLOにより検出した物体をデータベースから取得する

手順3 足りない点群データを別の３Dモデルを使って補完する 4/4 深度データから取得したモデルを補完する

手順4　３Dプリンターで出力する

問題点 Kinectの深度取得の際に、背面を統一するために後ろに板を設置し たり、深度情報がとりやすい距離や角度を調整する必要があり、 　手間がかかる Kinectによる深度データの取得に欠損部分が多く、モデルの80％に 補完が必要になってしまう

展望 深度データをより細かな値で撮影できるようにKinectの深度データの 取得方法を考える 検出した物体をデータベースから持ってくる際に、取得したモデルの 形状に近い補完モデルを区別できるように工夫する

以上で発表を終わります ご清聴ありがとうございました

関連研究 一方向から見た 2Dの画像を３Dにする 　「3D Object Reconstruction from a Single Depth View with　　 　　Adversarial Learning」 　https://arxiv.org/pdf/1708.07969.pdf 2D画像からリアルな3D顔モデルを構築 　https://shiropen.com/2016/12/05/21760

参考文献 [1] uepon (2016) Raspberry PiでKinectを使う https://uepon.hatenadiary.com/entry/2016/04/29/1655452018/12/10 2018年12月11日 20時44分閲覧 [2] MeshLab (2016) http://www.meshlab.net/ [3]Yobi３D https://www.yobi3d.com/q/people 2018年12月13日 13時40分閲覧 [4] KerasのYOLO-v3を動かしたった(2018) https://qiita.com/yoyoyo_/items/10d550b03b4b9c175d9c 2018年12月13日 22時32分閲覧

データベースについて 本研究では、あらかじめ物体の補完用モデルを検出物体につき１つ フォルダに用意した。