ライフログデータとしての笑顔の蓄積システムの提案 wataru 環境情報学部 B2 親：hiroponさん，guroさん
概要 笑顔を検知し、新たなライフログデータとして笑顔データを蓄積するシステムを提案する
背景 笑顔には良い効果が多々ある 健康によい ポジティブになれる 周囲をしあわせに 笑顔をつくることで人間は幸せになれる
笑顔の検知を活用した研究 Happiness Counter 笑顔認識させるゲーミフィケーションを利用したシステムの提案 笑顔は人を幸せにするのか？笑顔促進支援システム Hitomi Tsujita, Jun Rekimoto, “HappinessCounter:Smile-Encouraging Appliance to Increase Positive Mood”, ACM CHI2011, alt.chi. 笑顔認識させるゲーミフィケーションを利用したシステムの提案 Hori, Yukari, et al. "Communication pedometer: a discussion of gamified communication focused on frequency of smiles." Proceedings of the 4th Augmented Human International Conference. ACM, 2013.
問題意識 笑顔を蓄積し他のライフログデータと組み合わせて活用する研究が進んでいない ライフログビデオから顔表情認識を用いて印象的なシーンを抽出 Nomiya, Hiroki, Atsushi Morikuni, and Teruhisa Hochin. "Impressive Scene Detection from Lifelog Videos by Unsupervised Facial Expression Recognition."Software Engineering, Artificial Intelligence, Networking and Parallel/Distributed Computing (SNPD), 2013 14th ACIS International Conference on. IEEE, 2013. 人間の表情を活用するライフログ閲覧 Takai, Hiromu. "人間の表情を活用するライフログ閲覧." WISS2013, 2013.
目的 笑顔データとほかのライフログデータを組み合わせたものを用いて活用する
活用例 さまざまなライフログデータと笑顔データを組み合わせることでデータにタグ付けをする 特定の行動における笑顔頻度を分析し，頻度が低い場合に，笑顔をつくらせる
今回やること ライフログデータとして笑顔を蓄積
笑顔をとる方法 PCによる笑顔検知 スマートフォンによる笑顔検知 Google Glassによる笑顔検知
本研究における手段 顔検出 笑顔判定 ライフログデータとして 記録・蓄積
笑顔検出 学習させた顔識別器により顔領域を抽出
笑顔判定 顔領域内で学習させた笑顔識別器により笑顔検出を行う 連続したフレームで笑顔検出された場合にスクリーンショットを撮影 1/4秒以内にもう一度検出された場合は連続された笑顔とみなす
記録 笑顔データとしてWeb画面スクリーンショットをローカルフォルダに保存・蓄積
実装環境 PC：MacBookAir カメラ：内蔵Webカメラ 使用言語：C++ ライブラリ：OpenCV
システム構成図
デモ
使ってもらった得た意見 笑顔検出はおおむねできていたと思うが、PCとの距離が遠いと笑顔が検出されていないときもあった システムを使用する場合に自分が笑顔かどうか気になって、ついつい笑顔をつくってしまう
今後の展望 他のライフログデータと対応させることによる活用 笑顔以外の表情の収集 収集したデータをデータベースに蓄積 評価をとる 笑顔検出精度の評価 ユーザにとって有益なライフログデータを収集できたか
今回学習したこと OpenCVライブラリの使い方 C++を使った実装力 笑顔検知の条件決定 突然のPCクラッシュ 実験のくりかえし メンタルの強さとしぶとさを学ぶ
まとめ ライフログデータとして笑顔を検知し蓄積するシステムを提案した