ビッグデータとオープンデータ 情報社会とコンピュータ 第１２回
情 報 爆 発（１） 今，大量の“情報”が生成されている 2013年に地球上で生成された情報は 4兆4000億GB と推測 ↓ ↓ 2020年には，44兆GB と予想 と言われても… 2013年に地球上で生成されたデータは4.4ZB、ほとんどがダークマター http://internet.watch.impress.co.jp/docs/news/20140421_645394.html 急増するセンサーにより、デジタル ユニバースが拡大 http://japan.emc.com/about/news/press/japan/2014/20140410-1.htm
情 報 爆 発（２） YouTubeに1分間でアップロードされる動画 2007年 6時間分 2008年 13時間分 2007年 6時間分 2008年 13時間分 2013年 100時間分以上 YouTube開設から8年、現在は1分間に4日分以上の動画がアップロードされる http://internet.watch.impress.co.jp/docs/news/20130520_600019.html
情 報 爆 発（３） 背景 SNSとかいろいろあるが… 人間だけが情報を生成しているわけではない “モノ”が生成している センサー
情 報 爆 発（４） “モノ（センサー）”がインターネットに接続され，情報を送り出す モノのインターネット IoT Internet Of Things インターネットには情報があふれている ヒト＋モノ
情 報 爆 発（５） あふれる情報 ほとんどが活用されていないのが現状 ダークマター（暗黒物質） 膨大な情報をどう使うのか？
ビ ッ グ デ ー タ
ビッグデータとは（１） 大量のデータ “ヒト”が生成 文字，画像， … 多様なデータ “モノ”が生成 センサー（位置情報，温度，…）
ビッグデータとは（２） 特徴 大量のデータ（Volumue） 多様なデータ（Variety） 発生速度が速い（Velocity） もちろん，すべての特徴を有するものだけではない
ビッグデータとは（３） 大量のデータをすべて処理する能力（コンピュータのパワー）がなかった 一部だけを取り出して処理 サンプリング 処理に時間がかかる 月末にまとめて処理（バッチ処理） データが生成されてから，使われるまでに時間がかかる
ビッグデータとは（４） 強力なコンピュータ 大量のデータを全件処理可能 迅速に処理可能 発生した情報を直ぐに処理し，その結果を活用できる データが“新鮮”な うちに，活用できる
ビッグデータとは（５） 従来の手法（特にデータベース）では，多様なデータは扱えない 新しい技術・手法
ビッグデータとは（６） ビッグデータだから，“見えてくること” 少ないデータからでは，分からないこと 従来は処理できないデータ あっても，“存在しない”データ 新たなビジネス
ビッグデータ活用事例
Google インタネットの検索 インターネット上の大量の情報を処理 典型的な事例
次世代自動販売機・JR東（１） http://www.acure-fun.net/acure/next_vendingmachine/index.html なぜ，“次世代”なのか
次世代自動販売機・JR東（２）
次世代自動販売機・JR東（３） http://itpro.nikkeibp.co.jp/article/COLUMN/20120123/379107/
次世代自動販売機・JR東（４） いろいろな情報 周辺の情報 天候，時間帯 購買客の情報 年代，性別 ちなみに，この自販機は高崎駅にある おすすめ商品
カーナビデータによる 道路危険箇所の解消（１） 埼玉県庁https://www.pref.saitama.lg.jp/a0002/room-seisaku/seisaku-025.html 通信機能のあるカーナビからの情報 急ブレーキが多い場所が分かる
カーナビデータによる 道路危険箇所の解消（２） このような対策で，人身事故が２割減
位置情報は個人情報？（２） 第７回 モバイル空間統計（NTTドコモ） https://www.nttdocomo.co.jp/corporate/disclosure/mobile_spatial_statistics/ いつ，どこに何人いるか 災害時の帰宅困難者数の予想など “一人ひとりを示すデータではなく、集団の人数のみをあらわす安全な人口統計情報に加工したもの” 非識別化・集計・秘匿の各処理
Ｄ Ｎ Ａ（１） 第７回 遺伝子情報 究極の個人情報と言われる 漏えいなどがあっても変更できない
デ ー タ の 収 集
どうやってデータを集めるの（１） 既に持っている その活用 問題はデータがコンピュータで処理できる形か？ 紙に印刷してある，だと…
どうやってデータを集めるの（２） 自分（自社）で集める 意識させずに集める 検索のキーワード Google Trends より的確な結果 ポイントカードなど 顧客の属性と購入した商品を結び付ける https://www.google.com/trends/topcharts?hl=ja
どうやってデータを集めるの（３） 買う（売る） 日本でのデータ再販について https://blog.twitter.com/ja/2015-12 日本でのTwitterデータの再販のパートナーであるNTTデータさんとの関係は、これまで通り戦略的パートナーであることに変わりはありません。
どうやってデータを集めるの（４） オープンデータ 自由に使うことのできるデータ 特に，行政機関の保有するデータが注目されている オープンデータ戦略の推進（総務省） http://www.soumu.go.jp/menu_seisaku/ictseisaku/ictriyou/opendata/ コンピュータで処理できる形で公開しないと意味がない http://www.data.go.jp/ データカタログサイト
オ ー プ ン デ ー タ
前 橋 市（１） 前橋市オープンデータライブラリー http://www.city.maebashi.gunma.jp/sisei/499/509/p012146.html
前 橋 市（２）
前 橋 市（３）
オープンデータの活用（１） 公開されたデータをどのように使うのか？ 施設の位置情報 ＋ 地図データや交通機関の情報 ↓ ＋ 地図データや交通機関の情報 ↓ 今いる場所から，どのように行くのか(道案内）
オープンデータの活用（２） というようなアプリを作る 誰が？ 誰でも良い 新しいビジネスが誕生すれば，地域活性化 “材料”はタダ それをどのように“料理”するのか！
ビッグデータやオープンデータの問題
“Suica事件” Suicaに関するデータの社外への提供について（2014/3/20） http://www.jreast.co.jp/pdf/20140320_suica.pdf Suicaの利用状況の情報を売ろうとしたが，批判が多く中止した 個人を識別できないようにしてから売ろうとしたが，詳細不明な点が多かった
位置情報は個人情報？（２） 第７回 モバイル空間統計（NTTドコモ） https://www.nttdocomo.co.jp/corporate/disclosure/mobile_spatial_statistics/ いつ，どこに何人いるか 災害時の帰宅困難者数の予想など “一人ひとりを示すデータではなく、集団の人数のみをあらわす安全な人口統計情報に加工したもの” 非識別化・集計・秘匿の各処理
個 人 情 報 の 取 扱 い（１） SuicaもNTTドコモもデータを匿名化 Suicaは，データを社外に提供 結果を公表
個 人 情 報 の 取 扱 い（２） 他の（いくつかの）情報と照合すると，識別できるようになる可能性 これが“ビッグデータの活用”かも知れない 匿名化されたデータでも，自社の手元から離れたら，その先でどう扱われるのか？ 行政機関の情報には特に注意が必要
ビッグデータはすべてか？（１） 今回紹介した“カーナビデータ” ある特定の会社のカーナビ 別の会社のカーナビを使っている自動車は急ブレーキをかけていないかも知れない？！
ビッグデータはすべてか？（２） Google Flu Trends（インフルトレンド） 検索キーワードからインフルエンザの流行を予測できる（２００９年頃） その後，あまり精度が良くないことが判明した ビッグデータは嘘でも万能でもない--グーグルの「インフルトレンド」論議から考える（2014/5/21) http://japan.zdnet.com/article/35047879/ 「Googleインフルトレンド」の失敗から学ぶ、ビッグデータの未来（2014/4/30） http://www.dhbr.net/articles/-/2545
ビッグデータはすべてか？（３） ビッグデータは大量のデータである しかし，すべてのデータではない どのようなデータが抜けているのか？ Googleの検索を使わない人のデータは？ 偏りのあるデータ
ビッグデータはすべてか？（４） データの“質”は？ 信頼性を欠くものが混ざっている可能性は？ “大量”ということで，“偏り”，“信頼性”の問題を克服できた，と思った，が…
ま と め
ビッグデータ（時代） 大量・多様なデータ 今までもあったのではないだろうか？ すべてを迅速に処理し，活用できる ディジタル化 コンピュータで処理する前提条件 コンピュータの処理能力の向上 クラウドコンピューティング
反 省 ビッグデータは万能ではない プライバシーの点 完全なデータではない点 どのように乗り越えるか？
“ビッグ”でなくてもいいじゃないか 前橋市提供のオープンデータは“ビッグ”か？
データは資源 活用することによるメリット いろいろな問題をどう克服するか