情報学習理論 最後までご聴講いただきありがとうございました。 渡辺澄夫 東京工業大学

Mathematical Learning Theory 学習とは 講義・第１回目のあるページ。 概念とは？ 概念１ 概念２ … 概念３ 学習モデル 世界には例があふれている。例から世界の構造を知る。 2017/3/16 Mathematical Learning Theory

競合学習 自己組織化 ボルツマンマシン 教師なし学習 深層学習 ニューラルネットワーク 教師あり学習 サポートベクタマシン

Birational probability theory 最後の問題 それで、学習の結果は正しいのか？ 　真の情報源がわからないから学習を行う。 　⇒　真の情報源が不明だから 　　　　学習モデルが正しいかどうかわからない。 　⇒　学習の結果を信じていいのかわからない　⇒ 最初に戻る 統計学：　謎の螺旋 「分からぬことこそ統計学の真実」　なのか？ 3/16/2017 Birational probability theory

Mathematical Learning Theory 真の分布が明確な場合もある 背後にある自然法則が確実にわかっている場合には 学習モデルを定めることができる。 （例）コインを振る問題（表＝１、裏＝０）を考える場合 　　　　 　　 p(x|a) = ax(1-a)1-x （例）半減期 log 2/l の一個の原子が時刻 t に崩壊する確率 　　　　 　　　　p(t|l) =le-lt モデルが正しいと考えられる場合には、統計的推測の 誤差はデータ揺らぎ（バリアンス）だけになる。 2017/3/16 Mathematical Learning Theory

Mathematical Learning Theory 真の分布が明確でないことは多い 法則が明確でない問題では、学習モデルは仮のものである。 （例）1000人の（算数・国語・理科・社会・英語）の テスト結果から成績の分布を推測する。 （例）手書き数字を認識するソフトウエアを作る。 （例）テレビＣＭの売り上げへの影響を調べる。 （例）人工知能をつくる。 データ科学では、学習モデルは仮のものであることの方が多い。 仮のモデルを使って得られた結論は「正しい」のだろうか？ 2017/3/16 Mathematical Learning Theory

Mathematical Learning Theory 初めての人が陥りやすい誤りかた　（１） １．正しい推論は、真の命題を確率１でつなぐ場合だけに得られる。 ２．絶対に正しい学習モデルが分かるまでは何もできない。 ３．絶対に正しい学習モデルは決してわからないのだから、 　　　統計的学習はすべて嘘である。 （注意）学習は、絶対に正しいものだけを積み上げる方法ではありません。 （注意）世の中には嘘モデルを使って人をだます人もあるので慎重に 　　　　　なるのはわかります。また「検定すれば必ず正しい結論が得られる」 　　　　　というわけではありません。 2017/3/16 Mathematical Learning Theory

Mathematical Learning Theory 初めての人が陥りやすい誤りかた　（２） １．絶対に正しい学習モデルがわかることはないのだから 　　統計的学習は、それぞれ好みで決めてよい。 ２．統計的学習は、ひとごとに違っていてよい。 　　それが個性というものだからすばらしい。 ３．人はみな世界でひとつだけの統計的学習を持っている。 （注意）　統計的学習は、科学あるいは技術であり 　　　　　　人生観ではありません。 （注意）　結果が絶対に正しくはないからと言って 　　　　　　誤ることを個性だと考えるのは・・・ですね。 2017/3/16 Mathematical Learning Theory

Mathematical Learning Theory 統計学は・・・ ○　データからわかることは「絶対に正しいこと」ではない。 ○　データから何もわからないということはない。 ○　「絶対に正しいこと」がわからないからといって、 　　　個人の好みで結論を選んでよいということではない。 ひとは、知らないことに対しては＜０か１か＞のような極端な意見に陥りやすい ので注意しましょう。「統計学こそ大正義」、「統計は全て嘘だらけ」などの本は 昔からたくさんあります。（←統計学者は、そういう主張はしません。） 深層学習とデータサイエンスの発達は、これからの経済社会、芸術文化、私たちの 日々の暮らしに大きな影響を与えるようになるでしょう。統計学と学習理論についての 正しい理解は、その世界を生きていくあなたの支えのひとつになると思います。 →　平凡であるけれど、「何がどこまでわかるのか」を 　知っておくのも悪くないかな（学習理論への出発）。 2017/3/16 Mathematical Learning Theory

Mathematical Learning Theory 学習理論で何がわかるか（予測編） 学習理論は 予測を 当てることが 責務である。 2017/3/16 Mathematical Learning Theory

Mathematical Learning Theory 学習理論で何がわかるか（予測編） 真の分布 データ 各点の適切さ 学習モデルの集合 2017/3/16 Mathematical Learning Theory

Mathematical Learning Theory 学習理論で何がわかるか（予測編） 不明な真の分布 学習の結果 学習アルゴ 　　　リズム 各点の 適切さ 学習モデルの集合 2017/3/16 Mathematical Learning Theory

Mathematical Learning Theory 学習理論で何がわかるか（予測編） 不明な真の分布 真の分布が不明でも 汎化誤差が従う 数学的法則が導出 できるので 推測することができる。 汎化 誤差 学習の結果 学習モデルの集合 2017/3/16 Mathematical Learning Theory

Mathematical Learning Theory 学習理論で何がわかるか（予測編） 真の分布が不明でも 異なるモデルの 汎化誤差の 大小を比較する ことができる。 →　予測が正確な モデルを選べる。 不明な真の分布 汎化 誤差２ 汎化 誤差１ 学習の結果１ 学習の結果２ 学習モデル１ 学習モデル２ 2017/3/16 Mathematical Learning Theory

Mathematical Learning Theory 学習理論で何がわかるか（確率編） 学習理論は 真の構造を 見つけることが 責務である。 2017/3/16 Mathematical Learning Theory

Mathematical Learning Theory 学習理論で何がわかるか（確率編） データ 学習モデルが与えられたとき 「そのモデルからデータが 　発生する確率」を計算できる 学習モデルの集合 2017/3/16 Mathematical Learning Theory

Mathematical Learning Theory 学習理論で何がわかるか（確率編） それぞれのモデルからデータが 発生された確率を比較して、 確率の大きいほうを選ぶ。 　　　→ 真の分布を実現できる 　　　モデルがあるときは、その 　　　中で一番小さいモデルが 　　　選ばれる。 データ 学習モデル１ 学習モデル２ 2017/3/16 Mathematical Learning Theory

Mathematical Learning Theory 学習理論で何がわかるか（確率編） データ 学習モデルが与えられた とき、「そのモデルから データが発生する確率」は 学習モデルの集合上の積分 になるので計算は一般に 困難（統計力学における 分配関数と数学的に同値）。 学習モデルに応じて適切な 計算法が必要になる。 統計力学や純粋数学が 役立つときがある。 学習モデルの集合 2017/3/16 Mathematical Learning Theory

Mathematical Learning Theory 学習理論への出発 「予測精度の解明」および「構造の発見」は学習理論において 中心的に重要な課題であり、上記のことについては 　　　数式を用いた定義 　　　定理の記述 　　　定理の証明 を行うことができます。将来、必要になったら勉強してみてください。 2017/3/16 Mathematical Learning Theory

Mathematical Learning Theory 「小鳥が歌う」と「春が来る」 2017/3/16 Mathematical Learning Theory

例 log(1+医療福祉で働く人の数) log(1+製造業で働く人の数) 政府統計の総合窓口（ｅ－Ｓｔａｔ）のデータを使わせて頂きました。 http://www.estat.go.jp/SG1/estat/eStatTopPortal.do 経済センサス-町丁・大字別集計・神奈川県横浜市の一部分 「○町○丁目」で働く人の数を調べたもの。 log(1+医療福祉で働く人の数) 2017/3/16 log(1+製造業で働く人の数)

Mathematical Learning Theory 例 X から Y を多項式回帰したら、多項式の次数によって 結果がまったく異なることが分かった。 log(1+医療福祉で働く人の数) 1次 2次 0次 2017/3/16 Mathematical Learning Theory log(1+製造業で働く人の数)

Mathematical Learning Theory 問１ 横浜市で「○町○丁目」で働く人の数を調査した。 X = log(1+製造業で働く人の数) Y = log(1+医療福祉で働く人の数) において、多項式を用いて二乗誤差を最小にするように 学習すると、その結果は用いたモデルによって変化する。 ０次:　X は Y に影響しない。 １次: X　が大きいほど Y は大きい。 2次-４次: X がある値より大きいと Y は減少する。 ５次以上： Y はいったん減少したあと、また上昇する。 モデルが違うと結論が違うから「何もわからない」のだろうか。 予測精度および確率の観点から、この問題について論ぜよ。 2017/3/16 Mathematical Learning Theory

Mathematical Learning Theory いつかまた 　数学と 出会ってね 最後まで 学んでくれて ありがとう 実社会で 役立つかな 2017/3/16 Mathematical Learning Theory

Mathematical Learning Theory 学習理論と社会 学習理論は、もともと人工知能を作るため、すなわち音声・画像の認識や 自然言語・時系列の理解に用いることを目的として研究されてきました。 今日では、膨大データ、巨大ネットワーク、深い学習モデルが実現され、 社会経済、自然科学、芸術文化のありかたを変革し始めています。 学習理論は科学あるいは技術なので、みんなの幸せに役立つかどうかは、 使い方しだいです。 今度こそ人類は、科学あるいは技術を、賢く正しく使って欲しいと思います。 皆さんの時代です。 2017/3/16 Mathematical Learning Theory

Mathematical Learning Theory 問２ 次の中で30年後にそうなっていると思うものに○、そうでないものに×をつけましょう。 １．自動英会話できるスマホがあるので、TOEICを受けなくて良い。 ２．就職活動は、深層学習が代行してくれる。 ３．あなたの脳波と遺伝子からあなただけの修士論文が自動生成。 ４．映画も流行歌もお笑い番組も、コンピュータが作っている。 ５．人間にできる仕事が少なくなり、失業者があふれて社会危機。 ６．会社は社長ひとり。データ分析してＡＩに指示するだけ。 ７．人口減少から抜け出すための深層学習の政策が実行されている。 ８．西森先生の量子コンピュータが実現され「パスワード」はもうない。 ９．全ての人の全ての行動が記録されている。 10．学問がなくなっている。 2017/3/16 Mathematical Learning Theory