【小暮研究会２】 「ベイズのアルゴリズム」：序章 【１，２：計量経済分析と統計分析】 【 ３：ベイズ定理】

Presentation on theme: "【小暮研究会２】 「ベイズのアルゴリズム」：序章 【１，２：計量経済分析と統計分析】 【 ３：ベイズ定理】"— Presentation transcript:

1 【小暮研究会２】 「ベイズのアルゴリズム」：序章 【１，２：計量経済分析と統計分析】 【 ３：ベイズ定理】
【小暮研究会２】　 「ベイズのアルゴリズム」：序章 【１，２：計量経済分析と統計分析】 【 ３：ベイズ定理】 【 ４(1,1)：構成要素（尤度、例：回帰関数）】 総合政策学部３年　高阪亮平

2 計量経済分析とは 目的： 例： 経済モデルが実際の経済動向と一致しているか？
一致していると仮定したとき、モデルと異なる構造になる確率がいくらか？ 例： 消費＝Y、収入＝C、とした 「C=α＋βY」という経済モデルの場合 CやY：観測可能な量、「データ」 αやβ：観測不可能な量、「パラメータ」 経済学の理論に基づいて経済モデルを作成し、統計学の方法によってその実証分析を行う学問 θ＝（α、β）となる集合Θが-∞～∞。モデルは任意のθに連動。

3 計量経済分析 （従来の手法とベイズの違い）
計量経済分析 （従来の手法とベイズの違い） 従来の手法 αやβについて データを用いて「一つの最も正しい値」を求める。 ベイズの手法 データを用いて「その確率分布」を求める。

4 統計分析 目的 例 計量経済分析との違い 膨大で複雑な数値データを、要約してわかりやすく理解できる形にすること。
平均や標準偏差や傾きや回帰直線の計算 散布図やヒストグラムやカーネル平滑化などの視覚化 計量経済分析との違い 計量経済分析 ：データ同士の「関連」の分析を重視 統計分析 ：データ「そのもの」の分析を重視

5 ベイズ定理 ベイジアン計量経済学では、例外なく 以下の定理を基本としている。
条件付確率Bが起こったという条件の下でAが起きる確率は である。 また、 　　　　より

6 ベイズ定理：2つの疑問 解釈の問題と適用範囲の問題
ベイズ定理：2つの疑問 解釈の問題と適用範囲の問題 確率の解釈 ベイズでは、「Aが起きる確率」P(A)を【主観的に】扱う。 つまり、「このデータより、Aという事象はめったに起きることではないが、Bという事象はよく起きます」ということによって、計量経済分析が行える。 ベイズ定理はその考えを操作する。 つまり、P（A)によって主観的に与えられたAについての考えを、P(A|B)によって別の考えAに変わる。 定理の適用範囲 P（A)は多くの人が直感的に理解している可能性のあるもののみ扱う。（つまり、月が生チーズでできている確率はないとする。）

7 推論のための ベイズ定理の利用法 例：（θ＝（α,β））
推論のための ベイズ定理の利用法 例：（θ＝（α,β）） 構造Aでは、C=10+0.9Y （θ1＝（10,0.9））：A 構造Bでは、C=Y （θ2＝（0,1））：B あなたは、双方の構造は等確率で発生と「とりあえず」仮定（P(A)=P(B)=0.5） そのうえで、どちらか片方が正しいと仮定した上での、そのモデルが正しい確率を測定する。 構造Aのとき、その構造がデータどおりの確率0.1 構造Bのとき、その構造がデータどおりの確率0.6

8 推論のための ベイズ定理の利用法 このとき、P（E|A）＝0.1、P（E|B）＝0.6より またベイズ定理より
推論のための ベイズ定理の利用法 このとき、P（E|A）＝0.1、P（E|B）＝0.6より P(E)＝P(E|A)P(A)+P(E|B)P(B)=0.35 またベイズ定理より P(A|E)=1/7 P(B|E)=6/7 となり、BのほうがAより6倍起こりやすいということが、数学的に帰結できる。 （主観による）事前確率P(A) 　　　　　　　　　　　　↓←（実験や調査による証拠） （修正された）事後確率P(A|E) どのようにして、P(A)による考えAをP(A|B)による考えA’に変えるのか

9 計量経済モデル の構成要素 データ：y（観測される前は未知、された後は既知の値） パラメータ：θ
計量経済モデル の構成要素 データ：y（観測される前は未知、された後は既知の値） パラメータ：θ 後述の（証拠による）尤度や（主観的な）事前分布によって値が変わるものの、データが観測される前、後において未知の値。 尤度：p(y|θ) パラメータがθによって特定の値をとったとき、データがどのように見えるかについての予測を与える。 事前分布：p(θ) Θのとりうる値についての「考え」を与える。 X、Y：標本空間（Ω）上にある確率変数 周辺密度p(x)とp(y)を持つ同時確率密度をp(x,y)、p(x|y)とp(y|x)を条件付確率密度とする。 尤度と事前分布の両方を満たしているときのみ、計量経済モデル

10 ベイズ定理の構成要素 右辺の分母P(y)は、θを含んでいないと見ることができるため、θの推定のために無視すると
P(θ|y)∝P(y|θ)P(θ) (∝：比例するという意味) つまり、尤度（関数）：P(y|θ)と、事前確率（密度関数）P(θ)をかけ合わせて、事後分布P(θ|y)を得ると理解してよい。

11 ベイズのアルゴリズム モデルを確率分布の集まりとして定式化。 θについての「あなたの考え」から、事前確率を構築する。 : p（θ）
データを収集し、ステップ1で設定した分布の集まりに加える。 ベイズの定理から、θについての「新たな考え」を計算する。 モデルを評価する。 : p（θ） : p（y|θ） : p（θ|y）

12 尤度：p(y|θ) の性質 例えば（回帰モデル） YとCに実際の観測値をあてはめ、βの関数としたものが、【尤度】である。
「C=α＋βY」という経済モデルの場合 YとCに実際の観測値をあてはめ、βの関数としたものが、【尤度】である。

13 尤度：p(y|θ)に関する例：回帰 回帰関数：２つの確率変数の同時分布
変数がXとYならば、yの関数としてE(X|Y=y)、 xの関数としてE(Y|X=x)と表現。 例：両親の身長と子供の身長 両親たちの特定の身長X=xにおける子供たちの平均身長E(Y|X=x)を計算してプロット その関係を１次の式、線形のグラフにしたものが、従来の線形回帰分析

14 尤度：p(y|θ)に関する例：回帰 経済モデルを単純にc=βyと表現されるとき。
これをcとyについて、平均βyであるランダムな正規分布を与えたときのcの値がわかるようにする。 条件付き分布の精度をτと定義し、cとyが独立でn個のcの値の同時確率分布は、それらに対応するyの値が与えられた上で １行目右辺は、確率変数の正規密度関数、その値がｃ、平均がβy、分散が1/τ。確率の積という形で表現。 ２行目は掛け算の項を省く。「分布のカーネル」と呼ぶ。

15 尤度：p(y|θ)とシミュレーション （１）回帰モデルのための乱数生成
「C=βY」という経済モデルの場合 １:データ数n、傾きβ、モデルの条件付分布の精度τの値を選択。 2：n個の個数分10~20までの一様分布を発生させyに代入。 3：正規変量（平均βyi,分散1/τ）のn個の独立した実現値を発生。 > n<-50;beta<-0.9;tau<-1 > y<-runif(n,10,20) > consump<-rnorm(n,beta*y,1/sqrt(tau))

16 尤度：p(y|θ)とシミュレーション （２）尤度関数のプロット
１：最小二乗推定値bの計算 ２：βの値の範囲（点がプロットされる範囲）の選択（手動で試行錯誤） > b<-sum(consump*y)/sum(y*y) > betavalues<-seq(0.86,0.94,length=100)

17 Rでのプロット プロットするためのコマンド > par(mfrow=c(1,2)) #２箇所ウインドウ
> plot(y,consump,xlab="Y",ylab="C") #横軸y、縦軸cとしたデータのプロット > curve(b*x,add=T) #回帰直線c=byを上書き > plot(betavalues,dnorm(betavalues,b, 1/sqrt(tau*sum(y*y))),type="l",xlab="beta",ylab="likelihood") #尤度関数の分布のプロット

18 Rでのプロット

19 尤度：p(y|θ)に関する例：時系列

20 尤度：p(y|θ)に関する例：時系列

21 尤度：p(y|θ)とシミュレーション （２）自己回帰データの生成とプロット
１：T,ρ,τの値を設定。 ２：yの値を入れるための空ベクトル生成。 ３：時系列の初期値y1を選択。 ４：y2…ｙTの時系列の値を生成。 > T<-51; rho<-0.9;tau<-1 > y<-rep(0,T) > y[1]<-0 > for(i in 2:n){y[i]<-rho*y[i-1]+rnorm(1,0,1/sqrt(tau))}

22 Rでのプロット プロットするためのコマンド
> r<-sum(y[-1]*y[1:n-1])/sum(y[1:n-1]*y[1:n-1]) #最小二乗値の計算 > rhovalues <- seq(0.4,1.2,length=100) > par(mfrow=c(1,2)) > plot(y, xlab="Time",ylab="Y",type="l",lwd=2) > plot(rhovalues,dnorm(rhovalues,r,1/sqrt(tau*sum(y[-1]*y[-1]))),type="l",xlab="rho",ylab="likelihood")

23 Rでのプロット