3.3.1 ボルツマンマシンの定義 ボルツマンマシン(Boltzmann machine)は、スピン・システムをヒントに作られたモデルである。 各ユニットは確率的に 0 か 1 の値をとる。 ユニット M個の入力層、 ユニット H個の中間層、 ユニット N個の出力層からなる。 K = M+H+Nとする。 K個のユニットを入力層、中間層、 出力層の順に並べて、i 番目の ユニットの値を確率変数 Si とし、 その実現値を si と書く。 S = (S1, S2,…, SK) = ( X, U, Y ) s = (s1, s2,…, sK) = ( x, u, y )
3.3.1 ボルツマンマシンの定義 実数パラメータ w = {wij ,θi ; 1≦i, j≦K}に対し、 ハミルトニアンL(s|w)を以下のように定義する。 ここで、 wii = 0かつ wij= wji 。 自由に値のとれるパラメータの 個数は、K(K－1)／2 + K。
3.3.1 ボルツマンマシンの定義 S=s となる確率関数が以下であるとき、確率変数 S を ハミルトニアンL(s|w)をもつボルツマンマシンと呼ぶ。 ここで、 は、確率関数になるための 正規化定数で、分配関数と 呼ばれる。 p(s|w)を平衡状態の分布と呼ぶ。
3.3.2 ボルツマンマシンの推論 入力ユニットと出力ユニットとが外部と直接関係する部分、中間ユニットは外部と直接関係しない部分であると考える。 入出力(X,Y)の同時確率関数は、以下のようになる。 入力Xの確率関数は、以下のようになる。 従って、入力から出力への推論は、入力X=xが与えられたときの出力Yの条件つき確率で与えられるので、以下となる。
3.3.2 ボルツマンマシンの推論 p(y|x,w)に従う確率変数Yを、入力をxに固定したときの yの平衡状態の分布と呼ぶ。 3.3.2 ボルツマンマシンの推論 p(y|x,w)に従う確率変数Yを、入力をxに固定したときの yの平衡状態の分布と呼ぶ。 同様にして、出力から入力への逆推論p(x|y,w)も定義できる。