統計力学と情報処理 統計力学と情報処理
--- 自由エネルギーの生み出す新しい情報処理技自由エネルギーの生み出す新しい情報処理技 術術 ---
２００３年８月１２日後半 ２００３年８月１２日後半
東北大学 大学院情報科学研究科 田中 和之 kazu@statp.is.tohoku.ac.jp
http://www.statp.is.tohoku.ac.jp/~kazu/
この時間の主な内
ギブス分布と自由エネルギー
容
自由エネルギーとカルバックライブラー情報量 イジング模型と平均場近似
カルバックライブラー情報量と平均場近似
自由エネルギーが何故情報処理に有効
？
多くの情報処理は大規模確率モデル 計算困難の問題
近似で良いから，現実的計算時間で 近い結果が得られれば満足．
統計力学の歴史は常にシステムサイズ 無限大との戦いの歴史である．
豊富な経験
ギブス分布と自由エネルギー
A a , A a , , A
Na
N P a , a , , a
N
Pr
1
1 2
2
1 2
a
a E Z exp
A a P a
Pr
a 1 exp E ( a )
P Z
) ,
, ,
( A
1A
2 A
N A
ギブス分布 分配関数
a
a E Z
F ln ln exp
自由エネルギー
統計力学における基本原理
ギブス分布
F P Z
Q Q
Q
F [ ] 1 [ ] ln
min
a
a
a 1 exp E ( a )
P Z
a a a a
a a
Q Q
Q E
Q
F [ ] ln
は自由エネルギー最小の変分原理を満たし は自由エネルギー最小の変分原理を満たし
，その最小値が –
，その最小値が – ln ln
Z Z
となる．となる．自由エネルギー最小の変分原理の具体的計 算
F P Z
Q Q
Q
F [ ] 1 [ ] ln
min
a
a
) (
) ( exp
) ( ˆ exp
a
a a a
a
P
E Q E
1
ln
1a a
a
a a
a a
a E Q Q Q
Q Q
F Q
L
ln 1 0
a a
a E Q
Q Q L
exp 1
ˆ a E a Q
規格化条件
カルバック・ライブラー情報量と自由エネル ギー
( )ln
0
a aaa P
Q Q P
Q
D
a
a
a 0 Q( ) 1 Q ,
Z Q
F
Z Q
Q E
Q P
Q D
Q F
ln ]
[
ln ln
) ( )
( ]
| [
] [
a a
a a
f f
P D Q P 0
Q a a
a 1 exp
E(a)
P Z
自由エネルギーが最小になるとき，カルバック・ライブラー情報量も最小となる．
イジング模型と平均場近似
) , (
1 ,
, ,
1 ,
, ,
y x
y x y x y
x y x y
x y
x
s C s s s s
B E s
s
s P s
M
x,y x,y s 1 exp E ( s )
P Z
s x y
s
x,y, s
x,y 1
x
y
問題：
を計算せよ．
2|Ω| 通りの和を計算す るのは困難．
イジング模型と平均場近似
) , (
1 ,
, ,
1 ,
, ,
y x
y x y x y
x y x y
x y
x
s C s s s s
B E s
s
x,y M
x,y s
x ,'y' M
x ,'y' 0
のとき確率が非常に大きくなると仮 定
) , (
, 1
, 1
,
, 1 ,
1 ,
y x
y x y
x y
x
y x
y x
y
x
s
Cm Cm
Cm Cm
E s B
' ,' ,
, ' ,' '
,' ,
' ,'
,y x y x y x y x y x y x y x y
x
s M s M s M M
s
イジング模型と平均場近似
) , (
, 1
, 1
, ,
1 ,
1 ,
y x
y x y
x y
x y
x y
x y
x CM CM CM CM s
B E s
x y
x y x y x y x y
y x y
x
s P B C M M M M
M
,
, tanh
,
1,
1,
1,
1,s
s
) , (
,
) ,
( 1 exp
y x
y x y
x
s
P Z E
P s s
に対する固定点方程式
M
,( x , y ) M
x y M
M
確率変数 Sx,y
は互いに独立
固定点方程式と反復法
固定点方程式
M * M *
反復法
2 3
1 2
0 1
M M
M M
M M
繰り返し出力を入力に入れることに 繰り返し出力を入力に入れることに より，固定点方程式の解が数値的に より，固定点方程式の解が数値的に 得られる．
得られる．
M0
M1
M1
0
x y
) (x y
y
x
M *
平均場近似の情報論的理解
) , (
, ,
y x
y x y
x s
Q Q )(s
s sss P
Q Q P
Q
D ( )ln
s E s
P exp Z 1
と
の距離をカルバック・ライブラー情報量
で計って最小になるように周辺確率分布 を決定する
x yy x
s Q
, ,
y
sx
y x y
x s Q
Q
\ ,
,
, ( )
s
s
平均場近似におけるカルバックライブラー情 報量
) , (
, ,
y x
y x y
x s
Q Q )(s
Q P F Q Z
D
MF x,y ln
s sss P
Q Q P
Q
D ( )ln
) , (
1
, ,
1
1 , 1
, 1 ,
1 , ,
MF
ln }]
[{
y x
y x y
x
y x y
x y
x y
x y
x
Q Q
Q Q
C B
Q Q
F
y
sx
y x y
x
s Q
Q
\ ,
,
,
( )
s
s
カルバック・ライブラー情報量の最小 化と平均場方程式
1 1
1 , 1
, ,
1 ,
1 ,
1
1 , 1
, ,
1 ,
1 ,
,
ˆ ˆ
ˆ exp ˆ
ˆ ˆ
ˆ exp ˆ
ˆ
y x y
x y
x y
x y
x
y x y
x y
x y
x y
x y
x
Q Q
Q Q
C B
Q Q
Q Q
C B
Q
arg min 1 , ( )
ˆ
, ,,
x,y Q
P Q D
Q
x yy Q x
y x
｛Ｑ x,y } に対する固定点方程
条件付き変分
イジング模型における周辺確率分 布の直交関数展開
x y x y x yy
x s m s
Q , , , ,
2 1 1 2
1
, ,
, ,
,
,y
sx
y x y x y x y
x y
x
s Q s Q s
m
s
s
y
sx
y x y
x
s Q
Q
\ ,
,
,
( )
s
s
s x y
s
x,y, s
x,y 1
x y x y x y xy x y xy x y y
x y x
s
y x y x s
y x s
y x y x
y x y
x y
x y x
m s
Q s b
b bs
a s s
Q s
s Q a
a bs
a s
Q
s bs
a s
Q
y x y
x y
x
, ,
, , ,
, ,
, ,
1
, , 1
, 1
, ,
, ,
, ,
2 1 2
2 1
2 1 2
2 1
, ,
,
1) (
2
通常の平均場方程式へ
x y x y x y x y x y
y
x
B C M M M M
M ˆ
,tanh
,ˆ
1,ˆ
1,ˆ
1,ˆ
1,
x y x y x yy
x
s M s
Q
, ,ˆ
, ,2
1 2
ˆ 1
1
, ,
, ,
,
,
ˆ ˆ
y
sx
y x y
x y x y
x y
x
P M s Q s
s
s
s
固定点方程式
イジング模型の確率変数 Sx,y の期待
値
M
ˆ x,y tanh B
x,yC M
ˆ x 1,yM
ˆ x 1,yM
ˆ x 1,yM
ˆ x 1,y
T J
C
T h B
x y/
, /
なら
m
T J T
m h P
s
s
y x
tanh 4
lim
,|
|
s
s
s
) , (
1 , , ,
1 ,
, )
, (
1 , , ,
1 ,
,
exp 1 exp 1
y x
y x y x y
x y x y
x y
x
y x y x y
x y x y
x
s s s
s J T hs
s s s
s J T hs
P
は (x,y) によらなくなる．
m に対する固定点方程式
y
M ˆ
x,イジング模型の確率変数の期待値
(a) 平均場近似（ワイス近似）
(b) ベーテ近似
(c) クラスター変分法（菊池近 似）
(d) 厳密解（ L. Onsager ）
J T /
s
y
x
P
s
,s
|
|
lim
s
s
) , (
1 , ,
, 1 ,
) , (
1 , ,
, 1 ,
exp exp
y x
y x y x y
x y x y
x
y x y x y
x y x
s s
s T s
J
s s
s T s
J P
0
h
ここまでのまと
統計力学と情報処理の不思議な共通点 め
ギブス分布と自由エネルギー．
自由エネルギーとカルバックライブラー情報量．
平均場近似の情報論的理解．
明日の予定
ベイズ統計を用いた確率的画像処理
ベーテ近似を用いた確率的画像処理アルゴリズ ム
