統計力学と情報処理統計力学と情報処理

(1)

統計力学と情報処理統計力学と情報処理

--- --- 自由エネルギーの生み出す新しい情報処理技自由エネルギーの生み出す新しい情報処理技術術 --- ---

２００３年８月１４日前半２００３年８月１４日前半

東北大学大学院情報科学研究科東北大学大学院情報科学研究科

田中　和之田中　和之 kazu@statp.is.tohoku.ac.jp kazu@statp.is.tohoku.ac.jp

http://www.statp.is.tohoku.ac.jp/~kazu/

(2)

３日間のスケジュール

１日目：確率的情報処理の概観と自由エネルギーの情報論的理解

２日目：ベイズ統計・統計力学を用いた確率的画像処理

３日目：ベイズ統計・統計力学を用いた人工知

能

(3)

この時間の主な内容

簡単なベイジアンネットの解説

ベイジアンネットと磁性体の物理モデルの意外な関係

確率伝搬法と転送行列法の意外な関係

(4)

ベイジアンネットと統計力学

確率推論確率モデル

グラフィカルモデルベイズの公式

ベイジアンネット確率伝搬法

医療診断故障診断

たくさんのノードが関連しあって集まっている．

統計力学の出番要請：多様なデータに耐えうる推論シス

テム

ゆらぎを系統的に扱える理論の必要

共通の数理

(5)

確率推論と統計力学の言葉の対確率推論と統計力学の言葉の対応確率推論と統計力学の言葉の対応確率推論と統計力学の言葉の対応応

頂点 (Node) 信念 (Belief) 確率伝搬法， Belief Propagation

， Junction Tree

Algorithm

格子点 (Site)

一体分布関数

転送行列法・ベ

ーテ近似

(6)

確率推論に使う数

学     ^ ^

    ^{ }

    ^C ^C ^B Â ^B ^B Â ^B Â ^{ } Â Â

B A B

A C C

B A

Pr Pr

Pr

Pr Pr

, Pr

, ,

Pr



  ^ _{ } ^

 



 



B A

B

C B A

C B A C

C C A

A

,

, , Pr

Pr , Pr Pr

A

B

C

 ^B ^A 

Pr

 ^C ^A ^, ^B  ^Pr   ^C ^B

Pr 

(7)

簡単なベイジアンネットの例

問題芝生がぬれているのは何故でしょうか？

雨が降ったせいでしょうか？それともスプリンクラーを動かしたせいでしょうか？



_R

^T

_W

^T  

_S

^ ^T

_W

^ ^T  ^?



 

 A A A

A Pr

Pr

(8)

簡単なベイジアンネットの例

 

   

       

 _W ^W _S ^C _R ^S   ^R _R _C ^R   ^C _S ^S _C  ^S   _C ^C ^C

S C

R

R S

C W

R S

C

R S

C W

W R

S C

Pr Pr

Pr ,

Pr

Pr Pr

, Pr

, ,

Pr

, Pr

, ,

Pr

, ,

Pr

, ,

Pr

, ,

, Pr

A A

A

A A

A

A A











(9)

簡単なベイジアンネット

の例 

_R

^T

_W

^T  

_S

^ ^T

_W

^ ^T  ^?



 

 A A A

A Pr

Pr

 

 ^T 

Pr

T T,

Pr

T T

Pr

W

W R



 



A

A A

 

 ^T 

Pr

T T,

Pr

T T

Pr

W

W S



 



A

A A

A

(10)

簡単なベイジアンネットの例

  ^ _ _ ^ ⁰ ^. ⁷⁰⁷⁹

6471 .

0 4581 .

0 Pr

Pr Pr  



 



 T

T T T,

T

W

W R

W

R

A

A A A

A

 

 ^, ^, ^,  ⁰ ^. ²⁷⁸¹

Pr , Pr



 

T,F T,F

W R

S C

W S

C R

T T

A A

  ^Pr  ^, ^, ^,  ⁰ ^. ⁶⁴⁷¹

Pr       

T,F T,F T,F

W R

S C

W

C S R

T T

A A A

A A

A

 

 ^, ^, ^,  ⁰ ^. ⁴⁵⁸¹

Pr , Pr



 

T,F T,F

W R

S C

W R

C S

T T

A A

  ^ _ _ ^ ⁰ ^. ⁴²⁹⁸

6471 .

0 2781 .

0 Pr

Pr Pr  



 



 T

T T T,

T

W

W S

W

S

A

A A A

A

回答：芝生がぬれているのは雨が降ったせいだと考えられます．

(11)

ベイジアンネットと物理モデル

（ I ）

ベイジアンネットで扱われるグラフィカルモデルは多体力を持つ磁性体の物理モデルに対応づけられる

       



₁ ₁¹ ₂¹ ₂ ² ₁₂ ²₁ ₂



2 2

1 1

exp

, Pr

ln exp ,

Pr

a a J

a h a

h F

a A







₁ ₁

^,

₂ ₂

 

₁

^,

₂



Pr A  a A  a  W a a

一言でいえば公式 z=exp(ln z) を使うということ．

 

 F h

₁¹

h

²₂

J

₁₂¹²



W

J h

h F

W



















 1 ) exp ,

1 (

exp )

1 , 1

具体的には

(

を満たすように係数を決めると確かめられる．

1 ,

1 ₂

1   a  

a

A 1

A 2

(12)

ベイジアンネットと物理モデル（ＩＩ）

 ₁ ₁ ^, ₂ ₂ ^, ₃ ₃  ₁₂  ₁ ^, ₂   ₂₃ ₂ ^, ₃ 

Pr A  a A  a A  a  W a a W a a

 

 

 ₁ ₁ ₂ ₂ ³ ₃ ₃ ²³ ₁₂ ² ³ ₁ ₂ ₂₃ ₂ ₃ 

23 3 2

23 2 23

2 1 12 2

12 2 1

12 1 12

3 3

2 2

1 1

exp exp exp

, ,

Pr

a a J

a h a

h a

h F

a a J

a h

F

a a J

a h

F

a A













A 1

A 2

A 3

1

, 1

,

1 ₂ ₃

1  

a

 

a

 

a

(13)

ベイジアンネットと物理モデル（ＩＩＩ）

．

 ₁ ₁ ^, ₂ ₂ ^, ₃ ₃   ₁ ^, ₂ ^, ₃ 

Pr A  a A  a A  a  W a a a

 

 

 







 



3 2 1 3

1 13 3

2 23

2 1 12 3

3 2

2 1

1

J a a J a a Ka a a a a J

a h a

h a

h F

a A

exp

, ,

Pr

₁ ₁ ₂ ₂ ₃ ₃

A 1 A ₂ A 3

1 , 1

,

1

₂ ₃

1

  a   a  

a

(14)

ベイジアンネットと物理モデル

（ＩＶ） A C

A S A _R

A W

．

 

 

 







 



W S R RSW W

R RW W

S SW R

S SR

R C CR S

C CS W

W R

R S

S C

C

W W

R R

S S

C C

a a a K

a a J

a h a

h a

h F

a A

exp

, ,

,

Pr

(15)

ベイジアンネットと物理モデル（Ｖ）

ノード数が多くなっても転送行列法で数値的に厳密に計算できる．

 

 







 











6 5 56 5

4 45 4

3 34

3 2 23 2

1 12 6

6 5

5

4 4 3

3 2

2 1

1

6 6

1 1

exp

, , Pr

a a J a

a J a

a J

a a J a

a J a

h a

h

a h a

h a

h A

h F

a A

a

A 

A 1

A 2

A 3

A 5

A 4

A 6

枝分かれのないグラフィカルモデルのベイジアンネット

１次元の磁性体の物理モデル

 



₁ ₂

 

₂₃ ₂ ₃

 

₃₄ ₃ ₄

 

₄₅ ₄ ₅

 

₅₆ ₅ ₆



12

6 6

1 1

, ,

1 ,

, , Pr

a a W a a W a a W a a W a a Z W

a A



 

1 ,

,

1

₆

1

  a  

a 

(16)

１次元鎖のベイジアンネットを物理の演習問題にすると

？



^

  







¹

1

1 1

, 1

2

1

, , , ) (

N i

i i i

i N

i

i i

N h s J s s

s s

s

H 

1 2 ³ ^N ^ ¹ ^N

問題問題：１次元イジング模型の磁化（スピ：１次元イジング模型の磁化（スピン変数ン変数 s s _m _m の期待値）および相関関数の期待値）および相関関数 ( ( s s _m _m s s _n _n の期待値）の期待値）を求めよ．を求めよ．

こりゃ院試の統計 力学の問題だ !!

 1

i 

s

(17)

転送行列法＝確率伝搬法（ I ）

1

次元鎖

   ^  

  



 ¹

1 1 , 1

Pr 1

N i

i i i

i a a Z W

a A

      



 

 



 

^

  





1 2 1

1 1

1

,

a a a

k i

i i i

i k

k k

k

a a W

a

L 

 

_k

k

a

L

_1_

 

_k

k

a

R

_1_

k

      

  

 

 



 

^



 





1 2 1

1

1 1

1

,

k k N

a a a

N k i

i i i

i k

k

a W a a

R 

(18)

転送行列法＝確率伝搬法（ II ）

漸化式



^

 

^ ^

 

^



^









ak

k k k

k k k k

k k

k

a L a W a a

L

₁ ₁ ₁ ¹

,

₁

 

_k

k

a

L

_1_

k



₁



1 



k k

k

a

L

 1 k

   

   



  





















   

m m m N

m m m

a a a a a a

m m

a R

a L

a R

a L

a A

1 1

1 2 1 1 2 1

Pr

Pr   A a

 

_k

k

a

R k

_1_



₁



1 



k k

k

a

R

 1

   

_k _k

 

_k

k

a

k k

k k k

k

a W a a R a

R

k







 ¹ ¹

^ 

¹ ¹

^,

¹

パスはひとつ

(19)

転送行列法＝確率伝搬法

（ III ）

1

次元鎖

   ^  

  



 ¹

1 1 , 1

Pr 1 ^N

i

i i i

i a a Z W

a A

      

  

 

 



  ^

  



  

1 2 1

1 1 1

1 1 , ,

m k n

a a a

n m i

i i

i i n

m n

n

m

m a a W a a

D 

m n

1 2 ³ ^N ^ ¹ ^N

(20)

転送行列法＝確率伝搬法

（ IV ）

漸化式



^

 

^^^^

 

^



^







 

ak

k k k

k k m k k

m m k

m k

k

m

a a D a a W a a

D

₁ ¹ , ₁ ¹₁ , ¹ , ₁

   

     



   



 

 







 

 



 



      

m m m n n n N

n n n n m n n

m m m m m

n n n n m n n

m m m m m

a a a a a a a a a

n n

m m

a R

a a D

a L

a R

a a D

a L

a A

1 1

, ,

Pr ,

Pr

1 2 1 1 2 1 1 2 1

a



A



   

_kⁿ _kⁿ



_k _n



a

k k

k k n

k n n

k

a a W a a D a a

D

k

, ,

,

₁ ₁ ₁¹

1 1

1

















^ 



_m _k



k k

m

a a

D

^_¹₁^_

,

k k  1

k

 1 k



₁



1

1 ^

,

_

  m k k

k

m

a a

D



_k _n



n n

k

a a

D

_^₁¹_^

,



_k _n



n n

k

a a

D

_^¹^_₁ _₁

,

m

n

(21)

ベイジアンネットと物理モデル

（ＶＩ）

A

1

A

2

A

₃

A

5

A

4

A

₆

閉路のないグラフィカルモデルのベイジアンネット

ベーテ格子上の磁性体の物理モデル

 

 







 











6 3 36 5

2 25 4

2 24

3 1 13 2

1 12 6

6 5

5 4 4 3

3 2

2 1

1 6 1

a a J a

a J a

a J

a a J a

a J a

h a

h

a h a

h a

h F

a A

exp

, ,

Pr ₁  ₆

 

 ₁ ₂   ₁₃ ₁ ₃  ₂₄  ₂ ₄  ₂₅  ₂ ₅  ₃₆  ₃ ₆ 

12 6 1

, ,

1 ,

, , Pr

a a W

a a Z W

a A



 ₆

1 

(22)

転送行列法＝確率伝搬法

（ V ）

  

^

 

  



 ¹

1

1 , 1

Pr 1

^N

i

i i i

i a a

Z W a

A

       

^ ^

 

^ ^

 

^ ^

 

^



^



  





 



 



 

a

k k k k k k k k k k k k k

a a a

k i

i i i i k

k

a W a a T a T a T a W a a

T

₁ ₂ ₃ ¹ ₁

1

1 1

1

 , ,

閉路が無いことが重要 !!

同じノードは２度通らない

A

1

A 2 A

₃

1

A

k

A

k

2

A

k

3

A

k

1

A

k

(23)

扱い易いモデルと計算困難なモデル

どの枝もそれぞれで独立に和がとれる．

それぞれで独立に和をとることが困難．

扱い易いグラフィカルモデル

計算困難なグラフィカルモデル

 

















































   



d c

b a

d c

b a

d c b a

) ( )

( )

(

) ( ) ( ) (

A C

B A

D C B A

a b c d

a

b d c

a

b d c

 

 a b c d

F a , b , c , d

(24)

ベイジアンネットの既存の計算手法

閉路のないグラフィカルモデルのベイジアンネット

確率伝搬法（ Belief

Propagation

）

転送行列法

＝

木構造を持つ磁性体の物理モデル

J. Pearl,

“Probabilistic reasoning in

intelligent systems: networks of plausible

infer ence”, Morgan Kaufmann, 1988.

T. Morita, “The Ising model with an

interaction of finite range on the Cayley

tree”, Physica A, vol.83, pp.411-418, 1976.

(25)

ベイジアンネットと物理モデル

（ＶＩ）

閉路のあるグラフィカルモデルのベイジアンネット

不規則なグラフ構造をもつ格子上の磁性体の物理モデル

転送行列法が常に厳密な結果を与えるとは限らなくなる

．平均場近似・ベーテ近似による近似アルゴリズム

A

1

A

3

A

2

A

4

A

6

A

₅

W

13

W

67

W

24

W

25

W

346

W

568

A A

W

3

W

4

W

5

W

6

 

) ( ) ( ) ( ) ( ) (

) , ( ) , ( ) , ( ) , ( ) , , ( )

, , 1 (

, , Pr

2 2 3 3 4 4 5 5 2 6 6

3 1 13 4 2 24 5 2 25 7 6 67 5 4 3 346 8

6 5 568 8

8 1

1

W a W a W a W a W a

a a W a a W a a W a a W a a a W a a a W a Z

A a

A

   

(26)

転送行列法とベーテ近似

木構造を持つグラフィカルモデルではベーテ近似は転送行列法と等価である．

閉路を持つグラフィカルモデル上のベイジアンネットでの確率伝搬法はベーテ近似またはその拡張版であるクラスター変分法に等価である（ Yedidia, Weiss and Freeman, NIPS2000 ）．

ベーテ近似転送行列法

||

（木構造）

確率伝搬法

クラスター変分法

（菊池近似）

(27)

ベイジアンネットと確率伝搬法を用いた確率推論の概説

線形応答定理を用いた高次の推論システムへの発展

３日間の講義のまとめ

次回の予定

統計力学と情報処理 統計力学と情報処理