統計力学と情報処理統計力学と情報処理

(1)

統計力学と情報処理統計力学と情報処理

--- --- 自由エネルギーの生み出す新しい情報処理技自由エネルギーの生み出す新しい情報処理技術術 --- ---

２００３年８月１４日後半２００３年８月１４日後半

東北大学大学院情報科学研究科東北大学大学院情報科学研究科

田中　和之田中　和之 kazu@statp.is.tohoku.ac.jp kazu@statp.is.tohoku.ac.jp

http://www.statp.is.tohoku.ac.jp/~kazu/

(2)

第回物性若手夏の学校48 2

この時間の主な内容

ベイジアンネットとクラスター変分法を用いた確率推論の概説

線形応答定理を用いた高次の推論シ

ステムへの発展

(3)

前の時間のポイント

ベイジアンネットは磁性体の物理モデルと対応づけられる．

１次元鎖および木構造を持つベイジアンネットは確率伝搬法（＝転送行列法）

で計算できる．

1 2 ³ ^N ^¹ ^N

A1

A2 A₃

A A A

(4)

48

より複雑なベイジアンネット

A1

A3

A2

A4

A6 A₅

W13

W67

W24

W

25

W

346

W568

A8

A7

W3

W4

W5

W6

(5)

より複雑なベイジアンネット    

) (

) ,

( )

, (

) (

) ,

( )

, ( )

, ,

( )

, ,

( 1

, ,

, Pr

2 2

3 3

3 1 13 4

2 24

4 4

5 5

2 6 6

5 2

25 7

6 67

5 4

3 346

8 6

5 568

8 8

2 2

1 1

a W a

W

a a W

a a

W

a W a

W a

W

a a

W a

a W

a a

a W

a a

a W

Z

a A

P





 

a

A1

A3

A2

A4

A6 A₅

W13

W67

W24

W

25

W

346

W568

W3

W4

W5

W6

 ^ _{1 } ^, ² ^, ^, ⁸ 

 a _i i

a

(6)

48

周辺確率分布

   





a

i

i a P

P

\

) (

a

    



k j i a a a

k j

i

ijk

a a a P

P

, ,

\

) ,

, (

a

    



j i a a j

i

ij

a a P

P

,

\

) ,

(

a

A1

A3

A2

A4

A6 A₅

W13

W67

W24

W25

W346

W568

A8

A7

W3

W4

W5

W6

  ^Pr  ^A

₁

^a

₁

^, ^A

₂

^a

₂

^, ^, ^A

₈

^a

₈



P a     

（ Belief ）信念

(7)

クラスター変分法の基本方針

A1

A3

A2

A4

A6 A₅

A8

A7

W346

) (

₃

13

3

A

M

_

₍ ₎

4 24

4

A

M

_

) ( ₆

67

6 A

M _

) (

₆

568

6

A

M

_

A3 A₄

A6 A₅

A8

A7

W346

) ( ₆

67

6 A

M _

) ( ₆

568

6 A

M _ )

( ₆

346

6 A

M _

  ^   

3 4

6 4

3 346

6 6 , ,

a a

a P

a

P

(8)

48

クラスター変分法の固定点方程

式  

 









3 4 6

3 4

) (

) ,

, (

) (

) ,

, ( )

(

4 24

4 3

13 3

6 4

3 346

4 24

4 3

13 3

6 4

3 346

6 346

6

a a a a a

a M

a a

a W

a M

a a

a W

a M

確率伝搬アルゴリズム

A1

A3

A2

A4

A6

) (

₃

13

3

A

M

_

M

₄_₂₄

( A

₄

) )

(

₆

346

6

A

M

_

A1

A3

A2

A4

A6 A₅

W13

W67

W24

W25

W346

W568

A8

A7

W3

W4

W5

W6

(9)

固定点方程式と反復法

固定点方程式 ^M ^ ^* ^ ^ ^   ^M ^ ^*

反復法  

   





2 3

1 2

0 1

M M













繰り返し出力を入力に入れることに

より，固定点方程式の解が数値的に

得られる．

M0

M1

0 x y 

) (x y  

y

x

M *

(10)

48

クラスター変分法

) ( ) (

) , ( )

, ( )

, (

) ( ) ( )

(

) , ( )

, , ( )

, , (

) , , , , , , , (

2 2 3 3

3 1 13 4

2 24 5

2 25

4 4 5 5 2 6 6

7 6 67 5

4 3 346 8

6 5 568

8 7 6 5 4 3 2 1

x Q x Q

x x Q x

x Q

x x Q

x Q x Q x

Q

x x Q

x x x Q

x x x x x x x x Q





の周辺確率分布 :

) ( )

(x x (x)

x

\ x

Q Q

Q ^





 

⁽ ⁾^ln

_{ } ^{ }

_ ^ ⁰



 







^x  _x^x

x P

Q Q P

Q

D

 



















x

x x

1 ) (

0 Q

Q X₁

X3

X2

X4

X6 X₅

W13

W67

W24

W25

W346

W568

X8

X7

W3

W4

W5

W6

W67

X1

X3

X2

X4

X6 X₅

X8

X7

W13 ^W²⁴

W25

W346

W568

X3

X6

X5

X4

X6

X2

W3

W2

W4

W5

W6

(11)

クラスター変分法

  ^ ^{ } ^

   

 ^Q ^W  ^D  ^Q ^W  ^Z

D

W Q

D W

Q D

W Q

D W

Q D

W Q

D W

Q D

W Q

D W

Q D P

Q D

ln

| 2

|

6 6

5 5

4 4

3 3

568 568

67 67

25 25

24 24

346 346

13 13











 ^



5 4

, ) , ( )

, ( )

(

₂ ₂₄ ₂ ₄ ₂₅ ₂ ₅

2

x x

x x Q

x Q



 





 

  



 ^} ^arg ^min

_

^[ ^| ^] ⁽ ⁾  ⁽ ^),  ⁽ ⁾ ¹

| {

} \

|

{      

 





 



C x x x

x x

x

Q Q

Q P Q D P

C Q

X1

X3

X2

X4

X6 X₅

X8

X7

W13 ^W²⁴

W25

W346

W568

X3

X6

X5

X4

X6

X2

W3

W2

W4

W5

W6

(12)

48

周辺確率分布の近似表式

 _



 







 

 





 



3 4 6

( ) ( )

) ( )

( )

, , (

) ( )

(

) ( )

( )

, , ( )

, , (

6 568 6

6 67 6

4 24 4

3 13 3 6

4 3 346

6 568 6

6 67 6

4 24 4

3 13 3 6

4 3 346 6

4 3 346

a a a

M a M a

a M

a a a W

a M

a a a W

a a a P

A1

A3

A2

A4

A6 A₅

A8

A7

W346

) ( ₃

13

3 A

M _ ₍ ₎

4 24

4 A

M _

) ( ₆

67

6 A

M _

) ( ₆

568

6 A

M _

(13)

数値実験

0104 .

0 )

1 ( 9896

. 0 )

1

( ₃

3   P  

P

0104 .

0 )

1 ( 9896

. 0 )

1

( ₃

3   P  

P

4393 .

0 )

1 ( 5607

. 0 )

1

( ₈

8   P  

P

4360 .

0 )

1 ( 5640

. 0 )

1

( ₈

8   P  

P

Cluster Variation Method

Exact

4500

. 0 )

1 ( 5500

. 0 )

1

( ₅

5   P  

P

4500 .

0 )

1 ( 5500

. 0 )

1

( ₅

5   P  

P

X1

X3

X2

X4

X6 X₅

W13

W67

W24

W25

W346

W568

W3

W4

W5

W6





ai

i

i a P a a a a a a a a

P

\

8 7 6 5 4 3 2

1, , , , , , , )

( )

(

a

(14)

48

線形応答理論の応用

 ^ _{1 } ^, ² ^, ^, ⁸ 

 a

_i

i a



 



 



j i

P P

n P n

P n

P

j j j n aj n aj

i

Node at

Field External

to respect with

Node at

Average of

Deviation

) ( )

( )

( ^ ^  ^ 





a a

a

_,

) ,

(

~ ~

)

(  

 





 



  



 i

j i

h

j i

ij

h

n P

m P

n m P

i

) lim (

) ( )

( )

, (

) ( 0

 ^h

_i _a_i _m



Z P

P 1 ~ ( ) exp

_,

)

~ ( a  a 

A1

A3

A2

A4

A6 A₅

A8

A7

（人為的に小さなゆらぎを与えてその応答を見ることで詳細を知ることができる．）

(K. Tanaka, IEICE, vol.E86-D, no.7, pp.1228-1242, 2003.)

(15)

数値実験  

 

⁰⁰^.^.⁰⁰⁸²⁴³⁹³ ⁰^.⁰¹⁸⁷

Pr

, Pr

Pr



 



 



Present

Present Present

Dyspnea

Dyspnea is

Tuberculos

Dyspnea is

Tuberculos

A

A A

A1

A3

A2

A4

A6 A₅

W13

W67

W24

W25

W346

W568

A8

A7

W3

W4

W5

W6

(16)

4848

第回物性若手夏の学校

自動化が急務．

パラメータのデータからの学習 EM アルゴリズム

クラスター変分法の更なる拡張の試み

Region Graph Method Max-Product Method

ベイジアンネットの今後の動向

ベイジアンネットの今後の動向ベイジアンネットの今後の動向

ベイジアンネットの今後の動向

(17)

確率推論と統計力学の言葉の対確率推論と統計力学の言葉の対応確率推論と統計力学の言葉の対応確率推論と統計力学の言葉の対応応

頂点 (Node) 信念 (Belief) カルバック・ライブラー情報量確率伝搬法・

Belief

Propagation

・ Junction Tree

Algorithm

格子点 (Site)

一体分布関数

自由エネルギー

転送行列法・ベ

ーテ近似

(18)

4848

第回物性若手夏の学校

本講義を通してのまとめ本講義を通してのまとめ本講義を通してのまとめ本講義を通してのまとめ

モノの理とコトの技の接点たくさんが関連

キーワードは「ベイズの公式」

ゆらぎを巧みに扱えるシステムのデザイン

物理学のバージョンアップ

(19)

確率推論についての参考文献

J. Pearl

J. Pearl , , “ “ Probabilistic Reasoning in Intelligent Probabilistic Reasoning in Intelligent Systems: Networks of Plausible

Systems: Networks of Plausible Inference”, Mor Inference”, Mor gan gan Kaufmann, 1988 Kaufmann, 1988 . .

本村陽一本村陽一 , “ , “ ベイジアンネットソフトウェア” ベイジアンネットソフトウェア” , , 人工知能学会誌

人工知能学会誌 , vol.17, no.5, pp.559-565, 200 , vol.17, no.5, pp.559-565, 200 2. 2.

K. Tanaka, “Probabilistic Inference by means of K. Tanaka, “Probabilistic Inference by means of Cluster Variation Method and Linear Response Cluster Variation Method and Linear Response

Theory”, IEICE Transactions on Information and Theory”, IEICE Transactions on Information and

Systems, vol.E86-D, no.7, pp.1228-1242, 2003

(20)

本講義で取り上げなかったトピックス

( 符号理論・移動体通信 ) の参考文

献樺島祥介 “物理の世界樺島祥介 “物理の世界 / / 学習と情報の平学習と情報の平均場理論”

均場理論” , , 岩波書店岩波書店 , 2002. , 2002.

樺島祥介 “コトの物理学

樺島祥介 “コトの物理学 --- --- 誤り訂正符誤り訂正符号を例として

号を例として ---”, ---”, 日本物理学会誌日本物理学会誌 , , vol.58, no.4, pp.239-246, 2003.

vol.58, no.4, pp.239-246, 2003.

田中利幸田中利幸 , `` , `` 移動体通信技術とスピング移動体通信技術とスピングラスとの意外な関係”

ラスとの意外な関係” , , 日本物理学会誌日本物理学会誌 , , vol.56, no.9, pp. 660-666, 2001.

vol.56, no.9, pp. 660-666, 2001.

(21)

これから参入したい方のために

西森，樺島，田中他著

西森，樺島，田中他著 , “, “ 特集特集 // 知識情報処理の統計力学知識情報処理の統計力学的アプローチ”

的アプローチ” , , 数理科学数理科学 1999 1999 年年 12 12 月号月号 . .

西森秀稔西森秀稔 , “, “ 新物理学選書新物理学選書 // スピングラス理論と情報統計スピングラス理論と情報統計力学” 岩波書店

力学” 岩波書店 , 1999., 1999.

H. Nishimori, “Statistical Physics of Spin Glasses and H. Nishimori, “Statistical Physics of Spin Glasses and

Information Processing: An Introduction”, Oxford University Information Processing: An Introduction”, Oxford University Press, 2001.

Press, 2001.

M. Opper and D. Saad (eds), “Advanced Mean Field M. Opper and D. Saad (eds), “Advanced Mean Field Methods --- Theory and Practice ---”, MIT Press, 2001.

Methods --- Theory and Practice ---”, MIT Press, 2001.

田中・樺島編

田中・樺島編 , “, “ ミニ特集ミニ特集// ベイズ統計・統計力学と情報ベイズ統計・統計力学と情報処理”処理” , , 計測自動制御学会誌「計測と制御」計測自動制御学会誌「計測と制御」 20032003 年年 88 月号月号

(22)

What is SMAPIP?

文部科学省科学研究費補助金特定領域研究文部科学省科学研究費補助金特定領域研究

２００２年４月－２００６年３月２００２年４月－２００６年３月

http://www.smapip.eei.metro-u.ac.jp./

(23)

本講義の関連イベントのお知らせ本講義の関連イベントのお知らせ

SMAPIP 講習会 “確率的アルゴリズムによる情報処理”

　 2003 年 11 月 10 日 ( ぱるるプラザ京都 ) 講師 ( 敬称略 ): 福島孝治 ( 東大 )

渡辺　治 ( 東工大 )

喜多　一（京大）

http://www.statp.is.tohoku.ac.jp/~kazu/SMAPIP/2003/tutorial/

 情報論的学習理論ワークショップ (IBIS2003) 2003 年 11 月 11-12 日 ( ぱるるプラザ京都 ) http://www.ibis2003.org/

 ベイジアンネットセミナー (BN2003)

2003 年 11 月 13-14 日 ( ぱるるプラザ京都 ) http://www.bn2003.org/

SMAPIP 講習会 “確率的アルゴリズムによる情報処理”

　 2003 年 11 月 10 日 ( ぱるるプラザ京都 ) 講師 ( 敬称略 ): 福島孝治 ( 東大 )

渡辺　治 ( 東工大 )

喜多　一（京大）

http://www.statp.is.tohoku.ac.jp/~kazu/SMAPIP/2003/tutorial/

 情報論的学習理論ワークショップ (IBIS2003) 2003 年 11 月 11-12 日 ( ぱるるプラザ京都 ) http://www.ibis2003.org/

 ベイジアンネットセミナー (BN2003)

2003 年 11 月 13-14 日 ( ぱるるプラザ京都 ) http://www.bn2003.org/

(24)

48

本講義の関連イベントのお知本講義の関連イベントのお知

らせらせ

Satellite Meeting of STATPHYS 22 Satellite Meeting of STATPHYS 22

“ “ Statistical Physics of Disordered Systems Statistical Physics of Disordered Systems and Its Applications (SPDSA2004)”

and Its Applications (SPDSA2004)”

2004

2004 年年 7 7 月月 12-15 12-15 日日 , , 湘南国際会議村湘南国際会議村 , , 葉山町葉山町

組織委員長：西森秀稔 ( 東工大 )

http://www.stat.phys.titech.ac.jp/~nishi/SPDSA/

Satellite Meeting of STATPHYS 22 Satellite Meeting of STATPHYS 22

“ “ Statistical Physics of Disordered Systems Statistical Physics of Disordered Systems and Its Applications (SPDSA2004)”

and Its Applications (SPDSA2004)”

2004

2004 年年 7 7 月月 12-15 12-15 日日 , , 湘南国際会議村湘南国際会議村 , , 葉山町葉山町

組織委員長：西森秀稔 ( 東工大 )

http://www.stat.phys.titech.ac.jp/~nishi/SPDSA/

統計力学と情報処理 統計力学と情報処理