統計力学と情報処理 統計力学と情報処理

統計力学と情報処理 統計力学と情報処理

--- 自由エネルギーの生み出す新しい情報処理技自由エネルギーの生み出す新しい情報処理技 術術 ---

２００３年８月１３日後半 ２００３年８月１３日後半

東北大学 大学院情報科学研究科 東北大学 大学院情報科学研究科

田中　和之 田中　和之 kazu@statp.is.tohoku.ac.jp kazu@statp.is.tohoku.ac.jp

http://www.statp.is.tohoku.ac.jp/~kazu/

http://www.statp.is.tohoku.ac.jp/~kazu/

ベーテ近似による確率的 画像処理アルゴリズム

各種確率的画像処理

この時間の主な内容

情報処理における平均場理論の発展 情報処理における平均場理論の発展

計算困難の問題の解消に有効 計算困難の問題の解消に有効 平均場近似の有効性と限界．

平均場近似の有効性と限界．

更に高精度の近似に対する要請

ベーテ近似に対する期

待

ベイズの公式と２値画像修復の事後確 率

     

 

 



^{f g}



g G

f F

f F

g g G

G f F

Z  E









 





1 exp

Pr

Pr Pr Pr

  _  

















) , (

1 ,

, ,

1 ,

, ,

y x

y x y x y

x y x y

x y

x

f f f f f

g

E f g   

1 0 2 ln

1  



 



  

p

 p 外場 　　　 　 　　と相互作用 をもつ



^g_x,y ^{(x, y)}





事後確率の別の表現

 

x y



f_{x y} g_{x y}

 ^{ }

f_{x y} g_{x y} y

x

f p p

W

, ,

 1  

, , ,

 1  

, , ,

 



























 



 













  

 



  









) ,

( , , , 1 , 1

1 , ,

1 , , )

,

( , , 1, 1,

, 1 ,

, 1 , )

, (

, ,

) (

) (

) ,

(

) (

) (

) ,

( ) (

Pr

y

x x y x y x y x y

y x y

x y

x y x y

x x y x y x y x y

y x y

x y

x y x y

x

y x y

x

f W

f W

f f

W

f W

f W

f f

W f W

g G

f F

 

_{,' ' ,}

  

_{, , ,' '}

 

_{, ,' '}



, '

,' ,

' ,'

, 1 exp

, _{x y x y x y x y x y x y x y}

y x y

x y

x y

x y

x W f W f f f

f Z f

W 



周辺確率分布

 

   ^{ }



y

fx

y x y

x

f P

\ ,

,

,

Pr

f

g G

f F

) (

 

   ^{ }



' ', ,

,

\ '

,' ' ,

, ,' , Pr

y x y

x

f

f y

x y

y x x y

x f f

P

f

g G

f ) F

(

  _, ^ _{ ,} ^{,' '}  _{, ,' '} 

, ,

f

y x y

y x x y x y

x y

x f P f f

P

ベーテ近似の基本方針

  _  



 



y

fx

y x

y x y

x y x y

x y

x

f P f f

P

, 1

, 1 ,

, 1 , ,

,

,

) , ( yx

) 1 , (x y

) , 1

(x y (x1,y)

) 1 , (x y

) ( _,

1 ,

, xy

y x

y

x f

M ^ ) ( _,

, 1

, xy

y x

y

x f

M ^

) ( _,

1 ,

, xy

y x

y

x f

M ^ M_x^x_,^_y^1,y(f_x,y) ) ( _,

,y xy

x f

W

) 1 , 1 (x y

) , ( yx

) 1 , (x y

) , 1

(x y (x1,y)

) 1 , (x y

) ( _,

1 ,

, xy

y x

y

x f

M ^ ) ( _,

, 1

, xy

y x

y

x f

M ^

) ( _,

1 ,

, xy

y x

y

x f

M ^

) ( _1,

1 , 1 ,

1 x y

y x

y

x f

M _^{ } _

) 1 , 1 (x y

) ( _1,

1 , 1 ,

1 x y

y x

y

x f

M _^{ } _

) , 2 (x y )

( _1,

, 2

,

1 x y

y x

y

x f

M _^ _

 _{xy x y}

y x

y

x f f

W_,^1, _, , _1,

         

     x y y

x y x y x y x

y x y x y x

y x

y x y x

y x y x y x

y x y x y x

y x y x y x y x

y y x x

y x y x y x y x

y x

f M

f M

f M

f M f M f M f f Z W

f f P

, 1 1 , 1

, 1 , 1 1 , 1 , 1 , 1 , 2

, 1

, 1 , , , 1 , , , , 1 , , 1 , , 1 , , 1 , ,

1 , , 1

, 1 ,

,



























 



 







       

   x y y

x y x y x y x

y x

y x y x

y x y x y x

y x y x y x y x y

x y x

f M

f M

f M

f M

f Z W

f P

, 1 , , ,

1 , ,

, , 1 , ,

, 1 , ,

, , ,

,

1













ベーテ近似の固定点方程式

) , ( yx

) 1 ,

(x y

) , 1

(x y (x 1, y)

) 1 ,

(x y 

) ( _,

1 ,

, x y

y x

y

x f

M ^ ) ( _,

, 1

, x y

y x

y

x f

M ^

) ( _,

1 ,

, x y

y x

y

x f

M ^

) ( _1,

, ,

1 x y

y x

y

x f

M _{ }

 

 

       

 

       

 















 













































y

x x y

y x

f f

y x y

x y x y

x y

x y x y

x y x

y x y

x y x

y x y x y x

y x f

y x y

x y x y

x y

x y x y

x y x

y x y

x y x

y x y x y x

y x

y x y

x y x

f M

f M

f f M

W

f f

W

f M

f M

f f M

W

f f

W f

M

, 1,

,

, 1 , , ,

1 , , ,

, 1 , ,

1 ,

1

, 1 ,

, 1 ,

, 1 , , ,

1 , , ,

, 1 , ,

1 ,

1

, 1 ,

, 1 ,

, 1 ,

,

1 ,

,

固定点方程式

  ^M

M   





反復法

固定点方程式と反復法

固定点方程式

^{M  *   }   ^{M  *}

反復法

 

   















2 3

1 2

0 1

M M

M M

M M













繰り返し出力を入力に入れることに 繰り返し出力を入力に入れることに より，固定点方程式の解が数値的に より，固定点方程式の解が数値的に 得られる．

得られる．

M0

M1

M1

0

x y 

) (x y  

y

x

M *

カルバック・ライブラー情報量

 

^{( )ln}

_{ } ^{ }

_^{  0}













^f  _f^f_g

f P

Q Q P

Q

D

 

_



 



 





f

f

f 0, Q( ) 1

 Q

   

Z Q

F

Z Q

Q E

Q P

Q D

Q F

ln ]

[

ln ln

) ( )

( ]

| [

] [









  











 











 



f f

g f f

f f

  ^{ P}   ^{ D}   ^{Q P  0}

Q f f g

 

^{F P Z}

Q Q

Q F[ ] 1 [ ] ln

min   

















f

f

 

 



^



f

g f E Z exp

ベーテ自由エネルギ ー

 

_^





























 

  



  







  







 ( , ) , , , 1 , 1

1 , ,

1 , , )

,

( , , 1, 1, , 1 ,

, 1 , )

, (

,

, ( ) ( )

) ,

( )

( )

(

) ,

) ( (

y

x x y x y x y x y

y x y x y

x y x y

x x y x y x y x y

y x y x y x

y x y

x

y x y

x Q f Q f

f f

Q f

Q f

Q

f f

f Q Q

Q f





y

fx

y x y

x

f Q

Q

,

) ( )

(

_,

,

\ f

f

  _{ } ^{ }

^F

   

^{Q Z}

P Q Q

P Q

D ( )ln    ln













^f  _f^f_g ^{Bethe }

f









' ',

, ,

' ,' ,

' ,'

, ( , ) ( )

y x y

x f

f y

x y x y

x y

x f f Q

Q

\ f

f

 

 









    



    



















) , (

1 , 1

, ,

1 , ,, 1

,, )

, (

, 1 ,

1 ,

, , , 1 ,

, 1 )

, (

, ,

]

| [

]

| [

]

| [

]

| [

]

| [

]

| [

]

| [

}]

[{

y x

y x y

x y

x y

y x xy y x

x y x y

x

y x y

x y

x y

y x xy y x

x y x y

x

y x y

x

W Q

D W

Q D W

Q D

W Q

D W

Q D W

Q D

W Q

D Q

F_{Bethe }

ベーテ自由 エネルギー

ベーテ自由エネルギーの物理的意味

 

 









    



    



















) , (

1 , 1

, ,

1 , ,, 1

,, )

, (

, 1 ,

1 ,

, , , 1 ,

, 1 )

, (

, ,

]

| [

]

| [

]

| [

]

| [

]

| [

]

| [

]

| [

}]

[{

y x

y x y

x y

x y

y x xy y x

x y x y

x

y x y

x y

x y

y x xy y x

x y x y

x

y x y

x

W Q

D W

Q D W

Q D

W Q

D W

Q D W

Q D

W Q

D Q

F_{Bethe }

拘束条件付き変分としてのベーテ近 似

  ^{Q P F}     ^{Q   Z}

D 

_{Bethe }

 ln

     

  _  



















 





 









1 , 1

,

, 1 ,

1

, 1

, ,

1 , 1

, ,

1 , ,

, ,

1 ,

, 1 ,

1 ,

, 1 , ,

,

, ,

, ,

y x y

x

y x y

x

f

y x y

x y

x y x f

y x y

x y

x y x

f

y x y

x y

x y x f

y x y

x y

x y x y

x y

x

f f

Q f

f Q

f f

Q f

f Q

f Q

 

  ^D   ^{Q P}

Q Q

Q

Q y

x y y x

x y x y

x



min ˆ arg

ˆ ,

ˆ ,

^{, 1}

, , , 1

, ^{ }



拘束条件

ベーテ近似の周辺確率分布（１）

       

 

_{x y x}^x _y^y

 

_{x y}

y x y x

y y x

x y x y

y x x y x y

x y

y x y x

x y

x

f M

f M

f M

f M

f Z W

f Q

1 , ,,

1 , ,,

, , , 1 , ,

, 1 ,

, , ,

,

1

ˆ













) , ( yx

) 1 ,

(x y 

) , 1

(x y (x1, y)

) 1 ,

(x y 

) ( _,

1

,,y x y x y

x f

M ^ ) ( _,

, 1

, x y

y x

y

x f

M ^

) ( _,

1

,,y x y x y

x f

M ^

) ( _,

,

, 1 y x y x y

x f

M ^

ベーテ近似の周辺確率分布

（２）

) 1 ,

1 (x  y 

) , ( yx

) 1 ,

(x y 

) , 1

(x  y (x 1, y)

) 1 ,

(x y 

) ( _,

1

,,y x y x y

x f

M ^

) ( _,

, 1

, x y

y x

y

x f

M ^

) ( _,

1

,,y x y x y

x f

M ^

) ( _1,

1 , 1,

1 y x y

x y

x f

M _^{ } _

) 1 ,

1 (x y 

) ( _1,

1 , 1,

1 y x y

x y

x f

M _^{ } _

) , 2 (x y

) ( _1,

, 2,

1 y x y

x y

x f

M _^ _

         



_{x y}



_x^x _y^y



_{x y}



_x^x _y^y



_{x y}



y x y x

y y x

x y x y y x

x y x y y x

x y x y x y y x

xy y x

x y x y

x y y x

x y x

f M

f M

f M

f M

f M

f M

f f

Z W f

f Q

, 1 1

, 1, , 1

1 1 , 1, , 1

, 1 2, 1

1 , ,, 1 ,

,, , ,

, 1 ,

1 , ,

, 1 ,

, 1 ,

1 , ,

, 1 1 ,

ˆ ,

 



 



 







 

 

 





原画像 ベーテ近似

2) (

5 0

1









 .

1

1



 



) 4 (

25 . 0

1





 



ベーテ近似を用いた数値実験

（１）

平均場近似 劣化画像

(p=0.2)

ベーテ近似を用いた数値実験

（２）

原画像 劣化画像 平均場近似 ベーテ近似

結合確率と周辺尤度

 ^{F  f , G  g}

^

^,  ^{ Pr}  ^{G  g F  f ,}   ^{Pr F  f}

^



Pr p p

 ^{f p}

^g

周辺化周辺化

p



^Pr

, ^

^{G  g, p}

g ^



^{F  f }



Pr ^Pr



^{F  f G  g, p}



g

 ^  ^   ^{ } 

f

g G

f F

g

G , p Pr , , p

Pr  

データ g が与えら れたという条件のもとで の に対す る尤もらしさを表す関数

p

 ,



^{ˆ, pˆ}



^{ arg max Pr}



^{G  g, p}



ベーテ近似による周辺尤度

 ^{ , p}  ^{ln Z   , p  ln Z   }

Pr

ln G  g  

    1 , , ^{, 1}  

,

, , ˆ , ˆ

, ˆ

ln  ^{ }

 Z  p F _Bethe Q _{x y} Q _x ^x _y ^y Q _x ^x _y ^y

事後確率の自由エネルギー 事前確率の自由エネルギー

ベーテ近似を用いた数値実験

原画像 劣化画像

(p=0.2) ベーテ近似

2) (

5 0

1 





 .

1) (

1 1 







) 4 (

25 . 0

1 







0.151 ˆ

0.431 ˆ



 p



0.160 ˆ

0.408 ˆ



 p



0.257 ˆ

0.364 ˆ



 p



平均場近似

0.144 0.250



 pˆ

ˆ

0.089 0.251



 pˆ

ˆ

0.078 0.252



 pˆ

ˆ

（ハイパパラメータ α, p 推定値は周辺尤度最大化で決定）

ベーテ近似を用いた数値実 験

原画像 劣化画像 平均場近似 ベーテ近似

（ハイパパラメータ α, p の推定値は周辺尤度最大化で決定）

既存のフィルター理論との比

較 原画像原画像

MSE:135 MSE:135 MSE: 217

MSE: 217 MSE: 244

MSE: 244 MSE: 2075

MSE: 2075

劣化画像劣化画像 ベーテ近似ベーテ近似 平滑化フィルター平滑化フィルターメジアンフィルターメジアンフィルター

モノクロ画像の画像修復

劣化過程

( 加法的白色 ガウス雑音 )

事前確率



^{  }





,

,y

f

x

       

   

 

 









   



  







   







   



f f

d f

f f

f

f f

f f

P

y x

y x y

x y

x y

x y

x

y x y

x y

x y

x

) , (

2 1 , ,

2 , 1 ,

) , (

2 1 , ,

2 , 1 ,

2 exp 1

2 exp 1





  _  







) , (

, ,

y x

y x y

x f

g P P g f

   

_



 



 

 ²

2 2

exp 1 2

1 x y x y

y x y

x f f g

g

P _{, , , ,}

 



  ^f

P

劣化過程と事前確率

 

^{0, 2}

,

,_y  _{x y} N

x f

g