統計力学と情報処理統計力学と情報処理

(1)

第回物性若手夏の学校48 1

統計力学と情報処理統計力学と情報処理

--- 自由エネルギーの生み出す新しい情報処理技自由エネルギーの生み出す新しい情報処理技術術 ---

２００３年８月１３日前半２００３年８月１３日前半

東北大学大学院情報科学研究科東北大学大学院情報科学研究科

田中　和之田中　和之 kazu@statp.is.tohoku.ac.jp kazu@statp.is.tohoku.ac.jp

http://www.statp.is.tohoku.ac.jp/~kazu/

(2)

３日間のスケジュール

１日目：確率的情報処理の概観と自由エネルギーの情報論的理解

２日目：ベイズ統計・統計力学を用いた確率的画像処理

３日目：ベイズ統計・統計力学を用いた人工知能

(3)

この時間の主な内容

磁性体の理論と画像処理の不思議な共通点ベイズ統計による画像処理の確率モデル化

(4)

画像処理と磁性体の共通の数理

たくさんのノードからなる規則格子．

近傍ノードが関連．

空間フィルターは「平坦さ・滑らかさ」と「入力画像への近さ」とのかねあいで出力画像がきまる．

磁性体は「相互作用」と「外場」のかねあいで秩序がきまる．

理論的構造の類似性

Para Para Critical Critical Ferro Ferro

















1 1 1

1 1 1 9 1

相転移温度付近で相転移温度付近で

ゆらぎが大きくなる．

既存のフィルターで既存のフィルターではデータに含まれるはデータに含まれるゆらぎを扱いきれなゆらぎを扱いきれない．い．

磁性体の概念を画像処理に持ち込むことでデータのゆらぎを磁性体の概念を画像処理に持ち込むことでデータのゆらぎを

(5)

第回物性若手夏の学校4848

第回物性若手夏の学校 55

画像処理アルゴリズムのポイン画像処理アルゴリズムのポイン

トト

新しいフィルターの設計（情報）．

データからの予測問題（統計科学）

．．

確率モデルの物理的検証（物理）．

(6)

画像修復の確率モデル

原画像劣化画像

通信路

雑音

     

 ^劣化画像 ^原画像  ^原画像

劣化画像劣化画像原画像

事前確率

Pr

|

| Pr Pr









 



 

 

事後確率

(7)

画像処理の直感的理解

劣化画像には原画像の情報が残っている．

よく見ると猿の顔に見える

な！

周りが白ければ自分も白い．

ごみかな？

できるだけ白い固まりと黒い固まりの多い画像の中で劣化画像に近い画像を探す．

(8)

２値画像の劣化過程

,

_y   1 f x

劣化過程

( ２元対称通信路 )

  x y  f

_x _y

g

_x _y

 ^ ^ f

_x _y

g

_x _y

y

x f p p

W

, ,  1



, , ,  1



, , ,

2 0  p  1

原画像 _劣化画像

雑音通信路

,

_y   1 g x

y 

x

  _  







) , (

,

Pr ,

y x

y x y

x

f

W f

F

g

G

(9)

２元対称通信路の別の表現

    ^ ^ ^ ^

  ^ ^

  ^ ^{ } ^

 

  ^ ^ ^ ^

^_^ ^^_^

 



  

























    



p p f

g f g

z z

p p

f W

y x y

x

y x y x

y x y x y

x y x

y gx y fx y

gx y fx y

x y x y

x y x

f

y x y x

y x y x f

g f

g f g

f

g f g

f y

x y x

ln 1 2 1 exp

exp exp

exp

ln exp 1

ln ln

1 exp

1 1

1

1 , ,

, ,

1 , ,

, ,

1 ,

, ,

,

, ,

, , ,

,

, , , ,

, , ,

, ,

,

 







^ ^



劣化過程

( ２元対称通信路 )

  _  







) , (

,

Pr

,

y x

y x y

x f

W f

F g G

外場　　　　　を持つイジング模型

^g

^

 ^g _x _, _y

⁽

^x

^,

^y

⁾^^



y 

x

(10)

２値画像の画像修復の事前確率分布

 

   

 

   

 

 



 



 





 



 

 





 



 



 





 



    

 





 



    





  



  



  



  

f f

f F

) , (

1 , , ,

1 ,

) , (

1 , , ,

1 ,

) , (

1 2 , 2 ,

, 1 ,

) , (

1 2 , 2 ,

, 1 ,

2 1 2 1 Pr

y x

y x y x y

x y x y

x

y x y x y

x y x

y x

y x y

x y

x

y x y

x y

x

f f f

f

f f f

f

f f



exp exp

exp

exp f _x

_,

_y   1



 





 



 







 













 

 



 

 





 

 





 



 







 













 

 



 

 





_ _







1 1 1

1 1

Pr 1

1 1

Pr

_,1 _,1

1 , ,

,1 ,1

1 ,

, x y x y

y x y

x y

x

y x y

x

f

f f

f

f f

y 

x

相互作用

α α

を持つイジング模を持つイジング模型型

(11)

事前確率分布の物理的性質

2) (

5 0

1









.

1) (

1









) 4 (

25 0

1 







 .

(a) 平均場近似 (b) ベーテ近似 (c) 菊池近似

(d) 厳密解（ L. Onsage r ）



/ 1

 



^





 f

f F

Pr

lim

_,

|

f

x y

y 

x

(12)

ベイズの公式と２値画像修復の事後確率

     

 

 

 ^f ^g 

g G

f F

g g G

G f F

Z



E



 



1 exp

Pr

Pr Pr Pr

  _  

 







^M

x

N y

y x y x y

x y x y

x y

x f f f f f

g E

1 1

1 , ,

, 1 ,

,

,  

 g

f

1 0 2 ln

1  



 



  

p



p

外場　　　　　　と相互作用をもつイジング模型

 ^ ^g _x

_,

_y

⁽

^x

^,

^y

⁾^^





(13)

事後確率の別の表現

  x y  f

_x _y

g

_x _y

 ^ ^ f

_x _y

g

_x _y

y

x f p p

W

, ,

 1  

, , ,

 1  

, , ,

  _ _  

 





 



 

 





 



 

 

 



 







  

 



  

 





) ,

( , , , 1 , 1

1 , ,

1 , , )

,

( , , 1, 1,

, 1 ,

, 1 , ) , (

, ,

) (

) ,

(

) (

) ,

(

, Pr 1

y

x x y x y x y x y

y x y

x y

x y x y

x x y x y x y x y

y x y

x y

x y x y

x

y x y

x

f W

f f

W

f W

f f

W

f Z   W

g G

f F

       

^



 



 



_,' _' _, _, _, _,' _' _, _,' _' ²

, '

,' ' ,

, ,'

2 exp 1

,

_x

1

_y _x _y _x _y _x _y _x _y _x _y _x _y

y x y

x y y x

x y

x W f W f f f

f Z f

W 

(14)

周辺確率分布

 ^ ^G ^ ^g 

 _x _y _x _y

y f

x F f

f

y x

, ,

,

arg max Pr ˆ

,

 ^ ^  ^ _ ^ ^ ^ ^

y

f x

y x y

x f

F

,

Pr

Pr _, _,

\ f

g G

f F

g G

事後周辺確率最大化

(15)

平均場近似による事後周辺確率

 ^F ^f ^G ^g   ^E  ^f ^g  

Z





 1 exp

Pr

  _  

 





 ^M

x

N y

y x y x y

x y x y

x y

x f f f f f

g E

1 1

1 , ,

, 1 ,

,

,  



g

f

 





 





 





 







 











y x

y x y

x m m

m g m

m

, 1 ,

1 , 1 ,

1 ,

, tanh  

 ^F _x

_,

_y ^f _x

_,

_y  ^m _x

_,

_y ^f _x

_,

_y

2 1 2

Pr  G  g  1 

(16)

原画像

2) (

5 0

1 







 .

1) (

1

1 









) 4 (

25 . 0

1



 



平均場近似による数値実験例

（１）

平均場近似劣化画像 (p=0.2)

(17)

平均場近似による数値実験例

（２）

原画像 ^劣化画像 (p=0.2) 平均場近似

(18)

ハイパパラメータとは

 ^F ^f ^G ^g   ^E   ^f ^g 

Z





 1 exp

Pr

  _  



    





) , (

1 , ,

, 1 ,

, ,

y x

y x y x y

x y x y

x y

x f f f f f

g

E f g

  

1 0 2 ln

1  



 



  

p



p

ハイパパラメータ

, p



(19)

結合確率と周辺尤度

 ^F

^

^f

^,

^G

^

^g ^

^,



^ ^Pr

 ^G

^

^g ^F

^

^f

^,

 

^Pr

^F

^

^f ^ 

Pr

p p

 ^f ^p

^g

周辺化周辺化

p

 ^Pr , ^ ^G ^ ^g

^

^, g ^p ^

 ^F ^ ^f

^



Pr ^Pr  ^F ^ ^f ^G ^ ^g ^, ^p 

g

 ^  ^   ^ ^ 

f

g G

f F

g

G , p Pr , , p

Pr  

データ g が与えられたという条件のもとでのに対する尤もらしさを表す関数（尤度）．

p

 ,

 

   ^p 

p

, ˆ Pr

ˆ ,

,



 G  g

 arg max

(20)

平均場近似による周辺尤度

 ^ ^, ^p  ^ln ^Z  ^ ^, ^p  ^ln ^Z   ^

Pr

ln G  g  

   

 ^ ^ 





























 



 



   



 



  





) , (

1 , ,

1 ,

,

2 ln1

2 1

ln 1 ,

ln

y

x x y x y

y x y

x y

x

m m

m p m

g p m

p Z































 











y x y

x

y x y

x y

x m m

m g m

m

, 1 ,

1 , 1 ,

1 ,

,

tanh

 

事後確率の自由エネルギー事前確率の自由エネルギー

(21)

平均場近似によるハイパパラメータ推定例

（１）

原画像劣化画像 (p=0.2)

2) (

5 0

1 







.

1) (

1



 



) 4 (

25 . 0

1







平均場近似

0.144 0.250



pˆ



ˆ

0.089 0.251



 pˆ



ˆ

0.078 0.252



pˆ

ˆ

(22)

平均場近似劣化画像平均場近似

平均場近似によるハイパパラメータ推定例

（２）

(23)

ベーテ近似を用いた確率的画像処理アルゴリズム

各種確率的画像処理

次回の予定

統計力学と情報処理 統計力学と情報処理