統計力学と情報処理統計力学と情報処理

(1)

統計力学と情報処理統計力学と情報処理

--- 自由エネルギーの生み出す新しい情報処理技自由エネルギーの生み出す新しい情報処理技術術 ---

２００３年８月１２日前半２００３年８月１２日前半

東北大学大学院情報科学研究科田中　和之 kazu@statp.is.tohoku.ac.jp

http://www.statp.is.tohoku.ac.jp/~kazu/

(2)

３日間のスケジュール

１日目：確率的情報処理の概観と自由エネルギーの情報論的理解

２日目：ベイズ統計・統計力学を用いた確率的画像処理

３日目：ベイズ統計・統計力学を用いた人工知能

(3)

この時間の主な内容

統計力学と情報処理の不思議な共通点

（モノの理とコトの技）

予備知識

(4)

統計力学

_ベイズ統

情報科学

物性の理解・予言計情報の抽出・加工

共通の数理共通の数理

確率的情報処理への統計力学的アプローチ

ギブス分布と指数関数分布属

自由エネルギーとカルバックライブラー情報量

(5)

統計力学と情報処理の共通点

たくさん集まったものを扱っている．

関連しあって集まっているものを扱ってい

(6)

モノの理とコトの技の接点

モノの理を用いてコトの技を極める．

豊富な経験から得られた方法論の情報処理への拡張→新しい知見

コトの技を通してモノの理を鍛える．

統計力学を守備範囲の広い強固な理論体系へとバージョンアップ．

(7)

共通の数理構造

類似性：「たくさんが関連」

     

   

 

A

A A

B

A A

B B

A Pr | Pr

Pr

|

| Pr Pr

11001100011110…

キーワードは「ベイズの公式」

(8)

本講義の関連分野の歴史的変遷本講義の関連分野の歴史的変遷本講義の関連分野の歴史的変遷本講義の関連分野の歴史的変遷

70 年代～ 80 年代：物性としてのスピングラス理論を中心とした統計力学の深まり．

レプリカ法

西森温度の発見

モンテカルロ法の技術的発展

90 年代初頭：統計力学と確率的情報処理系との構造的な類似性の指摘．

情報理論との理論的類似性

ベイズ統計と西森温度の意外な関係の指摘 90 年代後半～：統計力学の応用範囲が情報科学全般へ急速に拡大（日本人の貢献大）．日本人の貢献大

(9)

確率的情報処理の統計力学的アプローチ

トピックス：

情報統計力学，複雑情報系，

情報通信トラフィック，

確率伝搬法，確率伝搬法画像処理，情報／符号理論，画像処理移動体通信，アルゴリズム解析，

進化的アルゴリズム，集団学習 , ベイジアンネットベイジアンネット

トピックス：

情報統計力学，複雑情報系，

情報通信トラフィック，

確率伝搬法確率伝搬法，画像処理画像処理，情報／符号理論，

移動体通信，アルゴリズム解析，

進化的アルゴリズム，集団学習 , ベイジアンネットベイジアンネット

主な武器：

統計科学，統計科学統計力学，情報幾何，情報理論，統計力学

アルゴリズム工学，ニューロコンピューティング主な武器：

統計科学統計科学，統計力学統計力学，情報幾何，情報理論，

アルゴリズム工学，ニューロコンピューティング

(10)

確率的画像処理確率的画像処理

劣化画像（ガウス雑音）確率的画像処理手法確率的画像処理手法

ローパスフィルターウィナーフィルターメジアンフィルター MSE:520 MSE:520 MSE: 2137

K. Tanaka, J. Phys. A, vol.35, no.37, 2002.

(11)

誤り訂正符号

誤り訂正符号におけるスピングラス理論の有効性

Y. Kabashima and D. Saad, Europhysics Letters, 1999.

符号化符号化伝送路伝送路復号化復号化ノイズノイズ

 ^ ^G ^ ^ ^ ^ ^ ^ ^J ^

J

0

 

G 

J 

0

n

n J

J

  



 ₀

 ^

 ^ ^ ^ 

^ ^ ^

_ _ ^{   } ^ _ _ ^

Prior











_ _

P P J Z

P  1

_J _,_G _

,

復号に平均場理論を用いると高性能の復号アルゴリズムができる．

スピングラス模型に対応

(12)

CDMA CDMA 復調法の性能評価復調法の性能評価 CDMA CDMA 復調法の性能評価復調法の性能評価

移動体通信にスピングラス理論が使える．

T. Tanaka, IEEE Trans. Inform. Theory, 2002

話し手の信号話し手の信号

拡散符号系列拡散符号系列

無線無線通信通信

基地局の基地局の受信信号受信信号



^復号処理^復号処理

拡散符号系列拡散符号系列

この復調方式をベイこの復調方式をベイズの公式で確率モデズの公式で確率モデル化するとスピンル化するとスピングラス模型で表されグラス模型で表される．る．

ノイズノイズ

他人の他人の会話会話

(13)

統計力学的アプローチによる公開鍵暗号統計力学的アプローチによる公開鍵暗号

ゴルフコース問題と情報の秘匿

Y. Kabashima, T. Murayama and D. Saad, Phys. Rev. Lett., 2000.

カップが天辺にあれカップが天辺にあれば何度得ってもボーば何度得ってもボールはもどってくるルはもどってくる

鍵鍵

カップが底にあれカップが底にあればどこから打ってばどこから打ってもボールはカップもボールはカップ

インする．

エネルギー関数による暗号設計の基本戦略エネルギー関数による暗号設計の基本戦略

(14)

人工知能

ベイジアンネット

AC

AS AR

AW

そのまま多体相互作用をもそのまま多体相互作用をもつ物理モデルに対応づけらつ物理モデルに対応づけら

れるれる

確率推論システム

確率推論システム平均場理論・転送行列法と同平均場理論・転送行列法と同じ枠組みが人工知能では確率じ枠組みが人工知能では確率

伝搬法として独自に発展伝搬法として独自に発展

本村陽一本村陽一

, ,

人工知能学会誌人工知能学会誌

, , vol.17, no.5, 2002. vol.17, no.5, 2002.

(15)

情報通信トラフィック

スピングラスの物理モデルがインターネットのパケット流制御に使える．

スピングラスの物理スピングラスの物理モデルのある種のダモデルのある種のダイナミックスとしてイナミックスとして

書き換えられる．

どの経路を通ってパケットが届けられどの経路を通ってパケットが届けられるかはその経路の距離と途中のルータるかはその経路の距離と途中のルータ

ーの混みぐあいによって決まる．

T. Horiguchi and S. Ishioka, Physica A, vol.297, 2001.

(16)

本講義で使う確率の知識

（１）

  ^ _{ } ^

 Â ^B  Â   ^B Â   Â

B A A

B

Pr Pr

, Pr

Pr , Pr Pr





 ^A

B

条件付き確率と結合確率条件付き確率と結合確率

事象Ａの起こる確率

Pr{A }

事象 A と事象 B の結合確率

^Pr  ^A ^, ^B  ^{ Pr}  ^A ^ ^B 

(17)

本講義で使う確率の知識

（２）

   

    



i

N A

A A

A

N

i

A A A

A

\ ,

, ,

2 1

, ,

, Pr

Pr



     





  

 ^



B C

B A A C

C B

A C

B A B

\ , ,

, ,

Pr ,

, Pr

Pr

結合確率と周辺確率

 ^A ^, ^B ^, ^C     ^\ ^B ^ ^A ^, ^C 

(18)

本講義で使う確率の知識

（３）

     

   

  ^ _{ } ^    

     

   



















A A

B

A A

B B

A A

B B

B B A

A

B A B

B B

A B

A

A A

B B

A

Pr Pr

Pr

Pr Pr

Pr , Pr Pr

, Pr

Pr

Pr Pr

, Pr

Pr Pr

,

Pr ^A

B

ベイズの公式ベイズの公式

(19)

本講義で使う確率の知識

（４）

確率変数 A の導入

 ^A ^ ^a 

Pr

の起こる確率事象 A  a

 Â ^ â  ^ ^P   â

Pr

Pr{A=a} が関数 P(a) で表されるとき， P(

a)

を確率変数

Ａ

の確率分布という．

(a は実現値 )

(20)

最も簡単な確率分布

     

  ^K

Ka Ka

a Ka A

a

cosh 2

exp )

exp(

Pr exp

1



 





 ^A ^a    ^K

a A

a

tanh Pr

1



 





   

 ¹  ^Pr  ¹ 

Pr 0

1 Pr

0 



























A A

K

A A

K

確率変数 A をスピン変数， K を外場と見ると，１個 のスピンに外場のかかった物理モデルに対応する．

(21)

互いに独立な確率変数の結合確率分布

   







1

1 1

1 1 1

1

) exp(

Pr exp

a

a K

a a K

A

   

  

₁ ₁

 

₂ ₂



1 1

2 2 1

1

2 2 1

1 2

2 1

1 Pr Pr

exp , exp

Pr

1 2

a A

a a A

K a

K

a K a

a K A

a A

a a



 

 



 



 

     



₁ ₁

  

₁

1 1

2 2

1 1

1

1 1

2 2

1 1

tanh Pr

Pr Pr

, Pr

1

1 2

K a

A a

a A

a a

A a A

a A

a

a a





 







 



 

確率変数が互いに独立であれば様々の統計量が簡単に計算できる

．

   







1

2 2

2 2 2

2

) exp(

Pr exp

a

a K

a a K

A

(22)

簡単な相関のある結合確率分布

     



¹ ₁² ₂



1 1

2 1 2 1 2

2 1

1

4 cosh

exp )

exp(

, exp Pr

1 2

a Ka

a Ka a

Ka a a Ka

A a

A

a a



  



 

   

 ¹ ^, ¹  ^Pr  ¹ ^, ¹ 

Pr

1 ,

1 Pr

1 ,

1 Pr

0 1 ,

1 Pr

1 ,

1 Pr

1 ,

1 Pr

1 ,

1 Pr

0

2 1













































































A A

a

A A

a

確率変数 A₁ と ^A2 をスピン変数， K を相互作用と見 ると，２個のスピンの間に相互作用のある物理モデル

(23)

本講義で使う数値計算の知識

固定点方程式

^M

^*

^ ^   ^M

^*

反復法

   

 



2 3

1 2

0 1

M M













繰り返し出力を入力に入れることに繰り返し出力を入力に入れることにより，固定点方程式の解が数値的により，固定点方程式の解が数値的に得られる．

得られる．

M0

M1

0 x y 

) (x y  

y

x

M *

(24)

自由エネルギーの情報論的理解

平均場近似の基礎の復習と情報論的解釈

次回の予定

統計力学と情報処理 統計力学と情報処理