Eindhoven University of Technology MASTER. Shannon strategieen voor het and-channel. van Dorsselaer, E.L.M.E. Award date: Link to publication

MASTER

Shannon strategieen voor het and-channel

van Dorsselaer, E.L.M.E.

Award date:

1982

Link to publication

Disclaimer

This document contains a student thesis (bachelor's or master's), as authored by a student at Eindhoven University of Technology. Student theses are made available in the TU/e repository upon obtaining the required degree. The grade received is not published on the document as presented in the repository. The required complexity or quality of research of student theses may vary by program, and the required minimum study period may vary in duration.

General rights

Copyright and moral rights for the publications made accessible in the public portal are retained by the authors and/or other copyright owners and it is a condition of accessing publications that users recognise and abide by the legal requirements associated with these rights.

• Users may download and print one copy of any publication from the public portal for the purpose of private study or research.

• You may not further distribute the material or use it for any profit-making activity or commercial gain

jl ⁰ 1

TECHNISCHE HOGESCHOOL EINDHOVEN Afdeling der Elektrotechniek

Vakgroep Informatie- en Communicatie Theorie .

Shannon Strategieen voor het And-Channel

door

E.L.M.E. van Dorsselaer

Afstudeerverslag over het onderzoek gedaan in de periode april 81-mei 82 Coach

Dr.ir. A.J. Vinck'

VOCIRWOORD

1. HET AND-CHANNEL 1 • 1

1 .2 1 .3 1 .4 1 .5

Introductie

Inner- en outerbound; definitie capaciteitsgebied Het afgeleide kanaal

Reductie van hat aantal strategieen Berekening van K

n

1 2 6 9 13 2. HET AND-CHANNEL ALS BESLISSINGSPROBLEEM

2.1 Het and-channel als beslissingsprobleem 2.2 Opdelen van een vierkant.

3. MARKOV-CHAIN CODING-SCHEMAS 3.1 Inleiding

3.2 Het Hagelbarger coding-schema 3.3 Het Schalkwijk coding-schema

3.4 Verbetering Schalkwijk-schema met Slepian-Wolf

3.5 Bernouilli sources en herhalings-strategieen 4. EEN COOING-SCHEMA MET K4 STRATEGIEEN

4.1 Introductie 4.2 Analyse schema 5. RESULTATEN

.16 21

27 28 31 34 37

41 42 53

VOORWOORO

Het bepalen van het capaciteitsgebied van het and-channel en goede coding-strategieen hiervoor is een probleem dat reeds 20 jaar oud is.

De cod~ng-strategie van prof.dr.ir. J.P.M. Schalkwijk is de beste die bekend is. Omdat niet bekend is of deze oplossing optimaal is wordt er nog steeds onderzoek aan dit kanaal verricht.

In het kader hiervan werd in dit afstudeer onderzoek gekeken naar de mogelijkheden die de Shannon-strategiesn bieden in het berekenen van achievable rate-pairs van dit kanaal.

Het blijkt dat men tot een iets andere karakterisering van het probleem moet overgaan om tot numeriake resultaten te kunnen komen.

Verper wordt er ingegaan op Markov-chain coding-schema's;

die ontstaan als men bepaalde sub-klassen van de

Shannon-strategiesn hanteert. Oeze methode levert de beste resultaten Ope

1 •

HET AND-CHANNEL

1.1 INTRODUCTIE

Het and-channel (fig. 1.1) werd in 1961 geintroduceerd door Shannon [1].

Het and-channel is een two-way-channel. De overdracht van informatie geschiedt in twee richtingen. De overdracht in de ene richting beinvloed de overdracht van informatie in de andere richting.

X1 ^E X1 ={O,1}

x₁ x₂

zender 1 zender 2 x₂ ^E X2 ={O,1J

={O,1}

y y€Y

fig. 1.1 Het and-channel

De overgangen van het kana~l z~Jn vanwege het ontbreken van ruis deterministisch zodat

Beide zenders willen met elkaar communiceren, hetgeen

hier betekent dat ze al dan niet simultaan moeten prober en 1e: hun eigen bericht aan hun opponent kenbaar

maken

2e: het bericht van hun opponent foutloos decoderen.

Hoe efficient dit kan gebeuren en op welke manier, vormt het zwaartepunt van het onderzoek aan het and-channel •.

2

1.2,INNER- EN OUTERBOUND; DEFINITIE CAPACITEITSGEBIED Bij het and-channel zijn twee karakteristieke gebieden aan te geven. Hiertoe wordt uitgegaan van een verdeling op X1 x X2 waarvoor op elk tijdstip i geldt:

Verder worden rates gedefinieerd:

R.. is de transmissiesnelheid van zender i naar zender j.

~J

De tuee gebieden worden dan:

1 e: G.~

= C.O~{(R12,R21) ^/

^P(x1,x2)

=

P(x 1 )·P(x2 ) }

2e: G0

=

c.o. {(R 12 ,R 21 ) / P(x1 ,x2)

:f.

p(x 1)·P(x2 ) } Hierin staat c.o. voor de convex omhullende

Gi is het inner-bound-gebied en Go het outer-bou~d-gebied.

Deze zijn in fig 1.2 ueergegeven.

o .25 .. 5 ,75 1.

~ R₁₂

fig.1.2 inner- en outerbound van and-channel.

De grenzen van deze gebieden zullen we ook wei de inner bound en outerbound noemen.

Deze bounds zijn eenvoudig te bepalen.

1e: de innerbound.

Stel p(x

1

=

^{1 )}

=

_{p; p(x 2}

=

^{1) = q}

Dan geldt:

R12 ⁼ q.h(p) R21

=

^p.h(q)

en de convex omhullende van deze punten levert de inner- bound Ope

Als p

=

q dan geldt voor het punt op de bound:

R12 ⁼ R21

=

max p.h(p) = 0.6169486 p

voor p

=

^0.7035.

We merken nog op dat de functie p.h(p) niet convex is.

2e: de outerbound.

De beste waarden voor R12, R21 treden op als p (x1 ⁼ 0,x2 ⁼ 0) = O.

Als

P (x 1

=

^1,x₂

=

^{0) =} P1 P (x, ⁼ 0,x2

=

^{1 )}

=

P2 p(x1 ⁼ 1 , x

2

=

^{1 ) = 1}

-

^P,

-

P2 dan vinden we

R12 ( 1

- P1

loh C

^P2

_p,)

=

4

R21

=

(1 - P2).h( P1) 1 - P2

Als P1

=

P2 geldt voor het punt op de bound:

R12

=

_R21

=

^{max (1 - P).h( p )}

=

^0.69424

P 1 - P

voor P

=

^0.618

In het meest algemene geval definieren we:

R21

= *

I(M 2 ;yn/M1 ) R12

= ~

^I(M₁;yn/ M2 )

Hierin is M1 de set berichten voor zender 1, M2 de set berichten van zender 2.

Vanaf nu nemen we aan dat de beide zenders hun berichten onafhankelijk van elkaar kiezen.

Het capaciteitsgebied G van het and-channel kunhen we nu definieren door:

Deze definitie is vrij intuitief van karakter. In de par.

over de afgeleide kanalen zien we dat deze definitie inderdaad te gebruiken is.

Opm: In Shannon [1] wordt G gedefinieerd op de meer

gebruikelijke manier, dus in termen van signalling- rates

voor blok-codes.

De vraag is nu wat het eapaciteitsgebied Gis.

Men heeft lange tijd gedacht dat voor T.W.C.'s het inner- bound-gebied het capaciteitsgebied was. Pas in 1978 werd door Dueck [ 4] aangetoond dat bij een bepaald T.W.C.

het capaciteitsgebied groter is dan het inner-bound- gebied.

In het bijzonder voor het and-channel is door Schalkwijk [2,3]

een coding-schema gevonden met rate-pairs buiten het innerbound-gebied.

Om buiten het inner-bound-gebied te komen moeten de

kanaal inputs afhankelijk worden. Hoe deze afhankelijkheid ontstaat wordt in het volgende beschreven.

6

1.3 HET AFGELEIDE KANAAL

We kunnen het volgende kanaal definieren.

S1

yn n

y

S1€: 51

S2 E 52

n n

Y E {o,n

fig 1.4 and-channel met vectoren als input Hierbij is:

51 = {(x 11 ' f 2 ( x 11 ' Y1 ) , • • • , f n ( x 11 ' • • • , x1 n-1 ' y1 ' • • •yn-1 ) } De set 52 kan op analoge manier gedefinieerd worden.

In het vervolg nemen we aan dat 51

=

^52.

51 is nu een verzameling van n-tuples die Kn-strategieen genoemd worden.

Het kanaal dat deze K - strategieen s als input heeft

n

wordt het afgeleide kanaal genoemd.

De overgangswaarschijnlijkheden worden gegeven door

en kunnen eenvoudig bepaald worden uit p(y/x1,x2) Voor de transmissie-snelheden in het afgeleide kanaal definieren we:

R21 ⁼

~

^I(5₂;yn/ 51 ) R12

= *

I(5 1 ;yn/ 52 )·

Om nu de grote kracht van het afgeleide kanaal te achter- halen, bedenken we het volgende:

Beide zenders kiezen hun strategieen onafhankelijk van elkaar. De resulterende kanaal-inputs worden echter wel afhankelijk. Hierdoor bestaat de mogelijkheid om eventueel rate-pairs te vinden die buiten het innerbound-gebied liggen, We krijgen nu het schema uit fig.1.5.

r---

_.

I

EM1 51 I x₁ x? 52 T2E

4,..- _{message strategie strategie} ^message ~

I

encoder I encoder encoder encoder

I I I

\ \ I Y ^1/

I

I - - - -

... - ^- - - - - -- - - ^-

/\

.... _- -

^/\_m1

~ ^{decoder decoder ~}

fig. 1.5 coding voor het afgeleide kanaal De onafhankelijke berichten m1, m2 worden

encoders omgezet in een sequence s1 en s2 De strategieen bepalen afhankelijk van de

outputs de inputs x

1 en x 2•

in de message-

van K -strategieen.

n

vorige in- en

Voor het capaciteitsgebied G van het and-channel geldt volgens Shannon [1];

G

=

1 lim B • n _{n_oo} n

Hierin is B de inner bound van het afgeleide kanaal K ~

n n

. ,

8

Hierdoor zien we dat de definitie van G in 1.2 inderdaad een goede definitie is.

Theoretisch is deze 1imiet nag niet berekend kunnen warden.

We1 kan in principe B numeriek bepaa1d warden indien n n

niet a1 te groat.

De beperkende factor in het berekenen van B wordt gevormd n

door het grate aanta1 strategieen.

van de functie f.

1.

• i-1 het aanta1 functies fi(h

i ) bedraagt 23 aantal ^Kn-strategieen is dan:

3 3 n- 1 (3n

_1)/2

·2.2 ••• 2 =-2-; -

Het argument h.^1.

=

(x 1 '···,x. 1'Y1'···'Y· 1)^{1.- , 1.-} kan 3i-1 waarden aannemen.

Dus Het

Ze1fs voor n = 3 1evert dit a1 een groot-aanta1 strategieen

op. (~ ^,21l»

In het vo1gende zu11en we dit aanta1 reduceren.

1.4 REDUCTIE VAN HET AANTAL STRATEGIEEN Definieer:

x.(s.) = deie input bij gebruik van 5.

~ J J

h.(s.) = de voorgeschiedenis na (i-1) transmissies

~ J

bij gebruik van ^{5 .•}

J

Dan heten Sj en sk equivalent indien:

"d._~Eo(1 ) ( A. . = A. k) A (x. (5 .) = x; (5k») •

, n ~J, ~ ~ J ...

Dit lJordt verduidelijkt aan de hand van K2-strategieen.

x1 Y1 ^f21 ^f22 ^f23 ^f24 ^f25 ^f26 ^f27 ^f28

0 0 0 0 0 0 1 1 1 1

1 0 0 0 1 1 0 0 1 1

1 1 0 1 0 1 0 1 0 1

In het rechtergedeelte van deze tabel staan de 8 functies volgens welke de 2e transmissie kan plaatsvinden.

Volgens de definitie van equivalente strategieen voIgt nu:

(x1^=0,f21 ( ,

»

(x1=O,f22( ,

»

(x1=0,f23 ( ,

»

(x₁=0,f24 ( ,

»

zijn equivalent. Als representant kunnen we hiervoor nemen: 51

=

^(0,0)

Zo is er ook een klasse die voorgesteld kan worden door

52

=

(0,1).

10

Daze klasse bestaat uit de strategieen:

(x₁=O,f2S( , )) (x1=O,f26( , )) (x1=O,f27( , )) (x1=O,f 2S ( , )).

Verder zijn equivalent:

(x1=1,f21 (

,.

^{)) met (x}₁^=1,f_2S⁽

^,

^{) )}

(x1=1,f 22 (

,

^{) ) met} (x 1=1,f 26 (

,

^{) )}

(x1=1,f23(

, ) )

^met (x 1=1,f 27 (

,

^{) )}

(x1=1,f24(

,

^{) ) met (x}₁^=1,f_2S⁽

, ) ) .

Als representant van deze klassen vinden we:

s3 = ( 1 , 0) s4 = (1 'Y1)

Ss

^{= (1'Y1)}

s6 = ( 1 ,1)

Van de oorspronkelijke 16 strategieen blijven dus 6 equivalentie-klassen over.

Het bepalen van de equivalentie-klassen van Kn gaat als voIgt. Ga uit van K 1 equivalentie-klassen. Bepaal voor

n- elke K 1 klasse s.

n- J

Dan zlJn er 2a verschillende functies f (h (s.)).

n n J

Dit is tevenshet aantal equivalentie-klassen van de K_n

strategieen die een uitbreiding zijn van de K 1 strategie s .•

n- J

Oat dit aIleen maar verschillende strategieen en bovendien het maximale aantal oplevert,' voIgt uit de definities.

In tabel 1 zijn op deze manier aIle K

3 equivalentie-klassen weergegeven.

Oeze reductie tot 42 klassen maak~ het mogelijk dat K 3 berekend kan worden.

Oeze 42 klassen dienen als inputs voor het afgeleide kanaal.

Op deze verzameling van inputs moet dan een kansverdeling worden bepaald.

,...

X ll Yl

511 0 0

S2{ ~

⁰₀

53{

~

⁰1 1 0

5 1 1

4

1 1 1 0

55 1 0

1 1 1 0 1 0

56 1 1

1 1

Xi2Y₂

o

0 1 0 1 1

o

0

o

0

o

0 1 0 1 1 1 0 1 1

o

0 1 0 1 1 1 0 1 1

("IOI~) (O/'J'fJ2.)

(11q,O)

^(I/0/I) ll/~11~0~) ltIJ,,~I~) (tJ,o,1) (ol'/~i) ^{l1/0/':JI) (1/'11/0)} (1J~lJ~I) [1/1J~;)

(0/1,0) Lo^II/l)

(\ol~l) (f/~1/jZ.) (11~Il~J (1/~111)

fl f2 f3 f4 f5 ~ ^f7 f₈ fg ~o ~1 ~2 ~3 ~4 ~5 ~6 ~7 ~8 ~9 ^{t;o t;1} ~2

t;3

~4 ^f25~6 ~7 ~8 ~9 t;o t;1 t;2

t;3

~4 ~5

t;6

^f37 f38f39~o ~1 ~2

o

¹

0 0 1 1 0 1 0 1

0 0 1 1 0 1 0 1

0 0 0 0 1 1 1 1 0 0 1 1 0 0 1 1 0 1 0 1 0 1 0 1

0 0 0 0 ,1 1 1 1 0 0 1 1 .0 0 1 1 0 1 0 1 0 1 0 1

0 0 0 0 0 0

o 0

1 1 ,1 1 1 1 1 1 0 0 0 0 1 1 1 1 0

o

^{0 0} 1 1 1 1 0 0 1 1 0 0 1 1 0

o

^{1 1}

o

^{0 1 1}

0 1 0 1 0 1

o

¹ 0 1 0 1

o

^'.1 0 1

tabel 1. K

3 strategieen verdeeld in equivalentieklassen

1.5 8EREKENING VAN K

n

8ij het bepalen van het inner-bound gebied van K_n beperken we ons tot het geval dat beide zenders dezelfde verdeling op de strategieen hanteren. Dit levert dan een punt R12

=

R21 op, hetgeen voldoende is om te zien of er punten buiten

de innerbound van het and-channel liggen.

Voor de rates gelden de formules 1.1 en 1.2.

In het symmetrische geval moet bepaald worden:

waarin pes) de kansverdeling op de inputs is.

In

= _~.

(I(5 1 ;yn/52 ) ⁺ I(52;yn/ 51 ))

= ~

(H(yn/ 52 ) ⁺ H(Vn

/5,))

= -

*~ ~

p(yn/ s2 )·p(s2)"·log(p(yn/ s2 )) -

yn 52

- ^{*~ ~}

p(yn/ s1 )·p(s1)·lo9(p(yn/ s1 ))

yn 5 1

= - ~ ~n ~ r

p(yn/ s1s2 )·P(s2)·P(s1)·log

~

p(yn/ s1s2 )·P(s1)-:

y ^{51 52 . 51}

- ^{*~ ~}

p(yn/ s1 )·p(s1)·lo9(p(yn/ s ,).

Y^{n 5}_t ^. _"

...

Dit gedifferentieerd naar

p(s~)

^levert:

14

Als de middelste term nader wordt uitgewerkt, vindt men dat deze ge1 · . k1J 15. aan -

n.

1

Hiermee wordt de afgeleide:

- -

1 •n

Een analoge uitdrukking vinden we voor de afgeleide naar een bepaalde

p(s~):

-

^..,.1 •_n

Onder de nevenvoorwaarde 1:

p(s~) =

^1, worden al deze

A b· . d

afgeleiden verhoogd met een term " ,waar 1J A e Lagrange-multiplier is.

Het berekenen van het maximum van 8

12 vertoont grate overeenkomst met het berekenen van de capaciteit van een O.M.C., uaarbij het algoritme van 81ahut~]gebruikt kan worden.

Hierbij worden de kansen

p(s~)

iteratief bepaald met de formule:

. r+1

p(s~)

=

waarin c.

=

^{exp oln}

J

~ p(s~). r

.cj

J

Als dit geprogrammeerd wordt dan blijkt. dat de oplossing van K2 'naar de innerbound convergeert. Voor K3 vinden we op deze manier oak de innerbound. Op een andere manier, die in het volgende besproken zal worden, vinden we voor K3 oak maxima die buiten het innerbound-gebied liggen.

Oeze kunnen met het algoritme van Blahut niet .gevonden worden.

8ij volledige random initialisatie van de verdeling P(s1) vindt steeds convergentie naar de innerbound plaats.

Een kleine aanpassing van het probleem, waarbij toegestaan werd dat R12

r

R21 en waarbij ^{cos(~).R12 + sin(~)~R21}

werd gemaximaliseerd Ieverde ook geen convergentie op WeI werd hierbij geconstateerd dat het punt (R12,R21 ) buiten de innerbound kwam te Iiggen.

Opm: Als we geinteresserd zijn in een niet symmetrisch punt dan kunnen we dit vinden door

te maximaliseren, zie fig.1.6~.

o

fig. 1.6.

,~

"

16

2.

HET AND-CHANNEL ALS BESlISSINGSPROBLEEM

In het voorgaande werd het and-channel beschreven door de Shannon-strategieen. Hiermee komt het spel-theoretische karakter van het and-channel reeds naar voren.

Er wordt nu een methode bekeken waarbij het and-channel wordt opgevat als een beslissingsprobleem.

Het voordeel van deze nieuwe methode is gelegen in het feit dat er nu veel minder variabelen nodig zijn am het probleem te beschrijven.

Beide zenders worden geconfronteerd met een beslissings- probleem.

Een beslissingsprobleem wordt gedefinieerd door:

1 e: een toestandsruimte J 2e: een beslissingsruimte ^K 3e: een opbrengststructuur I 4e: een kansmechanisme

ad 1: Neem J1

=

{h 1i liE (1,n)}

met h1i

=

(x11, ••• ,x1i-1'Y1' ••• 'Yi-1) en J

2

=

{h2iliE(1,n)} .\

met h2i

=

(x21, ••• ,x2i-1'Y" ••• 'Yi-1)

Op deze manier z~Jn de beslissingen gebaseerd op het volledige verleden. Het is dus geen Markov-spel.

ad 2: In elke toestand moet worden beslist of er een 0 of een 1 wordt gezonden. Dus K = IO,1} voor beide zenders.

ad 3: Aan elke beslissing wordt een opbrengst R(h

i ) toege- kend.

Oat is in dit geval de hoeveelheid overgedragen informatie (in bits) in die toestand h .•

~

=

I(X 2 ·;V./X 1 ·,h1 ·)~ ~ ~ ~

De verwachte opbrengst bij de i e beslissing is dan voor zender 1:

l:p(h 1 ·)·R(h1 ·)

I:;; ~ ~

111i

ad 4: Als kansmechanisme hebben we in elke toe stand h.

~

(beslissingspunt) een verdeling:

P(x1i/h1i) voor zender 1 P(x2i/h2i) voor zender 2.

De overgangskansen p(h1i- h1i⁺1) worden bepaald door

1e: p ( x1

if h.,

^{i) :}

2e

: een of meerdere verdelingen P(x 2i/h 2i ) Het probleem is voor te stellen in de boom van fig.2.1.

Beide zenders doorlopen elk een bepaald pad in hun eigen boom. Dit pad is niet van te voren te kiezen, omdat een dergelijke keuze een uitspraak doet over de beslissingen van de andere

Voor de berekening van de gemiddelde opbrengst per beslissing hetgeen in ons geval de gemiddelde overgedragen informatie per transmissie is, gaan we uit van 2 zenders die

dezelfde verdeling hanteren in het overeenkomstige beslissingspunt.

Hierdoor krijg~n beide zenders dezelfde opbrengst, waardoor we ons kunnen beperken tot het berekenen voor een zender.

/ / / /0 /

18

' - I

'-'~ _~~

_ z e n d ____ on tv,

/

/

/

/0 /

, '1 _"-

"-

\,. '.

~/<

...0

,1

'><::

f±g.2.1. beslissingsbaam vaar K 3

De rate R

21 ^op~de i e transmissie wordt gegeven door:

= H(Y./X1·,H1·)

~ ~ ~

I Ip(Yi/x1i~h1i)·P(x1i/h1i)·p(h1i)·

~i htj

.log(P(Yi/ x1i,h1i

»

AIleen als x

1i = 1 is er een bijdrage. We krijgen dan

De gemiddelde rate over n transmissies bedraagt

Het probleem is dus: bepaal voor elke i en h1i, P(x 1i=1/h1i ) zodanig dat 2.2 maximaal wordt.

Voor Kn-strategieen geldt in hat symmetrische geval:

R21 =

*

^{I(S2;yn/S 1 ) =}

*

^{H(yn/S 1)}

Als s1eS1 bekend is, dan zijn tevens de functies fi⁺1 tim fn, dus de functies _waa~mee de (i+1)e tim dg ne input gekozen worden bekend. Dit zegt echter niets over Yl' tim Yi' omdat er van uitgegaan wordt dat beide zenders hun strategieen onafhankelijk van elkaar kiezen.

"20

Er geldt dus:

dan vinden we:

H(yn/ S1 )

=

IH(Y./X1·'~1·)_{1 ~ ~ ~}

We zien dus dat de methode van de K -strategieen en den nieuwe methode hetzelfde resultaat opleveren.

o

2.2, OPDELEN VAN EEN VIERKANT

We kunnen formule 2.1 in verband brengen met de opdeling van een.vierkant.

De berichten worden nu gegeven door p~nten ~e(0,1) en ()28! (0,1). Zie fig.2.2 •

...- --,1

m.p;)

r- - --

0₁

~

fig. 2 • 2 me s sag e - poi n t «()1' ()2) in e en h e ids vie r kant. - Deze manier am het bericht voor te stellen wordt oak ge-

bruikt in Schalkwijk [2], .[3] • We nemen aan:

()1en ()2 zijn homogeen verdeeld op (0,1) p( ()1' ()2)

=

P«()1) .P«()2 )

Beide zenders moeten het message-point «()~,82) localiseren, waarbij ze ~ priori slechts hun eigen () kennen.

Door het aannemen van een stelsel van geschikte drempels in dit vierkant en het vergelijken van 0 met deze drempels worden de kanaal-inputs x gegenereerd. Het gebied waarin

«()1'()2) mogelijk kan liggen wordt hierdoor stelselmatig verkleind. Hierdoor wordt er informatie overgedragen.

Op deze manier wordt het vierkant opgedeeld in een aantal gebieden. Aan deze·gebieden kan een bepaalde voorgeschiedenis worden toegekend, zie fig.2.3 en fig.2.4.

22

1e transmissie.

Er is nog maar een gebied. Hierin wordt een drempel bij d1 gelegd. (fig.2.3)

Y=o

y=o

o

fig.2.3 opdeling vierkant na 1 transmissie We gaan uit van het symmetrische geval zodat we aIleen moeten vastleggen wat zender 1 doet.

Zend nu:

=1:

^als

^o

^{~ 8~ d1}

X1

als d1^{<8~ 1}

De rate op de 1 e transmissie is dan

Lettend op de voorgeschiedenis zijn er nu voor zender 1 drie gebieden ontstaan:

1e: h12 ⁼ (x 11 ⁼ 0'Y1 ⁼ 0) 2e

: h12 ⁼ (x11 ^{= 1 ,} Y1 ⁼ 0) 3e: h12 ⁼ (x11 ⁼ 1 , Y1 ⁼ 1 ) •

In elk van deze gebieden moet weer een beslissing worden genomen. Dus in elk gebied komt weer een drempel te liggen.

We nemen aan:

In e,en gebied met voorgeschiedenis h1i wordt de drempel d(h

1i) zodanig gelegd dat de kanaalinput x.

=1

¹ aIs

8

^j

~d

^{( h 1i)}

~ ^{0 a}Is

8.

>d ( h1 . ) •

I ~

Dit levert na twee transmissies een opdeling volgens fig.2.4

I 4a

•

_I

y=01

• _•

^Y=01

~-

- ^{_. --} •

4b Y = l '

Y=01

o

fig.2.4 opdeling na twee transmissies

/ )Oe rechthoeken 4a en 4b hebben

d~zelfde

voorgeschiedenis h13

o

en vormen dus een gebied.

Algemeen geldt dat elk gebied met voorgeschiedenis h1i na transmissie 3 klein ere gebieden met voorgeschiedenis h1i⁺1 oplevert en dat elk gebied de vorm van een rechthoek

behoudt. Deze rechthoek mag eventueel zoals in fig.2.4. in meerdere stukken uiteen vallen.

De oppervlakte van elk gebied met voorgeschiedenis h1i is p(h 1i )·

Dit is eenvoudig na te gaan voor de opdeling na 1 transmissie De rest voIgt met inductie. Oeel hiertoe een gebied met h1i op en bereken

a

•

•I I

•

c b

p(h1. ,x. ,y.)

~ ~ ~

d

= p(x.,y./h 1 ·)·p(h1 ·)·~ ~ ~ ~

fig.2.5. algemene opdeling van een .geb-ied.

Dus p(h 1i} = a.b en P(x1i = Verder geldt: P(x

2L =1

./x

_1i

24

1/h1i ) = ~.

=1,h 1 ·) = - •^{~ . a}d

Op deze manier zien we dat formule 2.1 vertaald kan worden naar de opdeling van een vierkant.

Als A1(h1i) de oppervlakte is van het gebied h1i waarin

~1r ~ 1 en B1(h 1i) het gedeelte van A1 (h1i ) is waarin Yi = 1 dan geldt voor de gemiddelde rate Rn over n transmissies:

Rn moet gemaximaliseerd worden. Hierbij worden de posities van de drempels als variabelen beschouwd.

We merken nag op dat bij de opdeling van een vierkant zoals hiervoor besGhreven, niet de absolute waarden van de dTempels een rol spelen maar dat het verschil tussen twee drempels een rol speelt. AIleen de breedte van het stuk waarin een 1 wordt gezonden is van belang.

Er.is oak nag een kleine reductie van het aantal variabelen mogelijk. Als namelijk op de eerste transmissie een 1 wordt ontvangen, dan weten beide zenders dat het subvierkant

verder moet worden opgedeeld. Dit gebeurt in n-1 transmissies.

AIs het maximum van R 1 bekend is dan ·kan di t gebruikt n-

worden in het berekenen van R •

- n

Dit levert dan:

waarin

Het aantal variabelen dat nag nodig is am Kn te beschrijven is na deze reductie:

3ⁿ- 1•

Deze variabelen zijn weI onderworp~n aan constraints. Immers elke drempel wordt tussen 2 andere gelegd en mag deze niet

overschr~~'den•

Voor het berekenen van het capaciteitsgebied van K wordt n

~ebruik gemaakt van de opdeling van een vierkant.

De nummering van de drempels komt overeeg met de nummering van de beslissisingspunten in de boom van fig. 2.1.

Het is oak mogelijk am het verband na te gaan tussen de waarden van de drempels en de kansen van de Shannon-strate- g'ieen.

Hiertoe is in fig. 2.6 de boom nag eens getekend,met langs- de takken de kansen uitgedrukt in de drempels.

Verder is aan de uiteinden vermeld met welke strategieen volgens tabel men in dat uiteinde kan komen.

Het produkt van de kansen langs de ~zendttakken is gelijk aan de sam van de kansen van de strategieen die aan het uiteinde vermeld staan.

Dit levert dan op:

d 42

1

=

_;=7^{r p(s.)}_~

d2

=

42^rp(s.)

;.:::3 ~

d3

=

^{r p(s.)}42

;=19 ~

d4

=

^{r p(s.)}42

;=2 ~

d

s =

_;=542^{r p(s.)}_{• ~}

P(S4) ⁴²

d6

=

^+rp(s.)

;=6 _~

p(Sg) ⁴²

d7

=

^{+ P(s10) + f. p(s.)}

1=15 ~

P(S23) + P(s24) + P(s2S) + P(S26) ^{42 )}

de

=

⁺

^r

^p(s.

;.35 ~

d g

=

P(S21) + P(s22) + P(s2S) + P(s26) + P(s31) + P(s32) + P(s33) + P(s34) + P(s39) + P(s40) + P(s41) + P(s42)·

,,

" el..

"

^\

" _'.

26

gebruikte strategie 1

2

MARKOV-CHAIN·CODING-SCHEMA'S 3.1 II\JLEIDING

In dit hoofdstuk wordt een overzicht gegeven van twee coding schema's die voorgesteld kunnen worden door een Markov-chain. Aan beide kanten kan foutloos gedecodeerd worden.

. De berichten m

1 en m

2 worden zoals in 2.2 voorgesteld door een punt(}1 en(}2.op het interval (0,1).

De message-region is het gebied waarvan beide zende~s

zeker weten dat daarin het gezochte punt ((}1'(}2) ligt.

Het verkleinen van deze message~region gebeurt ~odanig

dat het aantal verschillende vormen dat deze aan kan nemen beperkt is. Hierdoor blijft het aantal toestanden in de Markov-chain beperkt.

In termen van de. Shannon-strategie~n betekent dit dat deze niet allemaal worden gebruikt.

28

3.2 HET HAGELBARGER CODING-SCHEMA.

Dit coding-schema werd oorspronkelijk op een andere manier geformuleerd. Het is echter eenvoudig in deze methode in te passen.

I

,

01 ^I 00

00

a

^o

()

fig.3.2 Hagelbarger sche~a na 2 transmissies.

Op de 1e transmissie moet er een vierkant gereduceerd worden. We noemen dit toestand 9

1• We beschouwen alleen het symmetrische geval.

De kanaal input voor zender i is dan:

x _

= 1

^{1 als 0}

~ e

^j

~

^{( ) '}

" 0 als a<e.~

I

De rate in deze toestand is:

R1

=

^{I (}

e

2 ;

Vii e

^{1 , S1 )}

=

ah(

a )

Wordt nu ontvangen y = 1, dan is de nieuwe message-region weer een vierkant. De afmetingen zijn weliswaar kleiner

geworden, maar het is alleen de verhouding van de oppervlakte van het gebied voor en na de transmissie die een rol speelt bij het bepalen van de rate.

Dus als y(s1)

=

1 keren we terug naar toestand s1.

Als y

=

0, dan is de nieuwe message-region een L-vorm.

Dit is een nieuwe toestand, s2.

Zender i zendt nu op de 2e transmissie:

x

= I a

^{1 a1sa1s}

^a

O~~~(Y^~8i~1

De rate in deze toestand is:

R2

-= I(8

₂

;V/8

_{1 ,s2)}

h(

a )

1 +

a

Na deze 2e transmissie kunnen beide zenders zander resterende ambiguiteit uitmaken wat de nieuwe message-region wordt.

Dit is in ieder geval na transformatie van de schalen weer een eenheidsvierkant, dus een toestand s1.

Het Markov-model van dit coding-schema is in fig.3.3 weergegeven.

a

2

1

fig.3.3 Markov-model van Hagelbarger code De stationaire kansen worden gegeven door:

1 q1 ⁼ . 2

2

-a

1

-a

²

q2 ⁼ ₂

_a

²

Voor de gemiddelde rate van dit coding-schema geldt:

2-·~2-

30

Dit levert na maximalisatie:

RH

=

^{0.59305 voor}

a

= ct'H = 0.6259

(N

-\is -

\[7r~ ~::. t .

^\-s

"Rt(~ 9: ^~.d

~k-~'?i-\

^e-izc

r-[~C:fA/bA.·~def' ^d£·{AJ')

.

Oit coding-schema is- dus niet optimaal.

Het Hagelbarger schema is ook te beschrijven met de Shannon-strategieen. Het blijkt dat dit reeds kan met K

2 strategieen.

Van de 6 equivalentie-klassen worden aIleen gebruikt:

s2

,

_s3

,

_s4 uit par.1.4.

Hiervoor geldt dan:

P(s2)

=-

^{1 - a}

P(s3)

=

a(1 -a)

P(S4)

=

^{a 2}

o

3.3 HET SCHALKWIJK COOING-SCHEMA

oit is het eerste coding schema waarmee rate-pairs buiten het innerbound-gebied worden gevonden.

De eerste transmissie gebeurt op dezelfde manier als in hat Hagelbarger-schema. Deze toe stand heet hier i.

Als Y1

=

^O~ moet de L-vorm worden opgedeeld; dit is toe stand m. Er wordt nu een drempel gelegd bij 1-Y

1-V

1-Y

oc

_°

¹

fig.3.4 drempels in Schalkwijk-schema Zender i zendt als Y

1

=

^0:

als (}i~ a alders De rate in toestand m is:

R_m ⁼ I«(}2;Y/(}1~m) h( Y )

=

1 +

a

Wordt nu ontvangen Y2 = 0, dan is de resterende message- region een van de gebieden y

=

DO.

Beide zenders weten vanwege de side-information precies welk van deze gebieden ve~der moet worden onde~zocht. -

De vorm is na schaalverandering weer een vierkant (tst. i).

32

Wordt ontvangen YZ

=

1, dan is het gebied met ~

=

^{01 "de}

nieuwe message-region. Dit is een nieuwe vorm en wordt toe stand o(uterbound) genoemd.

1

---+---' 1

1- Y

- 0₁

fig.3.5 toestand a

In toe stand a is de i:nput voor zender i:

I:

^{als~(Jr~ 1}

x._J.

=

alders De rate in deze toestand is:

h

(f3 )

z - f3

•

Als

f3=

0.61795 levert dit de outerbound-rate ^Ope

Na deze outerbound toestand weten beide zenders welke van de 3 gebieden uit fig 3.5 d~ nieuwe message-region w6rdt.

Dit is weer een gebied dat overeen komt met toestand i.

In fig.3.6 wordt het Markov-model van dit schema gegeven.

cl

1 - 2 -1-Y

1~0'

fig.3.6 Markov-model van Schalkwijk-code

De overgangskansen volgen eenvoudig uit de verhouding van de oppervlakten van de message-regions na en voor transmissie.

De stationaire kansen worden gegeven door:

1 q._~

=

1 + 2(1 -a.}(a+y) 1 ^{_ ~2}

q

=

m 1 + 2(1 -a)(a+y)

. 2) (1 _ 2(1 -

Y ))

~

1+a

1 + 2(1 -~}(a+y)

Voor de gemiddelde rate van dit coding-schema geldt:

R_s

=

q.R_o + q.R + q .R •

0 m m o o

Maximaliseren levert op Rs

=

^0.61915

a =

^0.6757

f3 ⁼

^0.6172

Y =

^0.5255

De gemiddelde rate ligt dus net buiten het innerboundgebied.

aeze verbetering t.o.v. het Hagelbarger-schema is mogelijk doordat in toestand m superpositie van informatie ontstaat • . Dit coding-schema is met K

3-strategieen te beschrijven.

Ook hier worden niet aIle stDategieen gebruikt. Uit tabel worden niet gebruikt:

Met deze strategiesn kan twee keer na elkaar een 0 worden gezonden. Dit kan in het Schalkwijk schema aIleen als er een overgang o-i of m-i tussen zit.

34

3.4 VERBETERING SCHALKWIJK-SCHEMA MET SLEPIAN-WOLF Schalkwijk [31 heeft het voorgaande coding-schema nog verbeterd. Hiertoe werd geconstateerd dat in de m-state

Oit werd geinterpreteerd als een verlies van informatie in de encoders. Bij nader inzien is dit echter niet de redan waardoor het schema verbeterd kan worden. Het blijkt zelfs dat er helemaal geen informatie verloren gaat.

De ongelijkheid 3.1 wordt namelijk veroorzaakt doordat in het rachterlid de gehele voorgeschiedenis opganomen.

In het linkerlid is slechts een gedeelte hiervan aanwezig.

Im~rs, als

8

₁ gegeven is, dan is ook impliciet x11 gegeven en samen met de geg~ven toestand m (Y1

=

0)' is de gehele voorgeschiedenis bekend.

In hat linkerlid daarentegen is aIleen gegeven dat

y, = o.

In werkelijkheid kent zender 1 x11 ook.

Nemen we dit op in het linker lid dan wordt dit:

Het rechterlid is te herleiden:

waaruit we zien dat er geen informatie verloren gaat.

De grootheid waar het echter om gaat is:

h( Y) 1 + a

Beschouwen we nu N Markov-chains die parallel werken, onafhankelijk van elkaar, dan zijn er gemiddeld q N in de

m

m-state.

In totaal worden er t.g.v. deze m-states in beide richtingen

q N m

h(

Y )

1 +

a

bits

aan informatie overgebracht.

De sequence van inputs t.g.v. de q N m-states bestaat uit

m

q N symbolen met conditionele entropiem H( X2

18

₁,m).

Volgens Slepian en Wolf _~] kan deze sequence gecodeerd worden in

qmN.H(X2181,m)

even-waarschijnlijke symbolen 0 en 1.

Deze geoodeerde sequence is als N-co op te vatten als een nieuw punt

-0'2.

Dit nieuw punt is homogeen verdeeld op (0,1) omdat de gecodeerde sequences ook homogeen verdeeld zijn.

Dus 8~ kan overgezonden worden met het coding-schema en dus ook met de rate van het schema zelf.

Dit levert ons de winst op. Immers de hoeveelheid informatie die overgebracht moet worden wordt gegeven door 3.2.

Dit gebeurt nu met de rate van het coding-schema zelf

(bootstrapping), zodat er nog slechts '\

transmissies nodig zijn. Dit is minder dan de q N transmissies_m die nodig zijn als er geen extra coding wordt toegepast.

De gemiddelde rate van het coding-schema wordt nu:

q. R,., + qm^R + qo^R

R ^{. 1. 1.} m 0

=

_R

s q: + qo + qm m

1.

Rs

36

Maximaiisatie ievert in het symmetrische gevai R_s

=

^0.63056

Door de extra coding is dus een aanzieniijke winst geboekt.

Opm: Voor de i-state heeft extra coding geen zin want

zodat er meer1bits nodig zijn voor het coderen dan er in werkeiijkheid overgebracht moe ten worden.

Ook in de o-state heeft extra coding geen zin.

We keren.nu terug naar het Hageibarger schema.

In toestand 2 geidt:

h( a) 1 +

a

Dus het is ook hier zinvoi om extra coding toe te passen.

Van N onafhankeiijke paraiieiie Markov-chains zitten Br gemiddeid q2N in toestand 2. De sequence van q2N inputs t.g.v. de toestanden 2 is te coderen in

bits

en over te zenden met de rate van het schema zeif.

Hiervoor geidt dan:

q1 R1 + q2 R2 q1 + _q2~R

RH.

waaruit voigt dat

max Rt:t.

=

0.6169486.

3.5 BERNOUILLI SOURCES EN HERHALINGS-STRATEGIEEN

Er voIgt nu een andere manier om voorgaande coding-schema's te beschrijven. Met deze beschrijving heeft men een methode om ingewikkelder coding-schema's nader te onderzoeken.

bernouilli - - - 1 source

re peat - - - - I encoder

bernouill,'

,...::=--+-..,...,.~ sou r c e"

repeat 1 - - - -

0-

1-.-.-•.L.'-

1-0-1---1 enc od er

I I

fig. 3.8 Hierin is:

2$.2

-1-r

=

(x 21 ,···,x 2n )

.

, ,

= (xir1,···,X{rk)

, ,

£2

=

(x2r1,···,x2rk)

In.dit systeem (decoders niet getekend) zenden 2 onafhankelijke Bernouilli-sources hun bericht over het kanaal.

Elke y -component die gelijk is aan 0 veroorzaakt bij minstens een van de zenders onzekerheid omtrent het door de andere verzonden symbool.

Om deze onzekerheid weg te werken moe ten de x-componenten waarbij y

=

0 op een nader te bepalen manier herhaald worden.

De manier waarop dit gebeurt noemen we een herhalings- strategie.

De vectoren £1 en £2 zijn de herhalingen.

De vraag is dus hoe deze herhalngen het efficientst gebeuren.

38

In het Hagelbarger schema bestaat de herhalings-strategie uit het inverteren van de x-componenten waarbij

y = o.

Bij de eerste serie Vqn n transmissies is de gemiddeld overgebrachte informatie in beide richtingen:

n.p.h(p) bits.

Gemiddeld zijn er rk

=

(1 - p2) herhalingen.

In deze serie van herhalingen is de overgebrachte informatie in beide richtingen:

1/x1 .

=

0»

r~

- n(1 - p).h(p) bits.

Dus de rate van het schema is

n.ph(p) + n(1 - p) .h(p) n + n(1 _ p2}

=

^h(p)₂

2 - p

.-~

In het Schalkwijk-schema z~Jn de herhalingen ingewikkelder.

De herhalingen bestaan nu mogelijk uit twee series.

Bij de eerste serie herhalingen wordt:

1e

: elke x-component die eerst 0 was, geinverteerd.

2e

: slechts een fractie q van x-componenten x = 1

••

uaarbij y

=

0 wordt geinverteerd •

• -

Oit betekent dat er na deze eerste serie van herhalingen mogelijk nog een serie komt.

Immers als op de 1e herhaling een 1 wordt ontvangen dan weet degene die eerst een 0 zond nog niet of deze ontvangen 1 nu het gevolg is van een geinverteerde 0 of een niet

geinverteerde 1.

Bij de 2e serie herhalingen wordt nu een 1 gezonden indien in de 1e serie transmissies een 0 werd gezonden.

In de eerste serie transmissies is de overgebrachte informatie:

11 = n.p(x1i = 1).h(p(x 2i = 1»

= n.p.h(p)

De eerste serie herhalingen ( n(1 - p2» levert een bijdrage in de overgedragen informatie:

1/x1 . =

r~ 0»

= n'1 - p).h(pq) bits.

Het aantal herhalingen wit de 2eserie bedraagt:

= (),

^{Y .}_r~I

=

¹⁾

=

2(1 - p)(1 - pq)

De overgedragen informatie in deze serie is:

I I I I

1 ) • 13 = n.p(x 1 . = 1 , x1 . = 1 , x1 . =0,y . =

r~ r~ r~ r~

I I I I

=1»

• h(p(x2r~. = 1/ x1r~. = 1,x 1ri = O,y .r~

,,

Hiermee vinden we voor de gemiQdelde rate:

11 + 1

2 + 1 3

bits.

1 + (1 - p2) + 2(1 - p)(1 - pq)

40

Deze beschrijving is voor ingewikkelder coding-schema's waarschijnlijk handiger dan het opdelen van een vierkant.

Op een systematische manier kunnen nu een groet aantal verschillende herhalingsstrategieen, die steeds complexer worden, worden doorgerekend.

4.

EEN CODING-SCHEMA MET

K

4 STRATEGIEEN 4.1 INTRODUCTIE

Daar er geen converse voor het Schalkwijk coding-schema bestaat blijft dus de vraag of dit coding-schema nog verbeterd kan worden.

Om hier achter te komen kunnen we gaan zoeken naar andere schema's.

We kunnen ons hierbij laten leiden door de beste opdelingen die verkregen zijn voor K3 en K

4• Hierbij constateren we dat daarbij twee maal na elkaar een 0 wordt gezonden.

Dit gegeven kunnen we proberen te verwerken in een coding-schema.

Het kan ook benaderd worden vanuit de Shannon-strategieen.

Immers het Hagelbarger schema is gebaseerd op K2 en het Schalkwijk schema op K3-strategieen.

Het ligt dus voor de hand om eens te kijken naar

K4-strategieen. In het volgende wordt zorn schema gere- presenteerd. Ten opzichte van het Schalkwijk-schema is er een extra vrijheidsgraad.

42

4~2 Ar'tAL YSE SCHEMA

De verschillende toestanden uan het schema zullen nader bekeken worden.

De rate wordt berekend zoals in hoofdstuk 2 de bijdragen tot de overgedragen informatie berekend werden aan de hand van oppervlakten. Om hieruit de rate in een bepaalde

toestand (bij de coding-schema's wordt een toestand

gekarakteriseerd door het gemeenschappelijke verleden van de twee zenders, dus door de outputs) te bepalen worden de bijdragen tot de overgedragen informatie gedeeld door de oppervlakte van die toestand.

Toestand 1.

Dez e toestand komt overeen met het leggen van een drempel in een vierkant.

Zend:

elders

De rate op deze transmissie is dan

Wordt ontvangen y _,

=

0, dan gaan we naar toestand 2 met overgangskans:

=

^{1 _ d 2}

1 Toestand 2.

d -2

1

d1

fig.4.2. opdeling in toestand 2

Zend in toe stand 2 :

als d2~ e~ 1 elders.

Het gebied waar y

=

1 is gearceerd. Dit is toestand 3. Het

ander~ stuk is toestand 4.

De rate in deze toestand wordt gegeven door:

en de overgangskans P23 door

(1-d2) (1-d2+2d3) P23

=

^{1 d 2}

- 1

Toestand 3.

,

U

d2

1·

d

3

-[j

d~!-- ^_

o -

r

1

fig. 4.3. opdeling van toestand 3.

Zend in toestand 3:

,

als d3~e~1

elders.

Het gebied waar y

=

1 is gearceerd. Dit is toestand 8.

Wordt y = 0 ontvangen dan gaan we terug naar toestand 1~

De rate in deze toestand wordt gegeven door:

-(1-d2)(1-d2+d3)·h(1-d2+d3-d;)/(1-d2+d3») R3

( 1- d 2 ) ( 1 - d 2+2 d 3 )

44

De overgangskans P38 is:

( 1-d

2) 2 •

(f

^-1)

(1-d2)(1-d2+2d3) waarin f3 gegegeven wordt door:

Toestand 4.

d - ....-"""'i/

3

I

1

d

I

2 d₁

fig.4~4. opdeling van toestand 4 In toestand 4 zendt men:

\

-1 a1s d 5_~ 0 ~d 4 x

=

^{lJ elders.}

I n he t g.e~rc e e r d e 9 e b i e d w⁰ r d t Y = 1 ⁰n t van 9 en. 0 i t i s toestand 5. Als 'y

=

0 dan zitten we toestand 6.

De rate in toestand 4 wordt gegeven door:

en de overgangskans P45 door:

(d2-d1)(d2+d1-2d5) + 2(d 4-d 2 )(d 2-d 3 )

P45 = 2

(1-d1) - (1-d2)(1-d2+2d3)

To~stand 4 is evenals toestand 3 een toestand waarin de rate verbeterd kan warden met behulp van Slepian-Wolf.

Dit voIgt eenvoudig uit het feit dat in het gedeelte van toestand 4 waarin een 0 wordt gezonden geen onzekerheid heerst met betrekking tat het door de ander zijn

verzonden symbool, zodat geIdt:

en dit is voor de uiteindeIijke parameters zodanig dat R4 Rs ' met Rs de gemiddelde rate van dit schema.

Toestand 5

t t - dS

d 2 d

1

fig.4.5. opdeling van toestand 5.

In _toe~tand 5 zendt men:

x =

1 _~

^{aI s d}

_1~.

^(}

_~

^{d Z}

o

eiHlers.

'Als y

=

1 komen we in toe stand 9 terecht en als y

=

^{0 in}

toestand 7.

De rate in toestand 5 wordt gegeven door:

waarin

+

°PP5

(d1-d3)(d4-d1)·h(d4-dZ)/(d4-d1»)

°PP5

46

De overgangskans PS9 wordt gegeven door:

Indien

d2 - d1 d3

=

_{d 2 -}

1 . -d - 1

dan is toestand 9 gelijk aan toestand 2, vanwege de gelijkvormigheid die dan optreedt.

Toestand 6 ^I

I

d

^{5 -}

L5-d,

o

I

^t

d2 d

1

fig.4.6. opdeling van toestand 6._,

,

Toestand 6 bestaat uit 2 L-vormen en deze zijn niet

gekoppeld. Oaarom zijn ze als 2 aparte l-vormen weergegeven.

Om het aantal toestanden enigszins beperkt te houden, wordt elk van deze L-vormen zodanig opgedeeld dat er of weI een toestand 8 of een toestand 1 verschijnt, zoals in toestand 3.

Hiertoe moet dan gelden:

en

= f3

Hiermee voIgt voor de rate R6:

(d2-d,)(1-d4+dS)·h(1-d4)/~(1-d4+dS»)

R6 =

- 2(d2-d1)('-d4+dS)+2(1-d4)(d,-d3)

(1-d4)(d2-d3)·h(d2-d1)/~(d2-d3»)

+

2(d2-d1)(1-d4+dS)+2(1-d4)(d1-d3)

en voor de overgangskans P6B

Oak in deze toestand is extra coding te realiseren, hetgeen men eenvoudig na kan gaan.

Toestand 7

d3-~^{• -} d g d -

5

T T

d2 d

1

o ^o

fig.4.7 opdeling van toestand 7.

Ook hier worden we geconfronteerd met twee L-vormen die niet gekoppeld zijn.

De opdeling is hetzeIfde als VOGr toestand 6.

De drempels dB en d_g worden ook weer zodanig gekozen dat:

en

= ~

48

De rate R

7 in deze toestand wordt gegeven door:

(d2-d1)(d4-d2+d3-d5)·h(d4-d2)/~(d4-d2+d3-d5))

+

°PP7

(d4-d2)(d2-d3)·h(d2-d1)/~(d2-d3))

OPP7 en de overgangskans P79 door:

•

Hierin is oPP7 gelijk aan:

oPP7

=2~d2-d1)(d3-d5)+(d2-d3)(d4-d2))

Het gedeelte waar y

=

1 wordt ontvangen is ook weer gearceerd. In deze toestand is extra"coding zinvol.

Toestand 8

De toestanden van waaruit een overgang naar toestand 8 mogelijk is, zijn 3,6 en 7.

Toestand 8 en de opdeling ervan zijn gegeven in fig.3.8.

L 2

'\.

~L2

fig.3.8. opdeling van toe stand 8

Vanwege de speciale afmetingen hebben we hier te maKen met een outerbound-situatie. Het gebied waarin een 1 wordt ontvangen is weer gearceerd.

De overgang van uit toestand 3 naar toestand 8 levert een symmetrische figuur Ope Vanuit toestand 6 en 7

hebben we in beide gevallen te maken met twee niet-symme- trische figuren. Het gaat echter om de verhouding van de afmetingen en men kan eenvoudig nagaan dat de rate

in alle voorkomende gevallen gegeven wordt door:

h(§ ) Z - ¹³

Vanuit toestand 8 wordt een overgang gemaakt naar toestand 1.

Toestand 9

d - 10

= /3

d - ' - - - -

3 id Td

2 1

f~~~4.9. opdeling van toe stand 9.

In deze toestand"zendt men:

a1s d10~8.!S 1

elders.

Voor de rate in deze toestand geldt:

(d Z-d 1 )(d Z-d 3)·h ((d Z-d 1 )//3(d Z-d 3 )) (dZ-d1)(d1+dZ-Zd3)

In deze toestand kan oak weer extra coding worden toegepast.

Overgangen kunnen worden gemaakt naar toe stand 8 en toestand 1.

Voor de overgangskans P98 geldt:

(dZ-d 1)

=

(d Z-d 1 )(d 1 -d 3+ § )

P9~ (dZ-d1)(d1+dZ-Zd3)

De verschillenae toestanden zijn nu toegelicht.

Bij de berekening van de gemiddelde rate van dit schema werd in eerste instantie uitgegaan van een paar vereen- voudigingen, die er op neer komen dat niet alle vrijheids- graden die dit schema levert worden benut.

50

Zo werd aangenomen:

d4

(d2-d1)

+ d1

=

f3

dS

(d3-d1)

+ d1

=

f3

Dit leidt na wat rekenwerk tot het coding-schema volgens fig.4.10

fig.4.10 vereenvoudigd coding-schema.

Onder deze aanname worden de toestanden 6 en 7 beiden een toestand 3 en toestand 9 wordt een toestand 2.

De rates worden gegeven door:

h ( J3 ) 2 - J3

De overgangskansen in fig.4.10 worden gegeven door:

P12

=

^{1 d}_{- 1}²

(1-d2)2 P23

=

(1-d 1) 2

P38 ⁼

(1-d1)(~

^-1)

1 + d1

( (d -d ) )

2(d2-d

1) 1- 2 1 J3(1-d1) P₄₃ ⁼

(1-d2) 2 (1-d 1 ) -

(1-d1) J3

PS2

=

2 - J3 .

De toestanden waarin extra coding zinvol is zijn aangegeven door ~ •

'\.

52

De rate R wordt gegeven door:

R

=

waarin q. de stationaire kansen zijn.

~

Maximalisa tie -levert op:

R

=

^0.63055525

hetgeen hetzelfde is als in het Schalkwijk coding-schema.

Dit maximum wordt bereikt voor:

d1

=

^0.69071

d 2

=

^0.7864

f3

=

^0.5828

\lerder geldt:

R1

=

^{0.616356 R}₄

=

^0.589856

R2

=

^{0.616356 R}₅

=

^0.691594

R3

=

^{0.5B9856 R}₈

=

^0.691594

q1

=

^0.36091 q4

=

^0.109135

q2

=

^0.20869 q5

=

^0.048553

q3

=

^0.18873 q8

=

^0.08396

De toestanden 1 en 2 z~Jn vergelijkbaar met toestand i uit het Schalkwijk schema. Zo zijn 3 en 4 hetzelfde als toestand m en toestand 5 en 8 zijn hetzelfde als toestand 0

uit het Schalkwijk-schema. Ook de stationaire kansen komen overeen.

Dus met nog slechts een extra vrijheidsgraad t.a.v.

net Schalkwijk-schema treedt geen verbetering Ope

5.

RESULTATEN

In dit hoofdstuk volgen de resultaten die verkregen

werden door het opdelen van een vierkant, zoals beschreven in hoofdstuk 2. De programma's zijn terug te vinden in de appendix.

Het blijkt dat bij K

2 de gemiddelde rate niet buiten het inner-bound-gebied komt.

Als maximale waarde wordt gevonden R

=

^0.6169486

Dit levert dus een punt o~ de inner-bound Ope

Voor K3 zijn 3 verschillende oplossingen gevonden.

R

=

0.~169486

R = 0.6194622 R = 0.61965

Deze verdelingen vinden we terug in fig.5.1, fig.5.2, fig.5.3.

De bes±e opdeling is bovendien nog eens gegeven in fig.5.4.

In fig.5.4. is ten opzichte van fig.5.3 geschoven met bepaalde gebieden. Het zal duidelijk zijn uit hoofdstuk 2 dat het toegestaan is om met gebieden te sGhuiven omdat

:~, in fei te slechts de breedte waaraver een.1 lotordt gezonden in dat gebied van belang is en niet de positie. We moeten bij dit verschuiven aIleen rekening houden met de

voorgeschiedenis, die natuurlijk hetzelfde moet blijven.

In fig.5.3 zien we dat drempel d

6 samenvalt met d2•

Dit betekent dat deze oplossing op de rand van het domein van de functie ligt. Het domein is voor K

3 een 9-dimensionale ruimte.

Dit betekent ook dat dus niet noodzakelijk de partiele afgeleiden naar d6 en d2 6 zijn.

54

Omdat d9 en d8 samenvallen met de rand van het vierkant, en dus ook een waarde aannemen op de rand van het domein,

kunnen we verwachten dat decbijbehorende afgeleiden

F

^G.

Dit wordt gedemonstreerd in fig.5.5 en fig.5.6.

Het betreft hier 1-dimensionale doorsneden~van de beste oplossing.

Horizontaal is de waarde van de drem~els uitgezet.

Deze wa~rden zijn genormeerd. Elke drempel mag zich in een

bepaald interval bewegen (vanwege de constraints). De lengte van dit interval is genormeerd op 1.

Verticaal komt 1.0 overeen met R = 0.62;

a.o

komt overeen met R

=

^0.58.

Fig.5.5 betreft doorsneden van niet-samenvallende drempels.

In fig. 5.7 is een 2-dimensionale doorsnede gegeven van de beste oplossing.

Er is ook ~agegaan welke oplossingen er voor K

3 zijn als er extra coding volgens Slepipn en Wolf wordt toegepast. Dit is mogelijk als de drempels d

2

^{en d}4 allebei de waarde 1 krijgen.

Het blijkt nu dat oak hier de gemiddelde rate toeneemt en da~ ook in dit geval meerdere maxima optreden.

Er wordt gevonden:

R

=

0.617098 R

=

^0.622752

Deze opdelingen vinden we terug in fig.5.8 en fig.5.9.

We zien dus nogmaals dat deze extra coding een krachtig middel is. Tevens vestigt dit ook onze aandacht op het

feit dat er twee verschillende aspecten aan het and-channel zitten.

Het ene is zuiver spel-theoretisch van aard en betreft het opdelen van een vierkant. Het andere heeft een zuiver

informatie-thsoretisch karakter.

De extra coding volgens Slepian en Wolf laat zich moeilijk inpassen in het spel-theoretische karakter. Men kan het weI expliciet in de te maximaliseten functie aanbrengen zoals in de twee voornoemde oplossingen werd gedaan.

Voor de beste K3 opdeling is gekeken naar de rates in de diverse toestanden (toestanden gekarakteriseerd door outputs).

Dit levert op:

De rate op de 1e transmissie is 0.6135245.

Als Y1 ⁼ 1 dan volgen er 2 transmissies in het subvierkant met rate

0.6169486.

Als Y1 ⁼ 0 dan is de rate op de 2e transmis ....

0.6049162.

Als Y1 ⁼ 0 en Y2 ⁼ 1 dan is de rate van de 3e transmissie 0.6889007.

Als Y1 ⁼ 0 en Y2 ⁼ 0 dan is de rate op de·3e transmissie 0.6188498.

De opdeling van het vierkant is zodanig dat extra coding in geen enkele toestand zinvol is, hetgeen men eenvoudig nagaat door H(X

1/0

2, 5 ) te berekenen voor de diverse toestanden ^5.

Om te kijken hoe de functie-waarde verandert bij een verandering van de input parameters werden op de oplossingen random verstoringen aangebracht.

Dit geeft een beter inzicht in de nauwkeurigheid van de_, parameters. Het blijkt dat random verstoringen van de

drempelwaarden in- de orde grootte van 10-4 reeds aanleiding geven tot veranderingen in de functiewaarden die in de

orde-grootte van 10-⁶.liggen. Hierbij zijn de v.srsta.ringen van de drempelwaarden relatief.

Daar tegen het einde van het maximaliseren de functie- veranderingen slechts in de grootte-orde liggen van 10-11 zijn de gevonden drempelwaarden tach weI nauwkeurig tot op 4 cijfers.

56

Herhalen van het programma van uit een andere initialisatie bevestigt dit.

Als zou blijken dat de drempelwaarden minder nauwkeurig

zijn, dan moeten we bedenken dat hier weinig aan te doen is.

De nauwkeurigheid van de drempels wordt hoofdzakelijk bepaald door het al of niet vlak verlopen van de functie.

Hoe vlakker een functie verloopt, hoe slechter de nauw- keurigheid wordt~van de parameters.

In veel mindere mate speelt ook het afbreekcriterium een zekere role Omdat men dit zelf in de hand heeft is de invloed van het te vroeg beeindigen van het programma verwaarloosbaar klein te maken.

De nauwkeurighetd van de functiewaarden zelf wordt bepaald door de nauwkeurigheid waarmee de entropie-functie berekend wordt.

Oe random verstoringen geven bovendien een bijkomende garantie cat de gevonden maxima inderdaad maxima z~Jn.

Als namelijk het optimaliseren afgebroken zou zijn in een punt dat geen locaal maximum is dan zou dit door de

random verst~ringen opgemerkt kunnen worden.