Objectieve toetsen?

Objectieve toetsen?

Citation for published version (APA):

Kamps, H. J. L., & van Lint, J. H. (1969). Objectieve toetsen? (EUT report. WSK, Dept. of Mathematics and Computing Science; Vol. 69-WSK-05). Technische Hogeschool Eindhoven.

Document status and date: Gepubliceerd: 01/01/1969 Document Version:

Uitgevers PDF, ook bekend als Version of Record Please check the document version of this publication:

• A submitted manuscript is the version of the article upon submission and before peer-review. There can be important differences between the submitted version and the official published version of record. People interested in the research are advised to contact the author for the final version of the publication, or visit the DOI to the publisher's website.

• The final author version and the galley proof are versions of the publication after peer review.

• The final published version features the final layout of the paper including the volume, issue and page numbers.

Link to publication

General rights

Copyright and moral rights for the publications made accessible in the public portal are retained by the authors and/or other copyright owners and it is a condition of accessing publications that users recognise and abide by the legal requirements associated with these rights. • Users may download and print one copy of any publication from the public portal for the purpose of private study or research. • You may not further distribute the material or use it for any profit-making activity or commercial gain

• You may freely distribute the URL identifying the publication in the public portal.

If the publication is distributed under the terms of Article 25fa of the Dutch Copyright Act, indicated by the “Taverne” license above, please follow below link for the End User Agreement:

www.tue.nl/taverne

Take down policy

If you believe that this document breaches copyright please contact us at:

openaccess@tue.nl

providing details and we will investigate your claim.

Archief onde~~-~ij sre s e

November 1969

Technological University Eindhoven

Netherlands

Department of Mathematics

OBJECTIEVE TOETSEN ?

door

H .J .L . Kamps en J .H . van Lint

69-WSK-05

T ECHNISCHE HOGESCHOOL EINDHOVEN TECHNOLOGICAL UNIVERSITY EINDHOVEN NEDERLAND THE NETHERLANDS

ONDERAFDELING DER WISKUNDE DEPARTMENT OF MATHEMATICS

Objectieve toetsen ? door

H .J .L . Kamps en J .H . van Lint

T .H .-Report 69-WSK-o5

INHOUD

1 . Inleiding . 3

Li .ter,gtuur, Doelstellingen, Objectieve toetsen, 4 toepasbaarheid bij wiskunde, voor- en nadelen van de

multiple choice methode, vergelijking,van beide, de Verenigde Staten, constante normen .

3 . Enqugte . Opvatting uit Utrecht, Delft, Leiden en Groningen 14 4 . Eigen onderzoek . 18

Doel, experiment, Klassiek (KL) el Multiple Choice (M .C .) gedeelte, duur van het tentamen, correctie voor vermoeidheid, normering en beoordeling, volgorde, eindcijfer, correctie, -- .het ponsen, resultaten .

Conclusie . 29 Tabellen Per afdeling, per groep (09), (11), allen : twee dim . 001

score (KL, MC) ; corr, coëff .

voor de afdelingen B, BDK, E, N, T, W, WSK, Totaal 008

Afdelingsgewijs score vergeleken per groep (09), (11) :

van klassiek gedeelte 009 van MC gedeelte 010 van allen (KL), (MC) 011 van allen ~ (KL + MC) 012 van allen ~(KL + MC) (niet per groep) 013

twee dim . tabel score (PI, DI) 014

Gemiddeld cijfer, per opgave, per afdeling, per groep 015 Spreiding cijfer, per opgave, per afdeling, per-éroep 016 Beantwoording M .C . vragen

Correlatie coeff ( M .C ; vraag, Totaal M .C .) 017

Concept KlAssiek 020 Klassiek 021 Multiple Choice 022 Concept Multiple Choice 026

1, Inleiding_{T,~.._ .}

Hoewel enige jaren geleden de onderafdeling wiskunde een aantal experimenten met multiple-choice tentamens had gedaan en tot de conclusie was gekomen dat deze methode niet bevredigend werkte is in januari 1969 besloten nogmaals een onderzoek te doen betreffende objectieve studietoetsen . Aanleiding hiertoe was onrust onder de studenten over enkele teleurstellende tentamens . Overeenkomstig het gedragspatroon van de student anno 1969 ging deze onrust gepaard met het gebruik van een aantal leuzen o .a . het roepen om "objectieve

en waardevaste tentamens" . Aardige bijzonderheid hierbij is dat één van de redenen waarom enige jaren geleden de multiple-choice

methode niet werd voortgezet was dat de studenten de methode onrecht-vaardig vonden !

In dit rapport gaan we na wat onder objectieve studietoetsen wordt verstaan . Uit de beschikbare literatuur is een aantal

voor-en nadelvoor-en bijevoor-engezocht voor-en tevvoor-ens evoor-en vergelijking met de klassieke methode te weten de "essay~test" . Ook is gezocht naar literatuur

over het constant houden van normen . Verder is geinformeerd naar ervaringen met objectieve methoden in andere steden en ook de Verenigde Staten . Een groot deel van het onderzoek bestond uit constructie en vergelijking van twee wkelijkwaardige" tentamens, van elke soort één, die door alle le jaars studenten op één zelfde ochtend zijn gemaakt . Hierover wordt thans verslag uitgebracht . Aan het eind komen enkele conclusies en aanbevelingen . Deze zijn te beschouwen als de door dit onderzoek ontstane persoonlijke opvattingen van de samenstellers van dit rapport .

2 . Geraadpleegde literatuur

Ell Ahmann, J .S ., Testing Student Achievements and Aptitudes, The Center for Applied Research and Education, Inc ., Washington 1962 .

[2] Bloom, B .S .(ed .), Taxonomy of Educational Objectives, I ., Longman, Green and Co ., New York 1956 .

L

3]

Ebel, R .L . and Dora E . Damrin, Tests and Examinations,

hoofdstuk uit Encyclopedia of Educational Research, Mc Millan, New York 1960 .

L4] Groot, A .D . de, Vijven en Zessen, Wolters, Groningen 1966 .

151 Groot, A .D . de, Voordracht voor de T .H .E .

[6] Husén, T .(edt), International Study of Achievement in Mathematics, John Wiley & Sons, New York,

1967-[71

191

Klerk, I, .F .W . de, Objectieve Studietoetsen, Stichting VAM, Voorschoten .

Lang, G ., Inleiding over Studietoetsen, Stichting Research Instituut voor de Toegepaste Psychologie aan de Universiteit van Amsterdam, 1965 .

Lindquist, E .F .(ed .), Educational Measurement, American Council on Education, Washington 1951,

Naerssen, R .F . van, . Het handhaven van eenmaal aangenomen normen bij opeenvolgende objectieve toetsen, . Paedagogische Studiën, .~ (1966), 312-320 .

Nunnally, J .C,, Educational Measurement and Evaluation, Mc Graw Hill, New York 1964 .

Wood R ., Objectives in the Teaching of Mathematics, Educational

2,1 . Doelstellingen etc .

Alvorens over meetmethoden te spreken moet duidelijk zijn wat het doel van het onderwijs is . Wat wiskunde betreft is dit beperkt tot wat het "cognitive domain" wordt genoemd dat is het complex van kennis en ontwikkeling van intellectuele activiteit . Dit in tegenstelling tot "affective domain", d .i . belangstelling, houding en waarde-oordeel en "psychomotor domain" hetgeen op lichamelijke vaardigheden e .d . slaat . Bloom [2] deelt eerstgenoemd gebied in in zes klassen : kennis, begrip, toepassing, analyse, synthese,

beoor-deling . Met deze inbeoor-deling voor ogen moet men zich afvragen (de Groot L4] ) .wat in het vak hoofdzaak is en wat bijzaak, d .w .z . wat reken je zwaar aan als het fout is en wat zie je .door de vingers .

Voorbeelden : a) zijn rekenfouten ernstige fouten of niet, b) moet wat opgeschreven is goed bedoeld zijn of moet het precies goed zijn weergegeven ? Over twee dingen zijn de auteurs het eens : le de docent bepaalt de doelstellingen en bepaalt wat hij voldoende vindt en wat niet, 2e deze opvattingen moeten aan de studenten bekend zijn . In verband hiermee schrijft de Groot [4] opzettelijk over de "score" van een toets en onderscheidt de vaststelling van de caesuur vol-doend-,/onvoldoende als een apart probleem . Ten aanzien hiervan zij opgemerkt dat in de Verenigde Staten vaak een percentage geslaagden vooraf vaststaat of een numerus fixus zodat men aan de score genoeg heeft . Is dit niet het geval dan moet vooraf vastgesteld worden wat voldoende is :'de hoofdmoeilijkheid bij het samenstellen van tentamens! Deze moeilijkheid kan niet worden opgelost door een andere methode

te kiezen .

Tot de paragraaf doelstellingen moet men ook rekenen de vraag : wat is de invloed en het doel van de toets . Men kan meten of gegeven onderwijs is aangeslagen en het resultaat van de toets gebruiken om eventueel het onderwijs te herzien . Ook echter kan men de geschikt-heid van studenten voor verdere studie willen meten dus met een toets

selecteren . De Groot [4] merkt op dat een zeer laag succespercentage bij een tentamen o .i .d . reëel kan zijn als deelname voor iedereen openstaat d .w .z . de docent niet verantwoordelijk was voor de vooraf-gegane selectie . (N .B . precies de situatie die de aanleiding tot dit onderzoek was !!!)

2 .2 . Objectieve toetsen, definitie, toepasbaarheid bij wiskunde

In de geraadpleegde literatuur worden verschillende definities van objectieve toetsen gegeven . Het meest extreem is De Groot [4] : "een tentamen dat zodanig is samengesteld dat, na de beantwoording van de vragen door de student, diens score zonder tussenkomst van vakdeskundige beoordelaars kan worden vastgesteld (bijv . machinaal)" . Bij Ahmann [1 ] is voldoende dat "subjective judgment is, for all practical purposes, eliminated" . Ook andere auteurs stellen dat objectief betekent dat twee onafhankelijke beoordelaars (die zich niet vergissen) dezelfde score moeten vinden . In 14] dat

voorname-lijk over middelbaar onderwijs handelt is met objectief bvoorname-lijkbaar ook uniformiteit over het hele land en in de tijd bedoeld . In sommige definities is objectief synoniem met "multiple-choice" .

Bij anderen wordt dit als een direct gevolg van de definitie gezien ; (waarom is steeds onduidelijk) . De klassieke methoden (essay-tests) worden vaak afgedaan met de mededeling dat nooit bewezen is dat ze

goed werken . Hetzelfde geldt voor objectieve methoden maar dit ont-gaat die auteurs ! Het feit dat studenten zo veel onzin opschrijven bij klassieke tentamens en de corrector beoordeelt hoeveel hij het nog waard vindt is niet objectief en wordt daarom "onrechtvaardig"

genoemd .

Als men tenslotte een gemiddelde opvatting over objectiviteit wil toelichten aan onze eigen situatie dan is een klassiek wiskunde tentamen dat vooruit in onderdelen is gesplitst, waarvan is vastge-steld welke antwoorden in welke mate tot de score bijdragen, een voorbeeld van een objectieve studietoets .

Niet objectief zijn vragen waarvan niet vaststaat wat het ant-woord is of hoe veel bij de beantant-woording gevraagd wordt .(Voorbeeld : beschrijf de theorie van convergente reeksen .)

De meeste boeken onderscheiden de volgende types objectieve toetsen : 1) multiple choice, 2) multiple true-false (de kandidaat kiest uit 2 mogelijkheden : waar of niet waar), 3) matching (het vormen van paren bij elkaar behorende uitspraken e .d .), 4) short answer (bijv . 7csin xdx = . . .) . De eerste drie zijn van het "selective type°"s de vierde het "supply type" dat door sommige

auteurs niet objectief wordt genoemd (voorb . : E(-1)n n 1 is een . . . . reeks . Hier is niet duidelijk of 'alternerende', 'convergente' of nog

iets anders verlangd wordt .) . Duidelijk is dat men meestal de voor-keur geeft aan het multiple choice type . We citeren :

Ahmann L1] : "It has been found that multiple-choice test items can be used at all class levels with the possible exception'of the primary class levels . Other than the area of mathematics, the multiple-choice test item can be used succesfully in all subject-matter areas which have verbal and mathematical aspects . Even in the case of mathematicst this type of test item serves a useful function, unless there happens to be a heavy emphasis upon ~ computational aspects of mathematics :"

Husén [61 , na klassieke tentamens en multiple-choice beschreven te hebben stelt voor wiskunde : "It is not claimed that the two types measure exactly the same thing, since they obviously do not" .

Nunnally C11, , praat objectieve toetsen min of meer per definitie volmaakt : "The truly skillful item writer can test almost anything with objective items . The reason why so many teacher-made objective

tests do not get at more important parts of the content is that the teacher does not have the skill and/or the time to compose an excellent test" .

De Groot L5] stelt het beter : "Men kan veel meer relevante vragen - inzicht- en denkvragen - op een geprecodeerde vorm brengen, dan de meeste Nederlandse critici van de achievement test bevroeden, maar toch : men kan niet Alles zo vragen . Het zelfstandig oplossen van een wiskunde-vraagstuk, het schrijven van een exposé over een onderwerp, . . . ; _{: dit laat zich niet zonder meer vervangen: .}

Lindquist 19] _{geeft met een aantal voorbeelden (zoals opstellen)} aan hoe gevaarlijk essay-tests kunnen zijn . Op blz . 514 e .v . be-schrijft hij echter ook de slechte invloed van objectieve toetsen op de manier van studeren en het onderwijs . Zeer duidelijk blijkt

in dit boek dat een goed beeld van de doelstellingen van het onder-wijs bepaalt welke vorm van examineren moet worden gekozen en niet leuzen als "rechtvaardigheid" etc .

2 .3 . _{Voordelen van de multi ple choice methode .}

We geven hier een opsomming van door ons in de literatuur gevonden voordelen van de M .C . toetsen (zo nodig met commentaar) .

2 .3 .1 . Studietoetsen zijn rechtvaardiger , scores en scoreverschillen zijn beter te rechtvaardigen tegenover de leerlingen

(o .a . 14]) . ( Opm . Bij alle auteurs is "rechtvaardig" een geliefd reclame-adjectief .)

2 .3 .2 . Zij zijn onontbeerlijk voor velerlei onderwijsresearch, voor .

analyse van onderwijssituaties enz . (L4]) .

2 .3 .3 . Scoring is snel en efficient .

2 .3 .4 . Men kan beter gefundeerde beslissingen nemen _{over zakken} en slagen . ( Opm . dit is duidelijk klets !)

2 .3 .5 . Mogelijkheid van systematische analyse van de toets .

2 .3 .6 . Exameneisen _{constant houden is eenvoudiger (zie§ 2 .6 .) .}

2 .3 .7 . De resultaten van de toets hebben grotere betrouwbaarheid .

2 .3 .8 . Men kan veel meer vragen stellen en zo een groter gebied bestrijken (gedeeltelijke verklaring van 2 .3-7

2 .4 . _{Nadelen van de multiple choice methode (t .a .v . essay tests)}

We vonden in de literatuur :

2 .4 .1 . Zelfstandig formuleren, creativiteit en inventiviteit worden niet getoetst .

2 .4 .2 . Multiple-choice vragen zijn soms dubbelzinnig en wel juist voor de betere studenten . (Dit bezwaar geldt o .i . niet de wiskunde .)

2 .4 .3 . Deze toetsen hebben een negatieve invloed op het onderwijs . De studenten gaan feitenkennis en kleine brokjes kennis leren i .p .v . de grote lijnen . (Men beweert dat dit alleen geldt voor slechte m .c . toetsen .)

2 .4 .4 . Studenten gaan antwoorden raden (onder Amerikaanse studenten spreekt men dan ook wel over "multiple-guessing", niet te verwarren met onze "raden-universiteit"1 :

2 .4 .5 . Er zijn situaties waar het gaat om het produceren van het antwoord, niet het herkennen van het antwoord .

2 .4 .6 . (Vooral bij wiskunde :) Een benadering toont vaak al welk antwoord goed is . Soms kan men alle antwoorden invullen en zo het goede vinden .

2 .4 .7 . Men verwacht dat de goede antwoorden even vaak op de le, 2e enz . plaats staan . Dit heeft invloed op het laatste deel van de toets .

2 .4 .8, Het is moeilijk vast te stellen welke score voldoende is .

2,4 .9 . Het is zéér moeilijk een goede m,c, toets te schrijven . I .h .b . is het moeilijk om plausibele alternatieven te vinden voor die kandidaten die de gewenste kennis niet bezitten .

Niet al deze bezwaren zijn even belangrijk maar er zijn enkele die duidelijk ernstige nadelen van de methode zijn I

2 .5 . Vergelijkin g van de methoden .

Als we de paragrafen 2 .3 en 2 .4 naast elkaar leggen kunnen we tot volgende vergelijkingstabel komen (zie _[1'),

Criterium _{Klassiek tentamen Multiple choice tent .}

Bedenken v/h tentamen _{redelijk eenvoudig lastig, tijdrovend}

Greep uit de stof _{klein groot}

Meting van kennis _{beide, vooral beide, vooral}

en begrip _begrip

kennis Voorbereiding door

student grote lijnen etc . details

Soort antwoord _{eigen woorden keuze}

Raden _{geen probleem lastig probleem}

Scoring _{lastig, tijdrovend zeer eenvoudig}

Uit [1 ] _{citeren we : "For many years the essay test item has been} the mainstay of paper-and-pencil testing . Its role today is often misunderstood . Rather than being totally. replaced by the objective test item, as some suppose, it has simply released part of its function to the objective test item and is performing the remainder of its functions as effectively as before . That part which has been released is the part devoted to the measurement of the student's ability to recall information . It is in this area that the objective test item is extremely efficient . The informed teacher today is using objective test items primarily for this purpose and is using essay test items primarily for the purpose of measuring higher-level intellectual skills of the student!ff .

2 .6 . De Verenigde Staten

Van enkele kanten is gesuggereerd dat wij in Nederland achter-lopen vergeleken met de V .S . op het gebied van examenmethoden (in [4]) staat zelfs dat de opzet van het onderwijs in de V .S . beter is het-geen we voor rekening van De Groot laten) . Immere daar is de multiple

choice methode al jaren ingeburgerd ! Wat is hier van waar ? Het sterkst vindt men de bewering bij De Groot [4], p . 126 . Hij verwijst naar Educational Testing Service die voor het hele land op allerlei gebied m .c .-toetsen vervaardigt . Op een verzoek om inlichtingen ontvingen we van de E .T .S . een antwoord waarin o .a .* "There are objective tests available, which are described in the materialsoI am sending you, and those tests are certainly easier to administer and easier to grade than those which you presently use . Which is the "better" depends on your own criteria and only you can decide that" . Uit een brief die we kregen van H .O . Pollak, bekend Amerikaans deskundige op het gebied van hoger onderwijs in wiskunde citeren we :

"First of all objective testing is by no means common on the

university level in mathematics . I am told that some large universities do use such tests for linear algebra and calculus because they have such an enormous number of sections . However, I asked several people who should know for detailed references and no one was able to give

me any . Everyone remembered that he had heard that it had been done in somebody else's school" .

en hij vervolgt :

"My personal impression is that objective tests made out by mathematicians are harder than any of the tests you and I used to take . If the students want them it would serve them right" .

2 .7 . Constante normen

Voor het probleem van constant houden van de normen hebben we in de literatuur geen oplossing gevonden . De Groot [4] en

Van Naerssen C10] beweren een methode te hebben maar hun argumenten zijn niet overtuigend, soms fout en bovendien is de geschetste methode niet bruikbaar voor de wiskunde tentamens .

De methode berust op zgn . "kern-items", dat zijn "kritische vragen" . Idealiter is een kern-item een vraag, die scherp onder-scheidt tussen de "goeden" en de "slechten" . Een goede toets bevat veel kern-items (bijv . 25 van de 50) . Men kan de kern-items samen-stellèn op grond van gedachten als : "dit moet iedereen die voldoende krijgt weten, maar wie het niet begrepen heeft doet het vrijwel zeker fout" . Daarnaast kan men na afloop van een toets de vragen zoeken waarvan het resultaat sterk overeenkomt met het resultaat van de

hele toets . We komen hiermee op de methode van "herhaalitems" . Laatstgenoemde vragen (indien tevens kernitem !) neemt men gedeel-telijk weer op in volgende tentamens . Daarmee is na te gaan of de latere groep zwakker is dan de vorige of niet,-of dat wellicht de nieuwe vragen al dan niet eenvoudiger zijn dan bij het vorige ten-tamen . Dit wordt 11equating of scores" genoemd . Helaas is het artikel

C10, volslagen onduidelijk . Wat de invloed is van de niet-herhaal-items hebben we niet kunnen nagaan . Er staan een aantal voor paeda-gogen vermoedelijk indrukwekkende formules in en "ogiefvormige krommen" etc . maar het is al spoedig duidelijk dat de statistische

achter-gronden van de geschetste methode niet kloppen .

Gelukkig berusten kern-item en herhaal-item methode beide op herhaling van eerder gestelde vragen èn geheimhouding van vroeger gehouden tentamens . Deze gedachten zijn voor ons onaanvaardbaar . Daarnaast is het voor goede studenten geen probleem om de gestelde vragen na afloop van een tentamen te "reproduceren, d .w .z . geheim houden is onmogelijk .

De enige redelijke oplossing (als men niet bereid is te geloven dat juist de constantheid van de docent de constante norm impliceert) is een grote, vaste verzameling opgaven aan te leggen en te publi-ceren en daaruit telkens een greep te doen (eventueel mogen getallen in zulke opgaven verandera worden o .i .d .) . Ook dan ontkomt men niet aan statistische fluctuaties in moeilijkheidsgraad van het tentamen .

De mening van de samenstellers van dit rapport is dat een bepaald tentamen in de tijd best grote verschillen in moeilijkheid mag vertonen mits selectie aan het eind van een studiejaar geschiedt

op grond van de resultaten van tenminste 10 tentamens (liefst veel meer) . De invloed van te moeilijke en te makkelijke tentamens is dan gering . Het feit dat ondanks selectie ook bij volgende examens weer een vrij groot percentage niet slaagt bewijst dat het in Nederland gewoonteis de caesuur te leggen ergens in het gebied van onvoldoende kandidaten . Dit impliceert dat iemand die "net voldoende" is (als dit betekenis heeft) door pech of een te moeilijk tentamen enz .

niet direct afvalt daar blijkbaar alleen de zeer slechten niet slagen .

(Bedenk dat een student die demonstreert 45 % van de vragen niet te kunnen beantwoorden in Nederland "voldoende" genoemd wordt ! Een vreemde gewoonte .)

3 . Engu g te

Naar de andere wiskunde afdelingen in Nederland is geschreven met een verzoek om inlichtingen over ervaringen met multiple-choice tentamens . Van de meesten is geen reactie gekomen . Hier volgt een overzicht van de reacties .

Utrecht (ergens geciteerd als van internationale bekendheid op het gebied van objectieve examenmethoden in de wiskunde !) .

' rInleiding

Vanaf maart 1962 is bij eerste- en tweedejaarsstudenten geëxperi-menteerd met een tentamenvorm waarbij de correctie gemecheáseerd kan worden .

Efficiëntie

Het doel van het experiment was om te komen tot een snellere afwer-king van schriftelijke tentamens bij grote aantallen studenten . Bij groepen van circa 175 studenten bleek dit niet haalbaar .

De voorbereiding van een multiple-choice tentamen vergde onnoemelijk veel tijd ; aanvankelijk door onervarenheid, later door problemen bij het vinden van nieuwe adequate vragen zonder in spitsvondigheden te vervallen .

Zelfs bij de correctie viel maar geringe tijdwinst te boeken . Het bleek namelijk niet mogelijk om zinvolle normen voor beoordeling van te voren vast te stellen, zodat uitvoerige analyse achteraf nodig was (met herhaalde gang naar de computer) .

De beoordeling

a . Het spreekt dat bij vaststellen van normen na afloop van het tentamen de beoordeling vrijwel vergelijkend wordt met alle bezwaren van dien .

b . Het histogram vertoonde vrijwel altijd één piek met dunne uit-lopers .

Zelfs bij voorzichtige omzetting van behaalde punten in cijfers - bij een vrij nauwe piék in het histogram - geeft een kleine wijziging in de door een student gegeven antwoorden (b .v . ver-vangen van één bijna goed antwoord door het juiste antwoord) dat

enige remedie hiertegen, bij gegeven éénpiekshistogram, is een becijfering waarbij alle studenten ongeveer hetzelfde cijfer behalen . Bij een duidelijk éénpiekshistogram is zelfs een grove

indeling geschikt respectievelijk ongeschikt voor de studie een illusie .

c . De multiple choice tentamens zijn altijd afgenomen bij groepen studenten waarvan via practica etc . veel informatie beschikbaar was wat betreft studieprestaties en studiecapaciteiten . Vrijwel bij alle tentamens in multiple-choice vorm waren er te veel stu-denten waarvoor het eindcijfer in geen verhouding stond tot hun verdere prestaties .

dy Bij gemengde tentamens b .v . één opgave in "klassieke" vorm -bleek er onvoldoende correlatie tussen gebruikelijke en multiple-choice vorm van tentamineren .

Conclusies

a . Het multiple-choice systeem gaf geen arbeidsbesparing en

beant-woordde niet aan het gestelde doel .

b . Bij herhaalde pogingen om de tentamens beter op te stellen en de te behalen punten handiger te groeperen, bleek het niet mogelijk om een histogram met één piek te vermijden, wat een goede selec-tie van de studenten mogelijk maakte .

c . Uit de practicumervaringen bleek dat een multiple-choice tentamen hooguit feitenkennis en snel overzien van een groot aantal vol-zinnen en begrippen test . Van testen van wiskundige denktrant en wiskundig formuleren was nauwelijks sprake .

Slotopmerking

De opmerking dat een multiple-choice tentamen een objectieve toets kan zijn is bij wiskundetentamens niet relevant . Bij goed afgespro-ken normen voor beoordeling en enigszins ervaren stafleden zijn de eindcijfers ook bij een klassiek behandeld tentamen vrijwel reprodu-ceerbaar . Bij twee keer corrigeren en gezamenlijk vaststellen van

een eindcijfer gebeuren niet meer ongelukken dan bij multiple-choice tentamens (student vult verkeerd in etc .) .

Bij de wiskunde gebruikt men in Utrecht, zelfs bij inleidende

colleges met veel feitenmateriaal, geen tentamens in multiple-choice meer .

Delft

"1 . Klassieke methode : over het algemeen gelukt het bij deze methode eenmaal (van te voren) gestelde normen te handhaven . Dit vereist een grote dosis ervaring in het samenstellen van geschikte vraagstukken ; zelfs dan is het bij uitzondering -nodig gebleken achteraf de normen te herzien .

2 . "Multiple choice" methode : met deze methode bestaat bij de Afdeling geen ervaring .

3 . Series kleine vragen :

Deze methode is in gebruik voor het vak vector analyse . Er is reeds enige ervaring met dit systeem opgedaan, zodat het wel-licht van nut kan zijn hierop wat verder in te gaan .

a . Aan het begin van de schriftelijke examenzitting ontvangt de kandidaat een wit en een groen exemplaar van de examen-opgaven . Het witte exemplaar moet worden ingeleverd . Het groene exemplaar dient als kladexemplaar en kan door de kandidaat worden behouden .

b . Bij het begin van het examen ontvangt de kandidaat een opgave, waarop voor ieder onderdeel van de examenopgaven de maximale waardering in punten is weergegeven .

Bij het niet kunnen beantwoorden van bepaalde vragen, kan

de kandidaat zelf een zo gunstig mogelijk "strategie" bepalen . c . Na inlevering van het werk ontvangt de kandidaat een lijst

met de juiste antwoorden, zodat hijzelf kan bepalen welk cijfer hij voor het examen heeft behaald .

Deze methode heeft het voordeel, dat de toetsing over de gehele doorsnede van het vak kan plaats vinden, terwijl vermeden wordt, dat de student zichzelf op een zijspoor begeeft, hetgeen met grotere vraagstukken wel voorkomt . De tijd, nodig voor het beoor-delen van het werk, ligt aanzienlijk lager dan bij de "klassieke" methode het geval is . Hierdoor kan de student eerder worden inge-licht van het officiéle resultaat van zijn examen . Alle studenten worden bij deze inrichting van het examen op dezelfde wijze beoor-deeld .

Uiteraard vraagt deze methode meer tijd dan de klassiek'e methode voor het voorbereiden en opstellen van de examenvraagstukken, terwijl

aan de typografische uitvoering van de examenopgaven zeer hoge eisen moeten worden gesteld .

Leiden

Men heeft tot nu toe "klassieke" tentamens gebruikt en over-weegt niet om met andere methoden te experimenteren .

Groning en

Men gebruikt steeds "klassieke methoden . Men heeft wel eens overwogen met multiple-choice een proef te nemen maar men vreest daarmee niet te meten wat men weten wil ! Bovendien zijn de aan-tallen studenten klein .

4 . Eigen onderzoek

4 .1 . Omschrijving van het doel

Hoewel tegenwoordig objectieve toetsen, waaronder men "multiple choice" ( M .C .) mag rekenen, een gunstige klank hebben (vermoedelijk door het magische adjectief dat immers op de beoordeling slaat) is het bij voorbaat duidelijk dat bij het invoeren van die toetsen in de wiskunde de winst waar

het de objectiviteit betreft zeer gering zal zijn .

Immers een eigen interpretatie van de geschreven tekst (door de beoordelaar) is bij de wiskunde in het algemeen uitgesloten omdat de antwoorden voornamelijk uit getallen en het gebruik van methoden bestaan die vooraf vastliggen en

door elke beoordelaar, doorr een vooraf vastgestelde normering met hetzelfde cijfer worden gehonoreerd . De meest in het oog lopende winst is correctietijd ten koste van (zeker voorlopig)

een langere tijd die nodig is om tentamens samen te stellen . Bovendien lijkt het niet uitgesloten dat deze tentamens door het grotere aantal vragen meer betrouwbaar zullen zijn dan de gebruikelijke . We bestrijden echter de misvatting dat waardevastheid inherent zou zijn aan het gebruik van M .C . tentamens . De pogingen om door herhaalitems die waardevastheid te verkrijgen (2 .7)zijn dubieus en hebben in situaties waarbij geheimhouding verzekerd is, het belang-rijke nadeel dat de deelnemer geen controle heeft op de totstandkoming van zijn cijfer . De vroegere pogingen met M .C . zijn gestaakt omdat o .a . de tijd voor het samenstellen van tentamens erg groot was, de zwaarte van de tentamens moeilijker te beoordelen is dan die van een gewoon tentamen maar vooral omdat een aantal docenten de mening was toege-daan dat met deze methoden iets anders wordt gemeten dan met gewone tentamens .

Daarom is dit onderzoek erop gericht na te gaan of een "goede" (resp . slechte) student ook met deze methode geéxa-mineerd hoog ( laag) scoort . Natuurlijk is er literatuur be-kend waarbij verschillende examineermethoden worden verge-leken in éé n groep deelnemers voor dezelfdestof, Wij

wilden echter niet het risico lopen dat verschillen in cijfers per deelnemer zouden kunnen ontstaan door de verschillen in de onderwerpen (techniek, kennis, methode) die in het ene en het andere examen aan de orde zijn gesteld .

4 .2 . Beschrijving van het ex p eriment

Omdat wij tentamens zoals ze hier gegeven worden willen vergelijken met een M .C . tentamen, is besloten om het ene gedeelte dat zoals gewoonte is uit vraagstukken zal bestaan

(in het vervolg klassiek gedeelte KL genoemd) ook op de ge-bruikelijke manier te laten samenstellen . Wel is aan de samenstellers meegedeeld dat de duur van het KL niet 3 uur maar 2 uur zou zijn .

4 .2 .1 . Het klassiek gedeelte

Door twee medewerkers is een concept samengesteld (pag .020) dat besproken is met de drie docenten van wiskunde II . Na deze bespreking zijn in het concept een aantal wijzigingen aangebracht en is de gewijzigde versie ter hand gesteld van een proefpersoon (medewer-ker) die als taak heeft na te gaan of de vraagstukken

de behandelde stof testen (en geen andere), of de moeilijkheidsgraad in overeenstemming is met het type vraagstukken dat aan de orde is geweest op de oefen-middagen en om de hoeveelheid tijd die een student

nodig heeft om zijn oplossing te formuleren en op te schrijven te schatten .

In een vergadering van samenstellers en docenten brengt hij verslag uit en wordt de definitieve tekst opgesteld (pag . 021) .

4 .2 .2 . Het multiple choice gedeelte (M .C .)

Aan alle medewerkers en docenten betrokken bij het wiskunde II onderwijs is gevraagd om geschikte vraag-stukken in MC vorm op te stellen en in te leveren, waarbij uitdrukkelijk als eis is gesteld dat oplossing van de gestelde vraag niet een complex van vaardigheden mag vereisen, maar zich moet beperken tot één facet van

de stof . Dit verzoek werd aan het corps gericht ener-zijds omdat tussen het tijdstip waarop de definitieve tekst van het klassieke gedeelte gereed zou komen en de datum van het proeftentamen weinig tijd beschikbaar was, anderzijds om vaardigheid op te doen in het opstel-len van MC vragen .

Toen de definitieve tekst van het klassieke gedeelte klaar was hebben we eerst nagegaan per vraagstuk of onderdeel welke kennis en welke vaardigheden van een student die

deze vraagstukken kan oplossen worden gegist . We kwamen tot de volgende lijst :

Inventaris van het klassiek gedeelte

Opg . KL _{MC opg .}

la . (a-) het opstellen van de karakteristieke vergelijking A en het bepalen van de wortels

(R) het bepalen van een particuliere oplossing als het B, B~ rechterlid van de vergelijking voorkomt in de

homogene oplossing

i lb . (Y) het oplossen van een homogene diff . vgl . als de C, C•

karakteristieke vergelijking complexe wortels heeft

het'~-aden" van een particuliere oplossing D,B,D1,B9

t

het herkennen van een machtreeks E, E

het berekenen van de convergentie straal F, F1 , F11 ~ nagaan of een alternerende reeks convergeert (Euler) G, G vergelijkingsstelling toepassen H, H1, J de binoniale reeks (of de worteltruc) toepassen I

vergelijkingsstelling toepassen H, J

de reeksontwikkeling kennen voor sin x, ex, J log (1-x) en arctan x

het vermenigvuldigen van reeksen g het bepalen van de limiet L

Daarna is bij elk element oc t/m it uit deze lijst een

MC vraag en soms een of twee alternatieve vragen bedacht (of uit de ingeleverde vragen geselecteerd (vragen A t/m L) en het concept (zie 026) besproken .in een vergadering waarvoor allen die aan het klassieke-gedeelte hadden meegewerkt waren uitgenodigd .

In deze vergadering is gediscussieerd over de analy-sering van het klassieke gedeelte en nagegaan of de kennis en vaardigheid van de elementen in klassiek en MC zo nauwkeurig mogelijk op elkaar zijn afgestemd . Y

Tevens is de normering en de correcties voor vermoeidheid en de vaststelling van het eindcijfer besproken .

Daarna is aan elke docent, aan de statistici en aan het bureau onderwijsresearch gevraagd over welke gegevens men na afloop wilde beschikken .

De gewijzigde versie is beoordeeld door een proefpersoon waarna de definitieve tekst (zie 022 t/m 025) is samengesteld, . 4 .3 .1 . Duur van het tentamen

Hoewel voor een normaal tentamen 3 uur beschikbaar is, hebben wij de duur van het MC en het klassieke gedeelte op

4 uur gesteld .

Het was bij onze opzet onmogelijk om het KL gedeelte

's morgens en het MC 's middags voor alle studenten te houden omdat dan het gemiddelde voor het tweede gedeelte systematisch kan afwijken . Wij wilden de groep van 701 studenten aselect in tweeën splitsen en de beide helften met verschillend werk laten beginnen juist om systematisch verschillen geintroduceerd door de volgorde waarin het werk wordt gemaakt te vermijden . Dat maakt het noodzakelijk om beide gedeelten in één periode te maken . Daarentegen moet het MC tentamen nogal wat vragen bevatten wil uitslag betrouwbaar zijn . Als maximale duur lijkt ons 4 uur haalbaar omdat anders vermoeidheid een (te) belang-rijke rol zal gaan spelen .

4 .3 . 2 . Correctie voor "vermoeidheid"

Mogelijkerwijs zou de volgorde waarin het werk gemaakt wordt van invloed kunnen zijn op het gemiddeld cijfer . Ver-moeidheid zou tot gevolg hebben dat de gemiddelde cijfers behaald in het tweede gedeelte van de zitting lager zijn . Ook is mogelijk dat men na een bepaald gedeelte te hebben gemaakt ingespeeld raakt en tot-betere prestaties komt bij het volgende deel .

Omdat we voornamelijk geinteresseerd zijn in verschillen tussen MC en Klassiek en ook om niemand door dit experiment te benadelen wordt afgesproken dat bij elk deel (KL of MC) bij de cijfers behaald door de studenten met het laagste algemeen gemiddeld zoveel wordt _{opgeteld dat het gemiddelde} cijfer van het gedeelte van 9 - 11 hetzelfde is als het gemid-delde van hetzelfde werk gehouden tussen 11 - 13 uur .

4 .4 . Nor mering en beoordeling

4 .4 .1 . Van het klassieke gedeelte

Voor elke vraag zijn 10 van de 40 punten te behalen waarbij zoals gebruikelijk voor onderdelen van vraagstukken wordt gespecificeerd .

4 .4 .2 . Van het MC gedeelte

,

Het werk wordt zo gewaardeerd dat het te verwachten -cijfer van iemand die aslect kiest uit de 4 antwoorden

(3 fout en 1 goed) nul is . We geven alle vraagstukken het-zé-lfde gewicht . Een goed antwoord wordt zodoende gehonoreerd met 3 van de 36 punten die in totaal behaald kunnen worden . Een fout antwoord met -1 . Blanco met 0 punten . Het totaal gedeeld door 3,6 . (Omdat bij een vroeger onderzoek gehouden door drs . I .G . Boerlijst en Prof . dr . A .D . de Groot uitvoerig is geëxperimenteerd met andere vormen van normering die in resultaat zeer weinig uiteenliepen is deze normering, de éenvoudigste,,gekozen) .

4 .5 . De volgorde waarin het werk gemaakt werd

Die volgorde werd voorgeschreven door de studenten bij binnenkomst aselect met kans = i een even of een oneven getal

te laten trekken ; hetgeen bepaald of men met het MC gedeelte of met het klassiek gedeelte kan beginnen .

In de praktijk is er tevens voor gezorgd dat _{p er zaal} met hetzelfde soort werk is gestart om negen uur voor alle daarin aanwezige deelnemers .

(Twee storingen traden hierbij op : in een zaal waren 14 stoelen minder geplaatst dan afgesproken en een aantal laatkomers is om overlast te beperken een plaats in de buurt van de ingang toegewezen) 364 deelnemers beginnen met het klassiek gedeelte 337 met _{het MC gedeelte .}

In alle tabellen op de pag . 001 t/m 016 worden resultaten van de 337 deelnemers voorzien van (09) de tijd waarop men met MC begon .

Resultaten van de 364 deelnemers krijgen als indicatie (11) .

4 .6 . Vaststelling van het eindcijfer

De cijfers voor de beide onderdelen behaald, worden na correctie voor "vermoeidheid" opgeteld, gemiddeld en naar boven afgerond tot een geheel getal .

4 .7 . Correctie van het gemaakte werk, het ponsen

4 .7 .1 . Klassiek " gedeelte

Elk vraagstuk is tweemaal beoordeeld door medewerkers of docenten die bij het onderwijs waren betrokken .

In een bespreking wordt bij verschil in de cijfers per vraagstuk het werk nogmaals bezien en na overleg een cijfer per vraagstuk vastgesteld, aan de hand van de vooraf

vast-4 .7 .2 .

gelegd,e normering . Deze cijfers worden machinaal verwerkt . M .C . gedeelte

De antwoorden voor elke van de 12 MC vragen van elke student worden eveneens machinaal verwerkt .

Het ponsen

Om te zorgen dat bij het maken van de ponsband waarop alle cijfers vermeld waren geen fouten werden gemaakt zijn twee banden, onafhankelijk van elkaar op het Rekencentrum ver-vaardigd en daarna een derde band die op de momenten dat afwijkingen tussen band 1 en 2 werden geconstateerd (na controle)van het juiste cijfer werd voorzien .

Van elke student werd geponst :

Naam en voorletters, identiteits,nummer, afdeling, groepsleider, gemiddeld eindcijfer Wiskunde bij het Middelbaar Onderwijs (VWO), het cijfer voor het

proeftentamen (P I) wiskunde nov . '68, het cijfer voor het deeltentamen Wisk . I jan . '69 (D I), de antwoorden op vraag A t/m L van het MC, het tijdstip waarop het MC gedeelte is gemaakt en tenslotte de waardering voor vraagstuk la, 1b, 2, _3, 4 van het klassieke stuk .

4 .8 . Resultaten

4 .8 .1 . Vermoeidheid

Het gemiddeld cijfer voor de 364 deelnemers die het MC gedeelte maken van 9 - 11 u . is 5,73 (spreiding 1,9) . De 337 deelnemers die het MC gedeelte maken van 11 - 13 u . (na het klassieke stuk) halen gemiddeld 5,71 (spreiding 1,9) pag .010 . Bij het klassieke gedeelte zijn de cijfers voor :

de 364 deelnemers : gemiddeld 6,32, spr . 1,9 ;

de 337 deelnemers : gemiddeld 6,68, spr . 2,0 . (pag . 009) . De verschillen zijn bij de gevonden spreidingen niet zo groot dat men kan spreken van een duidelijke vermoeidheid . (Toch zijn de o .a . klassieke resultaten van de 364 studenten verhoogd met 0,36, alvorens op te tellen, door 2 te delen en af te ronden .)

4 .8 .2 . Het MC tentamen, kritiek (tabellen op pag . 017)

Uit de correlaties tussen de afzonderlijke vragen met de totale score voor het MC gedeelte blijkt dat vraag A weinig bijdraagt tot de totaalscore . Dit is ook in overeenstemming met tabel 1 ., waar duidelijk is te zien dat de vraag te een-voudig is . Het was beter geweest om in het MC gedeelte niet apart te testen of men de karakteristieke vgl . kan opstellen en

de wortels daarvan kan bepalen .

De vragen C, H en J blijken moeilijk, gezien het lage percentage dat de vraag goed beantwoordt . (resp . 17 _{% ,} 31 %, 18 % ) . Het grote aantal deelnemers dat vraag H of J niet beantwoordt (14 % , 16 % ) wijst ook in deze richting ; terwijl men bij vraag C misschien is misleid door het 4e alternatief .

De vragen van de test zijn bijna allen geschikt als herhaalitem, gezien d e hoge correlaties .

4 .8 .3 . Correlatie binnen MC en klassiek gedeelte

De vooropgezette bedoélïng was overeenkomstige fragmen-ten uit het MC gedeelte en het klassiek gedeelte als ook het totale MC en het totale klassieke gedeelte onderling te vergelijken . We vonden als correlatie coefficienten (P)

MC_ Kl p a,b la 0,18 c,d 1b 0,26 e,f,g 2 0,29 h,i,j 3 0,21 j,k,l 4 0,40 (a ) a t/m 1 1 t/m 4 0,57 (R)

Ons vermoeden dat de correlaties onder (a) significant groter zouden zijn dan de correlatie coeff . van niet ver-gelijkbare onderdelen uit het een en andere gedeelte is niet bewaarheid . ( In feite zijn behalve de 5 correlatie coeff .

onder ( a) nog, de 20 andere, berekend voor elke klassieke opgave met elke MC groep, die niet op dezelfde regel in de tabel wordt vermeld . Wel zijn de correlaties vergelijkbaar wat ordegrootheid betreft met eerder gevonden correlatie's .

tussen vraagstukken uit één tentamen .

Is de correlatiecoeff . 0,57 (R) groot genoeg om te kunnen beweren, dat het MC tentamen voor ons doel en bij deze stof een goed "meetinstrument" is ? Vast staat dat men bij een goede test die h erhaald wordt een correlatie coeffi-cient van 0,70 mag verwachten als herinneringseffecten geen rol spelen . Omdat in het algemeen een test uit meer dan 12 vragen bestaat zou de gevonden,p om die reden al kleiner dan 0,70 moeten zijn . Kijkt men naar de correlatie tussen het Proeftentamen Wiskunde I van november 1968 en het daarop volgende deeltentamen in januari 1969 die beide klassiek werden afgenomen, dan vindt men als correlatie coefficient 0,64 ( pag . 014) . Deze correlatie coefficient zou kleiner zijn als het cijfer voor het deeltentamen onaf-hankelijk was van het proeftentamen . Gebruikelijk is immers dat voor de le som van het deeltentamen het maximum gegeven wordt van de prestatie voor dat vraagstuk behaald in januari en het cijfer van het proeftentamen dat daaraan voorafgaat . Zou men voor de cijfers van het deeltentamen alleen het gemiddelde nemen van alle vraagstukken behalve het eerste, dan zal ook deze correlatie coeff . in de buurt komen van de 0,57 die gevonden werd .

Ook zijn de correlatie coeff . tussen het klassieke gedeelte en

vroeger behaalde resultaten (zie tabel hieronder) van dezelfde orde _.

P I D I VWO MC 0,468 0,475 0,236 xl 0,505 0,466 0,211 EC 0,550 0,534 0,253 Aantal stud . 674 650 602 EC eindcijfer maart 1969

P I cijfer proeftentamen november 1968 D I cijfer deeltentamen januari 1969

VWO gemiddeld cijfer voor wiskunde op de middelbare school

Dit wettigt de conclusie dat beide methoden als meetinstrument van studievorderingen niet verschillen .

5 . Conclusie

1 . Voor een groot deel van de stof van de propaedeuse is de

multiple-choice methode vermoedelijk bruikbaar als meetmethode .

2 . De klassieke methode vergt minder voorbereiding en is voor alle stof als meet-methode even bruikbaar . Wel is absoluut noodzake-lijk vooraf de vraagstukken in onderdelen te splitsen en

bindende normen vast te stellen .

3 . Een tentamen dat gedeeltelijk klassiek is en voor de rest van het short-answer type (zoals sinds kort bij Wiskunde V gebruike-lijk) lijkt veel beter . De vorige maal kon men bij de short-answer vraagstukken nog verklarende tekst toevoegen voor eigen risico .

Hierdoor zullen kandidaten die zelf beweren "alleen een paar rekenfouten" te maken zich niet gehandicapt voelen .

4, "Waardevastheid" is alleen te bereiken als de vraagstukken voor-raa-d-tlin~ari ant- is en zeer . .groot, .

5 . De correctie van een multiple choice vraagstuk (machinaal) betekent een enormet~~dsbesparipg .

6 . Waarschijnlijk zullen slechts enkelen in staat zijn goede multiple choice vragen (en antwoorden !) te bedenken .

O O O O O O O O O O O O O O O O O f f f f O D c cl. c cl> O f f f f O O O 0 O O O O O O O O O . O O O O 0 O . . . . O O O O O O O 0 O O O p P 0 P O O . . . . . . . . . . . . .1• 4 • • 4 O 0 O n O O O n o O O OOOP . QOO/~ 00 0 p . . . . . . w . . . . 4 . n o ca On e 4 0NN/n00 OOOnnO00i~00 in :nn .i : . • • . • • Onenno ' _0l ' noo ti O1~ Ohi . ei 1`~ C C . . . . . . . . . . • . . • .+ .+4n0w/ • • . • . • • . O 0 CD O .+ .taN000 e1 * oOnnNO00o ~O ~ ~ ~ n n H • • • . . • • • 000 -, 000 1 0000 O O O W N O O N O 0 O n • • • M n • • n • • 4 11 . + • 2 O O O O O o o c o C o •• 0 O O O N O O O O o O fi W f • • • • • • • f J • W • p o .+Otl1OnYn n000 W ¢y1 OI+On P t~ 000 r OM4M • .' . • .• .~/ .1+ • • 0 W + • • • • t Y Y/ o a o o n o 0 0 0 o O yy p yi o0001+000000 W O YI N • • • • • • • • • I9 ' t • • • • .! • i • • 4 • 4 J 4 r Y 2 ts W u o O O O o o O O O O O g o . ~ oooaooo0o0 rc O G .t . . . . • 4 • • 4 • • • • • • 6 y1 ` (11 n O O O o O O O O O o !~ O 13d00 CO000 c, . . . . . . . . . . . • n u O . .NM)f in b11 O9>0 .•1 ,mom OOOOO -OOOG .i • 4 • + • • • • • 4 • C> 0 oO .+OO o ./000 op-OO .+NOf f -, OO • • . • • • • • • 4 4 ~ O R f' O rl O .i .1 O 17 n e'/ O O 4 h J n ~ 2 -O -O ~ : O N N M V' O O O O .•t N +0 W H 1(1 F 00000000000 M f i + 4 • + • • • • ./ G O W f Cr C3 O o M O O O O O O 1/ 0 • + + + + 4 • . + + + r O W í~r, a W MCt\ c .+0 .•~ .•IrICG 7 0 P N O O M N V V .~J cm OOOO .M OOOOO O •~ y • 4 + • . • • 4 + 4 + J O f t W F C P 2 n O .•/oqCOOOCGOOc f 4 UI • • • • • • • • • • + i 0 . .0 000 000 00 0 r o .+NMJfn-45 POpO .4 SCORE M .C . OOOf OfO00N0 o0O000000e .0 N • N • O f f 41 1,1 O 0 f f O O o c o c. O O O O O O O l!!! . . . . . . . . • • N N • • • • N t m* 4 + + • Of O+Ofee000 O O o O O O O N O O O 1_. . . . . . . . . . . . • N • f f N f o• •• 4 O o0of O 0 O 0 O 00 OO 00 cc:,» 0 O O 0 + • 4 • N f f f 4 • • • 4 • • + p O O O O O N O f O O O f OOOOO .i00000 • p . . . . . . . • f if N • • 4 p . 4 . i Z oo .oefoooooa ~o O .o O O O e o O O O O M u f . . . . . . . . . . O F • • f • N • • • n J 4 4 10 O OffOe00qf00 W O O O O O O O O O O O M Is M• N N• •• 4• N•• O W Z Y W fOOOOOfOOOO a . . á oo0ooeoe0oo W b N 1! V 4 N • • • • • N • • • • ! J • + r Y s m C, O o o O O o

c cl, c cl,

W K O O W o O • O O O c cl,

9

V

0

O M . O O W LL tl • 4•• 4 4 4• 4•• 6 < tl7 O O O O O O O O O O O O O O O O O O O O O C O • • + • • • • • • • 4 o .iNMfn~OAOpO~ OOOo000r/ .+n . .+0 .1 • • • 4 • 4 • • • • • p

1,1

o

12,

.

4

o .

4

o

12 0

Mo O O+± O O O O±± O 0 0 hO . ~ O N (V .rvNn0 OO f + • • • • 4 • • • • + 0 O O O O O O O O O O O C .+NMfn .0POP 0 SCORE M .C . O e e p 0 f e f O M O 10 .34! O 0 O P O 0! O • 4 4 .4 + 4 • • + N • 0 Off f POi . NP 0 0 0 OPpPO01 .A0 O ePOnMfNMfee OiC11•PPHrp00 ^ • ./•NN•fP 4 • • e O Of Of HAN/ . O00 .4 OPOPA~ .I~A O 00 e r • • • •

mi

ri :

to

. . . z f OoopNMP/+ee 00 p OOOOP001~00 li N••• .+fNaII••• • • • • . W O O O O O O O O C, O O ac oooaoaeoooo O .• . . . . . . . . u • • 4 4 4 4 4 4 . 4 4 N f O O O O O O O O O O P O O C 0 O O O O O O ca . .INMPn 1OtiOpO .M .41 4 • 0 • • • 4 4 • 4 9191 11 C, 11 C, 11 14 14 l', "I C, p0 oONO . .O .aOMO • • • • • • • 4 • • • OOVIM .MNOfIPNOe 4 4 • 4 • • • • + • • rCNOC)/7 .+IC, c r100 f P OO~IO ./ffMf OOG • h 19% O O G N IP , Mf N f O O C J • • • • • • • + • 4 • N W O C W W t O O N O f O O O 0 O O u • • • + • • + . + + . W 2 Y J J y t N = v • W J Nri 000 HO ei O O 00 J Y + 4 • + + + + . • + . J m e u t Z 2 p O w O O O G o O O G O C G Oe+000 0000 0 00 O .+lYMf n 0 h oP C .4 SCORE M .C . PAG 001

O O O O O O O e e O e O O O O O P P a .O O . .

.-!«!

. . . .P . .• • • • N N • N O O O OO C CI, O O OO OO c cl, O O O eO4 O P . . . • O O 0,42 O O e cm e O a OOOOpOPO

ot

OO O • • 4 • 4 •NON + • • • a O O O O O e w e e O O 0 o O p o O e O! O O ^ • 4 • 4 • N O N O • • o00e KO .•Op00 O O o P P O A O o O O tl • 4 :NN • • • 4 : • • e O . O O e 4 e e O O O Be lc O O O P p c O C, O q O • N # • N • N N • • • = boaeoeoaooc / . O a O O O a O• 0 O O O O Y/ e • • • • Yy h • • • N t1 N • • • • • W i W 0 o o O e O e O o 0 o O W O O O P O O O O O O O Y tl n 0 w + r ba 0 O e C» 'Ik O O O O O O P /1 O O P O P O O O O O O O M N • • • • • • • • • N • N • • • • • • i • • Y Y Ó W 4 O O O O O O O O O 0 t b o a o 0 0 0 0 O C> O . t le O O O O O O O O O O O O O O O O O O O O O O O 4 • • • • • • • • • # 0 .7Nn 000 P .00 .0 .4 00000000 .1 .-10r1 . 9 • # 4 a 4 • 4 • • 4 4 P 0000000 . 4 000 4 4 + + • • a # • • • OOOOOOOe # n .i00 i ^ Q O C O O .yM) ~ N G O p • 4 • a • • • • • 4 + Y .Q 0 00 .4r101f10000 2 • • + a + • • • • 4 • P w N 1-kno r4 CD o .+O .+ .+ooo W c We000 .-IN .+o0000 u \1 + • • • + 4 ~ 0 W

<I,

a W M O C O . d O O O O O O O 0 Ó N á z ,- s J X X N O O+ O 1,4 O O O O O O t 4 2 W r a w 2 : 0 -á : : 11 i 0 0 á i 0 : 4 4 N c> O • . O O O O •• • • O O O Có O O • . • • O .•Nne1H•Ow00 C3 SCARE M .C . 0 .111 000 OO 00000 O 0 O O O O O O O .i • • • N • • r n © 0 0 00 0 0 0 .• 00 O O O O O O O P O O C., • . P • • • • 4 • • *en O O

C ICI

o 0 o O d O O O O O O O O O O H O O m • • • • N • N • !1 • • 4 • • z 00000000000 0 opoooeeo0oo O W e . . . . . . . . . . N r J • • W • W O a o O O O O a O O O Ca W 00 O00007 . .C, w tl n : O W • a x W e o o 0 o o 0 0 0 0 0 ! Obooe000o0 40 e• O W _r N C C! W .4 . . . . tl t • • • • • • • • 4 J 1- Y Y 2 O p u ac o W <IC, O O O O O O O C ICI a o0000000000 o . . . . . . . . . . . CL t q O 0 0 O O O O O O O O O O O O O O O O O O O ° : : : : : : : : + : : O .iNne en OhOPO ~ OOOOOOOOO 1 f00 P O C` O O O O O O N O O OOOO0e/O .iON00 1/~ 1~0OO .anNe Nei00 u .p O O O N e O n O O O O 2 • • 4 + + 4 • • • • • O W n f((10000N6r/0000 W n 0 a a J J ~ 2 4 4 a .4 bi f 0000 ./0 . -/0000 W Y M ., r' O a W w 4 O 0000 r/00 00 + • • • J "CIO "Cl 11c10 C>ClICICI Y Y • • 4 • • a • • 4 • # ! W a n O .+o00o OO o 0000 4 N O O O O O O O O O O O O •• • • • • • • • • • O .INnfrl•On000 .a SCORE M .C . PAG 002 . P i • 2 e Ml0 i • O 10 000oooolnooln O O O O O O o O P O e C, . . . . . . . . . . . ./ O O O OO O O O O O OePO OO pp O O O O P p e o o M a o n n p p OOOOeOPnMl00 Oi• ••el•Nee• • 4 • • + O O O O O O O O O O O O O O O O O O O O O O O oaNnel n •OP0P0 OOOOOOOQe•NO .1 .44 4 4 4 • 4 4 • 4 4 4 POOOOOOp .INp0 mOOOO ./ONnnOO PO p O .innPn M700 000 Cinln000000 • • # • • 4 4 4 • • • p O f0 O N .1 O O O O . .n .1 . 1 0000 4•• 4 4•• 4 4 u Y W M700 O .-I00 ~/OOG V N N e J N 0, 45 . 4 15 w .000 000 IL s # • • # # # • a 4 # u a o .+0c0 a0000 co r_ O O• • O O•• O O •• • • O O O O O O • •• CD elNneYl .OAOO im SCARE M .C,

0 0 0 o e o n n M o N O p O p OW M n n M f OppppnnMpOo pOOaOpeePeoeoee111o•loell~ O O O O O P P O O 1~ O p . . . . . . . . . -li O • • • •NNn 4 . . .r• • • • • • • • • • • O 2 ? • e • 0 0 i a á W O r 11 óóOOpóPAVDOP N f .•1 • O 11,1 loc, 4,015 e n n pO0000A e1NeP • .• .NfY10 • OOOP10nOeAOO O o p P A P A r 0 p O A . . . .• • O O O a p p O a n p p 0000•+OOrP00 e• .•, :rs .e .• . .+ • + 4 + ooMO•0111n 9 pdp oOP oY~oPAdOp a . . • 4 yl opO0000op00 e o p p p o p o p o 0 0 0 o .r • • - - ' < w p o p o o p p o p p o p O p o p p cl O O O O o . . _ . . . oe+N M ? -W o/1eAOP~ C, O O i 0 0± • i O M O N V' W f . p O Orl O .O N~7M 000 p e .NO W ~ a W O am f .doONNp[Y .•000 11 (J • • + • • 1 + • t • • p . Y ,p W MOO .~ ON O .^~ .-1000 P Y! O C> ! N 2 JNOC . .OOOOOOOO J W 1 F W a p ; = p O,aGOOOOCCOOOo < b, u • • • • • • • < S IA • O p e O O O O O O O O O O C*" 0 .40001% en 1 0^OP C., SCORE M .C . O 0 <I, O oO O O n O cl : NNO O n P 0~ P + • • • OOONNNM~~neNeN O O p n n n e N n O • f • . 4 .• .4NeNl n ± . 4 . • óóón1 .1vNi~Khnó . . . . . . . . . . . • • • .1N .•nP .•N+ A • • • . OOOOM OI/~MO00 = :C! O O P O P e O O O e . . . . • . • • n 4 #o e% • . • • • + O n O N O O O N e p A a pO O C O n i p n p o 0 e ~ . á • • • w O O O O O O O 0 O O O ~c o 0 0 o p o p o d O p Q 6 O .• . . . . a < w oooppoooppo 0oooooeooop O . . . . p .+NMt'MOAOP CD oOpO00pNNM0 .'1 POpOON0 1₀ .4n 00 • • 0000i + Cd -W -4 O. i á : i i i i á+ A 0 .O O O p p M ID M N O p O • • . N M WO J&/1000 O * ei 0 • f 00 .1 r' W • OW O .•~~ . 4 0 o 0 W f o N O .•1 N ~ .• . O 2 < W JNO .IO000 .•0000 J Y + • • • + • • • . + • J W t W 2 O O .a O C O O C O O O O O O < 1~ u • < . M O O O O O O O O O O O O p . .Nn•fOOAOP C.41 SCORE M .C . N W < 0000POOAIBPf oodo00m .+noln P . . . . e . . . . . . . . . . • • • •• óóéílníeníeiwmnéó o 0 o P e P Co A co w11 O O cl, ON O0 0lVIP O A . . . . . • • • e• n .B M leef • • • • • • • O O O P O O M M~ O O O O O O O O 1 f r O® ,0 . . . . .• .+n .ma+• . . • • • . éóífiéó .AiíOn :iéóó y~ . . . . . . . . . f .I f n o P P P O O O WU11Pe000000 . 0 W f . . . . . . . . . W W O O f O f P

C,*

f f O O W O If1 1/ti 1!~ C O 1!1 1/1 1!~ C O an . • 4 • . : + • • 4 . + W • Y W w 0000 d1f OO0 M OMIPOOOr10O00 N N . . . . . . . . . . .

4 4

•

4

• • 4 • 4 + 4 4 ~- O Y 2 1 . W < u rc W a W O O O O O O O O O O O Q O O O O O O O O O O O • • u oooo p po000 p CC", C'„ CO C , poa o 0 N O .+NnO1n oAOP C~31 OOOdOOe•nMnn .+ r~ PO o CD ON OA w w N .i O : O O N• ~ O P N • cc> 0pNA0o0+ 4 00 • • • 4 • 4 ± ± • • 4 W J{fl00 ±o • • • 4000 M W 0 0 19 ~ O±`+ M N N N N O O p W J J 4 N 2 t W J NO eied0o0 a 0 000 J Y • • • • • • + 4 J W Wt = n < 1 . C Q .1 O C O O C O O C O p C . e • m O O O O O O O O O O •• O O •• • • • • • • • O .•Nn~Y~eAOP C., . SCORE M .C . PAG 003

O O O O O o O O O O O eoeooo0onon p . . . . . . . . . . . • N • O O O O O O O O O O O Ooooooooneo ~ . . . + N • • O O O O <Z, O i ne O nP) O! .i00 OpOn . m • _. • _• • _. • _. . . . . • • _• • N N N N H O 11 OO 13 10 O . 0 N 1 00 O aoppnOn . 1[1 np ._{. •} . . . . . . . . •i f e-* f • .+• 4 • . O O O O O p f .0 0 0 0 000000 .44- o 00 si : . a :0 ;1 .10 tK . . . + + • oooooo .e 40 OD oo Cl, ooononnnoo ~ . . . . . . . . . . . Z O O CD .O O O O q O O O r o 0 o n n o o n o 0 0 O J • • + Y O CD O O O O O O O O O O W n O O O O O O O O O O r q n . . . . . . . . . . . N . • • • • • • • • . O W • ! ][ W c cl, O C, O O O c cl.

-4n

.'

O O O O O O O O O O O O O O p . . . . J ~ 2 W O O o O o O O O O O p O o .• . o 0 0 0 0 0 0 0 0 0 0 . . . . • . . . • . 0 1 .. 'U . . • • • • • • • • . a w 00 00 00 0 :21-0 :21-0:21-0:21-0 :21-0 :21-0 :21-0 :21-0 000 O . . . . . . . . . . . o . < NnfM~OnOP C,a Oo0000000 .aO .a OOOOOOOOOei00 + • • + • • • • • • + qoppp .i .+ .• .Inpo • • • • • . a • • • • no cO00 .a1NNf No • • • • • • • • • • + 0000000 • + + • + + + • + • • .1 t ~{4C o cm oNON .I .i 00 p • W O WfOOON .~oo .yo0o a l9 + • • + + + • • • • + 9 O W C K

1~Mei o0a 0000oOC

P W O q + 4 J N O O O O O O O CD O O O • J 2 • 4 W O Z O O . . O G C a O O C O O C O .a 4 1. U • • • • • • • + • • + 4 4 Y! 00o0oooocaOOo . • . • • • + • • • a CD .4«4M" en In r-4D 0 1= .4 SCORE M .C . C, p 1,1 12 o O P M 0 O P OOO0000Y100• C, • .• • • • • • • ei R r1 • .a • • + • O O p O PoO p p P P P O O O c cl, O O O q O • P• * • • .1 • + .'1 . 4 . 1 • • • • pOOO .OPPNP00 O O O O O O O n p O O q 4 • • 4 • . 4 e 4 . 4 + 4 • 4 • oOPOeo~o1oPeo p o1~0 pO~Od000 n . . . . . . . . . . . • • P Y1 ~& • • • • . + poPpOPU~H1000 0000001/11P000 O a .« 1 ir in 14 In I, •* . • . • • • 1q p O O O P n o n O p o y~ Q O c cl, O n o N O p O p : : : : . .~n :ni+ : © J H W O O O O P O O O O O O K O O O O O O p O O O O O a .1 . . . . . . . . . . . t te + O C.„ o 0 0 0 o O o o o 000oo0o cc, a CD .+NnflPanOPo l@ OOOOOOO ./f .a0 .4 01 OOO 11 rI12 12 .+ . 4 .~ 0 qO0000w1 .1 ,0 .a00 4 4 . 4 • a 4 . • 4 4 4 00 nOO .aoponn .yo 0 n • + • • • • • • • . • w .pOp .AOn .irfpp0 2 • • . • • • • • • • + f W I> f1fl J 110• o• 0CD .iNON00 G W V f Oo00p .IN O • 000 U 0 + • + • • • • • • • 0 W pC X W !^OO aONO00C C O .i q 2 J J < f 7 4 4 .~ 2 q ! J N O O O 12 O 10 0 O 0 O 0H + • • • • . • + + + • W K [1 O .-IC 000 .70C OGO C 11 U • • 4 4 4 4 4 4 4 • • 4 W O O • 1.3 O + O • O • • OO • O • O • O • O • p .iNnfYlo 1woP~ SCORE M .C . r P • 2 N0 O n • =C> lbo po W .• . . p .4 0000000NeaO .d 0 wl • • • + • • .a f N • N • • • • OOOOIPOOY1eir0 O O O O O p O O A O O + • • • QOOOq HMn .i 00 pO000r1 ./nNOO m . . • • • • • • ./NN•+f • • OOPOOr1N~0O w•O O o O o p O V N N .1 p n . : . :i á .io W~ a 04 . • • • • • • OoY10 .0 .•nNIL100 OOOOr1••M•M1000 • . : .+ . • • • • + • Ooe0o .4 .+~o~nOp h OOOO~i .••iei000 0 0 0 .-1 W In . 71•1 O C O OOO .•00 .10000 W f F •••N .+rINa• •+ Y O W IOn00C0O• .M•0O0O0O0C0O0 O q n Y 000000rOQ00 q O O O O O O cc., O O O O q N • . . . J MO Y z r Y 4 W O O O O O O O O O O O IK U q O O O o O O O O O O O ow . W u * : : : : • G 40 n P n z c N m h • m 00oooooeoeo 00000000000 o . .Nnf W 0 n•DPO .~ 000 .•OnNn .0 .100 • • • + • + • + • • • 1-MOOOpnNSVIO .lOO W O O C W f OOpN . 4 . 4 N .MO 00 ~ {9 + • 2 ~L W J J W M .-IO .IONGCCG G'L~ q f q J J Z e J N O O C O O O p O C, O O 4 W t 6' 2 O O .IOOGO .IOG 00 00 4 1~ U 4 4 4 1 4 • + • 4 4 • 4 4 q O O O O O O O O O O O O •• • • • • • • • • • o .iNMlfr•OwpaO .i SCORE M .C . PAG 004

O cao O O O O n n =C> O O O O O O o O O O o . . . . . . . . . . o . .• 4 • • • • • • .a .a • • • • O®OOOOnoeiOo 0oooooet .foo . . . . . . . . . . . . + • 4 + + • .4 pl n • • 000 CD ono -00 nn OOOOO0on1~O0 O • • • • • .i •nrl •• .1 • 4 • • • o onoon o C., o 1 .~ n o O «I" O i O O O t_. . . . . . . . . . . . onnn .a n0 0000 O~~OfOnNO . O . O .p . . . . . . . . . f o n o n O 'CO n O O O o n O e O! w 0 o O o 0 • O • .t• .Ir1 • .0++ 4 2 0 o O O O n C O O o O P Ooql ' 00000 00 n W f • n n J • • W + W O 0o0 o00 o I tl noo 0 o W gen ODO00 00 It ~/ I1 . . . . . . . 4 O W + • • R ]L _ W O 421n O O O O O O O M O N P tli o o O O o O O O O O O W O M N • < J • t- H Z 1 W Y O O O O O O O O O O O u c o0000000000 L O O .i • Y t . u • . . : . ~ ! . a 4 • • < IA 0 0 0 0 0 0 0 0 0 0 0 O O O O O O O O O O O c, . . . . . . . . _ . . • + • • • 4 + • • • 4 0 .1NMf n~0w0 PO .d .44 4 4 4 + . 0000000 .4 N 000 • • • • • 4 4 4 • • • 000000 .1o1hN .t .4 n _u p f p0 ~{00 .1 0NYJ O NO v w J a :> wc .yelafelnnooo z 2 • o a N n w 1+) t` !-nO .i0 .4N0 .'0000 ~O Y ~ 4 W o WfOOONo .+00000 u l! 4 • • • + • + • 4 • • t p w P C Y .Q W M :C OO O ei .1a/C C 00 O P Y1 O O 111.III~~~ N Yi JlVOO .ioo0oo000 J Y + • • • • 4 + 4 4 • • J Y-t &lY-t; W t- C .~ Z 0 O . .ooo 00 oCOO 12 C, < < IH • 0 o O O O o O O O O O o O • • + • • • • • • • • n O .•NIOfn -OPOPO ~ SCORE M .C . 0 .4• • 4 + • ~ • .i . . • • • • O O O O O O C," "Cl<, 00000000000 O O C> O f O O f O N o 0000 ~000~000 O P : : . . .i . an . .ri n n OOOONf nf Cd f tV OOOOO+Of~aOOO O • • • • .•r1nM .it9 .i • + • 4 • • • 0 o O N N n n h P N C, O O O f O f f N O O O w • • • •4einnn P . . • O O O O n n f N N O O OOOOff '<sub>00000</sub> f • • • + n n Ml e . .l • • O o O O f O N O O O o 0 0 0 o v e o 0 0 0 0 n :i .in 2 COOY100ONCOO .i ooofo000o00 N W f f J • • W • W 0 o 0 0 0 0 o N o 0 0 0 Y O o O o 0 0 o O O O O r • n . . . . . . . . . . . O Y • S it t! C` O O o 0 o O o o O O W .4 M C . O O O O o O O O O o bi .d M N ti ~ < + • • • + • • + • + 4 < J t- H 2 t b W O O O O O O O O O O O u L C! O O C! O O O o 0 o O C 0 O .t Y t• v • . • • • • • • • • • a 4 M 0 0 0 0 0 0 0 0 0 o O 0 0 0 o O O o 0 o O o O . . . . . . . . . . . • • + • • • + • • . • o .•Nnfn a1 .0a O .+ OOOOOOOO .i .-100 .t • • + • • • • 4 • • • P o o O o N O O N o .1 O • • • • + • • • • 4 • CD OOOO .riN19N ed CM e 4 tn nooo .i .+nneu~ .-to u 100000/MY1N .+ .4 OC ~ N W M F-U1 O o 00NO .-10 oC O f J • 4 • • + 4 + 4 • • • . Y w fOOOHO0O .-t00 O x 0 • + + + • + + • 4 • + K ]t Wl7C 00000 r/0 OC C 4 • .y N v O 2 < Y J N O O O O O O O O O O O J H 4 4+ 4 4 4•• ++• J f < W F -C 2 0 O ~ OOOOOC C e-C C' O t 1 . U • • • • < 4 M 00000 • • • • 0 •• 4 • oooo .• oe • CD 1 .+NAfn 1 OnOPO .+ SCORE M . C . o O Oo c30 o 000) 19 o O C, O O o O O O o O o 0 .+ • 4 4 • • 4 • .i .1 • • • 4 oo00Ml CD Nnt .NO 00000O P P ' O ' OP O : : . i . . : :nri : : O O O o N n n• n n M O O O O P A P n n N O m • • • • + NN f om (4 . t • • 4 • • + P, • • • • .+ N f ~O f N • O N O N h n P N P n O oacaa r .nfmt .c • O O N N N N P P O N O O .4 O OPPPf 'OnNP00 • • + • • IQ MM f n • • + 2 f O NONt~Oq0000 f o•oOmooOoN n P~O n • O O O Q O N O N O O C • O O O n O P O P O O O W f W ~ W O O o o O N N Ml O O C O 2 W O O O O P P O O O C Y 1!W . • . .c! + 4 + • J W • < ][ o ca N O O O O O O C.„ O OW U- M 404 N O• C! P O O O O o O 0 < J f G Y 2 1 . Y < W O O O O O O O O O O O ~ ó . O O O O O O O O O O O 0 N 4h • • • • • 4 • • • • 5 N 0 0 0 0 o O o 0 0 o c cl» O : : : : : : . : : : : O .+NMIf in IOPCOP 0 .1 0o O O O O O O N N O O •4 • • • . • • • • • • • f PO00 oNO .if w» 14 o • • • + • • • 4 • • • mo000 ~ 119n 9% oom N PO ei0 rlNr)1[~ P . U~H C `OOrleirlPfn•O .ti00 O O . 4 O W V • t Y1 0 000 •• • • • 00000 •• • 000 •• • O .+NRfn•ONOPO .i SCORE M .C . PAG 005

ooo0oornoooo 00000000000 00oooosoooo

OeoOOe

.+oOOO OOOOOOOOOOO o00oooeo0o0

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . G O • O • N • + 4 • .1 • 4 • • f 4 • • • • • .4 • • • • • • .1 • 4 • • O O O O O O O O O O O O O O O O O O O O O O P OOOOOU400~Qr10 OOOOO .iMMN .•O p . . . • + + 4 OOOOOO 10 OrOO O C O O N O N O N O O 1_. . . . . . . . . . . . r • W 4 4 O O O M CD M f .O O O O 000 .•n .• ' ONO00 • N O N O e • • • + • • .~ • • rn o000 .0o00000 s O o o N N O M o O O O n f • . 0 • • • • z O M O O O O .O O M O O N O .+OMOONO .+00 O W s O e - •N i0• •• •N • • W + W O o0oy0If00000 W 000 ~ 70 .-1 O 00 00 O W • • a[ Y Y o M O O O C> O O O O O s N o . .ooooo0000 O Y1 N ~ 4 : w : : : : : : : : . J • Y 3, w O O O O O O O O O O O a o0000000000 0 0 . . . E co O O o c» O O O M O O O 0 0 0 0 0 0 0 a 0 0 0 O . . . . . . . . . . . • • • • (V + • • 4 OdNM> e I[~OnOPO .y P O O O O O O O O O O O qO0000 . ./MMN .10 n p P, l, o w O O N O N O N G G I ~ • • 4 + + • . • 4 • 4 u t J a 2 Oo00 .iM .-/C1N000 $ 2 + + • + + • + + • • • O N N O W M O • 1n c 00 NN OM 00 00 M 1[M J 4• a•••• a 4•• Vi W + W : . p O W rOrfOM oO CV O .i00 u 0 a • • • • • • + + • + ~ 0 W P K Y 10 W M O C O .i O .-i G C O C G y1 •+ - • • • 4 a . + • • • + O P N O O Y! N 2 •+ < bi J N C, .i00C 000000 J Y + + + • 4 + 4 + • • 4 .1 ) \ 4 W b C N 2 p O o I O O O O O G O O C C C C 4 < 1/1 n 00000000 -1000 0.4NprO~OwOP0 ~ SCORE M .C . O O O O O O O O O O O O O O O O O O O O O O O :••• 4 : s r 4 4 + O O O O O r! O O O O 000000ooooa O . . . . . . ••••• N N s 4' • 4 • + • + O O ir O N O w N N O O Go 00 n eiOG eY .-loo • • N • ~ 0 • 04 O 4 • • O O r O O O r e O O O 0000000 .•000 0 •• N 4 r• N e••• • P ooorosNOOOo s o 0 0 0 o O w o 0 o a ~ • • *cd + om O : : : : 2 COicr r rs s OOc s o0000000000 ? Yf 4 r cv N N N N • 4• Ir J . • • • • • W O O O O O O O O O O O 00000000000 0 : : : : : : O .+NMfIfl 101 .OP0 ~ O O O O O O O O O O O O P O O O O O O N N O O o 00000 O .-I .iNN00 P P O G ri O M O a M M 0 0 s • • + a • . • • + • 4 u .OOOa ONOeir 00G 2 4 • • • 4 4 • • • • • V P W 0 h lí1 G O N .i O rl m) O O G G M J + 4 4 • • • • • 4 • • W 4 W 0 W -W CD cm r1 rtriri NOOO n 19 • 4 • + • + • + á Y W M . O . .~ w Z! N 2 ~ t . . e-IOOCCe-0C•OG W J N O .1 O .1 C O O O O O O J H 4 • • • + • • + + + + J 3 k C 2 O 0 .4 C O O a 0 0 0 C O O C 4 < N 000000000000 • 4 . 4 . . • • . • . O ./Nr) * r1 .OP w PO .i SCORE M .C . • W 0 OflOOOOf000 W O O O G O O O O O O O M om . . . . . . . . . . . W + N N + • + 4 N + + • O • • 4 ∎ Y W O ir O ,* OOOOOOO .4 1 1 00000000000 d W N .+ S :Qi :N * 1 : J 4 • Y W OOOf OOOOOOO IX Ooaooooo000 0 p .+ 1~ u 4 • *cm • 4 • • • • • < Ill • © O O O O O O O O O O O cl C . . 1 . .0 . . P N N• 4 4 • 11 1-1 o O 42 P/ 1 .1 91 .0 OOOOOOAN .400 (p . . • • • • • N O IH f ./ • + • • • • OOfO n ./ONN .i00 OC OCNO . r iNOO • • ti •M 4MMU~• • O P CD 0rreirlflY1000 O O O O N O N N O O O 0 s o O o N o r O O O O O 1/1 cl OO ./O

!

O000 In

cc!

M O • • 00 00 N " 0 0 • • • • N O r C f ' r r h f r O O O ca Oei00 .+0000 W r 0 • • eiNf e~ .4M aei • • ce J • • • 4 • . . . 2 J W W O O~W r O~v O r O O O W o0000000000 l7 Ml • . . . • .-1 .4r14ei • .i+ • • J W • • • 4 + < Y W O O O r O O O O O O O f/l In o0000000000 W 3 In 11 . tm i : .i < J 4 4 Y- G Y 2 1 . Y < W O O O r O O O O O O O ~ Ó C! oooo000000 Y u : : 6 N • O O O O O O O r O O O 00000000000 0 : 4 O P 0 .4NMf1n ~op, mP 0 .y 0000000 .~0000 P C O O O O O N N O O O OOO 0 O CD Nr lf~ r .-10 11 I' C O - GI(SOM M 1(100 2 r M .o w O .+ . 4 In .~ .o 0 O O O M • + 4 4 + • + + • • • In 4 W 1' If1 O O N M N .-Il C O § ze> O J 4 f + • • • • • • 4 • N W p á er W rOMNr -I M3 .y .4 = C> 0 + • . 4 4 4 • 4 + + + ^ W 2 Y W W M O .f ., et C .` C .i C O G J N 4 1~ 2 v < W J N O N O et O O O O O O O .1 Y . + . • • + . • . • • J 3 < W !- K 7 O p . .o0c -OCOOCC O 4 1~ U f • • • • . + • 4 • • 4 4 Iq 0000oooo .rooo • • • . • . • O .+NMr M OHOP0 .y SCORE M .C . PAG oo6

OOOOOOOINf 00 OOOOOOOY1~000 .ren : : • .t + 4 • . N OOOOY 1 000000 N o00 . on\000000 . . . . . o0ooor\Inln 9 nop ooooolnr~lnlnoo p~ . . . . . . . . . . . OGOOOOOrnn 00 Or1W00 OOOOOO . Cp . . . . . . . . . . oooomooalnOo p c o oU+oOp Y` oQ n . . . . . . . . . . . • • • • f • + o f • . 0000 M i Oa CD n~ 00 ooo .o . . . r .~ooo .ln .oo ~ . . . . . • • • f + a • f • + w + J + Y W O O O O P O O O O O O 41 O O O O P O O O O O O -. . . . . . . . . 0 .1 v • • 4 4 + 4 4 • • . • © O O O O P C> O O O O O O O O O O O O O O O O . . . o . . . . . . . . • • 4 • i • + 4 + • • O . 4 cm MJVr % 'Cl -, -0 a " ~ 00000ovv .+~ va aooooo .+ .+ . . .100 n)o000000e1 .-100 • • 4 • . • • • • • • In v _ O N r • i + 4 • • • Z v ~ J n ] -OOOOO .+ONO' .i00 g 2 + + • . + • • + + + . N f W n ~ jIflOOOO i OOO el CD O ,p W .-I O OO p ~fOOO 4i O O O O n 1 O W a K Y ~ p W M C C O O O G` O O O O O y~ - • •i•••+•••• G P H ap o w N z •- 4 W J M C> =C> 0 O e~ O O O O O J Y Y + + • • • J Y1 • 4 3 W Y- O[ p Z p O .a o O o O o o O o 0 0 0 4 < M ~ O O O O O O O O O O O O r O .+N n fI n 1 OR 0 0a0 .• SCORE M .C . O 0 O O O O o O O O O O O O O O O O O O O O C, . . . . . . . . . . . .t • • + . • 4 . Ten O • 4 .• .'1 . . O O O O O O O O O O O 0 0 0 0 0 0 0 0 0 0 0 ~ • 4 • • 4 • 4 • 1n 4 • • O O O O O O O O O O O O N ooooo•OOOO00 s z q N • o . . . . . . . . . . . O O O O O O O C O O O pooooo00000 W f • • • ' • 1 W W O O O O O O O O O O O O W O O O O O O O O O O O r .Drf • • • • o W t Y # .i W O 0 O O O O a o O O 0 O o O o Oo p o 0 0O 0 J Y Y N 3 W O O O O O O O O O O O t O O O O O O O O O O O 0 O .t . . . . . . . . . . v 4 4 . • • + • • • • • 4 a O O O O O O 0 O C, O O 0 0 0 0 o p o 0 0 0 0 o . . . . . . . . . . . • • • • • + • • • . • O .iNMf en 1 O^O a O ~ 00000000 .767 aV a a0o0000otl1000 . 2 J J r`-4 4 000000oN .dC) 00 • • • . • • • • • • . O AQ O 000 G Or40 rIC n OOOC 12 12 12 O 12 e10O 2 • • • + • • • + + • + U7 W -C ~-r1GOOOC • O 0 O Q O C W O W f O O O C O O O O O O O 3 + + + • • • t + + • + u O W R Y W M O C C O C O O O O O O • • + + • • • + • • • .d N .+ nl ~ d J N O O O O O O O O O O O Y Y • • • • . • 3 W 0 óaOGOOOCOOOCc 4 YI O O O O O O O O O O O O O .tN m f61•Oh 0 aO .4 SCORE M .C . 0000000 41 a 1 O O O O o o O O O^ N P O O W f f + . ./ 4 . O O O o O O O O m M7 1,01 N a M)o O o000o a N N f N + 4 • OOO o00NOO OOOOO OP /~ IN0 0 O O C o O 0 O 0 O o M o O O O f .i ~DO O M)!7 C A • + • 4 N • • n N N • N f O o0000~00 1000 OOOPIONO * O r : : : Qi : ? . A 0 0 : : . : 2 a O O O O O O O O O O O .+ oooohoo0oo0 n n In : . Í i lV . . . : : . • G W 4 W O O O O O O O O O O O 3 O O O O O O O O O etO . . . O O• • • - ' V 4 • 4 • • • • • • • • N 0 0 0 0 0 0 0 0 1,1 0 0 O O O O O O O O O O O O 4 • + • • • • • 4 • • O .tNM)f in O r, Oa O .i Oo00000oN~ONO N f 11 2 1,1 12 0000 .+ .1 o O O O O O O O O N N f O O • • • 4 • • • • • • • I~O QO O .^1 OOM C a et ~OOOOOeI CD NONOO n fl/10000 .-1000000 u W O p C W f0000 .-1 0 + + • 4 • . 40= =CD CD + + • + • • ^ W Z Y W WM7000 CO000 OCO J • J V1 4 W , . 4 J NOOO OO C` C, 00 0 Y Y + • • + 4 + • • . • • w s w a 2 W J 4 b -Z 4 S O O .+oooooooQOOo 4 tll O O O O O O O O O O O O O .tNM)frOPOaQ .• SCORE M .C . PAG 007