Statistiese resultate van eerste toetsfase (verpligte/opsionele

Figuur 5.1 toon die verspreiding van die puntetellings van die kandidate vir die totale aantal items oor al die subtoetse heen.

Figuur 5.1 Frekwensiedistribusie van totale toetstellings (Toetsfase 1) soos bepaal deur Iteman 4.3

Die gemiddelde totale toetstelling word aangegee as 24.93, terwyl die meeste kandidate ’n totale telling van tussen 25 en 26 vir die toets behaal het. Soos uit die kolomgrafiek waargeneem kan word, is die verspreidingkromme redelik

164

gespits (kurtose) en beskik dit oor negatiewe skeefheid (d.i. ’n stert na links). Volgens TiaPlus is die kurtosewaarde van hierdie toets gelyk aan 2.14 en die skeefheidswaarde word aangedui as -0.17. Hoewel selfs die beste taaltoets noodwendig ’n sekere mate van skeefheid in sy distribusie sal vertoon, meen Bachman (2004:74) dat, volgens die praktyk, “values for skewness and kurtosis of between -2 and +2 indicate a reasonably normal distribution”. Gemeet aan hierdie parameters, beskik hierdie toets oor ’n redelik normale verspreiding, hoewel die aangeduide kurtosewaarde effens hoër as die preferente positiewe perk is. Hierdie afwyking behoort nie geïgnoreer te word indien dit meer sou vergroot soos wat verdere eksperimentering met die siftingstoets plaasvind nie, aangesien ’n groot negatiewe skeefheid daarop kan dui dat ’n toets te veel maklike items bevat. Die gemiddelde P-waarde van die toets wat op 0.66 vasgestel word (kyk tabel 5.1), besweer egter vir eers hierdie besorgdheid omdat hierdie waarde nie werklik as uitermatig hoog bestempel kan word nie. Omdat hierdie toets in alle geval as ’n siftingstoets beoog word, geld die aanbeveling buitendien dat die afsnypunt daarvan redelik hoog gestel moet word sodat dit hoofsaaklik die min-tot-geen-risiko-studente is wat reeds vroeg daardeur geïdentifiseer en uit die toetsingsproses uitgeskakel word. Daar is reeds oor hierdie aspek uitgebrei in Hoofstuk 3. Alternatiewelik kan ’n laer gemiddelde P- waarde ook verkry word deur die puntetoekenning van sekere moeiliker subtoetse of individuele items opwaarts aan te pas, of bloot deur die makliker subtoetse (bv. moontlik Skommelteks 1) of individuele items verder te verfyn of te hersien.

165

Subtoets Items Gem. SA Min.

telling Maks. telling Gem. P Gem. Rpbis Alle items 38 24.93 6.92 9 38 0.66 0.35 Skommelteks 1 5 3.56 1.77 0 5 0.71 0.44 Skommelteks 2 5 3.21 1.74 0 5 0.64 0.42 Woordeskat (Enkele gaping) 8 4.93 1.76 1 8 0.62 0.25 Woordeskat (Dubbele gaping) 2 1.14 0.65 0 2 0.57 0.29 Grammatika & teksverband 18 12.08 3.88 0 18 0.67 0.35

Tabel 5.1 Beskrywende statistiek vir Toetsfase 1 soos bepaal deur Iteman 4.3

Die gemiddelde diskriminasiewaarde van die toets (’n r-pbis van 0.35), en van die onderskeie subtoetse, is nietemin ook hoogs bevredigend en almal bo die geldende minimumparameter van 0.15. TiaPlus dui die gemiddelde Rit-waarde van die toets in sy geheel effens hoër aan as 0.40. Wat veral opvallend is uit die data hierbo, is die r-pbis-waarde van 0.29 van die ‘dubbele gaping’- woordeskatsubtoets – ’n gewysigde taaktipe wat vir die eerste keer in TAGNaS op die proef gestel word – veral in die lig daarvan dat hierdie subtoets uit slegs twee items bestaan, en dat die diskriminasiewaarde van subtoetse of items oor die algemeen selde hoër as 0.5 r-pbis uitreken (Guyer & Thompson, 2011:30). Hierdie dien as nog ’n bewys van die toenemend klaarblyklike slotsom dat eksperimentering met dié aangepaste itemtipe wel as geregverdig beskou kan word. Hierdie gevolgtrekking hou steek, selfs in weerwil van die laer Alpha- waarde van hierdie subtoets soos blyk uit tabel 5.2. ’n Langer (sub)toets is oor die algemeen meer betroubaar as ’n korter een, en omdat hierdie subtoets uit slegs twee items bestaan, is ’n laer betroubaarheidswaarde hier noodwendig te wagte. Dieselfde met die ‘enkelgaping’-woordeskatsubtoets wat uit slegs agt items bestaan. Dit sou dus onverstandig wees om hierdie twee subtoetse voor die voet, en uitsluitlik op grond van hulle laer betroubaarheidswaardes te verwerp as onbetroubare indikatore van kandidate se akademiese woordeskatvermoë. Bowendien, indien die twee woordeskatsubtoetse elk uit 40 items sou bestaan, stel die Spearman-Brown-korreksieformule die Alpha-koëffisiënt daarvan vas op onderskeidelik 0.86 (dubbele gaping) en 0.81 (enkelgaping). Beide hierdie waardes is vir subtoetse meer as aanvaarbaar.

166

Daar is reeds in Hoofstuk 3 vooruit gewys op die hoë waarskynlikheid van ’n tegnies gekwalifiseerde wisselspel tussen die kinematiese en ekonomiese ontwerpaspekte by die samestelling van ’n korter siftingstoets – ’n omstandigheid wat hom nou kennelik hier aan die afspeel is. Daar is vroeër daarop gewys dat, in die geval van korter siftingstoetse, ontwikkelaars hoogs waarskynlik met laer (maar steeds aanvaarbare) betroubaarheidswaardes tevrede sal moet wees – ’n kompromie wat in die betrokke geval nie werklikwaar die toets se status as regverdige meetinstrument blyk te ondermyn nie, aangesien dit steeds oor ’n hoogs bevredigende algehele Alpha-waarde van 0.86 beskik. Trouens, TiaPlus stel die algehele GLB-koëffisiënt nóg hoër vas op 0.95. Die oorblywende subtoetse (skommeltekste, grammatika en teksverband) se individuele Alpha-waardes is ook meer as voldoende, aangesien almal bokant 0.8 lê.

Subtoets Alpha SEM Split-Half

(Random) Split- Half (First- Last) Split- Half (Odd- Even) S-B Random S-B First- Last S-B Odd- Even Alle items 0.86 2.60 0.69 0.45 0.85 0.82 0.62 0.92 Skommelteks 1 0.85 0.68 0.81 0.59 0.81 0.89 0.75 0.89 Skommelteks 2 0.83 0.72 0.52 0.52 0.83 0.68 0.68 0.91 Woordeskat (Enkele gaping) 0.46 1.29 0.27 0.32 0.33 0.42 0.49 0.49 Woordeskat (Dubbele gaping) 0.25 0.57 0.14 0.14 0.14 0.24 0.24 0.24 Grammatika & teksverband 0.81 1.70 0.66 0.52 0.83 0.79 0.69 0.91

Tabel 5.2 Betroubaarheidskoëffisiënte van die subtoetse in Toetsfase 1 soos bepaal deur Iteman 4.3

Wat betref die ooreenkoms van die samestellende subtoetse met mekaar in terme van dit wat gemeet word, bereken Iteman 4.3 die korrelasiekoëffisiënte tussen die verskillende subtoetse soos volg:

167 Subtoetse Skommelteks 1 Skommelteks 2 Woordeskat (enkel) Woorde- skat (dubbel) Grammatika & teksverband Skommelteks 1 Skommelteks 2 0.41 Woordeskat (enkel) 0.31 0.35 Woordeskat (dubbel) 0.21 0.17 0.28 Grammatika & teksverband 0.29 0.28 0.41 0.34

Tabel 5.3 Interne korrelasies tussen die subtoetse van Toetsfase 1 soos bepaal deur Iteman 4.3

Met die uitsondering van een interkorrelasie (tussen die tweede skommelteks en die ‘dubbele gaping’-woordeskatsubtoets), lê al die subtoets-interkorrelasies in tabel 5.3 tussen die voorkeurparameters van 0.2 en 0.5. Van der Walt en Steyn (2007:148) (kyk ook Steyn, 2014:33) voer aan dat, indien subtoets- interkorrelasies aan hierdie parameters voldoen, dit daarop dui dat elke subtoets in ’n toets ’n ander aspek van die konstruk meet – ’n afleiding wat berus op die uitgangspunt van Alderson et al. (1995:184) dat “since the reason for having different test components is that they all measure something different and therefore contribute to the overall picture of language ability attempted by the test, we should expect these correlations to be fairly low”. Tussen die subtoetse onderling lyk dit dus of hierdie toets ’n geskikte mate van heterogeniteit of geskakeerdheid vertoon.

Subtoetse

Subtoetse Subtoets Toets as

geheel 1 2 3 4 5 Skommelteks 1 1 0.58 Skommelteks 2 2 0.58 0.41 Woordeskat (enkel) 3 0.69 0.31 0.35 Woordeskat (dubbel) 4 0.46 0.22 0.17 0.28 Grammatika & teksverband 5 0.87 0.29 0.28 0.41 0.34

Tabel 5.4 Interne korrelasies tussen die subtoetse van Toetsfase 1 en die toets as geheel soos bepaal deur TiaPlus

Die inligting in tabel 5.4, saam met faktoranalises van die onderskeie subtoetse self, bevestig egter tegelykertyd ook dat die toets redelik homogeen is in terme

168

van dit wat gemeet word. Die korrelasies tussen die verskillende subtoetse en die toets as geheel stem besonder goed ooreen met die norm van 0.6 of hoër, met slegs een uitsondering (woordeskat dubbel), en om verklaarbare redes (klein aantal items). Figuur 5.2 en 5.3 hieronder vertoon die spreidingsdiagramme vir die faktoranalises van die woordeskat- (enkelgaping) en grammatika en teksverband-subtoetse wat deur TiaPlus gegenereer is. Behalwe vir Items 11 en 26 wat weg van die groter groeperings uitstip, kluster die res van die items in elk van hierdie subtoetse grotendeels in dieselfde domein. Hoewel uitskieters soos hierdie ook die resultaat kan wees van die heterogeniteit van die toetskonstruk, word daar nietemin aanbeveel dat hierdie twee items, ná verdere herloodsing van die eerste toetsfase, wéér krities ondersoek moet word ten einde te bepaal of die items verdere verfyning benodig al dan nie.

169

Figuur 5.3 Faktoranalise: Grammatika en teksverband (Tweede

loodstoetsing)

’n Laaste belangrike statistiese eienskap van die loodstoets wat in die onderhawige toetsfase oorweeg moet word, is die omvang van sy misklassifikasies. Omdat geen toets volkome betroubaar is nie is ’n belangrike potensiële negatiewe gevolg van die administrasie daarvan dat dit die kandidate wat dit aflê verkeerdelik kan klassifiseer. Van der Slik en Weideman (2005:28) verduidelik dat “because its reliability is never 100%, a test may misclassify a failure as a pass, and vice versa”. Tabel 5.5 wys die aantal potensiële misklassifikasies soos bereken vir die eerste toetsfase gebaseer op vier verskillende kriteria.

Alpha-gebaseer:

Korrelasie tussen toets en hipotetiese, parallelle toets 10 (3.8%)

Korrelasie tussen waargenome en ‘werklike’ toetstellings 8 (2.8%)

GLB-gebaseer:

Korrelasie tussen toets en hipotetiese, parallelle toets 7 (2.6%)

Korrelasie tussen waargenome en ‘werklike’ toetstellings 5 (1.9%)

Tabel 5.5 Potensiële misklassifikasies van Toetsfase 1 soos bepaal deur TiaPlus

Soos gesien kan word, wissel die aantal potensiële misklassifikasies (vir die betrokke kohort van 271 studente) tussen 5 en 10, afhangende van watter kriteria

170

toegepas word. Van der Slik en Weideman (2005:29) herinner egter dat ongeveer die helfte van die potensiële misklassifikasies ontstaan as gevolg van kandidate wat geslaag het, terwyl hulle eintlik moes druip. Dit beteken met ander woorde dat tussen 3 en 5 kandidate wat moes slaag moontlik gedruip het. Wanneer die afsnypunt van die toetsfase dus uiteindelik bepaal word, kan die aantal kandidate wat ’n tweede kans gegun behoort te word, op dieselfde manier bereken word. In die geval van ’n driefasige toets kan dit op meer as een manier hanteer word. Grensgeval-kandidate kan byvoorbeeld toegelaat word om die tweede, langer toetsfase oor te slaan, maar hulle moet dan steeds die derde toetsfase (d.i. die skryftaak) voltooi. Vanuit ’n teoretiese oogpunt is die inagneming van potensiële misklassifikasies ’n tegniese oorweging wat uit die juridiese en etiese analogieë resulteer, d.i. dit hou verband met die ontwerpbeginsels van regverdigheid en sorgsaamheid.