Navorsingsmetodologie

Die ondersoekgebied wat hier ter sprake is, is taaltoetsing wat as ʼn subdissipline van die toegepaste linguistiek gekategoriseer word (kyk Hoofstuk 2). As navorsingswerk behoort hierdie studie derhalwe tot die terrein van die toegepaste linguistiek. Sorg is daarom gedra dat die navorsingsmetode waarvolgens daar in hierdie studie te werk gegaan word, doelmatig raakpunte het en in verskeie opsigte saamval met beskrywings van hoe wetenskapsbeoefening in die toegepaste linguistiek benader kan word, gegewe die verskeidenheid klassifikasies en werkwyses wat binne hierdie veld aanneemlik en toepasbaar is.

Brown (2004:478) definieer navorsing in die toegepaste linguistiek as ʼn “systematic and principled inquiry in applied linguistics” – ʼn omskrywing wat weerklank vind in die navorsingsontwerp van hierdie studie. Nie alleen word daar onderneem om die ontwikkeling van die betrokke toets sistematies aan die hand van spesifieke stappe uit te voer nie, maar ook teoreties en eties beginselvas volgens ʼn raamwerk van voorwaardes vir verantwoordelike toetsontwerp.

Die navorsingsmetode behels verder, ooreenkomstig Brown (2004:478-479) se kategorisering van navorsingstipes in die toegepaste linguistiek, ʼn kombinasie van sekondêre en primêre navorsing. Brown (2004:478) verduidelik dat

18

sekondêre navorsing uit die ondersoeke en skryfwerk van ander navorsers ontstaan, terwyl primêre navorsing spruit uit oorspronklike data van die een of ander soort. Vir die teoretiese regverdiging van die ontwerp van die onderhawige geletterdheidstoets word op beide hierdie tipes navorsing gesteun. Om te begin word daar ʼn gefokusde literatuurstudie uitgevoer waarin tersaaklike standpunte oor taaltoetsing wat uit verskeie sekondêre bronne verkry is, byeengebring word. Daar word byvoorbeeld aangedui hoedat taaltoetsing ʼn onderdeel van die toegepaste linguistiek is en hoedat verskillende paradigmas binne die toegepaste linguistiek ʼn invloed op die ontwikkelingsgeskiedenis van taaltoetsing gehad het. Daar word ook deur middel van ʼn oorsig oor enersyds die konvensionele, en andersyds die meer eietydse opvattings omtrent die bereiking van geldigheid in toetsontwerp, aangetoon hoedat deskundiges op die gebied van taaltoetsing “[have] struggled with issues of continuity, integrity and validation” (Weideman, 2006:71). Weideman se raamwerk van ontwerpbeginsels wat in reaksie op hierdie stryd in taaltoetsgeledere geskep is, word as ʼn alternatiewe benadering tot integere toetsontwerp aangebied, en vorm die teoretiese uitgangspunt van hierdie studie. Weideman (2011:111) is trouens van mening dat “an approach to the design and development of language tests that takes as its point of departure a comprehensive set of design principles [...] is more likely to provide us with a responsible, defensible instrument”.

Verder, vanaf Hoofstuk 3 waar die fokus verskuif van taaltoetsing in die algemeen na spesifiek akademiese geletterdheidstoetsing, word daar deurlopend na literatuur verwys wat wesenlik betrekking het op die praktyk van (of die verskillende stappe in) die ontwerp van die onderhawige akademiese geletterdheidstoets. Dit behels inligting wat verband hou met die ontwikkeling en operasionalisering van ’n toetskonstruk, die loodsing van toetsitems en die daaropvolgende statistiese analise van toetsresultate, asook die verfyning van toetsitems.

19

Aanvullend by die sekondêre navorsing, betrek hierdie studie ook primêre navorsing. Primêre navorsing in die toegepaste linguistiek kan, volgens Brown (2004:479), kwantitatief en/of kwalitatief van aard wees, hoewel ʼn duidelik afgebakende onderskeid nie altyd te tref is nie. Brown (2004:488) wys daarop dat onderskeiding tussen _ʼn kwantitatiewe en/of kwalitatiewe navorsingsbenadering in baie gevalle eerder ʼn kwessie van graadverskil op ʼn interaktiewe kontinuum as ʼn skerp omlynde tweedeling is. Dit blyk dan ook die geval in hierdie studie te wees, aangesien beide kwantitatiewe en kwalitatiewe tegnieke en/of data vir die teoretiese verdediging van die onderhawige toets aangewend word. Kwantitatiewe ondersoekmetodes, soos empiriese proefneming (in die vorm van loodstoetsing) en statistiese ontleding van die loodstoetsresultate, word byvoorbeeld gebruik om bewyse ten opsigte van die betroubaarheid en geldigheid van die toets te genereer. Tog, omdat verantwoordelike toetsontwerp volgens huidige konvensie met meer as “dit wat gemeet en bewys kan word” (Van Dyk, 2013:160) in verband gebring word6_{, is}

dit vanselfsprekend dat kwalitatiewe tegnieke, soos beskrywing en interpretasie, deel van die navorsingsontwerp van ʼn studie soos hierdie sal uitmaak. Trouens, volgens Hughes (2003:65), is beide kwantitatiewe en kwalitatiewe analise ʼn kenmerkende gegewe van die metodologie van taaltoetsontwerp:

The first [kind of analysis] – statistical. This will reveal qualities (such as reliability) of the test as a whole and of individual items (for example, how difficult they are, how well they discriminate between stronger and weaker candidates). The second kind of analysis is qualitative. Responses should be examined in order to discover misinterpretations, unanticipated but possibly correct responses, and any other indicators of faulty items.

Verder, indien Brown (2004:491-496) se kontinuum van standaarde vir bevredigende navorsing in die toegepaste linguistiek as maatstaf gebruik word, blyk dit duidelik hoedat hierdie studie elemente van beide kwantitatiewe en kwalitatiewe navorsing inkorporeer. Volgens Brown (2004:492) heg navorsers wat kwantitatiewe ondersoeke doen gewoonlik waarde aan konsepte soos betroubaarheid, herhaalbaarheid, geldigheid en veralgemeenbaarheid, terwyl

6. In Hoofstuk 2 word aangedui hoedat die tradisionele benadering tot geldige toetsontwerp van die hedendaagse een verskil.

20

beginsels soos verantwoordbaarheid en deursigtigheid veral in kwalitatiewe navorsing van belang is. In eersgenoemde val die klem op empiriese feite wat in syfers uitgedruk word, waar laasgenoemde op die idee berus dat “our observations need not only interpretation, but also sometimes political analysis and action” (Weideman, 2013:4480). In hierdie studie word die ontwerp van ʼn Afrikaanse nagraadse toets van akademiese geletterdheid juis in terme van eenderse standaarde as die voorgenoemde geregverdig – vergelyk in hierdie verband Weideman (2017) se konstitutiewe en regulatiewe voorwaardes vir toetsontwerp. Erkenning moet hier aan Van Dyk (2010:22) gegee word wat reeds in sy doktorale proefskrif opmerk hoedat die werk van Weideman (2006) en Brown (2004) by mekaar aansluiting vind.