Het ontwerponderzoek kent twee voornaamste resultaten. Het eerste resultaat is productmatig: een door vijf deskundigen kritisch bestudeerd en geëvalueerd uitgangspunten- en
verantwoordingsdocument (het OLPO), dat gebruikt kan worden om een leerplanonderdeel over tekstbegripgerichte woordenschat op te baseren. Het is wetenschappelijk doorwrocht, heeft
theoretische zowel als praktische componenten, en stelt duidelijke leerdoelen en benaderingen voor onderwijs in deze woordenschat. Als zodanig kan het in grote delen de goedkeuring wegdragen van mensen uit de praktijk en mensen uit de theoretische wetenschap. Tabel 10 laat evenwel zien dat er door deze deskundigen slechts tot op zekere hoogte overeenstemming is bereikt over waaraan het OLPO voldoet dan wel moet voldoen. Het is nog geenszins een eindproduct.
Mits dit document een nadere concrete invulling wordt gegeven door die docenten die ermee zullen gaan werken, vormt het niettemin een solide fundament dat een belangwekkende bijdrage kan leveren aan de verbetering van de tekstbegripgerichte woordenschat, en daarmee aan de tekstbegripvaardigheid, van de vwo-leerlingen op RSG Broklede voor het vak Engels. Dit was de opzet waarmee het onderzoek oorspronkelijk van start ging. De onderzoeker heeft zich voortdurend ingezet om een academische attitude te handhaven ten aanzien van de procedures gaande het onderzoeksproces. Aanpassingen aan de onderzoeksrichting zijn waar nodig aangebracht en verantwoord, zonder het hoofddoel uit het oog te verliezen. Dat dit niet onopgemerkt is gebleven mag blijken uit de uitnodiging van een van de deelnemers, professor Rick de Graaff van de
Universiteit Utrecht, om te zijner tijd dit onderzoek om te schrijven naar een artikel in het Levende Talen Tijdschrift, een vakblad voor docenten en onderzoekers binnen de moderne vreemde talen. Het tweede resultaat is procesmatig: het ontwerponderzoek heeft uiteindelijk inzichten verschaft in de uitvoering van een Delphi-studie naar leerplanontwerp. De wetenschappelijke procedure zoals beschreven door Skulmoski (2007) en anderen is nauwgezet gevolgd. Voor zover de onderzoeker bekend is de Delphi-methode nog niet eerder op leerplanontwerp op middelbareschoolniveau toegepast. Gebleken is dat er vele uitdagingen liggen voor zowel onderzoeker als deelnemers.
Leerplanontwerp is niet alleen een recursief (Bimmel et al., 2008) maar ook zeer
communicatief proces, zo blijkt, waarbij de ontwerpers algauw geneigd zijn om af te dwalen in ook interessante, maar niet noodzakelijkerwijs relevante richtingen; geneigd zijn ook om instructies te schrijven die niet zo eenvoudig te interpreteren dan wel uit te voeren zijn als gedacht; geneigd zijn, ten slotte, om theoretische details te laten prevaleren boven de concrete uitvoerbaarheid van het eindproduct, het leerplan(onderdeel).
In beginsel, in theorie, leek het toepassen van de Delphi-methode een rechttoe-rechtaan aanpak; één waarin een concreet document door deskundigen zou worden geëvalueerd, opdat het kon worden verbeterd om vervolgens te worden uitgevoerd. De praktijk laat zien dat misschien juist de geografische en beroepsmatige afstand van de verschillende deelnemers daadwerkelijke
eendracht en eensgezindheid in de weg kan staan. Tijd is een niet te onderschatten beperkende factor, de vorm van communicatie (schriftelijk) evenzeer. Zorgvuldigheid komt al snel in de knel, met een gebrek aan overeenstemming als gevolg. Wellicht moet worden geconcludeerd dat voor een dergelijke communicatief proces als leerplanontwikkeling de Delphi-methode minder geschikt is.
De keuze voor anonimiteit en integriteit, bijvoorbeeld met betrekking tot het ongemoeid laten van de oorspronkelijke geschreven reacties op het eerste OLPO, heeft bijvoorbeeld minder wenselijke bijeffecten gekregen, waardoor deelnemers niet goed konden reageren op de reacties. De les die uit de eerste ronde door de onderzoeker werd getrokken, namelijk dat een belangrijke
component van het OLPO pas concreet kon worden ingevuld door de betrokken sectie Engels, en niet in het voorgaande stadium van evaluerende theoretici (de Delphi-studie), resulteerde uit in een extra bijlage met een besluitenlijst – die echter schijnbaar door diverse deelnemers over het hoofd is gezien of althans bij hen niet de vraag heeft kunnen wegnemen naar meer concrete invulling van het OLPO.
Algemeen gesteld lijkt het erop dat de opdracht bij OLPO-versie 2 een behoorlijke uitdaging heeft gevormd voor diverse deelnemers. Zo is er in ronde 2 beduidend meer inhoudelijke non- respons dan in ronde 1; soms is dit eenvoudig te verklaren, bijvoorbeeld wanneer de
oorspronkelijke reactie niets meer behelst dan “Nothing to add to points already made above” (vraag 8, reactie C; figuur 22 bevat een ander voorbeeld van hetzelfde fenomeen). In andere gevallen is de reden moeilijker of niet te achterhalen, bijvoorbeeld bij vraag 6, reactie E, waarop duidelijk instemming of niet kan worden gegeven: “Lijkt me in orde”. Toch is hier weinig inhoudelijk op gereageerd.
Eén van de deelnemers heeft op eigen initiatief enkele opmerkingen toegevoegd, die voor een replicatie van dit onderzoek of voor vervolgonderzoek van pas kunnen komen:
Het invullen is lastig: Ik wil eigenlijk apart kunnen aangeven - ben ik het met de oorspronkelijke opmerking eens?
- gaan de aanpassingen in de goede richting? - vind ik de opmerking echt relevant?
De optie Neutraal [sic] is lastig. Ik heb hem gebruikt als "Deels eens, deels oneens" Figuur 23. Algemene opmerking van een van de deelnemers bij ronde 2 van het Delphi-onderzoek.
In de resultatensectie is ook melding gemaakt van gevallen waarin deelnemers afdwalen van de vraag, en zich in hun reacties uitspreken over zaken die niet relevant zijn voor dit onderzoek. Ook hier dringen lessen voor de toekomst zich op: in de instructie alsmede de vraagstelling bij de tweede ronde moeten dit soort (af)dwalingen waar mogelijk worden vermeden.
Het laatste hoofdstuk trekt lessen uit het onderzoeksproces en verwoordt deze als aanbevelingen.