Management, finance en recht
Congres ‘Praktijkgericht onderzoek in het HBO’
Amersfoort, 11 december 2012 Daan Andriessen
Hogeschool Inholland
Wanneer is onderzoek goed:
de kwaliteitscriteria
De verwarring voorbij
Naar hernieuwd zelfvertrouwen
Het Nederlandse accreditatiestelsel
Standaard 1:
•De beoogde eindkwalificaties van de opleiding zijn wat betreft inhoud, niveau en oriëntatie
geconcretiseerd en voldoen aan internationale eisen.
Standaard 16:
•De opleiding beschikt over een adequaat systeem van toetsing en toont aan dat de beoogde
eindkwalificaties worden gerealiseerd.
Wat is een adequaat systeem van toetsing
voor scripties?
De verwarring is compleet
Mijn probleemstelling en deelvragen
Wat is een adequaat systeem van toetsing voor scripties?
1. Wanneer zijn kwaliteitscriteria goed?
2. Welke kwaliteitscriteria voor scripties bieden de officiële kaders en wat is hun kwaliteit?
3. Hoe kan je als opleiding komen tot goede kwaliteitscriteria?
4. Wat is daarvan een goed voorbeeld?
1. Wanneer zijn kwaliteitscriteria goed?
Wat is de belangrijkste functie van kwaliteitscriteria voor scripties?
1. Student helpen er achter te komen hoe hoog de lat ligt voor beroepsproducten in zijn toekomstige beroep
2. Zodat de student kan bepalen wat hij moet doen om dit niveau te halen
3. Waardoor de docent dit leerproces goed kan begeleiden
4. En de scriptie kan worden
Kwaliteitscriteria voor kwaliteitscriteria
1. Afgeleid uit de (internationale) competentie-eisen, het beroeps-
profiel en visie op onderzoek daarin 2. Richtinggevend bij het maken van
keuzes tijdens het onderzoek 3. Didactisch functioneel
4. Valide, betrouwbaar en voor studenten inzichtelijk
Standaard 16: Valide, betrouwbaar en voor studenten inzichtelijk
Hiertoe moeten ze worden
geoperationaliseerd. Ze hebben:
1. Een object in de scriptie (wat moet kwaliteit
hebben? Bv. probleemstelling of literatuurstudie) 2. Een criterium (welke kwaliteit moet het hebben?
Bv. Relevant, afgebakend of functioneel)
3. Indicatoren (waaraan kan ik zien of er sprake is van kwaliteit?)
2. Welke kwaliteitscriteria voor scripties
bieden de officiële kaders en wat is hun
kwaliteit?
Officiële kaders
Algemene internationale en landelijke kaders:
•Dublin descriptoren (DD)
•HBO kenmerken Commissie Fransen (CF)
•“Kwaliteit als opdracht” (HBO-raad)
Commissie Dunnewijk-Budé / “Vreemde ogen dwingen”
Beroepsprofielen van opleidingen
Onderzoekend vermogen (HBO-raad):
1. Definiëren en analyseren complexe probleemsituaties (CF) 2. Planmatig aanpakken van werkzaamheden (CF)
3. (wetenschappelijke) inzichten, theorieën, concepten en onderzoeksresultaten toepassen (CF)
4. Gegevens verzamelen en interpreteren (DD)
5. Afwegen van sociaal-maatschappelijke, wetenschappelijke of ethische aspecten (DD)
6. Oordeel vormen (DD)
7. Ontwikkelen en beoordelen van oplossingen (CF) Leiden tot evidence based practice (HBO raad) Innovatie (HBO raad)
8. Reflecteren op het handelen (CF / HBO raad)
Wat moeten BA studenten kunnen volgens internationale en landelijke kaders?
Vraagstelling ontwikkelen Onderzoeksplan maken
Theorie toepassen
Data verzamelen en analyseren
Conclusies trekken
Adviezen of andere beroepsproducten maken
Reflecteren op resultaten
Conclusie algemene internationale en landelijke kaders
Deze bieden wel overzicht van benodigde
onderzoeksvaardigheden van de student
Maar geen kwaliteitscriteria voor scripties
Commissie Dunnewijk-Budé
•“Hiertoe heeft de Commissie een toetsingskader ontworpen met deels hbo-generieke en deels
opleidingsspecifieke criteria (standaarden) waarmee zou kunnen worden bepaald of sprake is van
voldoende hbo-bachelor kwaliteit in het algemeen, en van het vereiste BE-, CE-, MEM-, en VTM-
opleidingsniveau in het bijzonder.”
Bron: Rapport van Bevindingen NVAO-Commissie Onderzoek Hogeschool Inholland, 26 april 2012
Beoordelingscriteria (standaarden) van de Commissie (1)
1. Vinden we onderstaande componenten terug in het afstudeerproject?
- A. Vraagstelling & verantwoording
- B. Onderzoek & analyse (vraag- en aanbodzijde, publiek, omgeving)
– a. Onderzoeksopzet – b. Bronnenonderzoek – c. Empirisch onderzoek – d. Conclusies
– e. Output [Afhankelijk van type afstudeerproject]
Beoordelingscriteria (standaarden) van de Commissie (2)
2. Zo ja, zijn die componenten voldoende kwaliteitsvol uitgewerkt?
Beoordelingscriteria (standaarden) van de Commissie (3)
3. Kunnen we uit het afstudeerproject afleiden dat de afstuderende blijk geeft van minstens “voldoende”:
1. theoretische vorming / onderbouw
2. overzicht en inzicht, het kunnen plaatsen van problemen in de context
3. reflectie (incl. zelfreflectie), kritische en
objectiverende ingesteldheid, zin voor nuance 4. creativiteit en/of vermogen tot conceptualisering 5. vermogen om helder te communiceren
Kunnen we de Dunnewijk-Budé eisen aan
afstuderenden gebruiken als criteria voor
scripties?
4. Valide, betrouwbaar en voor
studenten inzichtelijk (standaard 16)
Theoretische vorming / onderbouw
Object Criterium Indicatoren
Literatuurverkenning Verantwoorde -selectie, - gebruik, verwerking en -vermelding
geen
Literatuurverkenning Evenwichtige mix van binnen- en buitenlandse bronnen
geen
Theoretische verkenning
Adequaat geen
Veldonderzoek Behoorlijk uitgevoerd geen Dataverzamelings-
methoden
Behoorlijk uitgevoerd geen
Dataverwerking Behoorlijk uitgevoerd geen
Overzicht en inzicht, het kunnen plaatsen van problemen in de context
Object Criterium Indicatoren
? Contextueel bewustzijn geen
Probleem- beschrijving
kunnen uitzoomen, een
opdracht/probleem in perspectief kunnen plaatsen
geen
? oog voor afbakening,
scherpte/helderheid en praktijkgerichtheid
geen
Vragen en deelvragen
Relevant geen
Onderzoeks- resultaten
Analyse in relatie tot elkaar geen
Reflectie (incl. zelfreflectie), kritische en objectiverende ingesteldheid, zin voor nuance
Object Criterium Indicatoren
Bronnen bronnenkritiek geen
? Eigen oordeelsvorming geen
? reflectie over de eigen plaats in het onderzoek
geen
Conclusies (?) aanzet tot beantwoorden van onderzoeksvragen
geen
? onafhankelijk ingesteldheid geen
? goede inschatting van de toegevoegde waarde van het onderzoeksresultaat t.b.v. het werkveld
geen
? inzicht in eigen werkwijze en proces geen
Creativiteit en/of vermogen tot conceptualisering
Object Criterium Indicatoren
? onderzoek kunnen vertalen naar een concreet concept voor een product en/of dienst
geen
? originaliteit geen
? eigenheid geen
? out-of-the-box aanpak geen
? onafhankelijk denken geen
? meer perspectieven kunnen innemen geen
? ideeën kunnen genereren geen
? gevoel voor innovatie geen
? oog voor aspecten van usability geen
Vermogen om helder te communiceren
Object Criterium Indicatoren
Omvang passend Geen
kernachtig Geen
efficiënt Geen
Taalgebruik correct met het oog op spelling,
grammatica, stijl en sequentiële opbouw van tekst
Geen
verzorging van het rapport
zakelijk en representatief, waaronder vormgeving, overzichtelijkheid, gebruik van beelden (figuren, tabellen en
afbeeldingen)
Geen
rapport gebruik van visuele middelen/vormgeving
Geen
Vermogen om efficiënt en resultaatgericht te werken
Object Criterium Indicatoren
? Planmatig werken Geen
? Zelfsturing Geen
? Kunnen samenwerken Geen
? Eigen rol in het team kunnen inschatten Geen
? Probleemoplossend vermogen Geen
? evenwichtige kosten/batenbenadering geen
Conclusie Commissie Dunnewijk-Budé
•Commissie Dunnewijk-Budé biedt geen lijst met kwaliteitscriteria voor scripties
•En is hier ook niet eenvoudig naar te vertalen
Conclusie: officiële algemene criteria voor
scripties zijn in Nederland niet voorhanden
3. Hoe kan je als opleiding komen tot
goede kwaliteitscriteria?
Hoe dan wel?
1 • Eisen bachelor als basis• Eisen bachelor als basis
2 • Visie en eisen beroepsprofiel t.a.v. onderzoek• Visie en eisen beroepsprofiel t.a.v. onderzoek
3 • Vertaling naar goede criteria • Vertaling naar goede criteria
4 • Verantwoording criteria <-> Dunnewijk-Budé• Verantwoording criteria <-> Dunnewijk-Budé
5 • Borging in de organisatie• Borging in de organisatie
4. Wat is daarvan een goed voorbeeld?
Voorbeeld Bedrijfskunde MER Inholland
Landelijk beroepsprofiel Bedrijfskunde MER
•“De startende bedrijfskundige professional richt zich op het analyseren, ontwerpen en managen van doelgerichte processen van productie en dienstverlening in en tussen organisaties”.
Bachelor student als probleemoplosser
PROBLEEM- KEUZE EN DIAGNOSE
ONTWERP VERANDEREN EVALUATIE
1 3 2 4 5
6 1
3 2 4 5
6 1
3 2 4 5 6
1 3 2 4 5 6
die handelen onderbouwt met onderzoek
Vertaling naar goede criteria
•Gebaseerd op het wetenschappelijke onderzoek van Heinze Oost (Oost & Markenhof, 2002)
•Aangevuld met criteria voor praktijkgericht onderzoek (Andriessen & Van Weert 2008)
•Getoetst aan eisen Dunnewijk – Budé
Bijvoorbeeld:
Criteria probleemstelling en deelvragen
1. Verankerd 2. Relevant 3. Precies
4. Functioneel
5. Afgebakend
Didactisch functionele kwaliteitscriteria
Probleemstelling en deelvragen Kennisgebied
Reden
Antwoord Strategie
VERANKERD
RELEVANT
PRECIES FUNCTIONEEL
Een probleemstelling is functioneel
1. Beschrijven 2. Vergelijken 3. Definiëren 4. Evalueren 5. Verklaren 6. Ontwerpen
Criteria probleemstelling en deelvragen
Object Criterium Indicatoren Probleem-
stelling
Functioneel 1. Maakt duidelijk wat de onderzoeksfunctie is 2. Is uitgewerkt in deelvragen waarvan een deel
theoretisch is en een deel empirisch 3. De deelvragen vormen samen een
onderzoekstructuur die past bij de onderzoeksfunctie.
Onderzoeksfuncties in de scriptie
PROBLEEM- KEUZE EN DIAGNOSE
ONTWERP VERANDEREN EVALUATIE
en/of En/of En/of
VOORSTEL VOOR
VOORSTEL VOOR
VOORSTEL VOOR OP BASIS
VAN
OP BASIS VAN
OP BASIS VAN
1 3 2 4 5
6 1
3 2 4 5
6 1
3 2 4 5 6
1 3 2 4 5 6 Beschrijven
Evalueren Verklaren
Ontwerpen Ontwerpen Evalueren Verklaren
Ontwerpende deelvragen:
- Welke oplossingen zijn er bekend?
- Welke eisen stellen we aan de oplossing?
Evaluerende deelvragen:
- Welke oplossingen voldoen aan de eisen?
- Welke oplossing wordt gekozen?
[Verklarende deelvragen:
- Wat maakt dat de oplossing gaat bijdragen aan het wegnemen van Beschrijvende deelvragen:
- Wat zijn de kenmerken van situatie A?
- Wat zijn de kenmerken van de norm?
Evaluerende deelvragen:
- Voldoet situatie A aan de norm?
Verklarende deelvragen:
- Wat maakt dat er verschillen zijn tussen A en de norm?
Onderzoeksfunctie bepaalt deelvragen Voorbeeld: Ontwerpen
PROBLEEM- KEUZE EN DIAGNOSE
ONTWERP
Download de hele set van kwaliteitscriteria
Borging van kwaliteitscriteria in de opleiding
1. Kwaliteitscriteria leidend maken in onderzoekslijn
2. Kwaliteitscriteria didactisch benutten in de onderzoekslijn
3. Reviewen van studentproducten met
afstudeerbegeleiders en beoordelaars helpt om:
– De ontwikkelde kwaliteitscriteria te leren toepassen – De kwaliteitscriteria te verbeteren
– Intersubjectiviteit van beoordeling te verhogen – Betere onderzoekbegeleider te worden
– Betere onderzoeker te worden
Conclusies: Wanneer is onderzoek goed?
1. Daar zijn landelijk geen algemeen geldende criteria voor
2. Het hangt af van het beroepsprofiel en de visie op onderzoek in het beroep
3. Het is alleen te bepalen met kwaliteitscriteria die voldoen aan de volgende kwaliteitscriteria:
1. Afgeleid uit de (internationale) competentie- eisen, beroepsprofiel en visie op onderzoek 2. Richtinggevend bij het maken van keuzes
tijdens het onderzoek 3. Didactisch functioneel
Meer informatie?
Dr. Daan Andriessen
daan.andriessen@inholland.nl
