Hoe meet je praktische relevantie?: nieuw model voor praktijkgerichte onderzoekers

(1)

ectoraten in het hoger beroepsonderwijs doen onderzoek in samenwerking met de praktijk en andere kennisinstellingen, om de kennisbasis voor die praktijk te vernieuwen en te verbeteren (Vereniging Hogescholen, 2016a, 2016b). Volgens Andriessen (2017) zou een goede doorwerking van het onderzoek naar praktijk en het onderwijs hierbij altijd centraal moeten staan. Prak- tijkgericht onderzoek heeft pas nut als er sprake is van een bijdrage aan de innovatie van de praktijk.

Voor praktijkgerichte onderzoekers betekent dit dat zij zich moeten afvragen op welke manier en in welke mate zij bijdragen aan het realiseren van verandering in de praktijk.

Welke activiteiten zijn daarvoor nodig? Vallen die activiteiten binnen de scope van het onderzoek? Zo ja, wat is dan de rol van de onderzoeker? Of worden die activiteiten over- gelaten aan andere partijen en levert de onderzoeker alleen de kennis aan? Hoe vindt de overdracht van die kennis dan plaats?

Mocht de onderzoeker deze vragen zelf niet stellen dan wil vaak de financier of het visitatiepanel weten hoe het onderzoek bijdraagt aan de praktijk. Onderzoekers dienen daarom daarover het gesprek te kunnen voeren. Dit blijkt evenwel gecompliceerd door uiteenlopende interpretaties en opvattingen over onderzoek en de doorwerking daarvan binnen de verschillende domeinen van praktijkgericht onderzoek.

Om het gesprek enigszins te objectiveren, hanteert het tech- nische domein vaak het model-TRL, Technology Readiness Levels (EARTO, 2014). Deze lineaire schaal (zie Figuur 1) laat zien in welk stadium een onderzoek zich bevindt en

hoe dicht het onderzoek bij doorwerking in de praktijk staat.

Maar het model heeft beperkingen en is bovendien minder goed toepasbaar voor andere domeinen.

Op dit moment ontbreekt in het hoger beroepsonderwijs een domeinoverstijgend hulpmiddel om dat gesprek te kunnen voeren – een hulpmiddel waarmee onderzoekers uit de volledig breedte van het praktijkgericht onderzoek kunnen laten zien wat het startpunt is van een onderzoek en waar het ophoudt in het helpen realiseren van veranderingen in de praktijk. Daarom hebben wij voor Hanzehogeschool Groningen een nieuw model ontwikkeld.

Kritiekpunten

In 2016 ontstond bij Hanzehogeschool Groningen de be- hoefte aan een hulpmiddel om het gesprek over de bijdrage van onderzoek aan de praktijk te bevorderen. Een dergelijk hulpmiddel zou kunnen helpen bij het inzichtelijk maken en verhogen van de praktische relevantie en methodische grondigheid van onderzoek. Eén kenniscentrum gebruikte het genoemde model-TRL. TRL beoordeelt met een lineaire schaal (van 1 tot 9) de mate waarin het zeker is dat technologie gereed is om in de praktijk toegevoegde waarde te hebben. Figuur 1 geeft de TRL-ladder weer, zoals gebruikt op de Hanzehogeschool (DNV GL, 2016).

De Hanzehogeschool vroeg het lectoraat methodologie van praktijkgericht onderzoek van Hogeschool Utrecht om te onderzoeken of TRL geschikt zou kunnen worden gemaakt voor alle onderzoeksdomeinen. Voor dit onderzoek is een literatuurstudie gecombineerd met focusgroepinterviews Praktijkgericht onderzoek in het hoger beroepsonderwijs heeft als doel om nieuwe kennis te ontwikkelen die een bijdrage kan leveren aan de (beroeps)praktijk. Hanzehogeschool Groningen ontwikkelde hiertoe in samenwerking met Hogeschool Utrecht een nieuw, domeinoverstijgend hulpmiddel: het Praktijkgereedheid van Onderzoek-model (PRO-model).

Hoe meet je de praktische relevantie?

Hogeschool Utrecht, Hanzehogeschool Groningen Wilke van Beest, Jan Baljé & Daan Andriessen

L

Nieuw model voor praktijkgerichte onderzoekers

H og er on de rw ijs

beroepsonderwijs

beroepsonderwijs doendoen on-on- met de praktijkpraktijk enen andereandere de kennisbasiskennisbasis voorvoor diedie vernieuwen en te verbeterenverbeteren (Vereniging(Vereniging

2016b). VolgensVolgens AndriessenAndriessen (2017) doorwerking vanvan hethet onderzoekonderzoek naarnaar praktijk

hierbij altijdaltijd centraalcentraal moetenmoeten staan.staan. Prak- onderzoek heeftheeft paspas nutnut alsals er sprake is van

de innovatieinnovatie vanvan dede praktijk.praktijk.

praktijkgerichte

praktijkgerichte onderzoekersonderzoekers betekentbetekent dit moeten afvragenafvragen op welkewelke maniermanier en in welke bijdragen aanaan hethet realiserenrealiseren vanvan

H og er on de rw ijs

verandering Welke

W activiteitenactiviteiten zijnzijn daarvoordaarvoor nodig?

ten binnenbinnen dede scope vanvan hethet onderzoek?

de

de rolrol vanvan dede onderzoeker?onderzoeker? Of gelaten

gelaten aanaan andereandere partijenpartijen de

de kennis aan?aan? HoeHoe vindtvindt plaats?

plaats?

M

Mochtocht de onderzoeker wil

wil vaak de onderzoek daarom evenwel

hoe

hoe dicht het Maar het goed

H og er on de rw ijs

Op

dheid van Onderzoek-model (PRO-model).

Hoe meet je de praktische relevantie?

(2)

(Van Beest & Andriessen, 2016). De literatuurstudie laat zien dat er verschillende kritiekpunten bestaan. Veelge- hoord is dat TRL vrij subjectief is en niet eenvoudig te gebruiken door meerdere personen binnen een organisatie (Britt et al., 2008; Mankins, 2009; Peters, 2015). Een tweede kritiekpunt is dat het te weinig rekening houdt met het type industrie (Peters, 2015). TRL is ontworpen voor ruimte- vaarttechnologie. Voor andere sectoren worden steeds kleine aanpassingen gedaan waardoor er een wildgroei aan varian- ten is ontstaan (Peters, 2015).

Een derde kritiekpunt is dat TRL sociale factoren en om- gevingsfactoren onvoldoende meeneemt (Nakamura, Kajikawa & Suzuki et al., 2013; Mankins, 2009), waardoor onvoldoende wordt rekening gehouden met risico’s in het ontwikkelingsproces van technologie (Mankins, 2009).

Een vierde luidt dat het object van TRL technologie is en niet onderzoek in het algemeen. Dat is zelfs het geval bij alternatieven die worden aangedragen (Sauser et al., 2008;

Mankins 2009; Nakamura et al., 2013; Peters, 2015; Chin- katham, Souili, Teheri & Cavallucci, 2016). Bij technologie is het gebruikelijk om lineair te denken, van fundamenteel onderzoek via toegepast onderzoek naar gebruik, maar dit denkmodel past vaak niet bij praktijkgericht onderzoek (Andriessen, 2004).

De literatuurstudie zocht vervolgens naar zinvolle alter- natieven voor TRL. Er bleken meerdere Readiness Levels te

bestaan maar geen van alle waren geschikt voor praktijkgericht onderzoek. Daarom is besloten zelf een model te ontwerpen.

Grote verschillen

Het PRO-model (voluit: Praktijkgereedheid van Onder- zoek-model) is gebaseerd op semigestructureerde groepsin- terviews met lectoren en onderzoekers van de zes kenniscentra van de Hanzehogeschool. Er bleken grote verschillen in visie tussen de kenniscentra op wat praktijkgericht onderzoek is, het object van studie (de fysieke werkelijkheid, de sociale werkelijkheid, de medische werkelijkheid of arte- facten) en de gebruikte onderzoeksmethoden. Wel bleek uit de interviews en de bestudeerde documenten dat in al het onderzoek de praktijk centraal staat, ongeacht of de onderzoeker bewijs dat in onderzoek is gevonden vertaalt naar de praktijk (evidence-based practice) of door in de praktijk kennis te verzamelen die toetst en veralgemeniseert (practice-based evidence).

Het PRO-model is ontworpen als instrument om het gesprek over de praktijkgereedheid van onderzoek te struc- tureren. Daarmee is het geen objectief meetmodel. Het is geschikt voor alle domeinen van het hoger beroepsonderwijs en besteedt aandacht aan de context waarbinnen het onderzoek plaatsvindt.

Het PRO-model heeft twee dimensies (zie Figuur 2). De horizontale as representeert de verschillende contexten waarin onderzoek kan plaatsvinden. Deze as loopt van werken ‘in theorie’ (een gecontroleerde omgeving) naar werken ‘in praktijk’ (de ongecontroleerde beroepspraktijk). De verticale as geeft de verschillende soorten onderzoeksdoelen weer:

van conceptualiserende naar contextualiserende doelen. Met conceptualiseren bedoelen we het abstraheren en veralge- meniseren van situatiespecifieke ervaringen, met contextualiseren het specifiek maken van theorie in concrete hande- lingen (Van Beest & Andriessen, 2016).

Het centraal stellen van deze twee assen is gebaseerd op twee overwegingen die praktijkgerichte onderzoekers maken. De eerste overweging is de mate van controle die een onderzoeker wil hebben binnen de context waarin onderzoeksactiviteiten plaatsvinden (Andriessen, 2014). Een voor-

Marktrijp systeem in commercieel

bedrijf Eerste serie

(bèta-versie) is klaar, gedemonstreerd

FOHFLXBMJm- ceerd Full-scale

system werkzaam onder actuele, geconditioneer- de bedrijfsom- standigheden Pilotsysteem,

getest in een relevante testomgeving

onder representatieve

bedrijfscon- dities Demonstratie-

unit, getest in een laboratori-

um-omgeving onder gesimuleerde

bedrijfs- condities Componen-

ten en/of systemen worden door

middel van een demonstratie- unit succesvol getest in een laboratoriumomgeving Proof of

concept/

proof of principle fase.

Het concept wordt analytisch en experimenteel onderbouwd.

Het concept van de technologie of de toepassing daarvan zijn beschreven Basisprincipe is

geobserveerd en gerapporteerd

Figuur 1 TRL (DNV GL, 2016)

Het model is geschikt voor alle domeinen van het hoger beroepsonderwijs

H og er on de rw ijs

kleine varian-

factoren en om- (Nakamura, (Nakamura, 2009), waardoorwaardoor gehouden met risico’srisico’s inin het technologie (Mankins,(Mankins, 2009).2009).

van TRL technologietechnologie isis enen algemeen. Dat is zelfszelfs het gevalgeval bij

aangedragen

aangedragen (Sauser(Sauser et al.,al., 2008;2008;

Nakamura et al.,al., 2013;2013; Peters,Peters, 2015;2015; Chin- Teheri & Cavallucci,Cavallucci, 2016).2016). Bij technologie gebruikelijk om lineairlineair tete denken,denken, vanvan fundamenteel

via toegepasttoegepast onderzoekonderzoek naarnaar gebruik,gebruik, denkmodel past vaakvaak nietniet bijbij praktijkgerichtpraktijkgericht onderzoek (Andriessen, 2004).2004).

literatuurstudie

literatuurstudie zochtzocht vervolgensvervolgens naar natieven voorvoor TRL.TRL. Er blekenbleken meerdere

H og er on de

geen van alle

rw

alle warenwaren geschiktgeschikt voor praktijk-

ijs

praktijk- onderzoek. DaaromDaarom isis beslotenbesloten zelf een model ontwerpen.

Grote verschillen Grote verschillen

Het PRO-modelPRO-model (voluit:(voluit: PraktijkgereedheidPraktijkgereedheid zoek-model)

zoek-model) is gebaseerdgebaseerd op semigestructureerde terviews

terviews metmet lectorenlectoren en onderzoekers centra

centra vanvan de Hanzehogeschool.

in visievisie tussentussen de kenniscentra derzoek

derzoek is, het object de

de socialesociale werkelijkheid, facten)

facten) en de interviews onderzoek zoeker

H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs

bedrijf FOHFLXBMJm

Het model is geschikt voor alle domeinen

H og er on de rw ijs

(3)

beeld van een gecontroleerde omgeving is een laboratorium.

Een voorbeeld van een ongecontroleerde omgeving is de afzetmarkt voor een bepaalde dienst of bepaald product. De tweede overweging is de mate waarin onderzoekers generie- ke uitspraken of contextspecifieke uitspraken willen doen.

Onderzoekers werken daarbij deductief, van het algemene naar het specifieke, en/of inductief, van het specifieke naar het algemene.

Figuur 2 Twee dimensies van praktijkgericht onderzoek

Het model maakt op de horizontale as onderscheid tussen drie onderzoekscontexten: theorie, concept en praktijk.

Deze verschillen in de mate waarin ze afstaan van de praktijk. Op de verticale as maakt het model onderscheid tussen drie soorten onderzoeksdoelen: verklaren & conceptualiseren, data verzamelen & experimenteren en impact realiseren. Hierdoor ontstaat een matrix van negen vakken waarin de negen levels uit de TRL een andere, maar vergelijkbare benaming en positie hebben gekregen (zie Figuur 3).

Door de levels in deze matrix te plaatsen in plaats van in een lineaire lijn laat je het idee los dat alle negen levels in volgorde doorlopen moeten worden. In het PRO-model gaat het niet langer om levels van technologische ontwikkeling maar om negen verschillende onderzoeksdoelen waarvan onderzoekers kunnen beslissen of ze die in hun onderzoek willen realiseren, en zo ja, in welke volgorde. Desgwenst kan het

PRO-model nog steeds gebruikt worden als een lineair model, door de onderzoeksdoelen in leesvolgorde achter elkaar te plaatsen.

Het PRO-model helpt om in kaart te brengen op welke manier onderzoek leidt tot een verandering in de praktijk en welke actoren welke onderzoeksdoelen oppakken om tot dat doel te komen. Onderzoekers kunnen met behulp van het PRO-model aangeven:

• welke onderzoeksdoelen en daaraan gekoppelde activiteiten zij in hun eigen onderzoek opnemen;

• welke activiteiten zij overlaten aan andere partijen zoals universitaire onderzoekers, commerciële aanbieders en de beroepspraktijk;

• in welke volgorde ze de doelen willen realiseren.

Zij kunnen zelf, met een collega of onderzoeksgroep, aan de slag met het model. Daarvoor is een gesprekstool ontwikkeld bestaande uit negen kaartjes (de negen onderzoeksdoelen) met vragen en voorbeelden (zie Figuur 4).

Door de met ‘ja’ beantwoorde kaartjes op het model te leggen (zie Afbeelding 3) ontstaat een overzicht van onderzoeksdoelen die de onderzoeker juist wel of niet opneemt in het onderzoek.

Twee casussen

Het model is getest in een pilotstudie, met twee projecten.

De eerste casus betrof een onderzoeksvoorstel dat zich richtte op de eigenschappen van voedingsmaterialen die gebruikt kunnen worden bij het 3D-printen van voedsel. In dit voorstel was sprake van lineaire productontwikkeling.

Het voorstel bestond uit drie onderzoeksactiviteiten:

1. de onderzoeker heeft het idee dat bepaalde voedingsstoffen vanwege specifieke eigenschappen geschikt zouden kunnen zijn voor gebruik bij het 3D-printen van voedsel (concept ontwikkelen);

2. om de praktische haalbaarheid te bepalen worden de kosten en baten doorgerekend aan de hand van busi-

Onderzoekers kunnen, met collega’s,

aan de slag gaan met het model

Algemene uitspraken Conceptualiseren

$POUFYUTQFDJmFLF uitspraken Contextualiseren

Ongecontroleerde omgeving In praktijk Ongecontroleerde

omgeving In theorie

Omgeving

In theorie In concept In praktijk Onderzoeksdoel

Verklaren &

conceptualiseren

Mechanisme

verklaren Concept ontwikkelen

Diagnose stellen/

Haalbaarheid concept toetsen in

de praktijk

Data verzamelen

& experimenteren

Data verzamelen/

Experimenteren in proefomgeving

Data verzamelen/

Experimenten in pilotomgeving

Oplossing evalueren in de praktijk

Impact realiseren Realiseren van inzicht

Realiseren verandering in TQFDJmFLFDPOUFYU

Realiseren geborgde verandering in de

praktijk

Figuur 3 Het PRO-model

H og er on de rw ijs H og er on de rw ijs

Twee dimensies van praktijkgericht onderzoek

onderscheid tussentussen concept en praktijk.praktijk.

afstaan vanvan de prak-prak- model onderscheidonderscheid tussentussen verklaren

verklaren && conceptualise-conceptualise- experimenteren

experimenteren en impactimpact realise-realise- een matrix vanvan negennegen vakkenvakken waarin TRL een andere,andere, maarmaar vergelijkbarevergelijkbare positie hebbenhebben gekregengekregen (zie(zie FiguurFiguur 3).

in deze matrixmatrix tete plaatsenplaatsen in plaats van laat je hethet ideeidee loslos datdat allealle negennegen levels doorlopen moetenmoeten worden.worden. InIn hethet PRO-model langer omom levelslevels vanvan technologischetechnologische ontwikkeling negen verschillendeverschillende onderzoeksdoelenonderzoeksdoelen

zoekers kunnenkunnen beslissenbeslissen of ze die in realiseren,

realiseren, enen zo ja, inin welkewelke volgorde.

PRO-model

PRO-model nognog steedssteeds gebruikt worden del,

del, doordoor dede onderzoeksdoelenonderzoeksdoelen te plaatsen.plaatsen.

Het

Het PRO-modelPRO-model helpt nier

nier onderzoekonderzoek leidt welke

welke actoren doel

doel te komen.

PRO-model

• welke

erzoekers kunnen,

e slag gaanlag gaan met het model met het model

H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs

Omgeving

Onderzoeksdoel

Verklaren &

conceptualiseren

Mechanisme

(4)

zich op bestaande literatuur. Bij het uitwerken van deze casus met de onderzoeker viel direct op dat hij in het voorstel nog geen expliciete onderzoeksactiviteiten had opgenomen die bijdragen aan ‘het realiseren van impact’. Een aantal mkb-bedrijven was betrokken bij de aanvraag. Een vervolg- stap voor de onderzoeker kan zijn om het voorstel met de partners nog eens te bespreken vanuit dit oogpunt.

De tweede casus was een afgerond onderzoek waarbij on- derzocht werd of gedragsregels op een dagcentrum (vrije ruimte versus stilteruimte) invloed hebben op de tevreden- heid en het welbevinden van patiënten die chemotherapie ontvangen. Gedurende het onderzoek zijn de volgende doelen gerealiseerd (zie ook Figuur 6).

1. Er is een diagnose gesteld door een exploratief onderzoek onder twintig patiënten. Tijdens deze gesprekken maakten zij wensen en behoeftes kenbaar betreffende de ruimte van de behandeling.

2. Op basis daarvan is een concept ontwikkeld: het creëren van een ruimte die voor een groep patiënten aan de wensen voldeed.

3. Om de haalbaarheid van het concept te toetsen is het concept teruggekoppeld aan de afdeling.

Omgeving Omgeving Omgeving

Mechanisme

verklaren Is een doel van het onderzoek

om te komen tot veranderingen? Bijvoorbeeld het opsporen van oorzaken van problemen

of het verklaren van de werkzaamheid van

oplossingen.

Concept

Ontwikkelen Is een doel van het onderzoek om te komen tot een nieuw

concept?

Bijvoorbeeld het ontwikkelen van nieuwe begrippen en theorieën om problemen te duiden of van nieuwe conceptoplossingen voor

problemen.

Concept afstemmen

op de praktijk Is een doel van het onderzoek om te komen tot een diagnose van het probteem of de haalbaarheid van een conceptoplossing te bewijzen?

Bijvoorbeeld bepalen waarom een situatie problematisch is of bewijzen dat een oplossing

in principe zou kunnen werken.

Data verzamelen/

experimenteren in proefomgeving

Is een doel van het onderzoek om resultaten te verkrijgen via het verzamelen van data of experimenteren in een gecontroleerde omgeving?

Bijvoorbeeld via laboratoriumopstellingen of het doen van metingen in een

gestandaardiseerde test

Data verzamelen/

experimenteren in de praktijk

Is een doel van het onderzoek om resultaten te verkrijgen via het verzamelen van data in een pilotomgeving of het testen van de werking van een oplossing in een relevante (pilot) omgeving?

Bijvoorbeeld door het gebruik van een steekproef of het

uitvoeren van een pilot.

Data verzamelen/

oplossing demonstreren in de

praktijk

Is een doel van het onderzoek om resultaten te verkrijgen via het verzamelen van data of het testen van een oplossing in de

praktijk?

Bijvoorbeeld door observaties in de praktijk. door populatieonderzoek of door een oplossing in een werkelijke

praktijkomgeving te testen.

Realiseren van

inzicht Is een doel van het onderzoek om door middel van het delen van resultaten en bevindingen inzicht te realiseren bij de

praktijk?

Bijvoorbeeld door de resultaten te publiceren

of de oplossing in de gebruikersomgeving te testen.

Realiseren geaccepteerde verandering in de

praktijk

Is een doel van heet onderzoek om een rol te spelen in het realiseren van een verandering

in de praktijk?

Bijvoorbeeld door mee te helpen veranderingen

of oplossingen te implementeren.

praktijk

Is een doel van het onderzoek om rol te spelen in het realiseren van een geborgde verandering in

de praktijk?

Bijvoorbeeld door te bevorderen dat mensen

worden getraind en procedures aangepast.

Figuur 4 Onderzoeksdoelen met hulpvragen en voorbeelden

Het onderzoek keek of gedragsregels invloed hebben op het welbevinden van de patiënten

Omgeving

Verklaren &

conceptualiseren

Mechanisme

Diagnose stellen/

de praktijk Data verzamelen

& experimenteren

Data verzamelen/

praktijk Concept ontwikkelen concept toetsen in concept toetsen in concept toetsen in

de praktijk Experimenteren in

Data verzamelen/

Experimenten in Experimenteren in

proefomgeving Experimenteren in

Figuur 5 Het PRO-model toegepast op het onderzoeksproject

‘3D-printen van voedsel’

nessmodellen (haalbaarheid concept toetsen in de praktijk);

3. in een laboratoriumomgeving worden ingrediënten daadwerkelijk geprint en gemeten (data verzamelen/

experimenteren in proefomgeving).

Figuur 5 geeft de drie bovenstaande stappen weer in het PRO-model.

Het uitzoeken van het onderliggende mechanisme van de eigenschappen van deze voedingsstoffen was geen onderdeel van het voorstel, daarvoor baseren de onderzoekers

H og er on de rw ijs

bestaande

bestaande literatuur.literatuur. BijBij het uitwerkenuitwerken met de onderzoekeronderzoeker vielviel directdirect op dat hij nog geen explicieteexpliciete onderzoeksactiviteitenonderzoeksactiviteiten die bijdragenbijdragen aanaan ‘het‘het realiserenrealiseren van mkb-bedrijven

mkb-bedrijven waswas betrokkenbetrokken bij stap

stap voorvoor dede onderzoekeronderzoeker kan partners

partners nognog eenseens te bespreken

De tweedetweede casus was derzocht

derzocht werd of ruimte

ruimte versus heid

heid en het ontvangen.

len

H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs

Bijvoorbeeld door observaties in de praktijk. door populatieonderzoek of door een oplossing in een werkelijke

praktijkomgeving te testen.

Bijvoorbeeld door de resultaten te publiceren

of de oplossing in de gebruikersomgeving te testen.

om een rol te spelen in het realiseren van een verandering

Bijvoorbeeld door mee te helpen veranderingen

of oplossingen te implementeren.

Is een doel van het onderzoek om rol te spelen in het realiseren van een geborgde verandering in

de praktijk?

Onderzoeksdoelen met hulpvragen en voorbeelden Onderzoeksdoelen met hulpvragen en voorbeelden

H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs

de praktijk Data verzamelen/

Experimenten in Experimenten in pilotomgeving pilotomgeving

Oplossing evalueren Oplossing evalueren

in de praktijk in de praktijk Realiseren

Realiseren verandering in verandering in TQFDJmFLFDPOUFYU TQFDJmFLFDPOUFYU

Realiseren geborgde Realiseren geborgde verandering in de verandering in de

praktijk praktijk

H og er on de rw ijs H og er on de rw ijs

Concept ontwikkelen concept toetsen in

H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs

de praktijk de praktijk Data verzamelen/

Het PRO-model toegepast op het onderzoeksproject Het PRO-model toegepast op het onderzoeksproject

‘3D-printen van voedsel’

nessmodellen nessmodellen tijk);

tijk);

3. in een laboratoriumomgeving daadwerkelijk

experimenteren

(5)

4. Op basis van de terugkoppeling is het concept verder aangescherpt;

5. In samenwerking met de afdeling zijn patiënten ge- selecteerd en benaderd met de vraag of zij wilden deelnemen aan een experimentele studie. De patiënten die meededen verbleven in de aangepaste ruimte. Zij ontvingen tijdens de behandeling een vragenlijst (data verzamelen/experimenteren in de praktijk).

6. In dit onderzoek werden de resultaten gepresenteerd op verschillende niveaus: in de organisatie door gesprekken, in een wetenschappelijk tijdschrift, in adviesdocu- menten en presentaties richting de afdeling en mana- gers (realiseren van inzicht).

7. De laatste stap (realiseren verandering in specifieke praktijk) bestond eruit dat de onderzoeker betrokken was bij het nieuwe ontwerp en onderdeel uitmaakte van het ontwerpteam. Ook adviseerde hij de aangestelde architect op basis van de onderzoeksresultaten zodat deze ook daadwerkelijk werden meegenomen in een nieuw ontwerp.

Figuur 6 Het PRO-model toegepast op onderzoeksproject ‘in- richting dagcentrum’

Het PRO-model maakt bij de eerste casus inzichtelijk dat er nog stappen genomen moeten worden om werkelijk impact te realiseren. In de tweede casus is de onderzoeker betrokken bij het realiseren van een heel scala aan doelen en zelfs bij het realiseren van veranderingen in een specifieke context. Hier is een volgende stap om het onderzoek uit te breiden naar andere contexten, zoals ziekenhuizen.

Aantrekkelijk en eenvoudig

Het PRO-model is getest in een pilotstudie die bestond uit zes workshops. Vijfendertig onderzoekers op de Hanzeho- geschool en Hogeschool Utrecht pasten het toe op een eigen casus. Allereerst bleek dat zij het model zien als een aantrekkelijk, helder en eenvoudig hulpmiddel. Na een korte uitleg waren onderzoekers in staat om de route van het eigen onderzoek aan de hand van het PRO-model te bepalen. Het model bleek verder breed toepasbaar op promotie- onderzoek, subsidieaanvragen, onderzoek van docenten en afstudeeronderzoek in een masteropleiding.

Het model werd succesvol getest door onderzoekers in de techniek, gezondheidszorg, kunsten en in het sociale wetenschappelijke domein; samen hanteren zij een breed scala aan verschillende onderzoeksmethoden. Het feit dat het model een domeinonafhankelijke ‘taal’ levert om over onderzoek te praten zien ze als een belangrijke meerwaarde.

Een andere meerwaarde ligt in het expliciteren van de onderzoeksscope. Dit kwam vooral naar voren bij de onderzoeksactiviteiten ‘Realiseren verandering in specifieke context’ en ‘Realiseren geborgde verandering in de praktijk’.

Onderzoekers die zich richten op ondernemerschap en doorwerking zagen daarin een duidelijke taak voor zichzelf weggelegd. Voor anderen was het juist een principiële keuze om niet actief te zijn in het realiseren en waarborgen van verandering in de praktijk. Naar hun mening moeten andere partijen daar het stokje overnemen. Het bepalen van deze scope en het onderbouwen van de keuzes daarin werkte verhelderend.

Een ander voordeel van het model zit in het stimuleren van de discussie over praktijkgereedheid en welke acties je daarvoor kunt ondernemen. Ook als onderzoekers de verandering niet zelf gaan bewerkstelligen is het interessant om na te denken over de consequenties daarvan. In dat geval kan de discussie gaan over welke partijen dat wel kunnen doen, hoe je hen kunt activeren en op welke manier en in welke vorm je de onderzoeksresultaten kunt overdragen.

Aandachtspunten

Daarnaast zijn er ook aandachtspunten.

• De deelnemers vroegen vaak om voorbeelduitwerkingen voor bepaalde domeinen of onderzoeksmethoden. Het is mogelijk om een aantal terugkerende patronen te onder- scheiden, maar het vooraf aanreiken van standaarduit- werkingen doet in onze ogen afbreuk aan de waarde van een eigen analyse.

• Interpretatie van het PRO-model bevat een zekere mate van subjectiviteit. Een veelvoorkomend dilemma is bij-

Omgeving

Verklaren &

conceptualiseren

Mechanisme

Diagnose stellen/

de praktijk Data verzamelen

& experimenteren

Data verzamelen/

praktijk

Dat het model een ‘taal’

levert om over onderzoek te praten zien ze als

een belangrijke meerwaarde

H og er on de rw ijs H og er on de rw ijs

Het PRO-model toegepast op onderzoeksproject ‘in- Het PRO-model toegepast op onderzoeksproject ‘in- richting dagcentrum’

Het PRO-modelPRO-model maaktmaakt bijbij dede eersteeerste casus nog stappenstappen genomengenomen moetenmoeten worden te realiseren.realiseren. In de tweedetweede casus is trokken

trokken bijbij hethet realiserenrealiseren vanvan zelfs

zelfs bij hethet realiserenrealiseren vanvan veranderingen context.

context. HierHier is eeneen volgendevolgende breiden

breiden naarnaar andere

Aantrekkelijk en eenvoudig Aantrekkelijk en eenvoudig Het PRO-model

zes workshops.

geschool

Het

Het modelmodel werdwerd succesvolsuccesvol getest de techniek,techniek, gezondheidszorg,gezondheidszorg, wetenschappelijke

wetenschappelijke domein;

scala

scala aanaan verschillendeverschillende het

het modelmodel een domeinonafhankelijke onderzoek

onderzoek te praten Een

Een andereandere meerwaarde onderzoeksscope.

onderzoeksscope.

derzoeksactiviteiten context’

Onderzoekers

H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs

In praktijk

Diagnose stellen/

de praktijk Data verzamelen/

Oplossing evalueren Oplossing evalueren

in de praktijk in de praktijk Realiseren

verandering in TQFDJmFLFDPOUFYU

Realiseren geborgde Realiseren geborgde verandering in de verandering in de

praktijk

H og er on de rw ijs H og er on de rw ijs

concept toetsen in concept toetsen in

de praktijk de praktijk

H og er on de rw ijs

concept toetsen in de praktijk de praktijk

H og er on de rw ijs

concept toetsen in de praktijk

H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs

pilotomgeving pilotomgeving Realiseren

H og er on de rw ijs

Realiseren Realiseren

H og er on de rw ijs H og er on de rw ijs

Haalbaarheid Haalbaarheid

H og er on de rw ijs

Concept ontwikkelen

H og er on de rw ijs H og er on de rw ijs H og er on de rw ijs

Data verzamelen/

H og er on de rw ijs

Experimenten in Experimenten in

H og er on de rw ijs

Experimenten in Experimenten in

H og er on de rw ijs H og er on de rw ijs

van inzicht TQFDJmFLFDPOUFYUTQFDJmFLFDPOUFYU

H og er on de rw ijs

verandering in TQFDJmFLFDPOUFYU TQFDJmFLFDPOUFYU TQFDJmFLFDPOUFYU TQFDJmFLFDPOUFYU

H og er on de rw ijs

t model een ‘taal’

ert om over onderzoek ert om over onderzoek te praten zien ze als te praten zien ze als

een belangrijke meerwaarde een belangrijke meerwaarde

(6)

voorbeeld hoe breed je de scope van ‘de praktijk’ moet nemen bij het analyseren van een onderzoek. Bij een onderzoeksopdracht voor een gemeente kan succesvolle adoptie binnen één gemeente als een verandering in de praktijk worden gezien, terwijl een ander onderzoek het bereiken van alle gemeenten van Nederland tot einddoel kan hebben.

• Hoewel het PRO-model al gebruikt is om een subsidieaanvragen aan te scherpen, is het nog te weinig bekend bij financiers. Dat maakt deel uit van onze eigen acties om het PRO-model praktijkgereed te maken.

Tot slot moet vooral het doel van het model niet uit het oog verloren worden: het gesprek over de praktijkgereedheid van onderzoek en hoe dat te bevorderen. Discussie aan het begin van de analyse ging meestal nog over interpretatie van een fase en of die fase wordt bereikt. Als je niet verder kijkt dan het ‘vinkje’, dan mis je wellicht andere interes- sante mogelijkheden. Een publicatie in een vakblad draagt bijvoorbeeld bij aan het realiseren van inzicht in de praktijk.

Maar wat kan een onderzoeker nog meer ondernemen om dat te vergroten? Onderzoekers kunnen door het stellen van de juiste vragen elkaar stimuleren daarover na te denken.

Wilke van Beest

is verbonden aan Hogeschool Utrecht Jan Baljé

is verbonden aan Hanzehogeschool Groningen Daan Andriessen

is verbonden aan Hogeschool Utrecht

Literatuur

Andriessen, D. (2004). Wat maakt uw organisatie uniek? Ondernemen met intellectueel kapitaal in de kenniseconomie. Hogeschool Inholland: Diemen.

Andriessen, D. (2014). Praktisch relevant en methodisch grondig? Dimensies van onderzoek in het hbo. Openbare les 10 april 2014, lectoraat methodologie van praktijkgericht onder- zoek. Utrecht: Hogeschool Utrecht.

Andriessen, D. (2017). De Onderzoekswerkplaats. Lezing Festival de Onderzoekswerkplaats, 11 mei 2017.

#SJUU # #FSSZ . #SPXOF . .FSSFMM ." ,PMQBDL + %PDVNFOU$MBTTJmDBUJPO

Techniques for Automated Technology Readiness Level Analysis. Journal of the American society for information science and technology. 59(4): 675–680.

Chinkatham, T., Souili, A., Taheri, A. & Cavallucci, D. (2016). An Approach to identify the readiness level of a Solution Concept in The Inventive Design Method. Elsevier, 39, 179 – 184.

DNV GL (2016). Evaluatie Technologie Readiness Level (TRL) methodiek voor innovatieproject.

Evaluatie TRL-methodiek en toepassing voor EnTranCe. Groningen: Gasunie.

EARTO (2014). The TRL Scale as a Research & Innovation Policy Tool, EURTO Recommendati- ons. Geraadpleegd op 1 juni 2017 via http://www.earto.eu/

Horizon 2020. Work Programme 2016-2017. Appendix G.

Mankins, J. (2009). Technology readiness assessments: A retrospective. Acta Astronautica, 65(9), 1216-1223.

Nakamura, H., Kajikawa, Y., Suzuki, S. (2013). Multi-level perspectives with technology readiness measures for aviation innovation. Sustainability Science, 8(1), 87–101.

Peters, S. (2015). A readiness level model for new manufacturing technologies. Prod. Eng.

Res. Devel. 9. 647–654.

Sauser, B., Ramirez-Marquez, J., Henry, D. & DiMarzio, D. (2008). A System Maturity Index

for the Systems Engineering Life Cycle. International Journal of Industrial and Systems Engineering, 3(6), 673–691.

Van Beest, W. en Andriessen, D. (2016). De praktijkgereedheid van praktijkgericht onderzoek.

Utrecht: Hogeschool Utrecht

Vereniging Hogescholen (2016a). Onderzoek met impact. Strategische Onderzoeksagenda 2016-2020. Den Haag: Vereniging Hogescholen.

Vereniging Hogescholen (2016b). #hbo2025. Weerbaar en Wendbaar. Den Haag: Vereniging Hogescholen.

H og er on de rw ijs H og er on de rw ijs

praktijk.

om stellen van te denken.

is verbonden aan Hanzehogeschool Groningen is verbonden aan Hanzehogeschool Groningen is verbonden aan Hogeschool Utrecht

Literatuur Literatuur

Andriessen, D. (2004).

Andriessen, D. (2004). Wat maakt uw organisatie uniek? Ondernemen met intellectueel Wat maakt uw organisatie uniek? Ondernemen met intellectueel kapitaal in de kenniseconomie.

kapitaal in de kenniseconomie. Hogeschool Inholland: Diemen. Hogeschool Inholland: Diemen.

Andriessen, D. (2014). Praktisch relevant en methodisch grondig? Dimensies van onderzoek in Praktisch relevant en methodisch grondig? Dimensies van onderzoek in het hbo.

het hbo. Openbare les 10 april 2014, lectoraat methodologie van praktijkgericht onder-Openbare les 10 april 2014, lectoraat methodologie van praktijkgericht onderzoek. Utrecht: Hogeschool Utrecht.

zoek. Utrecht: Hogeschool Utrecht.

Andriessen, D. (2017). De OnderzoekswerkplaatsDe Onderzoekswerkplaats 11 mei 2017.

11 mei 2017.

#SJUU # #FSSZ . #SPXOF . .FSSFMM ." ,PMQBDL + %PDVNFOU$MBTTJmDBUJPO

Techniques for Automated Technology Readiness Level Analysis.

society for information science and technology society for information science and technology

Chinkatham, T., Souili, A., Taheri, A. & Cavallucci, D. (2016). An Approach to identify the Chinkatham, T., Souili, A., Taheri, A. & Cavallucci, D. (2016). An Approach to identify the

readiness level of a Solution Concept in The Inventive Design Method.

179 – 184.

DNV GL (2016).

Evaluatie TRL-methodiek en toepassing voor EnTranCe EARTO (2014).

Onderzoek met impact. Strategische Onderzoeksagenda

#hbo2025. Weerbaar en Wendbaar. Den Haag: Ver