Binnen de Hogeschool van Amsterdam is er behoefte om betere uitspraken te kunnen doen over wat het praktijkgericht onderzoek weet te bereiken. De tekortkomingen van het tot nu toe gehanteerde impactmodel door de HvA, bedenkingen over de indicatoren in de BKO standaard 4 en een ongenoegen dat het unieke van het onderzoek onvoldoende tot zijn recht komt, zijn duidelijk terug te lezen in
bijvoorbeeld de kritische reflecties van de kenniscentra in 2018. Het aantonen van impact van
(praktijkgericht) onderzoek is echter een moeilijke en complex ontwerp. Deze notitie probeert een eerste handreiking te zijn in die discussie door praktische tools aan te bieden om tot een meer compleet en gestructureerd overzicht te komen van de doorwerking van praktijkgericht onderzoek. Uitgangspunt hierbij is recht te doen aan het unieke karakter van het praktijkgerichte onderzoek en de grote verscheidenheid in uitgangspunten, methodes en resultaten daarvan. Vooral dit laatste betekent dat er niet één alomvattende ‘index’ is nagestreefd, maar dat ons een toolbox voor ogen staat die gebruikers ondersteunt in het
inzichtelijk maken van de doorwerking van het praktijkgericht onderzoek in al zijn verscheidenheid. Deze ‘toolbox’ kan vooralsnog niet volledig worden gefundeerd op een integraal raamwerk dat past bij het praktijkgerichte onderzoek. In de (internationale) literatuur is een dergelijk raamwerk (nog) niet aan te treffen ondanks de vele methoden die er zijn. Sommige van deze methoden sluiten wel beter aan bij (deelaspecten van) het praktijkgericht onderzoek omdat ze bijvoorbeeld meer aandacht hebben voor samenwerking en de bijdrage van verschillende partijen in een onderzoekstraject. Het is wel mogelijk een aantal kenmerken te noemen waaraan een dergelijk raamwerk voor praktijkgericht onderzoek zou moeten voldoen, zoals betrokkenheid van stakeholders, een grote diversiteit aan producten en kennisinteracties gedurende het gehele onderzoeksproces. Vanuit deze kenmerken, een bespreking van de literatuur en een eerste (logische) analyse van relevante begrippen in de discussie is een matrix samengesteld. In deze matrix zijn twee dimensies verdisconteerd: een dimensie waar je uitspraken over kan doen als het gaat om doorwerking (producten, netwerken en kennisinteracties) en een dimensie wat je daarover kan zeggen (volume, aard, kwaliteit, activatie, relevantie en gebruik). Deze matrix kan gevuld worden met indicatoren (daar waar je aan afmeet dat je dat streven hebt gehaald). In een drietal rapportagetools zijn deze
inzichten verwerkt, inclusief een flexibel corpus van indicatoren, zodat hopelijk eenvoudig aan de slag kan worden gegaan. Voorafgaand aan de inzet van deze tools moet wel een aantal keuzes moeten worden gemaakt. Kortom, de tools zijn bedoeld als praktische ondersteuning, maar het in kaart brengen van de doorwerking is nooit een simpele invuloefening.
In de uitgebreide onderbouwing van de tools zijn ook vraagstukken naar voren gekomen die nog niet opgelost zijn, zowel praktische als meer fundamentele vraagstukken. De praktische vraagstukken, waardoor gebrek aan tijd nog niet is toegekomen, betreffen bijvoorbeeld de uitwerking naar verschillende doelgroepen toe en de uitwerking naar welke data gebruikt kan worden en beschikbaar is om indicatoren feitelijk in kaart te brengen.
Van de meer fundamentele vraagstukken willen we er hier twee aanstippen. De eerste betreft de opgeworpen vraag of een raamwerk voor doorwerking gebaseerd moet zijn op een procesmodel. Vaak wordt dit als vanzelfsprekendheid aangenomen, zoals bijvoorbeeld door de commissie Franken in Meer waarde met HBO (2018). De (aantrekkings)kracht van logische modellen en/of de standaard manier van werken binnen projectstructuren (middelen organiseren, project uitvoeren, disseminatie) zijn mogelijk debet aan deze ‘vanzelfsprekendheid’. In deze notitie is gekozen voor een conceptuele aanpak van doorwerking door categorieën te benoemen waarover je kunt rapporteren en qualita benoemen wat je daarover kunt zeggen. Daarmee wordt niet ontkend dat doorwerking ontstaat in een proces maar wel wordt hiermee benadrukt dat je over doorwerking kunt praten ongeacht de procesinrichting van het onderzoek. Hierdoor wordt geen onderzoek uitgesloten dat niet een voorgeschreven procesformat
kort zijn aangestipt (4.1.2) leggen veel meer de nadruk op de kennisvergaring hoe impact bereikt kan worden en hoe dat beter kan, of dat is door impact pathways te analyseren of door veel nauwgezetter bijdragen van verschillende stakeholders in kaart te brengen. Hierbij is veel meer aandacht voor een verdere optimalisering van het onderzoeksproces, in de veronderstelling dat daarmee ook de doorwerking wordt vergroot. Het is de vraag of en in hoeverre beide perspectieven strijdig met elkaar zijn. Wel
constateren we dat het formatieve perspectief te weinig wordt uitgedragen of in ieder geval zichtbaar gemaakt en gewaardeerd.
In de inleiding is aangegeven dat deze notitie een eerste stepping stone is, dit is niet bedoeld als ‘dreigement’ dat er nog veel meer ‘papier’ zal volgen, hoewel er zeker nog genoeg uit te zoeken is. Wat we bedoelen is dat hoewel deze notitie gestoeld is op veel praktische ervaring, de voorstellen nog niet
‘getoetst’ zijn aan de praktijk. Niet alleen vanuit nieuwsgierigheid gedreven vragen zoals welke indicatoren worden gekozen om het onderzoek te evalueren en waarom?, maar ook vanuit vragen zoals: worden de voorstellen in deze notitie relevant gevonden en gaat het gebruikt worden? Die toetsing ligt dus in de praktijk, in de dialoog. Deze notitie zoekt nadrukkelijk die dialoog met collega’s in de HvA en ook daarbuiten. We hopen dat in ieder geval dat wordt opgepakt: gezamenlijk het gesprek voeren over de doorwerking van praktijkgericht onderzoek, over domeinen, disciplines en hogescholen heen.
Literatuur
Andriessen, D., & Franken, A. (2015). Zie kennis als een proces. Hoe meet en vergroot je het effect van praktijkgericht onderzoek? Thema(5), 42-47.
Beest, W. van, Baljé, J., & Andriessen, D. (2017). Hoe meet je de praktische relevantie? Nieuw model voor praktijkgerichte onderzoekers. Thema, 17(4), 52-57.
Biggar Economics (2014). Economic impact of the Amsterdam Universities and University Medical Centres. Roslin, Midlothian, Scotland: Biggar Economics.
Bornmann, L. (2013). What is Societal Impact of Research and How Can It Be Assessed? A Literature Survey. Journal of American Society for Information Science and Technology, 64(2), 217-233.
Brouns, M. (2016). Van Olympus naar agora. Een frisse blik op praktijkgericht onderzoek. Thema(4), 69-74.
Coombs, S. (2019). Towards Evaluating the Research Impact of Dutch Universities of Applied Sciences: How do we begin? Enschede: Saxion Hogescholen.
de Poot, H. (2019). PPS Impactmeting Katapult Netwerk. Enschede: Katapult/Nobis.
Drooge, L. van, & Spaapen, J. (2017). Evaluation and monitoring of transdisciplinary collaborations. The Journal of Technology Transfer. doi:https://doi.org/10.1007/s10961-017-9607-7
Drooge, L. van, Vandeberg, R., Zuijdam, F., Mostert, B., Meulen, B. van der, & Bruins, E. (2011). Waardevol. Indicatoren voor Valorisatie. Den Haag.
Eldridge, L. K. B., Markham, C., Ruiter, C. M., Fernàndez, R. A. C., Kok, M. E., & Parcel, G. S. (2016). Planning health promotion programs: an intervention mapping approach (4th Edition ed.). San Francisco, CA: Jossey-Bass.
Friedman, M. (2005). Trying hard is not good enough. Sante Fe, New Mexico: Fiscal Policy Studies Institute.
Greenhalghi, T., Raftery, J., Hanney, S., & Glover, M. (2016). Research impact: a narrative view. BMC Medicine, 14(1). doi:10.1186/s12916-016-0620-8
Hogeschool van Amsterdam (2017). Handreiking Kritische Reflectie voor Onderzoeksevaluatie (inclusief HvA indicatoren voor praktijkgericht onderzoek). Amsterdam: Hogeschool van Amsterdam.
Hogeschool van Amsterdam (2018a). Kritische reflectie Kenniscentrum Onderwijs en Opvoeding. Amsterdam: Hogeschool van Amsterdam.
Hogeschool van Amsterdam (2018b). Amsterdams Kenniscentrum voor Maatschappelijke Innovatie. Kritische Zelfreflectie. Amsterdam: Hogeschool van Amsterdam.
Bewegen, Sport en Voeding. Interne Evaluatie Onderzoek 2018: Visitatie 10 december 2018. Amsterdam: Hogeschool van Amsterdam.
Hogeschool van Amsterdam (2018f). Kritische Reflectie Rapport Kenniscentrum Carem. Faculteit Business en Economie 2015-2017. Amsterdam: Hogeschool van Amsterdam.
Hogeschool van Amsterdam (2018g). HVA-Brede Rapportage. Interne evaluatie onderzoek 2018. Amsterdam: Hogeschool van Amsterdam.
Interdepartementale programmadirectie Kennis en Innovatie. (2009). Van voornemens naar voorsprong: Voorstel voor een Nederlandse valorisatieagenda. Den Haag.
Joly, P.-B., Gaunand, A., Colinet, L., Larédo, P., Lemarié, S., & Matt, M. (2015). ASPIRA: A comprehensive theory-based approach to assessing the societal impacts of a research organization. Research Evaluation, (24), 440-453.
Kellogg Foundation, W. K. (2004). Logic Model Development Guide. Battle Creek: W.K. Kellogg Foundation.
Kok, M. O., & Schuit, A. J. (2012). Contribution mapping: a method for mapping the contribution of research to enhance its impact. Health Research Policy and Systems, 10(21).
McCawley, P. F. (2001). The Logic Model for program planning and evaluation. Idaho: University of Idaho Extension.
Ministerie van OCW (2014). Wetenschapsvisie 2025. Keuzes voor de toekomst. Den Haag: Ministerie van OCW.
Ministerie van OCW, Regieorgaan SIA, & Vereniging Hogescholen. (2019). Verkenning praktijkgericht onderzoek op hogescholen. Den Haag: Ministerie van OCW.
Moerman, P., Vos, J., & Boode, F. (red.) (2016). Samenwerking in cijfers. Tussen beroepsonderwijs en bedrijfsleven. Den Haag: Katapult.
Pedersen, D. B., Grønvad, J. F., & Hvidtfeldt, R. (2020). Methods for mapping the impact of social sciences and humanities - A literature review. Research Evaluation, 0(0), 1-18. doi:10.1093/reseval/rvz033
Raftery, J., Hanney, S., Greenhalgh, T., Glover, M., & Blatch-Jones, A. (2016). Models and applications for measuring the impact of health research: update of a systematic review for the Health Technology Assessment programme. Health Technology Assessment, 20(76), 1-254.
Rogers, P. (2014). Theory of Change. Methodological Briefs Impact Evaluation No. 2. Florence: United Nations Children’s Fund (UNICEF).
Smeulders, A. (2019). De HvA van waarde. Amsterdam: Hogeschool van Amsterdam.
Verbree, M. (2018a). Rapport Kenniscentrum Carem van de Faculteit Business en Economie. Interne Evaluatie Onderzoek 2018: Visitatie 12 november 2018. Amsterdam: Hogeschool van Amsterdam, Beleidsafdeling Onderwijs & Onderzoek.
Verbree, M. (2018b). Rapport Kenniscentrum van de Faculteit Techniek. Interne Evaluatie Onderzoek 2018: Visitatie 3 december 2018. Amsterdam: Hogeschool van Amsterdam, Beleidsafdeling Onderwijs & Onderzoek.
Voeding. Interne Evaluatie Onderzoek 2018: Visitatie 10 december 2018. Amsterdam: Hogeschool van Amsterdam, Beleidsafdeling Onderwijs & Onderzoek.
Vereniging Hogescholen (2015). Brancheprotocol Kwaliteitszorg Onderzoek 2016 - 2022. Kwaliteitszorgstelsel Praktijkgericht Onderzoek Hogescholen. Den Haag: Vereniging Hogescholen.
Vereniging Hogescholen (2017). Advies werkgroep Kwaliteit van Praktijkgericht Onderzoek en het Lectoraat. Den Haag: Vereniging Hogescholen. (Commissie Pijlman)
Vereniging Hogescholen (2018). Meer waarde met HBO. Doorwerking praktijkgericht onderzoek van het hoger beroepsonderwijs. Den Haag: Vereniging Hogescholen. (Commissie Franken)
Vereniging Hogescholen (2019). Centres of Expertise: groeibriljant voor excellente samenwerking in het hbo. In allianties werken aan maatschappelijke impact voor de toekomst. Den Haag: Vereniging Hogescholen. (Commissie Reiner)
Vliet, H. van (2002). Spinning the Wheel: organizing knowledge circulation. Paper presented at the World Council and Assembly on Cooperative Education (WACE) Conference, Rotterdam.
Vliet, H. van (2011). Lectoraten als third spaces. HO-Management, december 2011, 20-23. Vliet, H. van (2015). Introductie RBA methodiek. Amsterdam: Hogeschool van Amsterdam. Vliet, H. van (2019). Overzicht Doorwerking. Amsterdam: Hogeschool van Amsterdam.
Vliet, H. van (2020). Aanvraag Lectoraat ‘Doorwerking Praktijkgericht Onderzoek’. Amsterdam: Hogeschool van Amsterdam.
Vliet, H. van, & Horvath, J. (2004). SMEs and innovation in the Netherlands. Spinning the wheel: knowledge circulation in (hydraulic) motion. Industry and Higher Education, 18(5), 309-319.
Vliet, H. van, Wakkee, I., Fukkink, R., Teepe, R., & Outersterp, D. van (2019). Lectorenbijeenkomst 21 november 2019. Amsterdam: Hogeschool van Amsterdam.
Vliet, H. van, & Slotman, R. (2006). De regio als basis voor innovatie in het MKB. Thema, 6(1), 30-36. Wakkee, I., Sijde, P. van der, & Nuijens, N. (2013). Valorisatie in Nederland. Exploratieve verkenning van het landschap van Valorisatieprogramma’s. Amsterdam: Vrije Universiteit Amsterdam.
Wetenschappelijke Raad voor het Regeringsbeleid. (2013). Naar een lerende economie. Investeren in het verdienvermogen van Nederland. Den Haag: WRR.
Woertman, E., & Meurs, J. (2020). Blauwdruk Nationaal Platform Praktijkgericht Onderzoek. Utrecht: Surf.
www.umultirank.org (retrieved: 4-10-2019).
Zwan, F. van der, & Vos, J. van der (2015). Notitie hbo valorisatie-indicatoren voor BCOZ. Den Haag: Vereniging Hogescholen.