De kwaliteit van ons onderzoek

Tilburg University

De kwaliteit van ons onderzoek

van Damme, E.E.C.

Published in:

Economisch Statistische Berichten

Publication date:

2009

Document Version

Publisher's PDF, also known as Version of record

Link to publication in Tilburg University Research Portal

Citation for published version (APA):

van Damme, E. E. C. (2009). De kwaliteit van ons onderzoek. Economisch Statistische Berichten, 94(4594),

591-591.

General rights

Copyright and moral rights for the publications made accessible in the public portal are retained by the authors and/or other copyright owners and it is a condition of accessing publications that users recognise and abide by the legal requirements associated with these rights. • Users may download and print one copy of any publication from the public portal for the purpose of private study or research. • You may not further distribute the material or use it for any profit-making activity or commercial gain

• You may freely distribute the URL identifying the publication in the public portal

Take down policy

If you believe that this document breaches copyright please contact us providing details, and we will remove access to the work immediately and investigate your claim.

ESB

column

De kwaliteit van ons onderzoek

Eric van Damme

In een zesjarige cyclus wordt al het wetenschappelijk onderzoek in Nederland geëvalueerd volgens het Standaard Evaluatie Protocol (SEP). Onlangs was Economie en Bedrijfswetenschappen aan de beurt. Een commissie onder leiding van de Gentse hoogleraar Van Dierdonck beoordeelde de output van 54 onder­ zoeksgroepen op de criteria kwaliteit, productiviteit, relevantie en levensvatbaarheid, waarbij cijfers van 1 (onvoldoende) tot en met 5 (excellent) gegeven konden worden. Hoe staat ons onderzoek ervoor?

De resultaten zullen pas later bekend worden, maar het verleden biedt de beste voorspelling voor de toe­ komst. De vorige onderzoeksvisitatie was in 2002, toen zestig economieprogramma’s en twintig in bedrijfs­ wetenschappen beoordeeld werden, waarvan er tien, respectievelijk drie, het predicaat excellente kwaliteit kregen. Dit suggereert dat het Nederlandse onderzoek in ons vakgebied er goed voor staat, zeker gezien de definitie die het SEP voor excellent hanteert: “The

program makes important and innovative contributions to its field. It is among the world leading programs in its field.”

Interessant is dat het aantal programma’s terugloopt: bij de visitatie in 1995 waren er alleen voor economie nog negentig. Tegelijkertijd neemt het aantal goede programma’s toe. De onderzoeksvisitatie lijkt zijn nut te bewijzen, de economische wetten lijken ook hier te werken. Minder goede programma’s worden beëindigd, middelen geheralloceerd, en de kwaliteit stijgt. Dat is althans wat de commissie beweert, maar dat hoeft niet objectief te zijn: iemand die het nut van de exercitie niet ziet, zal niet in de commissie plaats nemen. Grade

inflation is een alternatieve hypothese.

Het selectie­effect van de visitatie is beperkt omdat de onderzoekers zelf er zich weinig van aantrekken en er geen directe financiële consequenties aan de visitatie verbonden zijn. Er gaat geen geld van de ene faculteit naar een betere; op lokaal niveau kunnen de bestuurders wel met mindere goden schuiven, maar ze moeilijk ontslaan. Bovendien concurreren facultei­ ten vooral op de onderwijsmarkt, waar het geld zit, zodat zelfs interne herschikking van taken lastig is. Studenten willen de beste docenten zien, en de beste onderzoekers zijn ook de beste docenten. Een vraag is of sterkere financiële prikkels niet tot meer kwaliteits­ verbetering zouden leiden.

In Engeland kent men een vergelijkbare peer review, maar dan wel met landelijke herverdeling. De sterkere financiële prikkels hebben nadelen, maar ook onbe­ doelde positieve neveneffecten. Engelse economen onderzoeken nu serieus wat onder kwaliteit van onder­

zoek verstaan moet worden en of visitatiecommissies deze wel op de juiste wijze meten. Hier werkt echte concurrentie. De dreiging de eigen tent te moeten sluiten verhoogt de productiviteit en lokt creativiteit uit. Engeland houdt ons een interessante spiegel voor. Kunnen we nu werkelijk verwachten dat vijftien procent van ons onderzoek van wereldklasse is? Opvallend is dat het SEP het begrip world leading niet definieert; het begrip is dus rekbaar, ook naar beneden. In een recent artikel stelt Andrew Oswald daar tegenover dat vooral naar boven gekeken moet worden. Zijn idee is dat alleen artikelen die een vakgebied beïnvloeden er echt toe doen. Het gaat niet om artikelen die iets bijdragen, maar om papers die iets fundamenteels toevoegen. De bijdrage van een onderzoekspaper (geen survey) kan, op termijn, worden afgelezen aan het aantal citaten dat deze genereert.

In deze visie is kwaliteit bruikbaarheid, gemeten als het aantal keer dat een artikel door andere wetenschappers geciteerd wordt. Waardevolle artikelen zijn dan artike­ len die veel geciteerd worden, en fundamentele bijdra­ gen zijn de, zeg, vijf procent meest geciteerde binnen een vakgebied. Gemiddeld gaat het dan om ongeveer vijftig artikelen per jaar, één waardevol idee per week dat alle economen bij elkaar weten te produceren. Hoeveel van deze komen uit Nederland?

Oswald (2009) geeft het antwoord voor de periode 2001–2008, het tijdvak van de laatste onderzoeks­ evaluatie in het Verenigd Koninkrijk. Van de 450 waardevolle artikelen die toen wereldwijd gepubliceerd werden, kwam ongeveer tien procent uit het Verenigd Koninkrijk, iets meer uit de rest van Europa en één procent (vier artikelen) uit Nederland. Een ontnuch­ terende boodschap: al die Nederlandse onderzoekers samen produceren gemiddeld een half waardevol idee per jaar. Ter vergelijking: Oxford en de LSE publiceren er elk bijna drie keer zo veel per jaar.

Onderzoek en onderzoeksvisitaties dwingen tot nadenken. Wat wil Nederland bereiken? Is meedoen voldoende, of wil men de richting meebepalen? Zet men de middelen goed in, of is academisch onderzoek zwaar werk, zodat degenen die met veertig jaar nog geen waardevolle bijdragen hebben geleverd, beter iets anders kunnen gaan doen? Gespreksstof genoeg als straks de euforie losbarst, de vijven weer worden uitge­ deeld en de succesvolle programmaleiders, terecht, op champagne worden getrakteerd.

LitEratuur

Oswald, a. (2009) A suggested method for the measurement of world-leading research (illustrated with data on economics). iZa discussiedocument 4313, Bonn: iZa.

De auteur heeft verklaard dit artikel alleen te publiceren in ESB en niet elders te publiceren in wat voor medium dan ook. Het is wel toegestaan om het artikel voor eigen gebruik