Evaluatie van de
Junior Scientific Masterclass
Maaike van Kessel
Technische Bedrijfswetenschappen Rijksuniversiteit Groningen
Begeleiders:
Dr. Th. Postma
Dr. M. Broekhuis
Maaike van Kessel
Studentnummer: 1031619
Afstudeerdatum: 1 oktober 2002
Voor u ligt het rapport over de Junior Scientific Masterclass (JSM). Dit rapport is mijn afstudeerverslag voor de afronding van mijn studie Technische Bedrijfswetenschappen.
Hoewel de JSM geen technische organisatie is, heb ik veel van mijn kennis kunnen gebruiken die ik heb op gedaan tijdens mijn studie. Het programma van de JSM kan men toch zien als een fabriek met een productieproces met verschillende bewerkingsstations (de verschillende programmaonderdelen). De producten die bewerkt worden zijn de studenten. Deze studenten hebben elk een eigen routing. Een deel van de producten valt tijdens het proces uit, maar een ander deel haalt uiteindelijk het eindstation en wordt afgeleverd als eindproduct. Ik heb het ‘productieproces’ van de JSM bestudeerd om uiteindelijk tot een eindoordeel te komen en uiteindelijk een aantal mogelijkheden tot verbeteringen aan te geven.
Dit heb ik natuurlijk niet alleen gedaan. Ik heb hiervoor de nodige hulp gehad van een aantal mensen. Daarom wil ik graag de volgende mensen bedanken:
Mijn afstudeerbegeleiders van de faculteit Bedrijfskunde: Dr. Th. Postma en Mw. Dr. M.
Broekhuis
Mijn begeleiderster bij de JSM: Drs. C.S.M. Wachters-Kaufmann Prof. Dr. T. H. The
Mw. L. Huizenga, Drs. L.Vogt Dr. S. Bruins
Dr. Ing. J.R. Huizenga Mw. Dr. H. Raghoebar Drs. A de Vries
Bart Crielaard Martje van Egmond
Inhoudsopgave
1 Onderzoeksopzet...6
1.1 Inleiding ...6
1.2 Aanleiding ...8
1.3 De probleemstelling ...9
1.4 Randvoorwaarden...9
1.5 Planning...9
1.6 Onderzoeksmethode...10
1.7 Bruikbaarheid van de evaluatiemethodiek voor de JSM ...15
1.8 Onderzoeksopzet en opbouw van het rapport ...17
2 Wat is de Junior Scientific Masterclass? ...20
2.1 Doelstellingen van de JSM...20
2.2 Globale opzet JSM...20
2.3 De doelgroep ...26
2.4 De maatschappelijke condities...28
2.5 Programmaplan ...28
3 Literatuurstudie ...30
3.1 Inleiding ...30
3.2 De arts-onderzoeker in de Verenigde Staten...30
3.3 De overige Nederlandse initiatieven ...35
3.4 De procesevaluatie en de gehanteerde kwaliteitscriteria ...36
3.5 Conclusie noodzaak voor het JSM-programma...40
4 Evaluatie van het programmaplan...41
4.1 Geschiktheid van het basisconcept ...41
4.2 Lessen uit de ‘Amerikaanse situatie’ ...41
4.3 Het programmaplan van de Amerikaanse stimuleringsprogramma’s...43
4.4 Het programmaplan van de JSM...43
4.5 Selectie studenten...45
4.6 Conclusie ...45
5 Evaluatie van het proces...46
5.1 JSM en het kwaliteitscriteriamodel ...46
5.2 ‘Businessplan’ van de JSM ...46
5.3 Mensen ...47
5.4 De middelen van de JSM ...50
5.5 Methoden...53
5.6 Markt...54
5.7 Totale beoordeling van de kwaliteit ...54
5.8 Conclusie ...55
6 Tussentijdse impact- en efficiëntiebeoordeling ...56
6.1 De in-, door- en uitstroom...56
6.2 Man-Vrouw verhouding ...58
6.3 Evaluatie van de programmaonderdelen...60
6.4 Effectiviteit van het programma ...61
6.5 Efficiëntie van de JSM...63
6.6 Conclusie ...64
7 Conclusies en verbeteringen...65
7.1 Conclusies over het JSM-programma ...65
7.2 Conclusies voor een grote evaluatie ...66
7.3 Aandachtspunten en verbetermogelijkheden voor het JSM-programma en de ‘grote’ evaluatie ...66
7.4 Beperkingen van het onderzoek...72 Bronnen ... 74
1 Onderzoeksopzet
1.1 Inleiding
Dit onderzoek betreft een evaluatie van het programma van de Junior Scientific Masterclass (JSM). De JSM maakt deel uit van de Faculteit der Medische Wetenschappen van de Rijksuniversiteit Groningen.
De Faculteit der Medische Wetenschappen bestaat net zolang als de Rijksuniversiteit Groningen: sinds 1614. Daarmee is het de op één na oudste geneeskundefaculteit in Nederland. Vanaf de stichting in 1797 werkt de faculteit intensief samen met het Academisch Ziekenhuis Groningen (AZG). De faculteit is gehuisvest naast en werkzaam binnen de muren van het AZG.
De missie van de Faculteit der Medische Wetenschappen is het geven van medisch- wetenschappelijk onderwijs en het verrichten van medisch-wetenschappelijk onderzoek.
De faculteit verzorgt twee opleidingen, een zesjarige opleiding geneeskunde en een vijfjarige opleiding tandheelkunde. Zowel bij de opleiding geneeskunde als bij de opleiding tandheelkunde staat de patiënt met zijn of haar problematiek centraal. Het onderwijs is probleem-georiënteerd.
De combinatie van fundamenteel en patiënt-georiënteerd onderzoek is kenmerkend voor het onderzoek aan de faculteit. Fundamentele probleemstellingen volgen uit klinische waarnemingen. Andersom wordt de fundamentele kennis vertaald naar de klinische praktijk. Op deze manier zijn de onderzoeksresultaten direct te gebruiken bij het oplossen van gezondheidsproblemen. Daarom besteedt de faculteit ook veel aandacht aan het integreren van preklinisch (laboratorium) en klinisch onderzoek.1 Preklinisch onderzoek is onderzoek dat gedaan wordt in het laboratorium. Het gaat dan om reageerbuisonderzoek of proefdieronderzoek. Dit onderzoek is vaak gericht op de ontwikkeling van medicijnen en behandelingsmethoden. In het daarop volgende klinisch onderzoek wordt gekeken naar de effecten van de ontwikkelde medicijnen of behandelingsmethoden bij mensen.
Aan de faculteit zijn ongeveer 1250 medewerkers werkzaam. Daarvan maken 400 deel uit van de wetenschappelijke staf. Veel clinici hebben ook een (deeltijd) aanstelling bij het AZG. Bij de medische faculteit werken 95 hoogleraren. Van hen zijn 31 bijzonder hoogleraar.
Het onderwijsproces van de faculteit wordt centraal gecoördineerd vanuit het Onderwijsinstituut. Het onderzoek vindt plaats vanuit de onderzoeksscholen en onderzoeksinstituten. De docenten en onderzoekers zijn ondergebracht in disciplinegroepen. De faculteit heeft 27 disciplinegroepen. De voornaamste taak van de disciplinegroepen is het beschikbaar stellen van personeel en kennis voor het geven van onderwijs en het verrichten van onderzoek.
Elke disciplinegroep heeft een eigen onderzoeksthema, dat aansluit bij één of meerdere hoofdprogramma's van de onderzoeksinstituten. De coördinatie van het onderzoek van faculteit en ziekenhuis gebeurt vanuit de instituten. Aan het hoofd van een disciplinegroep staat een hoogleraar. Deze hoogleraren zijn vaak ook afdelingshoofd van een afdeling (met hetzelfde medische specialisme) in het AZG.
De faculteit en het Academisch Ziekenhuis Groningen (AZG) stemmen de inhoud van onderzoek op elkaar af. Kenmerkend voor het onderzoek is de combinatie van fundamenteel en patiëntgebonden onderzoek, het zogenaamde klinisch-
wetenschappelijk onderzoek. De wisselwerking tussen beide stimuleert de ontwikkeling van zowel nieuwe klinische als wetenschappelijke mogelijkheden (zgn. ‘translational research’).
Het onderzoek binnen faculteit en ziekenhuis vindt plaats in thematisch georganiseerde onderzoeksinstituten (OZI’s). Momenteel bestaan er tien OZI’s. De meeste van deze OZI’s participeren in twee faculteitoverschrijdende, door de Koninklijke Nederlandse Akademie van Wetenschappen (KNAW) erkende onderzoeksscholen. Deze zijn:
• Groningen University Institute for Drug Exploration (GUIDE)
• Groningen Graduate School for Behavioral and Cognitive Neurosciences (BCN) De door de KNAW erkende onderzoeksscholen spelen een belangrijke rol bij de uitvoering en kwaliteitsbewaking van het onderzoek. Bovendien zijn ze verantwoordelijk voor de opleiding van AIO’s (assistenten in opleiding). AIO’s verrichten een promotieonderzoek en worden daarmee opgeleid tot wetenschappelijk onderzoeker.
Twee van de onderzoeksinstituten zijn interfacultaire instituten, die eveneens fungeren als onderzoeksschool, maar niet zijn erkend door de KNAW:
• Noordelijk Centrum voor Gezondheidsvraagstukken (NCG)
• Institute for Biomedical Materials Science and Application (BMSA)
Zie bijlage 1 voor een duidelijk beeld van de onderzoeksscholen en instituten.
Figuur 1: De disciplinegroepen, onderscholen/-instituten van de FMW en de afdelingen van het AZG
Medische Wetenschappen
Faculteitsbestuur
Onderzoeksscholen/-instituten Disciplinegroepen
Anesthesiologie
Anatomie en Embryologie Biomaterialen
Cardiologie en Thoraxchirurgie Celbiologie Chirurgie Dermatologie Fysiologische Chemie Gezondheidswetenschappen Huisartsgeneeskunde Inwendige Geneeskunde KNO-heelkunde
Kindergeneeskunde en Kinder- en Jeugdpsychiatrie
Klinische Farmacologie Medische Fysiologie Medische Genetica Medische Microbiologie Mondziekten, Kaakziekten en Bijzonder Tandheelkunde Neurologie
Neurochirurgie
Obstetrie en Gynaecologie Oogheelkunde
Pathologie/Laboratorium Geneeskunde
Psychiatrie Revalidatie
Stralingswetenschappen Tandheelkunde/Mondhygiëne
Afdelingen
Anesthesiologie Chirurgie Dermatologie Interne Geneeskunde KNO-heelkunde Kindergeneeskunde Klinische Genetica i.o.
Medische Microbiologie
Mondziekten, Kaakziekten en Bijzonder Tandheelkunde
Neurochirurgie Neurologie
Nucleaire Geneeskunde Obstetrie en Gynaecologie Oogheelkunde
Orthopedie
Pathologie/Laboratorium Geneeskunde
Psychiatrie Radiologie Radiotherapie Revalidatie Thoraxcentrum Stralingswetenschappen
Raad van Bestuur Academisch Ziekenhuis
GUIDE BCN BMSA NCG
8 Onderzoeksinstituten (zie ook bijlage 1)
Het AZG en de medische faculteit werken zoals gezegd nauw samen. De studenten doorlopen een groot deel van hun opleiding in het academisch ziekenhuis. Ze komen daar in contact met patiënten en artsen. Ook verrichten de medische faculteit en het AZG samen onderzoek. In het toegepast klinisch onderzoek van de Groningse faculteit en het AZG zijn twee rode draden te herkennen: chronische ziekten en transplantatiegeneeskunde. Bijna alle afdelingen van het ziekenhuis en disciplinegroepen van de faculteit zijn direct betrokken bij onderzoek hiernaar. Het AZG biedt faciliteiten voor zowel het preklinisch als het klinisch onderzoek. Veel onderzoekers zijn zowel werkzaam voor de faculteit als het AZG.
In figuur 1 zijn de disciplinegroepen van de medische faculteit, de onderzoekscholen en de afdelingen van het AZG op een rijtje gezet. De pijl in de figuur geeft aan dat de verschillende disciplinegroepen, afdelingen en onderzoeksinstituten met elkaar samenwerken.
Een kenmerkend onderdeel van de samenwerking tussen het AZG en de faculteit is de projectgroep Junior Scientific Masterclass. De Junior Scientific Masterclass is een project dat is opgericht om meer studenten te interesseren in het doen van wetenschappelijk onderzoek naast hun ‘gewone’ opleiding tot arts of tandarts. De organisatie van de JSM ligt in handen van de projectgroep Junior Scientific Masterclass.
Deze projectgroep heeft een samenwerking tot stand gebracht tussen de studenten en toponderzoekers van de onderzoeksinstituten (deze toponderzoekers worden bij de JSM
‘masters’ genoemd). Door deze samenwerking komen de studenten in een vroeg stadium van hun studie in contact met de onderzoekers en het onderzoek dat gedaan wordt bij de onderzoeksinstituten.
1.2 Aanleiding
Terwijl het faculteitsbestuur het succes van het JSM-programma roemt en de grote belangstelling van de kant van de studenten blijkt, rijst de vraag over de effectiviteit en de efficiëntie van het ontworpen programma. Het project is nu in een fase gekomen waarin de JSM-projectgroep het noodzakelijk acht om een evaluatie uit te voeren. Het betreft hier een onderzoek naar zowel de efficiëntie als de effectiviteit van het programma. De opdracht houdt een evaluatieonderzoek in de vorm van een pilotstudy in. Dit onderzoek moet uitmonden in concrete aanbevelingen voor verbeteringen aan het JSM-programma en in aanbevelingen voor een in de toekomst uit te voeren evaluatie.
De bedoeling is dat deze pilotstudy een eerste aanzet geeft tot een totale evaluatie en verbetering van het JSM-programma. Er is gekozen voor een pilotstudy omdat het waarschijnlijk onmogelijk is om in de relatief korte tijd van negen maanden, die beschikbaar zijn voor dit evaluatieonderzoek, een definitieve uitspraak te doen over een programma dat relatief kort bestaat en nog geen echte eindresultaten heeft gegenereerd. Het is wel mogelijk om aan te geven aan welke aspecten men in de toekomst aandacht moet schenken, teneinde het programma te verbeteren. Het is de bedoeling dat deze aspecten naar voren zullen komen uit de pilotstudy. Indien mogelijk wordt getracht om over een aantal aspecten, zoals verbeteringen van bestaande processen toch al een deeladvies uit te brengen.
1.3 De probleemstelling
De doelstelling van deze pilotstudy is:
Het opzetten en (gedeeltelijk) uitvoeren van een evaluatie ten einde een uitspraak te kunnen doen over de effectiviteit en de efficiëntie van het JSM-programma alsmede het zoeken naar een aantal mogelijke verbeteringen om de effectiviteit en de efficiëntie van het JSM-programma te verhogen.
De gehanteerde vraagstelling is:
In hoeverre slaagt het JSM-programma, met inzet van de beschikbare middelen, in het interesseren van studenten tijdens hun basisstudie voor het doen van wetenschappelijk onderzoek?
De vraagstelling leidt tot de volgende deelvragen:
-Wat zijn de doelstellingen van de JSM?
-Waaruit bestaat het JSM-programma?
-Is er een noodzaak voor het JSM-programma?
-Welke methode wordt gebruikt bij het uitvoeren van de evaluatie?
-Welke aspecten van het JSM-programma worden beoordeeld?
-Aan welke criteria wordt de performance van de JSM getoetst?
-Wat zijn de resultaten tot nu toe?
-Welke conclusies kunnen worden getrokken na het doen van de analyse?
-Welke suggesties voor verbetering zijn er te geven?
-Hoe worden die verbeteringen bereikt?
1.4 Randvoorwaarden
De uitvoering van de pilotstudy is aan een aantal randvoorwaarden gebonden.
-Pilotstudy binnen 6 maanden afronden. Eventueel uitloop tot 1 augustus 2002.
-Het JSM-programma anno oktober ’01 dient als uitgangspunt.
-De onderwijskundige inhoud van de programmaonderdelen en de kwaliteit daarvan worden buiten beschouwing gelaten.
-De oplossingen moeten realiseerbaar zijn voor de JSM rekening houdend met de financiële middelen en personele capaciteit.
-Als eindpunt van het JSM-programma wordt het beginnen aan het MD/PhD of een ander promotietraject genomen.
-De pilotstudy richt zich op de directe activiteiten van de projectgroep JSM en niet op de activiteiten die binnen de onderzoeksinstituten en –scholen plaatsvinden.
1.5 Planning
De planning voor het evaluatieonderzoek staat in het onderstaande schema beschreven.
Het bijwerken van de database komt twee keer voor in de planning. In eerste instantie wordt de database bijgewerkt met reeds bestaande en verzamelde gegevens. In mei zijn nieuwe gegevens toegevoegd die zijn ontstaan, nadat een aantal programma-activiteiten weer heeft plaats gevonden. In de maanden juni en juli is gewerkt aan het concipiëren van het eindrapport.
Planning evaluatie JSM-programma
September Algemene beschrijving van JSM, Probleemstelling, Literatuur over evaluatie Oktober Evaluatieonderzoeksopzet maken, Theoretisch kader schrijven
November Evaluatieonderzoeksopzet maken
December Evaluatie uitvoeren Interviews met medewerkers JSM Januari Database bijwerken
Februari Data analyseren
Maart Verder uitwerken rapport April Conclusies en aanbevelingen
Mei Database bijwerken, verbeteren concept Juni Concipiëren eindrapport
Juli Concipiëren eindrapport
1.6 Onderzoeksmethode
In deze paragraaf bespreek ik de theorie ten behoeve van het opstellen van het evaluatieplan voor de JSM. Eerst geef ik een algemene methode die men kan gebruiken bij het evalueren van sociale/maatschappelijke programma’s. Wat in deze context bedoeld wordt met een sociaal programma is een gepland, georganiseerd en meestal aanhoudende set van activiteiten die uitgevoerd worden met het oog op het verbeteren van een aantal maatschappelijke condities (Rossi et al.) De methode die ik ga beschrijven is afgeleid uit het boek van Rossi et al.(1999). Dit boek heb ik als basis gebruikt voor het beschrijven van de aanpak van de evaluatie van de JSM.2 Het boek van Rossi et al. behandelt een methode voor het aanpakken van evaluaties voor maatschappelijke programma’s. Deze aanpak bleek na bestuderingen van een aantal alternatieve aanpakken het meest geschikt voor een evaluatie van de JSM. De aanpak van Rossi is gericht op een totale evaluatie van een programma.
1.6.1 De evaluatie van een maatschappelijk programma in het algemeen
Programma-evaluatie moet gezien worden als een scala van samenhangende activiteiten gericht op het verzamelen, analyseren, interpreteren en communiceren van informatie over de effectiviteit van sociale programma’s, die als doel hebben om maatschappelijke condities te verbeteren (Rossi et al. 1999). Het concept van evaluatie omvat aan de ene kant een beschrijving van de prestaties van de entiteit die geëvalueerd wordt en aan de andere kant een aantal criteria waarmee de prestatie wordt beoordeeld.
Figuur 2: Vergelijkingsproces bij evaluaties
Men kijkt bekijkt of de gegenereerde output, voldoet aan de output die volgens de criteria haalbaar zou moeten zijn. Het gaat om een vergelijkingsproces (figuur 2) waarbij de input de prestaties van het programma zijn. De output is een oordeel over de geleverde prestaties na vergelijking met de criteria. Deze weergave van een proces
Input Output Criteria
Prestaties Eindoordeel
komt voort uit de systeemleer, die vaak gehanteerd wordt voor het weergeven van bedrijfsprocessen in de (technische) bedrijfskunde.
Hoe komt een evaluatie tot stand? Elke evaluatie moet op maat gemaakt worden voor het te evalueren programma. De taken die de evaluator moet uitvoeren hangen af van het doel van de evaluatie, de organisatiestructuur van het programma en de beschikbare middelen. Voordat de evaluator een evaluatieplan kan opstellen, moet hij eerst deze aspecten van de evaluatiesituatie onderzoeken. Hij kan dit doen door het voeren van gesprekken met de belanghebbenden. Dit zijn de beleidsmakers, de uitvoerenden van het project en de deelnemers aan het project. Hierna kan een op dit vooronderzoek gebaseerd evaluatieplan worden opgesteld. In dit plan staan de vragen die beantwoord moeten worden, de methoden die hiervoor worden gebruikt en de relaties die ontwikkeld moeten worden met de belanghebbenden (figuur 3).
Een van de meest uitdagende aspecten van het doen van een evaluatie is dat er geen
“one size fits all” methode is. Elke evaluatiesituatie heeft zijn eigen profiel en karakteristieken. Er is geen standaardmethode die je kan toepassen op een willekeurig programma om zo tot de gewenste uitkomsten van een evaluatie te komen. Het is een zoekproces, dat voor elk programma tot een andere uitkomst leidt. De basis van elke evaluatie bestaat volgens Rossi et al. uit drie onderwerpen:
1. De vragen die de evaluatie moet beantwoorden.
Er is een oneindig aantal vragen die kunnen ontstaan inzake een maatschappelijk project bij een groot aantal geïnteresseerde partijen. Er kunnen twijfels zijn over de noodzaak bij de doelpopulatie en over het feit of de doelgroep wel op de juiste manier word bereikt en bediend. Er kunnen ook twijfels zijn over het management en de uitvoering van het project, de effectiviteit van het programma, over het feit of het project wel de gewenste impact heeft en over de kosten en de efficiency. Over het algemeen beantwoordt een evaluatie niet al deze vragen en twijfels, maar maakt men een keuze uit deze vragen om te beantwoorden.
2. De methoden en procedures die de evaluator gebruikt om deze vragen te beantwoorden.
Voor een evaluator is het van belang om te weten hoe hij bruikbare, actuele en geloofwaardige informatie over de verschillende dimensies van de projectprestaties kan krijgen. Er is een groot scala aan sociale/maatschappelijke onderzoekstechnieken en conceptuele gereedschappen aanwezig voor deze taak. Een evaluatieontwerp moet die methoden identificeren die nodig zijn om de ontstane vragen te beantwoorden en te organiseren in een tastbaar werkplan.
3. De aard van de evaluator-belanghebbenden relatie.
Een van de belangrijkste lessen uit de eerste tientallen jaren van systematische evaluatie is dat de assimilatie en het gebruik van de bevindingen van de evaluatie door de belanghebbenden niet vanzelf gaan. Een deel van het evaluatieontwerp is daarom een plan voor het effectief interacteren met de belanghebbenden van het project, zodat effectief gebruik wordt gemaakt van de bevindingen van de evaluatie. In het plan staat ook de rol van de evaluator.
Daarnaast geeft het aan welk publiek moet worden bereikt, met welk informatie en wanneer en in welke vorm dit zal gebeuren, mondeling of schriftelijk.
Figuur 3: Invloeden op de basis van een evaluatie
1.6.2 Het doel van de evaluatie
Evaluaties worden om vele redenen uitgevoerd en hebben vele verschillende doelen die per situatie verschillen. Zo worden er evaluaties uitgevoerd om het management te helpen bij het verbeteren van een project, om kennis te verwerven over de effecten van het project, om input te verschaffen voor beslissingen over de financiering van projecten en de structuur van projecten, of om te voldoen aan de politieke druk.
Een van de eerste beslissingen die de evaluator moet nemen, is vaststellen met welk doel de evaluatie wordt gedaan.
De evaluator stelt vast wat het doel van de evaluatie is door te bepalen wie de evaluatie wil, wat men wil weten en waarom men dat wil weten. Er is geen pasklare methode om dit te doen, maar meestal is het de beste manier om als een journalist te handelen die een verhaal wil maken. Er moeten brondocumenten worden bestudeerd, sleutelinformanten worden geïnterviewd en de geschiedenis en achtergrond moeten worden achterhaald.
In het algemeen worden evaluaties om een of meer van de volgende redenen gedaan3: Projectverbetering, accountability/verantwoordelijkheid, kennisvergaring, politieke redenen of public relations. De twee meest voorkomende redenen zijn projectverbetering en accountability en in mindere mate public relations.
Projectverbetering
De bevindingen van een evaluatie kunnen bedoeld zijn om informatie te leveren voor een verbetering van het project. Zo’n evaluatie wordt meestal vormende evaluatie genoemd4, omdat het doel is om te helpen bij het vormen van een beter project. De afnemers van de informatie van een vormende evaluatie zijn de mensen die belang hebben bij een beter project. Het gaat meestal om de programmaplanners, de programmacoördinator, een raad van toezicht en financiers met interesse in het optimaliseren van de effectiviteit van het programma. De mensen die gebruik maken van het programma hebben ook baat bij een verbeterd programma, maar zij hebben niet de mogelijkheid om iets aan het programma te veranderen. Dit kunnen de projectplanners en de coördinator wel. Hiervoor hebben zij ook de financiers en raad van toezicht nodig.
De informatie die gewenst is door deze personen kan gerelateerd zijn aan de noodzaak voor het project, het programmaconcept en -ontwerp, de implementatie, de impact of de efficiëntie van het programma. Wanneer programmaverbetering het doel van de evaluatie is, zal de evaluator in dit geval nauw samenwerken met het programmamanagement en andere belanghebbenden in het ontwerpen, leiden en rapporteren van de evaluatie. Evaluatie voor programmaverbetering benadrukt bevindingen die actueel, concreet en meteen bruikbaar zijn Ook is er regelmatig relatief
Organisatiestructuur
Basis van de evaluatie bestaat uit:
-De vragen die beantwoord moeten worden.
-De methoden die hiervoor worden gebruikt.
-De relaties die ontwikkeld moeten worden met de belanghebbenden om de resultaten te
presenteren en implementeren.
Doel van de evaluatie Beschikbare middelen
informele communicatie tussen de evaluator en de programmaplanners en de coördinator over de bevindingen van de evaluator.
Accountability
Het gebruik van maatschappelijke middelen, zoals belastinggeld voor maatschappelijke dienstverleningsprogramma’s wordt gerechtvaardigd door het feit dat deze programma’s een positieve bijdrage hebben aan de maatschappij. Hieruit volgt, dat mensen met een grote verantwoordelijkheid voor zulke maatschappelijke investeringen, willen dat deze programma’s hun middelen effectief en efficiënt gebruiken en ook daadwerkelijk de gewenste voordelen opleveren. Een evaluatie kan worden uitgevoerd om na te gaan of aan de verwachtingen wordt voldaan.
Zo’n soort evaluatie wordt vaak summatieve evaluatie genoemd4, omdat het doel van de evaluatie is een samenvattend oordeel te generen over bepaalde kritische aspecten van de programmaprestaties. De bevindingen van een summatieve evaluatie zijn meestal bedoeld voor de beslissers die een belangrijke rol spelen in het programmatoezicht. Een summatieve evaluatie kan beslissingen beïnvloeden met betrekking tot programmavoortgang en de allocatie van middelen.
1.6.3 Typen evaluatievragen en conceptuele raamwerken
Een programma-evaluatie is in essentie de verzameling van informatie en een poging tot het interpreteren van deze informatie met het doel een aantal vragen te kunnen beantwoorden met betrekking tot de prestaties en de effectiviteit van het programma.
Een belangrijke stap in het ontwerpen van een evaluatie is het vaststellen van de vragen die de evaluatie moet beantwoorden. De vragen die gesteld worden, hangen af van het doel van de evaluatie. De meest gebruikte conceptuele en methodologische raamwerken bij het uitvoeren van evaluaties, komen overeen met de typen evaluatievragen die vaak gesteld worden. Zoals een beoordeling van de noodzaak (need assessment) antwoord geeft op de evaluatievraag: Is er een noodzaak voor het programma?
Rossi et al. onderscheiden de volgende typen conceptuele raamwerken:
• Beoordeling van de noodzaak: beantwoordt vragen over de maatschappelijke condities waar een programma zich op wil richten en de noodzaak voor een programma.
• Beoordeling van de programmatheorie: beantwoordt vragen over programma conceptualisatie en ontwerp.
• Procesevaluatie: beantwoordt vragen over programma-activiteiten, implementatie en dienstverlening.
• Impactbeoordeling: beantwoordt vragen over de uitkomsten en de impact van het programma.
• Efficiencybeoordeling: beantwoordt vragen over de programmakosten en kosteneffectiviteit.
In bijlage 2 is een uitgebreide beschrijving te vinden van de bovenstaande conceptuele raamwerken. Men maakt gebruikt van één van deze raamwerken, wanneer men antwoord wil hebben op één evaluatievraag. Wanneer men antwoord wil hebben op meerdere vragen, kan men meerdere raamwerken gebruiken.
In sommige omstandigheden kan de evaluatie van een sociaal programma al deze gebieden behelzen, evaluaties die dit doen worden uitgebreide evaluaties genoemd.
(Rossi et al. 1999)
Wanneer je aan een uitgebreide evaluatie begint moeten eerst de maatschappelijke condities (dit zijn de omgevingsfactoren waar rekening mee gehouden dient te worden), de doelpopulatie en de benodigde diensten worden vastgesteld en beoordeeld. Met deze eerste beoordeling omtrent de noodzaak in de hand kan de evaluator zich vervolgens afvragen of het basisconcept van het programma (de programmatheorie) geschikt is om de behoeften te bevredigen. (Rossi et al. maken gebruik van de term programmatheorie om het plan (blauwdruk) aan te geven waarop het programma gebaseerd is. De term theorie zorgt vaak voor verwarring. Om verwarring te voorkomen, wordt vanaf nu de term programmaplan gehanteerd.)
Wanneer het programma hier niet toe in staat lijkt te zijn, moeten aanpassingen worden gedaan aan het programmaplan. Als het programmaplan wel geschikt lijkt te zijn, is de volgende vraag of het programma daadwerkelijk zo geïmplementeerd en geoperationaliseerd is als bedoeld. Tekortkomingen in de implementatie kunnen meestal worden opgelost met behulp van managementinitiatieven. Als het programma als bedoeld geïmplementeerd is, dan is het van belang om te kijken of het programma de gewenste impact heeft.
Wanneer een programma niet de gewenste impact heeft dan is of het programma niet goed geïmplementeerd of het programmaplan is niet juist. Wanneer de gewenste effecten worden gegenereerd dan is het van belang om te kijken naar de kosten die gemaakt zijn om deze effecten te behalen. Het gaat er dan vooral om of de effecten op een efficiënte manier tot stand zijn gekomen. Wanneer het programma niet efficiënt is dan moet het programmaplan aangepast worden of het programma moet anders worden geïmplementeerd. In figuur 4 is schematisch weergegeven hoe een uitgebreide evaluatie verloopt.
De algemene aanpak bij een evaluatie van een maatschappelijk programma, is dus in de eerste plaats bepalen met welk doel de evaluatie wordt uitgevoerd, om welk programma het gaat en wat de beschikbare middelen zijn. In de tweede plaats wordt bepaald welke evaluatievragen beantwoord moeten. Wordt het een uitgebreide evaluatie of wordt alleen één bepaalde evaluatievraag beantwoord? Vervolgens hangt het van de evaluatievragen af welke methoden gehanteerd moeten worden voor het beantwoorden van deze vragen. Mogelijke methoden voor het beantwoorden van de evaluatievragen zijn het bestuderen van literatuur, het bestuderen van gegevens omtrent een maatschappelijke programma (bijv. begroting, programmaplan), het bestuderen van de processen en het praten met de verschillende stakeholders en deelnemers aan het programma.
Figuur 4: Algemene aanpak van een uitgebreide evaluatie met feedbacklussen
- +
- +
- +
- +
Of Of
Noodzaak Programmaplan Proces Impact Efficiency
1.7 Bruikbaarheid van de evaluatiemethodiek voor de JSM
Nu de algemene aanpak voor het doen van een evaluatie duidelijk is, zal deze algemene werkwijze worden gespecificeerd voor de JSM.
Zoals in het begin van paragraaf 1.6 is aangegeven, moet degene die de evaluatie gaat uitvoeren eerst op de hoogte zijn van het doel van de evaluatie, de organisatiestructuur van het programma en de beschikbare middelen. Deze zullen hieronder nader beschreven worden.
1.7.1 Doel van de evaluatie van het JSM-programma
Het doel van de evaluatie van de JSM is tweeledig. De uitkomsten van de evaluatie zijn bedoeld om informatie te leveren voor een mogelijke verbetering van het project. Ook heeft de evaluatie ten doel een samenvattend oordeel te generen over de resultaten van het project om zo een oordeel te kunnen geven over de allocatie van middelen en een eventuele voortgang van het project. Het gaat dus om zowel een vormende als summatieve evaluatie. De nadruk ligt echter op de mogelijke verbeteringen die de evaluatie aan het licht zal brengen.
De aanleiding tot het doen van de evaluatie was namelijk niet zozeer de vraag of het programma doorgang moet blijven vinden, maar wat er verbeterd zou kunnen worden aan het programma, zodat de effectiviteit en de efficiëntie omhoog zullen gaan.
Natuurlijk is het van belang of het programma tot de gewenste resultaten leidt, maar de faculteit vindt het initiatief zo belangrijk dat ze het in principe doorgang wil geven, zeker nadat uit eerdere evaluaties is gebleken dat de studenten tevreden zijn over het
programma. (bron: personal communication met de leden van de projectgroep)
1.7.2 Programma
Vervolgens moet duidelijk zijn welk programma geëvalueerd wordt. Bij deze evaluatie wordt het programma en de activiteiten van de Junior Scientific Masterclass onder de loep genomen. Het programma bestaat uit de verschillende programmaonderdelen die nader worden beschreven in hoofdstuk 2 en de daarbij behorende voorbereidende, uitvoerende en ondersteunde activiteiten om alle onderdelen uit het programma van de JSM te realiseren.
In deze evaluatie wordt aandacht besteed aan de organisatorische aspecten van het programma en de uiteindelijke resultaten van het programma. Er wordt geen aandacht besteed aan de inhoudelijke informatie die verstrekt wordt aan de studenten die deelnemen en aan de onderwijskundige kwaliteit van het programma.
1.7.3 Middelen
Ten derde is het van belang om de beschikbare middelen in het oog te houden. In de eerste plaats is een beperkt aantal middelen (tijd en menskracht) beschikbaar voor het uitvoeren van de evaluatie. Daarnaast heeft de projectgroep een beperkt aantal financiële middelen tot haar beschikking. Hier moet rekening mee gehouden worden bij het doen van aanbevelingen voor verbeteringen. Het is niet zinvol om verbeteringen voor te stellen die buiten het budget van de projectgroep vallen. Het budget van de JSM is ongeveer €140.000. Een nadere specificatie volgt in paragraaf 5.4.1.
1.7.4 Evaluatievragen en conceptueel raamwerk
De volgende belangrijke stap in het ontwerpen van een evaluatie is het vaststellen van de vragen die de evaluatie moet beantwoorden. De projectgroep wil weten of de programma-activiteiten op de juiste manier verlopen, ze wil weten of het JSM-
programma de gewenste resultaten oplevert en ze wil weten of dit wel op een efficiënte manier wordt bereikt. Dit betekent dat hier sprake is van een uitgebreide evaluatie.
In de eerste plaats geef ik in hoofdstuk 2 een beschrijving van het JSM-programma. In deze evaluatie zal ik me gezien de vraagstelling vooral richten op het proces, de impact en de efficiency (zie onderstaand figuur 5) van het JSM-programma. Alvorens dit te doen bespreek ik eerst de vraag waarom een programma zoals dat van de JSM noodzakelijk is. Dit doe ik aan de hand van een literatuuronderzoek. Het is van belang om na te gaan of het programma in theorie tot de gewenste resultaten kan leiden. Aangezien het programma van de JSM nog niet lang genoeg loopt om een volledig beeld van de resultaten te geven is er voor gekozen om te beoordelen of het programma in de toekomst tot de gewenste resultaten zou kunnen leiden. Daartoe heb ik een studie uitgevoerd naar de tot nu toe behaalde resultaten van gelijksoortige programma’s in de Verenigde Staten. Een samenvatting van deze studie volgt in paragraaf 3.2.
Om het proces te kunnen beoordelen, moeten er criteria zijn waarop het programma beoordeeld kan worden. Om te bezien welke criteria in dit geval gehanteerd zouden kunnen worden heb ik bij de overige zeven geneeskunde faculteiten proberen na te gaan of zij gelijksoortige programma’s hebben en aan welke eisen dergelijke moeten voldoen. De uitkomsten van die rondvraag staan beschreven in paragraaf 3.3
Ook heb ik een beleidsrapport (Rapport Commissie Kwartiermakers) gebruikt, waarin bruikbare criteria naar voren kwamen. Deze lijst van criteria bevat zowel criteria die de programmatheorie als de impact beoordelen, maar ze zijn voornamelijk gericht op de beoordeling van het proces. Welke criteria dit precies zijn en wat de aanleiding was tot het opstellen van deze criteria staat beschreven in paragraaf 3.4. In hoofdstuk 4 geef ik een beoordeling over het programmaplan van de JSM. Hierbij maak ik gebruik van de beschrijving van het JSM-programma, de studie naar de programma’s in de Verenigde Staten en informatie van het Onderwijsinstituut. In hoofdstuk 5 komt een beoordeling van het proces van de JSM aan de orde. Hierbij maak ik gebruik van de kwaliteitscriteria van de Commissie Kwartiermakers. In hoofdstuk 6 wordt de impact van het JSM- programma besproken. Hiervoor maak ik gebruik van de database, eerder uitgevoerde evaluaties en de kwaliteitscriteria. In dit hoofdstuk wordt ook een oordeel gegeven over de efficiëntie van het programma In hoofdstuk 7 worden conclusies getrokken en aanbevelingen gedaan ter verbetering van het JSM-programma. In figuur 5 heb ik de aanpak van mijn onderzoek samengevat.
Noodzaak H3
Programmaplan H4
Proces H5
Impact H6
Efficiëntie H6
Waarom is het JSM-programma noodzakelijk?
Is de opzet van het programma (programmaplan) geschikt om het gewenste resultaat te behalen?
Verloopt het programma zoals zou moeten, vergeleken met kwaliteitscriteria?
Is het programma effectief?
Is het programma efficiënt?
Artikelen over de noodzaak
Kwaliteitscriteria Commissie Kwartiermakers
Database en evaluaties Kwaliteitscriteria Literatuurstudie Amerika
Informatie OWI Informatie projectgroep
Begroting Uitkomsten analyse
Eindoordeel over de JSM H7
Figuur 5: Onderzoeksaanpak voor de evaluatie van de JSM
1.7.5 Evaluator-belanghebbenden relatie
Het derde onderwerp dat van belang is, is de evaluator-belanghebbenden relatie. Het gaat hierbij om een plan van aanpak voor het overbrengen van de bevindingen uit de evaluatie. De bevindingen van de evaluatie zullen naar voren komen in dit rapport. Dit rapport is in de eerste plaats bedoeld voor de leden van de projectgroep. Er zal een vereenvoudigde en ingekorte versie van dit rapport komen dat bedoeld is voor de overige belanghebbenden (stakeholders), zoals het faculteitsbestuur van medische wetenschappen en het Onderwijsinstituut. Daarbij kan de uitgebreide versie als
naslagwerk worden gebruikt. Het rapport zal ik mondeling toelichten aan de leden van de projectgroep. Een aantal van de beoogde verbeteringen zal ik in samenwerking met leden van de projectgroep tot stand brengen. Verder zal in overleg met de leden van de projectgroep een besluit worden genomen over de voortgang van een uitgebreidere evaluatie.
1.8 Onderzoeksopzet en opbouw van het rapport
Nu gekozen is voor de aanpak in figuur 5, moet bepaald worden welke informatie nodig is voor de beantwoording van de deelvragen en waar deze informatie vandaan moet komen.
Om een antwoord te kunnen geven op de deelvragen heb ik literatuur bestudeerd, interviews gehouden, de database bekeken en bijgewerkt en reeds uitgevoerde enquêtes bestudeerd (Tabel 1).
Tabel 1: Overzicht gebruikte methoden en bronnen Algemene
methoden/technieken voor onderzoek:
Bronnen:
Literatuuronderzoek
Medische tijdschriften, evaluatieliteratuur, Beleidsstukken overheid, Internet
Interviews
Leden van de projectgroep, OWI, ICT, COWOG, studenten, overige medische faculteiten
Database/Vragenlijsten Gegevens verzameld door de JSM-projectgroep Bestudering Begroting JSM-projectgroep
Hoofdstuk 1: Onderzoeksopzet
Om antwoord te gegeven op de vraag welk model gehanteerd wordt voor de evaluatie van de JSM, heb ik een literatuurstudie gedaan naar de mogelijk te hanteren methoden voor het doen van evaluaties bij projecten zoals dat van de JSM. Daarom heb ik in eerste instantie gekeken naar literatuur over de evaluatie van sociale programma’s. In de tweede plaats ben ik nagegaan of de overige medische faculteiten in Nederland gelijksoortige projecten hebben als dat van de JSM en welke evaluatiemethoden ze eventueel gehanteerd hebben bij het evalueren van deze projecten. Om achter deze informatie te komen heb ik de websites van de medische faculteiten bestudeerd en alle medische faculteiten aangeschreven. Uiteindelijk ben ik zo tot onderhavige onderzoeksaanpak gekomen.
Hoofdstuk 2: Het JSM-programma
In hoofdstuk 3 komen de doelstellingen en de opbouw van het JSM-porgramma aanbod.
Om de opbouw en de doelstellingen te bepalen bestudeerde ik de volgende documenten:
-interne publicaties zoals beleidsstukken en notulen -het archief en de database
-de begroting
Verder heb ik een aantal interviews gehouden met de leden van de projectgroep.
Hoofdstuk 3: Literatuurstudie
Nadat duidelijk is geworden welke methode ik gebruik voor het evalueren van de JSM, werk ik in hoofdstuk drie de onderzochte literatuur uit.
Het gaat hierom een studie naar de noodzaak van het JSM-programma, een studie naar Amerikaanse MD/PhD-projecten, een studie naar overige initiatieven in Nederland, een studie naar te hanteren kwaliteitscriteria en een studie naar de noodzaak voor het JSM- programma.
Om een beeld te krijgen van de Amerikaanse en overige Nederlandse initiatieven heb ik een zoektocht op het internet gedaan naar MD/PhD-stimuleringsprogramma’s. Verder heb ik een uitgebreide literatuursearch gedaan met behulp van Silverplatter (electronische database van medische tijdschriften) naar artikelen over MD/PhD- programma’s in medische vakbladen.
In de tweede plaats heb ik schriftelijk contact gezocht met de overige medische faculteiten in Nederland, aanvullend heb ik ook telefonisch contact gezocht om informatie te vinden over gelijksoortige initiatieven.
Om tot geschikte kwaliteitscriteria te komen heb ik rapporten bestudeerd over de beoordeling van Hoger Onderwijs in het algemeen en de medische opleidingen in het bijzonder.
Hoofdstuk 4: Het programmaplan
In dit hoofdstuk bekijk ik of de opzet van het programma zoals beschreven in hoofdstuk 2, zodanig is dat het tot de gewenste resultaten kan leiden.
Hiervoor maak ik gebruik van de resultaten van de literatuurstudie naar de situatie in de Verenigde Staten. Ik heb gekeken wat de Amerikaanse programma’s doen om hun doelstellingen te behalen en dit vertaald naar de Nederlandse situatie.
Hoofdstuk 5: Procesevaluatie
In dit hoofdstuk beoordeel ik de implementatie en de werking van het JSM-programma.
Ik kijk hier naar de personele inzet, de middelen en de gerealiseerde kwaliteit van de projectgroep. Hiervoor maak ik gebruik van:
-gesprekken met de leden van de projectgroep en met mensen die werkzaamheden verrichten voor de JSM
-de begroting en vergaderingen naar aanleiding van de begroting -analyse van de bruikbaarheid van de database
-resultaten van de studie naar kwaliteitscriteria
Hoofdstuk 6: Impactevaluatie en Efficiëntie-evaluatie
In dit hoofdstuk bekijk ik de impact van het JSM-programma. Hiervoor maak ik gebruik van:
-een analyse van de database van de JSM. Deze database bevat gegevens over de studenten die hebben deelgenomen aan de JSM-Cursusweek. De analyse bestaat uit het uitvoeren van allerlei queries waardoor deelverzamelingen van de studenten ontstaan, zodat de doorstroom van studenten duidelijk wordt. Hiervoor maak ik gebruik van het database programma Microsoft Acces.
-een analyse van de reeds uitgevoerde enquêtes, naar de meningen van studenten over de verschillende projectonderdelen. Ik heb gebruik gemaakt van de statistische programma’s Excel en SPSS voor het verwerken van de gegevens en het berekenen van de gemiddelden van de antwoorden op de vragenlijsten.
Voor een beoordeling van de efficiëntie maak ik gebruik van bevindingen uit eerdere hoofdstukken.
Hoofdstuk 7: Conclusies en aanbevelingen
In het laatste hoofdstuk komen de conclusies en aanbevelingen naar voren. Hiervoor maak ik gebruik van:
-de resultaten en inzichten uit de eerdere hoofdstukken.
2 Wat is de Junior Scientific Masterclass?
2.1 Doelstellingen van de JSM
De Junior Scientic Masterclass is een project dat in 1999 gestart is onder leiding van Prof. Dr. T.H. The (klinisch immunoloog). De JSM is opgericht om een oplossing te vinden voor het tekort aan medici die patiëntenzorg met wetenschappelijk onderzoek kunnen combineren. De JSM tracht studenten geneeskunde en tandheelkunde te stimuleren tot het doen van wetenschappelijk onderzoek naast hun studie. De opleiding tot basisarts wordt hierdoor verrijkt met een wetenschappelijke scholing die tot een academisch proefschrift kan leiden. Deze promotie vindt in het algemeen plaats aansluitend op het basisartsexamen in combinatie met de opleiding tot een klinisch specialisme (AGIKO-route) of reeds voor het basisartsexamen (MD/PhD-traject). Het JSM Stimuleringsplan loopt als een “rode draad” door de jaren van het curriculum.5
De Junior Scientific Masterclass heeft de volgende doelstellingen:
1. De JSM beoogt gemotiveerde geneeskunde- en tandheelkunde studenten vanaf het begin van hun studie te betrekken bij het wetenschappelijk onderzoek, dat binnen de facultaire onderzoeksinstituten (OZI’s) wordt verricht.
2. De JSM beoogt het voor studenten gemakkelijker te maken in praktische zin onderzoek te verrichten.
3. De JSM beoogt een wetenschappelijke scholing te bieden die een efficiënte en doelmatige route naar een academisch proefschrift mogelijk maakt.
4. De JSM beoogt met haar programma een kweekvijver van potentiële jonge onderzoekers te vormen.
5. De JSM beoogt de uitstroom van studenten uit deze kweekvijver naar de verschillende promotietrajecten mogelijk te maken, onder meer in de vorm van het AGIKO of MD/PhD-traject.
2.2 Globale opzet JSM
Het programma van het JSM Stimulatieplan bestaat uit de volgende onderdelen (zie ook figuur 6 op de volgende bladzijde:
Voortraject
Werving eerstejaarsstudenten
Het voortraject bestaat uit drie elementen die gericht zijn op het werven van studenten:
bijeenkomst wetenschappelijke vorming, mentorgroepen en kennismakingsdag.
De doelstelling van het voortraject is: gemotiveerde en talentvolle studenten in een zo vroeg mogelijk stadium bij het JSM-programma betrekken. Dit zo vroeg mogelijk betrekken bestaat uit
- Het wijzen van studenten op de mogelijkheid van het doen van onderzoek.
- Het selecteren van studenten die in onderzoek verder willen.
De werving voor het JSM-programma start nadrukkelijk bij alle (eerstejaars) studenten.
2.2.1 Bijeenkomst Wetenschappelijke Vorming
De activiteit “Wetenschappelijke Vorming” vindt plaats in de eerste twee trimesters van het eerste studiejaar. Deze Wetenschappelijke Vorming (WV) is een vast onderdeel voor
alle eerstejaarsstudenten en bestaat uit een aantal colleges en opdrachten, in groepjes onder begeleiding van een mentor. De Wetenschappelijk Vorming wordt verzorgd door de WEB (Commissie Wetenschap en Beroep), een commissie binnen het Onderwijsinstituut. Halverwege de WV vindt er een bijeenkomst (college) plaats georganiseerd door de JSM. Tijdens deze bijeenkomst wordt uitgelegd waaruit het JSM- programma bestaat en wat het programma wil bereiken. Ook wordt er kennisgemaakt met studenten die onderzoek verrichten in de vorm van proefprojecten en/of studentships en hun begeleiders. Deze bijeenkomst is duidelijk gericht op het informeren van studenten over de mogelijkheid onderzoek te verrichten naast hun ‘gewone’ studie.
Figuur 6: De ‘rode draad’ (bron: Mission Statement JSM december 2001)
2.2.2 Mentorgroepen
Naast de voorlichtingsbijeenkomst tijdens de Wetenschappelijk Vorming, spelen ook de mentoren van WV-groepjes een rol bij de werving van eerstejaarsstudenten.
De mentoren, die veelal betrokken zijn bij het onderzoek binnen de OZI’s, spelen een rol doordat zij de JSM kunnen tippen over getalenteerde en gemotiveerde studenten die interesse hebben getoond voor wetenschappelijk onderzoek. Aan het einde van het eerste studiejaar inventariseert de JSM bij mentoren welke studenten zij geschikt achten als wetenschappelijke onderzoeker in de toekomst.
2.2.3 Kennismakingsdag
Aan het einde van het eerste jaar (tot nu toe aan het begin van het tweede jaar) vindt de Kennismakingsdag plaats. Alle (eerstejaars) studenten zijn welkom op deze Kennismakingsdag. Tijdens deze Kennismakingsdag maken de studenten kennis met de verschillende onderzoeksinstituten van de medische faculteit.
Door middel van een brief in hun postvakje en een aankondiging van Professor The tijdens een college komen de studenten te weten dat er een kennismakingsdag georganiseerd wordt. Op deze dag worden de doelstellingen van de JSM aan de studenten kenbaar gemaakt. Dit doet Professor The door het houden van een inleidend
Jaar 1 en 2 Bijeenkomst wetenschappelijke vorming Voorlichten en scouten (mentorgroepen)
Kennismakingsdag Voortraject
Keuzeprojecten Studentships & Proefprojecten
Einde jaar 2 Cursusweek Junior Scientific Masterclass Scharnierpunt Jaar 3 en 4 Labcursus
Keuzecursussen Vervolgtraject
Studentships & Proefprojecten
(verlengde) Wetenschappelijke stage Jaar 5 en 6 Co-schappen
Artsexamen Basisarts
Of
Jaar 4,5,6,7 en 8 Medical doctor/Philosophy doctor (MD/PhD-traject)
Gepromoveerd basisarts Of
Basisarts AGIKO-route
Gepromoveerd specialist
verhaal over wat de JSM precies is en wat men kan bereiken door deelname aan het programma van de JSM. Ook houden de coördinatoren van de twee onderzoeksscholen (GUIDE en BCN) en de twee interfacultaire instituten (NCG en BSMA) een aantal voordrachten, zodat de studenten inzicht krijgen in het onderzoek dat bij deze scholen en instituten wordt verricht. De studenten krijgen een Kennismakingsdagboekje waarin de doelstellingen van de JSM, het JSM-programma (de rode draad), de verschillende onderzoeksinstituten met hun onderzoeksprogramma’s en de contactpersonen nog eens op een rijtje staan.
Na deze voordrachten is er een informatiemarkt waar de tien onderzoeksinstituten zich presenteren. (zie Bijlage 1).
2.2.4 Keuzeprojecten
Het keuzeonderwijs is een verplicht onderdeel van het postpropedeutisch programma.
Keuzeonderwijs biedt de studenten de gelegenheid dieper en geconcentreerder in te gaan op (medisch) onderwerpen die niet of niet als zodanig in het curriculum zijn opgenomen. In het tweede en derde jaar moeten de studenten één keuzeproject (4 studiepunten totaal, of te wel 2 weken in het tweede jaar en twee weken in het derde jaar) volgen.
De Keuzeprojecten worden onder verantwoordelijkheid van de WEB georganiseerd.
Naast de ‘gewone’ Keuzeprojecten zijn er JSM Periodeprojecten (projecten met ster).
Deze projecten worden georganiseerd vanuit de onderzoeksinstituten van de faculteit en bieden een brede kennismaking met het scala van onderzoek dat binnen de verschillende instituten plaatsvindt.
De JSM-keuzeprojecten zijn ontwikkeld met het doel de studenten de mogelijkheid te bieden zich te verdiepen in onderzoeksonderwerpen als voorbereiding op de andere stimuleringsmiddelen van het JSM-programma (zoals proefprojecten en studentships).
In totaal worden thans twaalf JSM-keuzeprojecten georganiseerd, waarin het onderzoeksprogramma van het betreffend OZI wordt geïllustreerd, namelijk:
• Onderzoeksinstituut voor Lever-, Darm- en Stofwisselingsziekten
• Division of Renal Diseases
• Groningen Research Institute for Asthma and COPD
• Onderzoeksinstituut Motoriek
• Cardiovasculair Onderzoeksinstituut
• Onderzoeksinstituut voor Transplantatie, Immunologie en Ontsteking
• Noordelijk Centrum voor Gezondheidsvraagstukken
• Onderzoeksinstituut Emotionele en Cognitieve Stoornissen
• Gronings Oncologie Centrum
• Onderzoeksinstituut Biomaterialen
• Chronische ziekte, kwaliteit van leven en determinanten
• JSM-laboratoriumcursus
In principe mogen alle studenten deelnemen aan de projecten met ster. Wanneer er echter te veel inschrijvingen zijn voor een keuzeproject met ster wordt er gekeken of een student wel of niet aanwezig was op de Kennismakingsdag. Studenten die wel aanwezig waren hebben voorrang op studenten die niet aanwezig waren.
Scharnierpunt
2.2.5 Cursusweek
Voor een geselecteerde groep van gemotiveerde 2e jaars (voorheen 3e jaars) studenten geneeskunde en tandheelkunde wordt in de zomer een cursusweek georganiseerd door
de JSM projectgroep. In eerste instantie is de JSM begonnen met alleen de Cursusweek De Cursusweek wordt ook wel het scharnierpunt genoemd, omdat pas na deelname aan de Cursusweek de studenten ‘JSM-ers’ worden genoemd.
De Cursusweek heeft als doel het vormen van een kweekvijver van studenten met potentie klinisch wetenschappelijk onderzoeker te worden. Het gaat om een thematische en OZI overschrijdende cursus, waarin naast inhoudelijke aspecten ook aandacht wordt geschonken aan de beleving van onderzoek. De Cursusweek, sterk gericht op theoretische aspecten van wetenschappelijk onderzoek, is nauw verbonden met de laboratoriumcursus in het derde studiejaar, waarin studenten in praktische zin kennismaken met onderzoek. De Cursusweek vormt het belangrijkste deel van het JSM- programma.
De Cursusweek biedt een training in het klinisch wetenschappelijk onderzoek. Hiermee kunnen de studenten hun kansen verhogen voor het verkrijgen van een opleidings- plaats tot het voorkeurspecialisme in combinatie met het verrichten van een promotie- onderzoek binnen een efficiënt tijdsbestek. Deelname aan de cursus is gratis.
Voor twintig studenten per Cursusweek wordt in een interactieve vorm aandacht besteed aan het lezen van artikelen, het opzetten en uitvoeren van onderzoek. Er zijn colleges van masters (toponderzoekers), er worden posterpresentaties gehouden en er zijn praktijklessen. De studenten vertolken kennis aan elkaar, maar er is ook interactie met de masters. Dit is het eerste moment in het JSM-programma waar dit expliciet mogelijk is.
Het aantal deelnemers is van 20 in de eerste twee jaar gegroeid naar 60 deelnemers in 2001. De deelnemers worden door middel van een sollicitatiebrief en –gesprek geselecteerd. Ook is de Cursusweek van het derde jaar naar het tweede jaar verplaatst om de scharnierfunctie nog eens extra te benadrukken. De aankomende Cursusweek van 2002 bevat 20 deelnemers. Het programma van de Cursusweek is te vinden in Bijlage 3.
Vervolgtraject
2.2.6 Labcursus
De Labcursus is een vervolg op de Cursusweek. De theorie die de studenten geleerd hebben in de Cursusweek kunnen ze toepassen tijdens de tweeweekse Labcursus. Het doel van de Labcursus is het in praktisch zin onderzoekservaring opdoen in moleculair- biologische technieken Het tweeweekse cursusprogramma schoolt de student verder in de onderzoekspraktijk, enerzijds door het aanleren en uitvoeren van labtechnieken en anderzijds door training in het presenteren van wetenschappelijk onderzoek op basis van literatuur. Voor het presenteren krijgen de cursisten ruim van tevoren de literatuur te bestuderen om hierover uiteindelijk een posterpresentatie te verzorgen.
Tot en met 2001 was de Labcursus een apart onderdeel van de JSM dat buiten het curriculum om georganiseerd werd. Vanaf 2002 wordt de Labcursus bestempeld als JSM-Keuzecursus. Dit betekent dat de Labcursus wordt georganiseerd in de Keuzeprojectperiode van het derde studiejaar geneeskunde.
Uiteraard is de Labcursus ook bedoeld voor tandheelkundestudenten. Momenteel wordt nagegaan in hoeverre deze cursus is in te passen in het derde jaar van het tandheelkundecurriculum. De studenten kunnen twee studiepunten behalen na deelname aan de Labcursus.
Alleen wanneer studenten hebben deelgenomen aan de Cursusweek kunnen ze deelnemen aan de Labcursus.
2.2.7 Keuzecursussen
De keuzecursus is een onderdeel van de opleiding dat in het vierde studiejaar aan bod komt. In de tandheelkunde opleiding is dit onderdeel niet geprogrammeerd. Het uitgangspunt van een keuzecursus is: aanvullende theoretische en wetenschappelijke scholing van de student, waarbij (met een ruime interpretatie) een relatie met de opleiding tot medicus aanwezig is. De WEB is verantwoordelijk voor de kwaliteitsbewaking en programmering van de keuzecursussen. Een aantal keuzecursussen heeft een inhoud die van algemene waarde is voor het verrichten van wetenschappelijk onderzoek. Een keuzecursus kan ook dienen als een verdieping in een onderdeel van de geneeskunde waarin de student wetenschappelijke interesse heeft.
Keuzecursussen verschillen dus van keuzeprojecten. Keuzeprojecten zijn voor 2e- en 3e- jaarsstudenten en zijn vaak een soort meeloopstage. Keuzecursussen zijn voor 4e- jaarsstudenten en hebben een wetenschappelijk uitgangspunt. De JSM heeft op dit moment drie JSM-keuzecursussen.
• Instituut voor Lever, darm en stofwisselingsziekten
• Immunologie 1
• Pathogenese van astma en COPD Vanaf volgend jaar komen er de volgende drie bij:
• Immunologie 2
• Medische Microbiologie
• Proefdierkunde
Hiervoor zijn op het moment pas een paar inschrijvingen. De JSM wil stappen ondernemen om het aantal deelnemers in de toekomst te vergroten.
2.2.8 Studentships en Proefprojecten
Een studentship is een aaneengesloten buitencurriculaire periode, bijvoorbeeld de zomermaanden, die door een tweede-, derde- of vierdejaarsstudent wordt gebruikt om in praktische zin onderzoekservaring op te doen. Het is de bedoeling dat de kandidaat actief participeert in lopende onderzoeksprojecten binnen een onderzoeksinstituut. Dit biedt niet alleen de mogelijkheid om technisch ervaring op te doen, maar tegelijkertijd zoveel mogelijk de dagelijkse gang van zaken in het onderzoek te ervaren en werkbesprekingen bij te wonen. Zo zou bijvoorbeeld een deel van het praktische werk van een AIO door de student kunnen worden uitgevoerd. Als tegenprestatie is de student co-auteur van het daaruit voortvloeiende manuscript. Voor de geleverde inspanning krijgt de student een financiële beloning (aanstelling gedurende één maand in deeltijd - 40% - als student-assistent).
Onder een proefproject wordt een financiële bijdrage (bench-fee) verstaan, die wordt aangewend om tweede-, derde- en vierdejaarsstudenten in praktische zin wetenschappelijk onderzoek te kunnen later verrichten. Idealiter sluiten proefproject en studentship op elkaar aan, waarbij het eindpunt een verslag respectievelijk een publicatie of abstract voor een internationaal congres is. Een publicatie is een voorwaarde voor deelname aan het MD/PhD-traject.
2.2.9 Wetenschappelijke stage
De wetenschappelijke stage is voor iedere student een verplicht onderdeel van de opleiding. Het is de bedoeling dat de student gedurende drie maanden een wetenschappelijk onderzoek doet. Dit onderzoek kan op van alles betrekking hebben.
Het kan hierbij bijvoorbeeld gaan om statusonderzoek, maar ook om klinisch wetenschappelijk onderzoek. De JSM speelt nu nog geen rol bij de wetenschappelijke stage, maar wil dit in de toekomst wel gaan doen, aangezien de student ook tijdens dit
deel van het verplichte curriculum zich kan richten op klinisch wetenschappelijk onderzoek. Dit wordt op het moment nader door de projectgroep uitgewerkt.
Het einddoel van het JSM-programma is een promotie van de studenten. Dit kan na het basisartsexamen of reeds voor het basisartsexamen.
2.2.10 MD/PhD-traject
Het (D)MD/PhD-traject is een promotietraject, waarin wetenschappelijk onderzoek wordt gecombineerd met de co-assistentschappen of de laatste fase van de tandheelkunde opleiding. De opleiding wordt hiertoe met twee jaren verlengd. Het (D)MD/PhD- programma maakt het voor het eerst mogelijk studenten op te leiden tot gepromoveerd wetenschappelijk onderzoeker (PhD) en te laten afstuderen als basisarts (MD) of tandarts (DMD). Het MD/PhD-traject biedt studenten de mogelijkheid om versneld een promotietraject af te leggen. De studenten krijgen zo de mogelijkheid om reeds voor het basisartsexamen te promoveren. Het MD/PhD-programma is een aantrekkelijk programma om een aantal redenen. Ten eerste is het voor in wetenschappelijk onderzoek geïnteresseerde studenten mogelijk gemaakt naast de normale onderwijsverplichtingen een promotietraject te doorlopen. Ten tweede kost het promotietraject minder tijd. Met een tijdsinvestering van twee extra jaren boven op de studieduur van zes jaar heeft de student de kans in een vroeg stadium van zijn professionele carrière een proefschrift te voltooien. Dit heeft voordelen, omdat blijkt dat naarmate promovendi verder zijn in hun carrière, het steeds lastiger wordt om een promotieonderzoek succesvol af te ronden. Ten derde worden de kansen om een opleidingsplaats te verkrijgen voor het specialisme van voorkeur aanzienlijk vergroot (Bron website JSM).
Het voorwerk van het onderzoek voor het MD/PhD-traject wordt uitgevoerd tijdens en naast het reguliere curriculum in jaar één tot en met vier. De betrokkenheid van de student in het onderzoek zal blijken uit een manuscript dat ter publicatie aan een bij voorkeur internationaal tijdschrift is aangeboden. Het vervolg van het onderzoek wordt ingevuld door een traject waarin de student de wetenschappelijke stage doorloopt, de co-assistentschappen gevolgd worden en in een periode van twee extra jaren onderzoek verricht. Het traject kan op diverse manieren worden ingevuld, waarbij perioden van onderzoek met de co-assistentschappen worden afgewisseld.
Om het MD/PhD-programma met succes te kunnen volgen zijn twee zaken belangrijk:
• Vroeg beginnen. Door een uitgebreide kennismaking met het toponderzoek binnen een van de tien Onderzoeksinstituten (OZI’s) doet de student ervaring op in het verrichten van wetenschappelijk onderzoek. Het is dan bovendien mogelijk voorwerk te verrichten binnen de onderzoekslijn van het uiteindelijke promotieonderzoek
• Systematiek. Er wordt een extracurriculair scholings- en trainingstraject aangeboden in de vorm van de cursusweek, de laboratoriumcursus, proefprojecten, studentships etc. (JSM-programma). Verder worden delen uit het reguliere curriculum voor verdere scholing en training gebruikt, alsmede voor het opdoen van praktijkervaring. Hierbij valt te denken aan keuzeprojecten, - cursussen en de wetenschappelijke stage. Door gebruik te maken van deze extra- en intracurriculaire elementen is een systematisch aanpak voor het opzetten van een MD/PhD-traject in de eerste jaren van de studie mogelijk.
2.2.11 Overige promotietrajecten
Naast het MD/PhD-traject kan de student ook kiezen voor een van de overige promotietrajecten:
1. NWO-AGIKO (promotieonderzoek als basisarts, tijdens specialisatie, gefinancierd door Nederlandse Organisatie voor Wetenschappelijk Onderzoek) 2. FMW/AZG-AGIKO (promotieonderzoek als basisarts, tijdens specialisatie,
gefinancierd door Faculteit Medische Wetenschappen of Academisch Ziekenhuis Groningen)
3. AIO (promotieonderzoek na doctoraal en vóór co-schappen)
4. Arts-onderzoeker (drie of vierjarig promotieonderzoek vóór specialisatie) 5. Specialist-onderzoek (promotieonderzoek na specialisatie)
De JSM kan bij de instroom van de studenten na het (tand)artsexamen naar deze promotietrajecten een bemiddelende rol spelen. De student kan natuurlijk ook besluiten om helemaal niet te gaan promoveren. In dat geval behaalt de student niet het resultaat dat de JSM met haar project probeert te bereiken.
2.3 De doelgroep
Het JSM-traject is bedoeld voor gemotiveerde studenten geneeskunde en tandheelkunde, die later arts én onderzoeker willen worden.
Per jaar starten er ongeveer 300 studenten met een geneeskunde opleiding en ongeveer 60 studenten beginnen met de opleiding tandheelkunde6.
Het programma wordt zoals boven beschreven aangeboden aan de studenten van tandheelkunde en geneeskunde. Het programma is hetzelfde voor de studenten van beide studies. Zij kunnen van af hun eerste studiejaar in contact komen met het JSM- programma. Het programma is echter vrijblijvend en de studenten kunnen in principe zelf bepalen aan welke onderdelen ze deelnemen en aan welke niet. Voor een aantal onderdelen is een sollicitatieprocedure ingesteld die bepaalt welke studenten uiteindelijk echt aan een bepaald onderdeel mogen deelnemen.
De verschillende mogelijkheden voor het doorlopen van het programma staan aangegeven in figuur 7.
Figuur 7: Flowchart v/h JSM-Programma
Bijeenkomst Wetenschappelijke Vorming Kennismakingsdag
Mentorgroepen
Keuzeprojecten Keuzecursus Cursusweek Labcursus
Studentship Proefproject
Oriëntatie
Verdieping
Uitvoering
Promotietraject
2.4 De maatschappelijke condities
De Junior Scientific Masterclass is onderdeel van een complex geheel. In de eerste plaats is zij afhankelijk van de samenwerking tussen de medische faculteit, het AZG en de onderzoeksinstituten. Hier volgen een aantal voorbeelden van die samenwerking. De medewerkers van de onderzoeksinstituten moeten bereid zijn om mee te werken aan de verschillende programmaonderdelen van de JSM, voor het geven van informatie en het begeleiden van studenten tijdens het doen van een onderzoek. Er moet ruimte beschikbaar zijn in het AZG-gebouw. Het gaat hierbij onder andere om collegezalen voor bijeenkomsten, laboratoria voor de labcursus en de huisvesting van het secretariaat van de JSM. Verder moet het programma van de JSM afgestemd worden op het curriculum van de geneeskunde en tandheelkunde studenten en spelen het onderwijsinstituut en de WEB een belangrijke rol bij de kwaliteitsbewaking van het JSM- programma.
In de tweede plaats is de projectgroep afhankelijk van geld dat zij van de Faculteit of van andere instellingen krijgen (eerste, tweede en derde geldstroom, zie bijlage 5). Dit geld hebben ze nodig om onder andere de studentships en de proefprojecten te financieren.
Zonder de financiering van de faculteit kan de JSM niet meer blijven voortbestaan.
In de derde plaats heeft de projectgroep de verantwoordelijkheid zich te houden aan de regels rondom het geneeskunde onderwijs die gelden binnen de faculteit. Deze regels hebben onder andere betrekking op extra studielast en selectiebeleid van de JSM. De handelsvrijheid is dus beperkt.
Figuur 8: De drie fasen in het JSM-programma
2.5 Programmaplan
Het programma is opgedeeld in een voortraject, een scharnierpunt en een vervolgtraject.
Er kan echter ook een ander onderscheid gemaakt worden. Het programmatraject is ook in te delen naar Oriëntatie, Verdieping en Uitvoering (zie figuur 8).
Tijdens de Oriëntatie worden de studenten benaderd en worden ze geïnformeerd over de mogelijkheden van de JSM en het doen van klinische wetenschappelijk onderzoek.
(Bijeenkomst wetenschappelijke vorming, Kennismakingsdag en Mentorgroepen)
Tijdens de Verdieping leren studenten hoe ze zelf een onderzoek moeten opzetten, welke technieken er zijn en hoe ze moet publiceren. (Keuzeprojecten, Keuzecursus, Cursusweek en Labcursus)
Tijdens de Uitvoering bestaat uit het zelf verrichten van een onderzoek in samenwerking met een ervaren onderzoeker. (Studentship en Proefproject )
Dit moet uiteindelijk leiden tot een promotietraject waarin de student of basisarts zelfstandig een onderzoek uitvoert en hierover een rapport schrijft. De verdiepings- en uitvoeringsactiviteiten kunnen parallel aan elkaar plaatsvinden.
