Aan: Directeur Stichting SURF
Van: Commissie Projectbewaking Datum: 4 mei 2004
Kenmerk: OW 04.2076
Betreft: Mid Term Review project 'KRUL'
Samenvatting
De Commissie Projectbewaking bewaakt in opdracht van de directeur van Stichting SURF de voortgang van het onderwijsvernieuwingsproject 'Klinisch Redeneren in het Universitair Lijnonderwijs' (KRUL). In dat kader heeft de Commissie Projectbewaking een Mid Term Review uitgevoerd. Onze bevindingen en conclusies zijn verwerkt in voorliggend advies. De Commissie Projectbewaking adviseert de instellingen toestemming te geven het project te continueren.
In dit advies komen achtereenvolgens aanbod:
Inleiding
Mid Term Review: doel en resultaat
Reviewcommissie: samenstelling en werkwijze Karakteristieken van het project
Resultaten tot dusverre
Bevindingen van de Reviewcommissie Conclusies en advies.
Inleiding
De directeur van Stichting SURF heeft de Commissie Projectbewaking verzocht de voortgang van het onderwijsvernieuwingsproject KRUL te bewaken. De Commissie Projectbewaking heeft deze opdracht geaccepteerd en voert de projectbewaking uit volgens de gebruikelijke procedures.
Dit betekent dat de Commissie Projectbewaking:
op basis van kwartaalrapportages de voortgang van het project toetst, drie keer een inhoudelijke beoordeling van het project uitvoert, te weten:
o enkele maanden na de start van het project (Intake Review, is al uitgevoerd) o ongeveer halverwege de projectperiode (Mid Term Review; dit document) o na afloop van het project (End Review).
Mid Term Review: doel en resultaat
Het doel van een Mid Term Review is:
te beoordelen hoe de voortgang van het project zich verhoudt tot hetgeen is opgenomen in het controlling document,
de betrokkenen (projectleider, opdrachtgever) een spiegel voor te houden over het project de directeur van SURF
o te informeren over de bevindingen van de Review
o te adviseren of redelijkerwijze verwacht mag worden dat de doelstellingen en beoogde projectresultaten binnen planning en begroting gerealiseerd zullen worden.
Een Mid Term Review resulteert in een schriftelijk advies van de Commissie Projectbewaking aan de directeur van Stichting SURF. Laatstgenoemde beslist op basis van dit advies of de projectuitvoerder toestemming krijgt om het project wat Stichting SURF betreft te continueren.
Hieraan kunnen bepaalde voorwaarden verbonden zijn.
Reviewcommissie: samenstelling en werkwijze
De Commissie Projectbewaking heeft voor de uitvoering en voorbereiding van de Mid Term Review van het onderwijsvernieuwingsproject KRUL een Reviewcommissie ingesteld. Deze bestond uit de volgende personen:
de heer Sanders mevrouw Zwarthoed.
De Reviewcommissie heeft in het kader van de Mid Term Review de volgende documenten beoordeeld resp. in haar beoordeling meegenomen:
Kenmerk omschrijving 02.2931 controlling document
03.1674 rapportage 1Q03
-- vergadervel Intake Review d.d. 10-06-03 03.2600 verslag Intake Review d.d. 10-06-03
03.2806 brief inzake aanpassingen fase 2 (incl. advies WTR)
03.3010 rapportage 2Q03
03.4192 goedkeuringsbrief rapportage 2Q03
03.4224 rapportage 3Q03
03.4932 goedkeuringsbrief rapportage 3Q03 04.0444 zelfevaluatie Mid Term Review 04.0445 rapportage 4Q03.
De Reviewcommissie heeft op donderdag 26 februari 2004 in het LUMC te Leiden twee gesprekken gevoerd met betrokkenen. Tijdens het gesprek met het projectteam is tevens een demonstratie verzorgd. Bij de gesprekken waren de volgende personen aanwezig.
- Gesprek met het projectteam: mevrouw Beekhuizen, de heer Bloemendaal (projectleider), mevrouw Donnison, mevrouw Eggermont, de heer Quaak en de heer De Vries Robbé.
- Gesprek met vertegenwoordiger namens het College van Bestuur van de penvoerende instelling: de directeur Onderwijs en Studentenzaken (de heer Hendrix).
De Reviewcommissie heeft haar bevindingen, conclusies en advies opgenomen in een memo memo. Een concept van dit memo is voorgelegd aan de projectleider. De Reviewcommissie heeft de opmerkingen van de projectleider in de definitieve versie van het memo verwerkt. De Reviewcommissie heeft het memo voorgelegd aan de Commissie Projectbewaking.
Het memo is besproken in de vergadering van de Commissie Projectbewaking van 24 maart 2004. De projectleider was daarbij aanwezig. De Commissie Projectbewaking heeft de conclusies en het advies van de Reviewcommissie overgenomen en verwerkt in dit memo.
Karakteristieken van het project
Het project KRUL wordt uitgevoerd door LUMC (penvoerder), AMC, UMCN en UMCU. De uitvoering vindt plaats in de periode 1-1-2003 t/m 31-12-2004. De projectbegroting bedraagt € 823.937. Stichting SURF heeft maximaal € 453.780 subsidie voor de uitvoering beschikbaar gesteld.
Doel van het project is de ontwikkeling van een nieuwe onderwijswerkvorm voor het aanleren van systematisch medisch probleem oplossen (klinisch redeneren). Deze werkvorm past bij het toenemende aandeel van gestructureerde zelfstudie in het vernieuwde curriculum voor de opleiding Geneeskunde (zie ook het 'Raamplan 2001').
Klinisch redeneren is een basisvaardigheid die elke arts moet beheersen. Daarom wordt hieraan in elk curriculum geneeskunde aandacht besteed, al heeft elke instelling daarbij wel een eigen
aanpak. Het materiaal dat in dit project ontwikkeld wordt, kan dus aan alle instellingen in Nederland gebruikt gaan worden; het is zowel geschikt voor de integratie in blok- en lijnonderwijs, als voor gebruik bij zelfstudie.
Tijdens het project wordt bestaande simulatieprogrammatuur (DPS) zodanig uitgebreid en aangepast dat een vorm van klinisch redeneren kan worden geïmplementeerd.
In totaal zullen 75 casussen gebouwd worden. Leiden, Amsterdam en Nijmegen ontwikkelen hiervoor elk 25 casussen. Utrecht zal de casussen niet zelf ontwikkelen, maar wel (in beperkte mate) inzetten in het onderwijs.
Het eindresultaat van het project bestaat uit het inzetten van de gemaakte 75 patiëntsimulatiecasussen in de curricula geneeskunde van de deelnemende universitaire medische centra. De casussen worden aangeboden via een centrale server die via internet te bereiken is zodat studenten op elke locatie en op elk tijdstip met de casussen kunnen werken.
In het project worden tevens een helpdesk opgezet voor de samenwerkende instellingen waar binnen het KRULproject casussen worden ontwikkeld.
Men verwacht als gevolg van deze onderwijsvernieuwing mede de volgende resultaten te bereiken:
de kwaliteit van het onderwijs wordt constanter de toegankelijkheid van het onderwijs wordt verbeterd studenten participeren in gelijke mate in het onderwijs
het maakt automatische analyse van kwalitatieve en kwantitatieve participatie van studenten in een werkgroep mogelijk
de druk op docenten vermindert
'schaarse' klinische docenten worden efficiënter ingezet.
Om deze doelstelling en resultaten te realiseren bestaat het project uit de volgende onderdelen:
Fase 1: Aanpassing DPS. Doel: ontwerpen en implementeren van een nieuwe functionaliteit (‘klinisch redeneren’) in de Dynamische Patiënten Simulator (DPS). Resultaat: aangepaste DPS-software beschikbaar voor alle Nederlandstalige onderwijsinstellingen.
Fase 2: Opzetten Windows Based Terminal (WBT) server. Doel: eenvoudige disseminatie van DPS casussen via Internet naar universiteiten en hogescholen. Resultaat: WBT server geschikt voor inzet van DPS casussen.
Fase 3: Inwerken ICTers in DPS. Doel: opdoen van kennis en ervaring met DPS. Resultaat:
de ICTers betrokken bij de productie van casussen kunnen zelfstandig casussen in DPS bouwen.
Fase 4: Helpdesk DPS. Doel: ondersteuning van de betrokken ICT-ers (casusontwikkelaars); voorkomen en oplossen van software-technische problemen.
Fase 5: Inventarisatie onderwerpen. Doel: selectie van onderwerpen en van docenten die bij de productie van DPS-casussen betrokken worden. Resultaat: lijst van casusonderwerpen (diagnostische problemen).
Fase 6: Productie casussen. Doel: productie van 25 casussen vanuit de instellingen LUMC, AMC en UMCN. In eerste instantie in papieren vorm, en in tweede instantie in digitale vorm. Deze digitale vorm wordt vervolgens beoordeeld door de UMCU.
Fase 7: Kwaliteitscontrole casussen. Doel: van elke casus een onafhankelijke beoordeling van de kwaliteit uit te voeren.
Fase 8: Evaluatie onderwijs. Doel: vaststellen van de onderwijskundige effecten van implementatie van de casussen in het onderwijs aan studenten. Resultaten;
onderzoeksrapporten en publicaties.
De kennisdisseminatie wordt verzorgd via o.a. de projectwebsite, website van NVMO (Nederlandse Vereniging Medisch Onderwijs), aangepaste DPScursus, gemaakte casussen en publicaties.
Resultaten tot dusverre
Het is de deelnemende instellingen gelukt tijdig de nieuwe projectmedewerkers te werven, waardoor het project op volle kracht van start kon gaan. De kick-off meeting vond plaats op 16 januari 2003. Het project is vervolgens goed op gang gekomen. Momenteel loopt het op bepaalde fases iets voor, en op andere fases iets achter. Hierna is de status per werkpakket aangegeven.
Fase 1: Aanpassing DPS. De beoogde aanpassing van DPS is gerealiseerd maar detailaanpassingen vinden nog steeds plaats. Het ontwikkelen van de onderwijskundig gezien optimale interface is een continu proces dat in de praktijk parallel loopt aan de ontwikkelingen van de casuïstiek.
Fase 2: Opzetten WBT server. Dit onderdeel is na goedkeuring van SURF anders uitgevoerd dan gepland. Oorspronkelijk zouden de applicaties ter beschikking gesteld worden op een WBT server uitgaande van Citrix metaframe. Besloten is echter uit te gaan van de Windows 2003 Advanced Server. Deze server is eind februari 2004 beschikbaar gekomen. Deze wijziging van fase 2 heeft niet of nauwelijks tot vertraging geleid.
Fase 3: Inwerken ICTers in DPS. Afgerond. Het blijkt in de praktijk dat ontwikkelaars de behoefte hebben om met elkaar over praktische zaken van gedachten te wisselen. Hiervoor worden zgn. terugkomdagen georganiseerd.
Fase 4: Helpdesk DPS. Deze functioneert zoals gewenst. De helpdesk is overigens bedoeld voor auteurs, niet voor studenten. In de praktijk leidt dit ook niet tot problemen.
Fase 5: Inventarisatie onderwerpen. Ook de casusonderwerpen te realiseren in 2004 zijn vrijwel geheel bekend.
Fase 6: Productie casussen. Verloopt volgens planning. In de laatste drie maanden van 2003 is de productie van casusscripts en de implementatie van de casussen in DPS goed op gang gekomen. De eerste casussen en de huidige versie van de klinisch redeneermodule zijn in Nijmegen ingezet voor testdoeleinden met studenten. Dit is goed verlopen.
Fase 7: Kwaliteitscontrole casussen. De eerste 6 casussen zijn volgens planning beoordeeld en afgerond. De verdere beoordeling van casussen heeft echter wat vertraging opgelopen maar de achterstand wordt naar verwachting in maart 2004 ingelopen.
Fase 8: Evaluatie onderwijs. In Nijmegen is in 4Q03 een beperkte proef gedaan. Studenten hebben hun ervaringen met het werken met enkele casussen gerapporteerd. Het aanbieden van casussen aan studenten via DPS zal met name in 2004 plaats gaan vinden.
Bevindingen van de Reviewcommissie
De Reviewcommissie heeft twee gesprekken gevoerd, met eerdergenoemde personen. De gesprekken verliepen in een open en prettige sfeer. De uitgebreide demonstratie was zeer informatief en het getoonde product zag er fraai uit. De Reviewcommissie heeft op basis van de gesprekken en de projectpresentatie een goed beeld gekregen van het project. De vragen van de Reviewcommissie zijn naar tevredenheid beantwoord.
Hieronder zijn de bevindingen van de Reviewcommissie puntsgewijs weergegeven.
1. De projectdocumentatie is tijdig ingeleverd en voldoet aan de eisen van SURF. De rapportages zijn helder, zakelijk van opzet en evaluatief van karakter. De projectleider constateert dat het opstellen van de rapportages relatief veel tijd vergt. Men verdeelt daarom de werklast door rapportages beurtelings door de leden van het projectteam op te laten stellen. Dit bevordert volgens de projectleider tevens de betrokkenheid van de projectgroepleden bij het project. Dit is wellicht een werkbare tip voor andere projectleiders.
2. Het projectteam is enthousiast en werkt goed samen. Het zijn ervaren projectmanagers, die elkaar al langere tijd kennen en ook in eerdere projecten hebben samengewerkt (o.a. het SURF-onderwijsvernieuwingsproject 'Interfacultaire Communicatie Training'). Deze vorm van samenwerken is een belangrijke succesfactor.
3. Een andere succesfactor is het heldere doel dat men bij de start goed voor ogen had. In het project worden namelijk twee ontwikkelingen samengebracht, die al langer bestonden, en waarover voorafgaand aan het project al veel is nagedacht. Het betreft enerzijds de ideeën achter het klinisch redeneren (vanuit met name Nijmegen), in combinatie met de techniek van de Dynamische Patiënt Simulator DPS (vanuit Leiden). Beide komen in dit project samen en worden nu (succesvol) verder ontwikkeld tot een nieuw integraal product.
4. De kans van slagen voor goede inbedding in het onderwijs van de ontwikkelde casussen lijkt uitstekend. De casussen worden eind 2004 in Nijmegen en Leiden in ieder geval in plaats van de papieren casussen ingezet. Er zijn volgens het projectteam geen belemmeringen (ook financieel niet) om de producten te gaan gebruiken. Het projectteam tracht actief de inzet van casussen binnen de opleidingen zoveel mogelijk te verbreden. Men betrekt bijvoorbeeld de docenten zoveel mogelijk bij de ontwikkeling van de casussen, om zodoende de acceptatiegraad zo groot mogelijk te maken. Tegelijkertijd is de werklast voor de docenten bij de ontwikkeling van casussen minimaal, omdat het inbrengen van het casusmateriaal in DPS door de ICT-ers gebeurt. Volgens het projectteam zijn de docenten over het algemeen positief gestemd over het gebruik van de casussen.
5. Gedurende 2004 zullen naar verwachting ca. 1000 studenten de casussen gaan doorlopen.
Het betreft de studenten van de partners in Leiden, Amsterdam en Nijmegen. In Utrecht is de vertrouwdheid met COO-materiaal minder en is het gebruik van de digitale casussen nog niet ingebouwd in het curriculum. Wel vindt daar nu discussie plaats over de inzet van casuïstiek.
6. De ontwikkelde casussen zouden ook goed gebruikt kunnen worden door andere medische instellingen. Het leren klinisch redeneren is immers een basiscompetentie die elke arts zich eigen moet maken. De programmatuur en casussen zijn ook zodanig opgezet dat ze bij elke instelling te gebruiken zijn. Ook aan goede toegankelijkheid wordt gewerkt. Alle 75 casussen zullen toegankelijk gemaakt worden via het LRS.NET van Leiden (LRS = Les Registratie Systeem). Het LRS.NET maakt registratie van het casusgebruik mogelijk (het LRS.NET registreert begintijd, eindtijd, score, kosten en commentaar). Binnen het LRS.NET wordt een aparte KRUL-groep gemaakt. Hierbij zullen echter wel enkele toegangsrestricties gelden. De gebruiker moet een zgn. 'KRULler' zijn om erbij te kunnen (student of docent zijn in Leiden, Nijmegen, Amsterdam of Utrecht). Men heeft nog niet veel reclame gemaakt voor het LRS.NET, maar krijgt er desondanks al veel reacties op. De casussen van Leiden zullen in ieder geval ook via internet openbaar toegankelijk gemaakt worden. Dit geeft trouwens direct een goede marketing van het product (uitgaande van goede kwaliteit van de casussen).
7. Over het algemeen tonen andere instellingen (ook het HBO) veel interesse voor het ontwikkelde product. De ontwikkelde casussen zijn echter opleidingsspecifiek, dus niet direct buiten een medisch curriculum te gebruiken. In bijv. het HBO zou men deze zelf moeten ontwikkelen. Het projectteam suggereert binnen de vakgroepen Verpleegwetenschappen van universitaire medische faculteiten aan casusontwikkeling te gaan doen, en van daar uit het HBO bijvoorbeeld bij de ontwikkeling te betrekken. Zo zou de kans van slagen van het beschikbaar komen van deze simulaties in het HBO vergroten.
De DPS is er zonder meer geschikt voor.
8. Gedurende het eerste projectjaar werd men wat betreft de techniek geconfronteerd met nieuwe ontwikkelingen. Hierop heeft het projectteam goed ingespeeld. De beoogde technische voorzieningen zijn weliswaar later dan gepland beschikbaar gekomen, maar dit heeft weinig tot geen gevolgen gehad voor de andere onderdelen van het project. De gekozen oplossing (2x 1 SQL-databaseserver (productie+backup) + 3 webservers (productie DPS) + 1x test/acceptatie/ontwikkelserver, dit alles samen in een ‘blade server’) lijkt een goede technische basis te bieden voor de beschikbaarstelling van de ontwikkelde casussen aan een breder publiek.
9. Een punt van aandacht voor de toekomst is wel het onderhoud van de casussen en het maken van nieuwe casussen. Behalve Leiden heeft ook Nijmegen aangegeven dat er geen middelsn beschikbaar zijn voor de productie van nieuwe casussen of de onderhoud van eerder gemaakte casussen. Deze middelen zouden moeten komen uit de reguliere blokbegroting.
10. Het klinisch redeneren zelf is nog voor een groot deel een 'black box'. Wat denkt een student, welke stappen doorloopt zij/hij, en hoe verschillen die van een ervaren arts? En hoe bepaal je dan of een student er goed (genoeg) in is geworden? Ook is van belang nader vast te stellen wat de moeilijkheidsgraad van een casus bepaalt. Dit project zal in ieder geval voldoende informatie bieden om dit verder te gaan onderzoeken. In databases worden immers de keuzes van studenten bij het doorlopen van een casus vastgelegd en vervolgens kan nagegaan worden of en zo ja welke structuur daarin is terug te vinden. Als een voldoende breed scala van casussen beschikbaar is, biedt dit de mogelijkheid tot onderzoek van en inzicht verkrijgen in het klinisch redeneren.
11. Het kostenoverzicht geeft geen aanleiding tot nadere opmerkingen. Halverwege de projectperiode is ongeveer de helft van de middelen ingezet. Voor de nog resterende projectperiode lijkt voldoende budget beschikbaar te zijn. Geen van de onderdelen vertoont een tekort. Het project verloopt redelijk volgens schema.
12. Middels de website, de DPScursus en de helpdesk wordt aan kennisverspreiding gedaan.
Daarnaast neemt men deel aan nationale en internationale congressen. Dit lijkt voldoende te zijn.
13. Uit het gesprek met de directeur Onderwijs en Studentenzaken bleek, dat hij positief gestemd is over het project en het projectteam. Het is volgens hem een schoolvoorbeeld van een project waarbij de opbrengst van het project goed aansluit op de vraag vanuit het onderwijs. Voor COO-materialen is dat z.i. niet altijd het geval (geweest).
Conclusies en advies
De Commissie Projectbewaking deelt het optimisme van de Reviewcommissie en het projectteam. Hier is sprake van een goed doordacht en goed opgezet project, dat gerund wordt door een ervaren projectteam. In alle redelijkheid mag verwacht worden dat het projectteam de beoogde doelstellingen en resultaten binnen planning en budget zal behalen.
De Commissie Projectbewaking heeft daarom de Mid Term Review met positief gevolg afgesloten. Wij adviseren daarom de directeur van Stichting SURF de instellingen toestemming te geven het project te continueren.
