J.H. Erik Andriessen*
Macro en micro Technology
Assessment geïntegreerd
Analyse van de effecten van digitale beeldcommunicatie
Technology Assessment (TA) is in. Er zijn echter zeer uiteenlopende activiteiten die gepresen teerd worden onder deze noemer. Belangrijk is het onderscheid tussen algemene of macroniveau
TA enerzijds, en TA in organisaties d.w.z. microniveau TA anderzijds. Algemeen (macroniveau)
TA onderzoek heeft tot doel de algemeen maatschappelijke betekenis van een nieuwe technologie of bepaalde toepassingen daarvan (eventueel in een bepaalde sector) in te schatten. Resultaten van dergelijke studies dienen bij te dragen aan de politieke beleids- en besluitvorming op lande lijk of sectoraal niveau. TA in organisaties heeft tot doel de investeringsbeslissingen in een be paalde organisatie te ondersteunen bijvoorbeeld door de sociale aspecten van dergelijke beslissin gen te analyseren.
De relatie tussen micro- en macroniveau TA krijgt echter tot nu toe weinig aandacht. In dit arti kel wordt een aanpak beschreven waarbij gepoogd wordt om Technology Assessment op micro- en macroniveau te koppelen. Deze aanpak is toegepast bij de ontwikkeling en evaluatie van een zogenaamd Picture Archiving and Communications System, dat wil zeggen een digitaal beeldopslag- en communicatiesysteem in een ziekenhuis. De ontwerpgerichte evaluatie was erop gericht de potentiële effecten van die technologie naar andere situaties en hogere aggregatieni veaus te ‘vertalen’, hetgeen ‘bottom up TA’ wordt genoemd. Het doel van dit artikel is in feite tweeërlei. In de eerste plaats wordt getracht een bijdrage te geven aan de ontwikkeling van TA methodiek. Daarnaast heeft het de functie verslag te doen van een interessant project en onder zoeksveld.
Een PACSysteem verzorgt digitale opslag, trans port en weergave van röntgenbeelden in een zie kenhuis. In een van de Nederlandse academische ziekenhuizen wordt onderzoek gedaan naar der gelijke systemen. Tevens is een prototype klinisch geëvalueerd.
Die evaluatie betreft echter niet alleen de experi mentele opzet in enkele afdelingen van dat zie kenhuis. Het project is nl. voorafgegaan door een studie naar de potentiële toepassingen, kosten en (ook landelijke) effecten van dergelijke systemen in het algemeen. Het huidige project, waarvan de eerste fase is afgerond en een tweede fase in de * Prof. Dr. J. H. Erik Andriessen is als hoogleraar Arbeids-
en Organisatie-psychologie verbonden aan de Vrije Uni- versileit te Amsterdam. Tevens is hij hoofd van de Sectie Organisatie en Beleid van het IVA, Instituut voor Sociaal Wetenschappelijk Onderzoek te Tilburg.
Hij bedankt K. ten Have. F Barneveld Binkhuizen, B. ter Haar Romeny en Fenno Ottes voor hun commentaren op een eerdere versie van dit artikel.
komende jaren zal worden uitgevoerd, heeft mede tot doel al experimenterend een dergelijk systeem te ontwerpen én te onderzoeken wat de implica ties hiervan voor een cpncreet ziekenhuis zijn, om van daaruit de betekenis voor andere zieken huizen en voor de gezondheidssector als geheel in te kunnen schatten. Er is kortom sprake van een complex geheel van verkennings-, ontwerp- en evaluatiestudies waarop het overkoepelende be grip Technology Assessment van toepassing is. De leiding van het ziekenhuis en van de afdelin gen, waar het experiment plaats vindt, staat voor belangrijke investeringsbeslissingen, want PACS apparatuur is nogal duur. De overheid, m.n. het Ministerie van Welzijn, Volksgezondheid en Cul tuur (WVC) wenst antwoord te krijgen op de vraag wat de implicaties zijn van de verdere ontwikke ling en de eventuele invoering van dergelijke syste men in Nederlandse ziekenhuizen en daarbuiten. De ‘bottom up’ TA aanpak wordt hierna bespro ken, voorafgegaan door een bespreking van het
PACS project. Allereerst wordt echter nader inge gaan op het begrip TA, vroeger en nu, en op een aantal problemen rond TA onderzoek.
TA in verschillende gedaantes Oude en Nieuwe TA
Over het begrip Technology Assessment — in het Nederlands soms Technologisch Aspectenonder zoek genoemd — is veel geschreven (zie o.a. Bec- ker en Porter, 1986; Daey Ouwens e.a., 1987; Molenaar e.a., 1989; Schat, 1987; Simonse e.a., 1989; Smits e.a., 1984; Terlouw e.a., 1976). In de jaren zestig en zeventig werd dit begrip vaak ver bonden met het toepassen van bepaalde voorspel lingstechnieken op de verwachte ontwikkelingen betreffende een bepaalde technologie. TA was een wetenschappelijke analysemethode om te kunnen vaststellen wat de gevolgen een bepaalde gegeven technologie zouden zijn. De resultaten van deze analysemethoden vielen nogal tegen. Voorspellen blijkt zeer moeilijk te zijn, ‘vooral als het de toe komst betreft’. Volgens een Amerikaans onder zoek bleek dat veel beleidsvoerders minder ver trouwen hadden in geavanceerde prognostische technieken dan in traditionele technieken zoals statistische analyses, casestudies en kosten/ba- ten-analyses. Men had bovendien meer behoefte aan identificaties van gebieden van onzekerheid en van alternatieven dan aan voorspellingen. De bruikbaarheid van prognostische methoden werd in de jaren tachtig dermate laag aangeslagen dat de eertijds zo bejubelde wetenschappelijke boreling, de toekomstkunde, een vroege dood stierf.
Een analyse van de ervaringen met traditionele TA liet nog meer knelpunten zien (Smit, 1984):
— Pogingen om alle aspecten en potentiële gevol gen van een nieuwe technologie in een onder zoek mee te nemen zijn vaak tot mislukking gedoemd vanwege de grote complexiteit. Er moeten dus keuzes gemaakt worden en dat im pliceert politieke besluitvorming.
— Van de TA resultaten werd verwacht dat ze rechtstreeks instrumenteel gebruikt zouden kunnen worden voor beleidsbeslissingen. Door de vele overblijvende onzekerheden bleek dat niet te kunnen, hetgeen tot frustraties en gebrek aan invloed op de ontwikkelingen leidde.
In de jaren tachtig ontstond echter hernieuwde be
langstelling voor TA (zie bijv. Ministerie van On derwijs en Wetenschappen, 1984) Er werd zelfs, in 1986, een nieuwe organisatie opgericht ter sti mulering en coördinatie van TA onderzoek: de Nederlandse Organisatie voor Technologisch Aspectenonderzoek (NOTA). TA wordt nu echter anders gedefinieerd. Lag te voren de nadruk op prognoses met behulp van soms geavanceerde wiskundige technieken, nu gaat het veeleer om een geheel van analyses zowel van een nieuwe technologie als van de maatschappelijke context en het relevante ‘politieke’ veld. De resultaten van deze analyses moeten onderdeel vormen van de meningsvorming en van de strategische beleids vorming rond de ontwikkeling van de nieuwe technologie (Smits e.a., 1984).
In het verlengde hiervan realiseerde men zich dat de techniek in feite voortdurend in ontwikkeling is en dat TA tot doel zou moeten hebben om die technologische ontwikkeling te beïnvloeden. Beïnvloeding kan echter meer zijn dan het komen tot een ‘go of ‘no-go’ beslissing, zoals in de tradi tionele TA opvatting was begrepen. Beïnvloeding kan eveneens meer zijn dan het wegwerken van enkele vervelende sociale bijverschijnselen. Men kwam zo tot de schone doelstelling om in een voortdurende wisselwerking tussen technologisch ontwerp en ontwikkeling, onderzoek en sturing via TA, ‘vanaf de tekentafel’ bij te dragen aan een zodanige constructie van nieuwe technologieën dat ook voldaan zou worden aan andere dan eco nomische efficiency- en effectiviteits-criteria. Daarmee was een nieuwe loot aan de TA-boom ontsproten: het Constructief Technologisch Aspectenonderzoek (CTA, Daey Ouwens, 1987). Deze wat ongelukkige term verwijst naar het stre ven om via TA bij te dragen aan een adequate ‘constructie’ van de nieuwe techniek.
De verschuiving in de afgelopen jaren is weer te geven als in figuur 1.
Snellen c.s. (1989) gaan nog een stap verder door te stellen dat TA in het geheel niet gericht is op concrete uitkomsten maar op het ontwikkelen van strategische noties en opties en op het problemati seren van een ontwikkeling. Het gaat hen om be redeneerde gissingen inzake mogelijke tegenstel lingen, kansen en bedreigingen. TA is voor hen een schets van handelingsperspectieven binnen condities’. Door middel van TA moet men zicht krijgen op (on)ontkoombaarheden, problemen, handelingsvrijheden in termen van scenario’s, en de machtsverhoudingen en ordeningsrelaties.
Macro en micro Technology Assessment geïntegreerd Figuur 1. Oude en nieuwe benadering van TA
- de technologie
wordt als gegeven be
schouwd
- nadruk met name
op economische effec-
tiviteitsanalyses; aan
dacht voor sociale,
maatschappelijke, mi
lieutechnische gevol
gen
- na invoering wordt
evaluatieonderzoek uit
gevoerd om details te
verbeteren
- rationele sequen
tiële besluitvorming
door een ‘eenvoudige’
beslisser met instru
menteel gebruik van
informatie
- de technologie
wordt als voortdurend
in ontwikkeling gezien
- effecten worden
voorspeld; scenario’s
met verschillende so
ciale, economische
e.d. implicaties worden
opgesteld
- evaluatie, beleids
vorming en technisch
ontwerp wisselen el
kaar af bij voortgaande
sturing van de techno
logische ontwikkeling
- gefragmenteerde
procesmatige besluit
vorming waarin ver
schillende partijen en
hun belangen een rol
spelen.
Deze formulering moge voor hun onderzoek naar de potentiële implicaties van informatisering in het openbaar bestuur adequaat zijn, er zijn toch ook TA studies op een wat eenvoudiger niveau denkbaar waarin wel degelijk concrete resultaten mede een rol spelen. Hiervan is met name sprake in de context van TA in ondernemingen, ofwel TA op microniveau.
Macro en micro benaderingen
In de discussie en literatuur over TA is nog een andere verschuiving te onderkennen dan die van rationeel-prognostisch naar politiek-constructief. Traditioneel werd het begrip TA vooral gebruikt voor algemeen verkennende (macroniveau) stu dies die zich richten op de algemene effecten voor de maatschappij van een nieuwe technologie, zo als kernenergie, biotechnologie of automatise ring. Deze studies waren zeer breed van opzet, d.w.z. vele potentiële effecten passeerden de re vue. Deze studies waren daardoor vaak ook nogal globaal en generaliserend in aanpak en conclu sies.
Recentelijk is het begrip (C)TA ook op het micro
niveau van de individuele organisatie toegepast (Dijkstra e.a., 1986; Molenaar e.a., 1989; Simon- se e.a., 1989). Men spreekt van (C)TA in de on derneming en definieert dat bijvoorbeeld als volgt (Dijkstra, 1986): Sturing van keuze, ontwerp en invoering van nieuwe technologie in een arbeids organisatie op basis van weging van alternatieve technologische opties met behulp van voorspellin gen over de te verwachten sociale en maatschap pelijke gevolgen (naast de gangbare weging van
verwachtingen met betrekking tot efficiency en rendement).
Op het eerste gezicht lijkt het erop dat hier een nieuwe naam voor een oud verschijnsel wordt be dacht. Invoering van belangrijke nieuwe ontwik kelingen in een organisatie werden toch vroeger ook wel voorafgegaan door een min of meer zorg vuldige afweging van mogelijke gevolgen, al of niet op basis van een systematisch onderzoek? De reden om ook hier het begrip TA te gebruiken heeft kennelijk vooral te maken met het systema tisch betrekken van een bepaald soort criteria bij de besluitvorming. Bij deze ontwikkelingen speelt de criterium-discussie dan ook een grote rol. Als het niet alleen om economische efficiency en ef fectiviteit gaat, welke criteria zijn dan daarnaast van belang? Men spreekt van sociale, maatschap pelijke en ethische effecten, en bij TA in onderne mingen wordt wel onderscheid gemaakt in econo mische, technologische, arbeidsinhoud en -voor waardelijke) en organisatie-aspecten. Een even wichtige afweging van al die criteria binnen een TA aanpak stelt echter nogal wat eisen. Er zijn dan ook onderzoekers die de integratie aan de besluitvormers willen overlaten en zelf kiezen voor een toespitsing op bepaalde aspecten van de problematiek. Molenaar e.a. (1989, blz. 6) formu leren het aldus: ‘Zo wordt in het STA-programma de aandacht vooral gericht op de sociale conse quenties van de invoering van nieuwe technologie in een bedrijf, aannemende dat voor het leveren van kennis over de technische en economische consequenties andere deskundigen door het ma nagement worden geraadpleegd'. Men dient zich echter af te vragen of een dergelijke aspectbena- dering wel wenselijk is, o.a. omdat de verschil lende typen criteria sterk kunnen samenhangen. Belangrijker is echter de vraag of men niet heel terughoudend moet zijn met het gebruik van de term TA wanneer het enkel en alleen gaat om de besluitvorming rond de toepassing van een be paalde technologie in een enkele organisatie. Na tuurlijk dienen niet alleen economische efficiency
en effectiviteits-criteria daarbij een rol te spelen. Maar het begrip TA heeft de pretentie gekregen maatschappelijke implicaties van nieuwe techno logische ontwikkelingen op te willen sporen. De betekenis van dit begrip wordt mijns inziens te zeer opgerekt en wordt té weinigzeggend wanneer het wordt toegepast op bijv. investeringsbeslissin gen in een bedrijf dat ook de gevolgen voor de kwaliteit van de arbeid wil bezien. Er kan mijns inziens slechts sprake zijn van TA op micro-ni- veau (TA in een organisatie) wanneer dit onder zoek ‘in dienst staat’ van een wijdere analyse van de betekenis van een bepaalde algemene techno logische ontwikkeling.
Een dergelijke aanpak, toegepast in de medische sector, wordt in de volgende paragrafen beschre ven en is door mij ‘bottom up TA’ gedoopt. Juist in samenhang met een algemene verkennende TA kan men via deze weg het inzicht verdiepen in de condities die van invloed zijn op gebruik en effec ten van een nieuwe technologie. Verderop wordt nader ingegaan op dit samenspel van verkennende en ‘bottom up TA’.
Medische TA
Onderzoek naar de effectiviteit van nieuwe be handelmethoden, geneesmiddelen en medische apparatuur heeft een lange geschiedenis. Dit type onderzoek is echter in de praktijk grotendeels be perkt tot evaluatie van de medische, d.w.z. thera peutische effectiviteit. Daarnaast wordt dan nog vrij veel aandacht besteed aan de financiële kosten en baten (zie bijv. Drummond, 1980). Een publikatie van het Office of Technology As- sessment uit 1976 somt weliswaar een reeks crite ria op voor de ontwikkeling van medische techno logieën, die te maken hebben met de patiënt zelf, de familie van de patiënt, maatschappij, millieu, gezondheidssysteem, politiek systeem en de eco nomie. Echter, in een recent handboek, Assessing Medical Technologies, (Institute of Medicine, 1985), worden als methoden van TA vrijwel uit sluitend diverse onderzoeksontwerpen zoals veld- experiment, gevalstudie en survey besproken. In een laatste paragraaf (blz. 154) wordt gesteld: ‘A little emphasized aspect of TA is the examination of the social, ethical and legal questions raised by the use of technology in clinical practice ... The methods for accomplishing this will not be cove- red in detail here’. De hier geschetste beperking in medische TA studies geldt ook voor de Neder landse situatie (Smits e.a., 1984; Schot, 1987). Een van de belangrijke uitzonderingen hierop is
het project van de Stuurgroep Toekomstscenario’s Gezondheidszorg van de Gezondheidsraad, geti teld ‘Future Health Care Technology’. Dit project omvat een reeks deelstudies inzake o.a. nieuwe biotechnologie, de toepassing van lasers en de mogelijkheden van thuiszorgtechnologie. In deze studies wordt gepoogd de implicaties van nieuwe technologieën voor de patiëntenzorg, maar ook voor de organisatie van de gezondheid, voor de economie, en voor de maatschappij als geheel in te schatten.
In een van deze studies werd de schijnwerper ge richt op de ontwikkeling van zgn. digitale beeld- diagnostiek (Computer Assisted Medical Ima- ging, CAMI) en op de integratie daarvan in een digitaal opslag- en communicatiesysteem, het eerder genoemde PACS (Banta, 1987). Een werk groep bestudeerde de technologische ontwikke lingen en schatte de gevolgen in van bepaalde toe passingen voor gezondheidszorg en maatschappij. Men kwam tot de conclusie dat de ontwikkeling van digitale beeldacquisitie (CAMI) beslist wen selijk was. Over de potentiële voordelen van een PACSysteem kon men echter nog geen duidelijke uitspraak doen, mede omdat men onvoldoende zicht had op de condities die daarbij een rol zou den kunnen spelen. Er werd daarom aanbevolen het uitvoeren van experimenten met deze techno logie te bevorderen en te steunen.
Dergelijke experimenten kan men beschouwen als een andere vorm van TA, althans indien ze er op gericht zijn de experimentele resultaten syste matisch te ‘vertalen’ naar hogere aggregatieni veaus.
Technology Assessment en PACS Wat is PACS?
De medische beelddiagnostiek vindt traditioneel plaats op basis van röntgenfoto’s waarvan de meeste ziekenhuizen er honderdduizend in hun archieven bewaren. Opslag en uitlening van deze films, soms in aantallen van tien a twintig verza meld in een grote, stevige maar toch ook scheur- bare envelop, leiden nogal eens tot afwezigheid van de foto’s, (tijdelijk) kwijt raken en ergernis. Het merendeel van de röntgenonderzoekingen is momenteel nog van het oude stempel, d.w.z. het verloopt via de ‘gewone’ röntgenfoto’s die resulte ren in een hardcopy film.
Het laatste decennium vindt de beeldacquisitie, d.w.z. het maken van de beelden, ook wel plaats met behulp van nieuwe geavanceerde methoden
Macro en micro Technology Assessment geïntegreerd zoals Computer Tomografie scanners, magneti
sche resonantie, ultrageluid e.d. Deze methoden resulteren in eerste instantie in digitale beelden. De digitale beelden worden nu nog omgezet in (analoge) foto’s ten behoeve van opslag, diagnose en communicatie. Wanneer in de nabije toekomst de traditionele röntgenapparatuur ook geautoma tiseerd wordt zullen bijna alle beelden direct in digitale vorm beschikbaar zijn. Door deze ont wikkeling en door de absolute toename van het aantal beelden ontstond er behoefte aan een even eens digitaal opslag- en communicatiesysteem. Nieuwe technische ontwikkelingen slechten de barrières hiervoor. In snel tempo komen massa- geheugens, snelle netwerken en geavanceerde softwaretechnieken beschikbaar. Een digitaal opslag- en communicatiesysteem is dan ook tech nisch mogelijk geworden. Zo’n electronisch ar chief met vele electronische werkstations (met beeldschermen) gekoppeld in een netwerk wordt een Picture Archiving and Communications System genoemd, kortweg PACS.
Door een van de Nederlandse academisch zieken huizen wordt in samenwerking met de Stichting BAZIS in Leiden (medisch softwarehuis) en N.V. Philips een dergelijk systeem ontwikkeld en geëvalueerd. In figuur 2 wordt weergegeven hoe een (toekomstig totaal) PACSysteem er in grote lijnen uitziet.
De huidige werkwijze rond beelddiagnostiek en de veranderingen onder het ‘PACS-regime’ kun nen in het kort als volgt beschreven worden: Figuur 2. Een toekomstig PACSysteem
Een behandelende specialist (klinicus) dient via een aanvraagformulier een verzoek in tot het uit voeren van een of ander radiologisch onderzoek. Hij kan daarbij eventueel oude foto’s raadplegen. Dit gebeurt echter zelden omdat het verkrijgen van die foto’s nogal omslachtig is.
Met PACS kan hij oude beelden snel even raad plegen via een werkstation op de eigen afdeling. Het aanvraagformulier gaat naar de afdeling rönt- gendiagnostiek die het tijdstip van onderzoek be paalt. De patiënt komt (meestal) volgens afspraak naar de onderzoekkamer waar het onderzoek door een radioloog of laborant(e) uitgevoerd wordt.
Nadat de foto’s ontwikkeld zijn worden ze eerst gecontroleerd op kwaliteit en vereiste beeldinfor matie. Als de foto’s goedgekeurd zijn gaat de pa tiënt terug naar de verpleegafdeling.
Met digitale apparatuur is direct te zien of de beelden aan de eisen voldoen. De patiënt hoeft dan ook niet meer te wachten tot de foto’s ontwik keld zijn.
In geval van urgentie worden foto’s op een specia le plaats gezet omdat de aanvragende specialist al vast kan bekijken wat er met zijn patiënt aan de hand is en direct overleg met een radioloog moge lijk is. Dit impliceert wel dat deze foto’s later dan andere foto’s in het normale verwerkingscircuit terecht komen, en het verslag van de radioloog veel later dan normaal beschikbaar komt. Met PACS kan de aanvragende specialist alle beelden direct raadplegen op zijn monitor, terwijl tegelijk het afhandelingsproces, zoals het maken
van een verslag door een radioloog voortgang kan vinden.
De volgende stap is dat de foto’s naar het archief worden gebracht ter registratie. Daar worden in dien aanwezig, vorige foto’s van de patiënt opge zocht en samen met de nieuwe foto’s naar de radi oloog gebracht voor het maken van een verslag over wat hij op de nieuwe foto’s ziet.
Onder het PACS regime worden de beelden direct na vervaardiging opgeslagen en geregistreerd in het electronisch archief, vanwaar ze tezamen met eventuele vroegere foto’s direct opgeroepen kun nen worden door de radioloog voor het maken van zijn verslag.
Voor de iedere ochtend te houden bespreking van de radioloog met klinische specialisten, voor eventuele latere raadpleging van de foto’s door de specialisten, en voor overleg tussen specialist en radioloog moeten de foto’s momenteel steeds op gehaald worden uit het archief. Als de foto’s op de ene afdeling worden geconsulteerd zijn ze niet of zeer moeilijk te raadplegen door anderen. Het PACSysteem impliceert dat beelden ten allen tijde — ook ’s avonds of in het weekend door ieder (die daartoe gemachtigd is) direct geraad pleegd kunnen worden.
De potentiële voordelen van het PACSysteem zijn duidelijk.
Beelden zijn sneller beschikbaar. Er zullen geen of veel minder problemen zijn met zoekgeraakte of tijdelijk afwezige beelden, wat veel verloren zoektijd en frustraties scheelt, en waardoor het niet meer zal voorkomen dat een onderzoek op nieuw gedaan moet worden. Ook buiten normale werkuren zijn beelden beschikbaar. En ieder be langhebbende kan direct en tegelijk met anderen over alle, d.w.z. ook de oude, beelden beschik ken. Bovendien, met digitale werkstations kan men beelden ‘bewerken’ d.w.z. delen vergroten, inverteren en berekeningen laten maken. Al deze voordelen kunnen van invloed zijn op di agnostiek en uiteindelijk misschien zelfs op de verpleegduur. En last but not least: de hoge kosten van filmmateriaal en andere verbruiksgoe- deren zoals chemicaliën en filmmateriaal zullen verdwijnen.
Het is overigens nog niet duidelijk in hoeverre al le hierboven geschilderde veranderingen werke lijk gerealiseerd kunnen worden en of dus alle po tentiële voordelen te verkrijgen zijn. Zeker is dat de nieuwe apparatuur een aanzienlijk initiële in vestering zal vragen.
TA voor PACS
Het PACS-experiment in het academische zieken huis sloot mooi aan bij de aanbeveling van de commissie van de Gezondheidsraad die de ‘ver kennende’ TA inzake PACS had uitgevoerd. Het Ministerie van WVC steunde het experiment fi nancieel onder de voorwaarde dat het goed geëva lueerd zou worden. Voorts zouden er modellen ontwikkeld moeten worden om de resultaten van het beperkte experiment te kunnen vertalen naar andere situaties. De deelstudies van het PACSpro- ject (fase I) zijn dan ook in twee hoofdlijnen on der te brengen nl. (a) evaluatie van het experiment en (b) modelontwikkeling.
ad a. De evaluatie van het experiment heeft in fei te twee doelen nl. ten eerste ondersteuning van de investeringsbeslissingen van het ziekenhuis en ten tweede het leveren van input voor de modelont wikkeling. Wat het eerste betreft, de ervaringen met de beperkte experimentele opzet in enkele af delingen zou moeten leiden tot nadere richtlijnen voor een systeem dat het hele ziekenhuis bestrijkt. De evaluatie moest daarom naast een medische effectiviteitsmeting zowel een financië le kosten/baten-analyse als informatie over tech nische en organisatorische implicaties bevatten. ad b. De modelontwikkeling betrof een aantal cri teria die bij de besluitvorming over het eventueel ontwikkelen van een PACSysteem in andere zie kenhuizen een rol spelen. Momenteel zijn er in aanleg twee modellen ontwikkeld, nl. één voor de technische aspecten, de presentatie en belasting van het systeem (berekening van aantal terminals, opslagcapaciteit, systeemopbouw e.d. gegeven een bepaalde patiëntenstroom, fotoproduktie, zie- kenhuisomvang e.d.) en een kosten/baten-model. Beide modellen zijn als softwarepakket beschik baar en met beide kunnen simulaties worden uit gevoerd.
Naast deze twee simulatiemodellen is er een (ook als model te beschouwen) algemeen bruikbaar systeem ontwikkeld voor de koppeling van PACS aan een Ziekenhuis Informatie Systeem.
Een belangrijk aspect bij modellenbouw is aller eerst het ontdekken van de relevante factoren (condities) die samenhangen met variaties in de effectvariabelen, zoals medische effectiviteit of kosten. Voor echte simulatiemodellen is het daar na nodig de exacte sterkte van die samenhang te ontdekken. Gezien het gebrek aan empirische ge gevens en de complexiteit van organisatorische verschijnselen, is dat laatste (nog) niet mogelijk
Macro en micro Technology Assessment geïntegreerd bij het extrapoleren van organisatorische implica
ties.
In principe is gekozen voor een ‘complete PACS in een beperkte omgeving’, dat wil zeggen dat alle informatie over en procedures behorende bij pa tiënten van een bepaalde afdeling i.c. een zaal met 15 bedden van een afdeling Interne geneeskunde, bij het project betrokken werden. Deze aanpak maakte het in beginsel mogelijk een echte klini sche evaluatie uit te voeren. Dit in tegenstelling tot andere experimentele PACSprojecten (enkele in Amerika, Canada en Japan) waar slechts geëx perimenteerd wordt met een beperkt aantal typen apparatuur, of alleen op de afdeling röntgendiag- nostiek. Weliswaar werden de meeste röntgenfo to’s ten tijde van het project nog in hardcopy vorm geproduceerd, maar met een laserscanner werden ze gedigitaliseerd en op die wijze geschikt ge maakt voor digitale opslag, transport en weerga ve.
Het PACSproject bestond uit een aantal deelstu dies (zie figuur 3).
Figuur 3. Deelstudies klinische evcaluatie PACS
Voormeting
Ontwikkeling
Impactstudies
* Analyse
* Technische
* Analyse
procesflows
evaluatie
procesflows
* Doorloop
tijden
* Meting
* Analyse
verkorting
doorloop-
beeldkwaliteit * Medische
tijden
impact
* Kosten/be-
sparingen
Pacsproject Fase 1
1--- V--- 1Eindevaluatie Fase 1
Dit onderzoekmodel bevat de drie noodzakelijke onderdelen die bij een experiment betreffende een technologische vernieuwing aan de orde moeten komen:
a. voormeting van de ‘oude’ situatie
b. analyse van wat het systeem maximaal kan presteren; in de medische studies wordt ge
sproken van ‘efficacy’-studies
c. analyse van de effecten die er in de praktijk optreden (‘effectiviteit’), inzake o.a. medische, organisatorische en financiële aspecten. Figuur 3 bevat een logische presentatie van de on derzoeksactiviteiten. Chronologisch gezien is er aanzienlijke overlap van de verschillende deelstu dies. Zo vindt er in feite doorlopend een techni sche evaluatie plaats en hebben ook de studies naar beeldkwaliteit gedurende een belangrijk deel van de projectduur plaats gevonden.
Het eigenlijke PACS-project Fase I startte in de eerste helft van 1987. Daaraan was een vrij lange voorbereidingstijd vooraf gegaan, waarin een coalitie van betrokken partijen werd opgebouwd, waarin met de leverancier van de apparatuur over levering werd overlegd, waarin de aanpak van het project althans in grote lijnen werd uitgewerkt en waarin subsidie werd gevraagd en tenslotte ver kregen. Tevens vond in die periode de voormeting van procesflow en doorlooptijden plaats.
Het eerste jaar van het eigenlijke project werd vooral besteed aan het opbouwen van het systeem. Die opbouw ging met veel problemen gepaard. Hoewel de elementen van het systeem (beeld schermen, optische geheugens, image manage ment system-IMS e.d.) min of meer commercieel beschikbaar waren bleek de samenstelling en spe cifieke toepassing zulke hoge eisen te stellen aan snelheid, beeldresolutie, transportcapaciteit etc. dat de ontwikkeling van het systeem veel meer het karakter kreeg van prototyping dan oorspronke lijk de bedoeling was. Het duurde dan ook vrij lang voordat het systeem operationeel kon wer ken. Zelfs dat operationele werken bleef in deze eerste experimentele fase van het PACS project overigens van beperkte aard. Er werd in deze fase echter zoveel ervaring opgedaan dat er in de ko mende fase II met de nieuwe apparatuur direct op grotere schaal operationeel gewerkt kan worden. De hierboven aangegeven twee delen van het tota le project, nl. de klinische evaluatie in het zieken huis en de ontwikkeling van modellen, worden in de volgende paragrafen nader toegelicht.
Evaluatie van het experiment
a. Technische ontwikkeling en evaluatie. Dit deel van het project heeft min of meer permanent plaats gevonden. Belangrijke aandacht is uitge gaan naar de volgende aspecten:
a. Ontwikkeling datacompressietechnieken b. Verbetering van het Image Management
System en Image Storage System,
c. Evaluatie van technische prestaties, betrouw baarheid en storingsgevoeligheid; beperkte er gonomische analyse van werkplek en werkom standigheden.
De betrouwbaarheid van de bij PACS I ge bruikte apparatuur bleek niet zo groot, en de storingsgevoeligheid nogal groot te zijn. Een deel van de apparatuur kon reeds tijdens fase I vervangen worden, voor een ander deel ge beurt dat in fase II.
b. Analyse beeldkwaliteit. Dit is een voorbeeld van de hierboven genoemde ‘efficacy’-studies. Doel was om na te gaan in hoeverre de kwaliteit van de röntgenbeelden gepresenteerd via het beeldscherm vergelijkbaar is met de kwaliteit van hardcopy films. De kwaliteit (resolutie) van de laatste is zéér hoog. De kwaliteit van de beeld- schermfoto’s moet in ieder geval van dien aard zijn dat radiologen minstens evengoed allerlei botbreuken, afwijkingen en calcificaties in weef sels kunnen ontdekken. Via het gecontroleerd be oordelen van reeksen identieke beelden kan de diagnostische acuraatheid van de beeldscherm- presentatie worden vastgesteld.
De gebruikte beeldschermen hebben een resolutie van 1024 x 1024 pixels (beeldpuntjes). Dit werd voor de door radiologen te verrichten diagnostiek van sommige röntgenbeelden wel, maar voor die van andere beelden onvoldoende geacht. Besloten werd in fase I van het project het bestaande systeem niet routinematig door het PACS te laten vervangen.
De beeldkwaliteit werd over het algemeen van voldoende niveau geacht door de artsen van inter ne geneeskunde. Volgens de afspraken gebruiken zij de beelden niet voor definitieve diagnostiek maar slechts voor referentiedoeleinden.
c. Organisatiestudies. Ten behoeve van de plan ning voor het PACSysteem, maar ook als een ‘ba seline’ studie ter vergelijking met eventuele latere veranderingen, werden tijdens de voormeting nauwkeurige organisatie- en workflowanalyses uitgevoerd. Tevens werd op basis hiervan een eer ste planning gemaakt van de wijze waarop een ge digitaliseerd systeem zou moeten werken, d.w.z. van de processen en procedures ‘onder PACS’. Op basis van de beschrijving van taakverdeling, be voegdheden en personeelssamenstelling kon te vens worden vastgesteld welke veranderingen in dat opzicht door PACS zouden worden be
werkstelligd.
De komst van PACS betekent op drie punten vrij grote veranderingen (zie ook Wilmink e.a., 1989). Ten eerste in procesverloop: het verschil in de wijzen waarop bepaalde typen foto’s en versla gen hun weg moeten vinden van begin naar eind punt zal verdwijnen. Door het PACS wordt het hele proces aanzienlijk vereenvoudigd. Ten twee de in organisatie, personeelssamenstelling en kwalificaties: het grote filmarchief gaat op den duur verdwijnen. Daarvan was tijdens het project uiteraard nog geen enkele sprake aangezien het oude systeem geheel bleef bestaan naast het be trekkelijk kleine experiment met de klinische af deling. Bij een volledig gedigitaliseerd beeldar chief zou echter de betrekkelijk laag gekwalifi ceerde functie van archiefmedewerker (langza merhand) geheel verdwijnen. Er zouden daaren tegen enkele nieuwe functies nodig zijn, nl. een operator voor het nieuwe systeem, een medisch informaticus en, althans tijdelijk, een of enkele medewerkers die de apparatuur (scanners) bedie nen waarmee digitale copieën worden gemaakt van de hardcopy foto’s.
Een derde waarschijnlijk belangrijke verandering is te verwachten voor de werkwijze en werksitua tie van de klinische specialisten. Met PACS kun nen zij in alle stadia van hun werk snel en (hope lijk) feilloos over alle beelden van hun patiënten beschikken. Dit is bij het conventionele systeem ondenkbaar. Het experiment heeft overigens nog te kort geduurd om te zien welke systematische veranderingen een betrouwbaar PACSysteem in hun dagelijkse werkwijze teweeg zal brengen. Er zijn echter aanwijzingen dat de voor hen algeme ne beschikbaarheid van beelden die tot nu toe grotendeels gemonopoliseerd worden door de ra diologen, een verschuiving in de verhouding van deze twee professionele groepen kan betekenen (Andriessen, 1990).
d. Doorlooptijdenstudie. In deze deelstudie werd een nauwkeurige analyse gemaakt van de gemid delde duur van de verschillende fasen in het hui dige proces, en van het aantal storingen (afwezige foto’s e.d.) daarbij. Ter vergelijking werd de ge middelde duur van de (overblijvende) fasen onder PACS berekend en de storingen in de beeldvoor- ziening onder PACS geanalyseerd.
Voor zover er gegevens beschikbaar zijn lijkt een deel der beelden inderdaad aanzienlijk eerder be schikbaar te zijn en een deel niet. Deze laatste groep betreft de urgente beelden die ook in het
Macro en micro Technology Assessment geïntegreerd conventionele systeem meteen ter beschikking
werden gesteld. Dit had dan echter wel tot gevolg dat de verslaglegging pas veel later dan van de niet-urgente foto’s plaats vond, hetgeen onder PACS voorkomen wordt.
e. Medische impact analyses. Analyse van het ge bruik van het systeem door de internisten, van hun ervaringen en van de gevolgen voor hun han delen. Deze analyses werden uitgevoerd via vra genlijsten, observatie, registratie door de appara tuur en via intervieuws.
Ondanks het feit dat het systeem nogal eens kin derziektes vertoonde, waren met name de klinici zeer positief in hun oordeel over de mogelijkheid om permanent (ook buiten normale werkuren) over alle beelden van hun patiënten te kunnen be schikken. Met betrekking tot human interface en organisatie van het geheel uitte men in het begin nogal wat kritiek. In fase I kon hieraan slechts ge deeltelijk tegemoet worden gekomen.
f Kosten-besparingen-analyse. Een gedetailleer de vergelijking van alle relevante kostenposten van het bestaande en van het PACSysteem, zowel wat betreft de experimentele afdeling als (deels via extrapolatie) van het ziekenhuis als geheel. De besparingen op huisvesting (archiefruimte) en materiaal blijken bij lange na niet op te wegen te gen de hoge investeringen in apparatuur. Personele kosten bij een PACSysteem blijken wel anders opgebouwd te zijn maar in totaal nauwe lijks te verschillen van die in de conventionele si tuatie. Financieel gezien moet de winst en dus de compensatie voor de hoge kapitaalsinvesteringen vooral gezocht worden in een kortere behandeltijd van de patiënten (zie Andriessen, 1989). In het huidige financieringssysteem komt die ‘winst’ overigens niet het ziekenhuis ten goede.
Modelontwikkeling
g. Systeem prestatie model. Dit model beschrijft de activiteiten van radiologen, specialisten, labo ranten, verpleegsters en archiefmedewerkers en simuleert de interactie met het PACS. Hierbij worden wachttijden en de belasting van het systeem voorspeld, waardoor het mogelijk is knelpunten vroegtijdig op te sporen.
h. (Financieel) Kosten-baten-model. Een model voor de berekening van totale jaarkosten gegeven de aanschaf van bepaalde apparatuur, afschrij- vings- en onderhoudskosten etc. Met het model
kunnen ook de consequenties van toekomstige prijsontwikkelingen voor de kosten en besparin gen van PACS worden voorspeld. Voor de ontwik keling van dit model is gebruik gemaakt van gege vens van het academische ziekenhuis waar het PACS experiment plaatsvond, alsmede van gege vens van een ander academisch en van een alge meen ziekenhuis.
Koppeling PACS - ZIS. De in het ziekenhuis ge bouwde koppeling tussen de twee netwerken heeft geleid tot de ontwikkeling van een hardware onaf hankelijk systeem voor de koppeling van een PACS aan een ziekenhuis informatie systeem. Bottom up AT
In het voorgaande is een uiteenzetting gegeven van de (macroniveau) verkennende TA met be trekking tot PACSystemen in het algemeen en van de (microniveau) klinische evaluatie van het spe cifieke PACS experiment in het academische zie kenhuis. Het naast elkaar verrichten van deze twee studies voegt weinig toe aan de TA methodo logie. Interessanter is echter de poging om deze twee benaderingen te koppelen door het uitvoeren van de ‘bottom up TA’, d.w.z. door te pogen via modelvorming de experimentele resultaten te ver talen naar hogere aggregatieniveaus.
Het gaat hierbij in essentie om een combinatie van twee soorten parameters, nl. evaluatiecriteria enerzijds en extrapolatieparameters anderzijds. De evaluatiecriteria die in het AZU project wor den gebruikt zijn in de vorige paragraaf beschre ven. Het gaat om criteria als investeringskosten, kwaliteit van de diagnostiek en doorlooptijden van de proceshandelingen. Bij het inschatten van de effecten van een PACSysteem voor een heel ziekenhuis komen er echter criteria bij die niet op afdelingsniveau gelden. Te denken valt bijvoor beeld aan het ontstaan van nieuwe functies voor onderhoud van het netwerk of voor training van het personeel. De extrapolatieparameters betref fen in feite situatiekenmerken (condities) die vari aties in de evaluatiecriteria veroorzaken. Voor de hand liggen parameters als aantallen pa tiënten en typen ziektebeelden. Gebleken is ech ter dat ook de werkwijze van radiodiagnostische afdelingen een belangrijke parameter is. De werkwijze in academische ziekenhuizen verschilt van die in algemene ziekenhuizen waardoor de potentiële voordelen op het gebied van efficiëntie en kwaliteit van de diagnostiek uiteenlopen. Iets dergelijks geldt voor het verschil in aard van de
procesgang bij klinische versus poliklinische pa tiënten of bij ‘intensive care’ versus ‘rustiger’ af delingen (van der Horst-Bruinsma e.a., 1989). Integratie van micro- en macroniveau
De Technologie Assessment met betrekking tot de ontwikkeling van een digitaal beeldverwerking en opslagsysteem (PACS) verloopt via een meerspo- ren-aanpak (zie figuur 4).
a. Verkennende TA. Allereerst was er het project van de Gezondheidsraad. Een werkgroep onder leiding van prof. Banta volvoerde een algemene verkennende TA studie bestaande uit de zo lang zamerhand klassieke stappen van a. technologi sche forecast, b. criteria-inventarisatie, c. inschat ting van de effecten op die criteria, inclusief een financiële kosten-baten-analyse, en tenslotte d. een bespreking van de resultaten met belangheb benden. Een van de conclusies was dat er nog geen duidelijk inzicht bestond in de potentiële voordelen en in de condities waaronder die voor delen van een PACSysteem zouden opwegen tegen de voorlopig nog aanzienlijke kosten. Digitale beeldopslag en -communicatie is nl. een zeer nieuwe technologie, die nog slechts op een be perkt aantal plaatsen ter wereld (experimenteel) toegepast wordt. Een systematische evaluatie in de klinische praktijk vond (en vindt) eigenlijk nauwelijks plaats.
Het werd daarom wenselijk geacht een prototype te ontwikkelen waarmee geëxperimenteerd kon worden. Tevens werd geadviseerd deze experi menten nauwkeurig te evalueren. Een dergelijk experiment werd kort daarna gestart in een Ne derlands academisch ziekenhuis.
b. Experimenten, evaluatie en modelontwikke- ling. De evaluatie tijdens het experiment was ont- werpgericht. Dit hield o.m. in dat negatief beoor deelde aspecten ten dele direct verbeterd werden. Voor zover dat niet mogelijk was werden verande ringen in functionele en organisatorische vereis ten gepland voor een vervolgfase. Voorts werden modellen ontwikkeld om alternatieve PACS-sce- nario’s (althans in technisch en financieel opzicht) te kunnen doorrekenen.
c. Follow up-experiment en bottom-up TA. PACS fase II zal de gelegenheid moeten bieden om tot de afronding van de Technology Assessment te komen. Vanuit een evaluatie van de concrete erva ringen van het tweede experiment en met behulp
Figuur 4. Micro en macro TA geïntegreerd
Verkennende
TA
Micro TA: Klinische Evaluatie
Expirimenten
PACS I en II
Expiriment
Modellen
evaluatie
ontwikkeling
Investering
in exp.
ziekenhuis
Keuze in
Overheids
andere
Beleid
ziekenhuizen
Bottum up
TA
van de simulatiemodellen, zullen de implicaties van een PACSysteem voor hogere aggregatieni veaus (een geheel ziekenhuis, een regio, de ge zondheidssector) moeten worden ingeschat. Mo menteel is hierbij de aandacht grotendeels gericht op efficiency (inclusief kosten), en op technische en medische effectiviteit per ziekenhuis. Een ech te Technology Assessment vereist echter een aan tal uitbreidingen:
a. Aandacht voor arbeidskundige en psycho-so ciale criteria (Molenaar, 1989): optimaal ge bruik van kennis en vaardigheden, training, flexibiliteit, motivatie e.d.
b. Aandacht voor (inter)organisatiekundige crite ria: Te denken valt in de eerste plaats aan de volgende mogelijke ontwikkelingen:
— het ontstaan van nieuwe functies voor be diening en onderhoud van het complexe net werk of functies ten behoeve van training van personeel.
— verandering in de contact- en communica tiepatronen en wellicht in bevoegdheidsverde lingen en besluitvormingsstructuur van radio logische en klinische afdelingen.
— veranderingen in organisatiestructuur, al zou het maar zijn omdat fysieke nabijheid minder belangrijk wordt.
Een voorbeeld van een niet geheel ondenkbare ontwikkeling in dit opzicht zou de ontwikkeling van een ‘klantgerichte’ in plaats van een
‘functio-Macro en micro Technology Assessment geïntegreerd nele’ departementalisatie zijn. Wanneer radiolo
gen ten alle tijde en plaatse toegang hebben tot al le radiologische beelden zijn er ook minder rede nen om hun werk op een aparte radiologische af deling uit te voeren. Wellicht is het dan voordeli ger dat althans een deel van hen gedetacheerd worden in klinische afdelingen waar zij een veel intensiever contact kunnen onderhouden met de artsen. In een TA zouden de potentiële implicaties van een dergelijke ontwikkeling ingeschat kunnen worden.
c. Aandacht voor ‘politieke’ aspecten van de in troductie van dergelijke systemen. De invoering van nieuwe technologieën, vooral informatie systemen, impliceert meestal een verschuiving in de ‘resources’ van de verschillende betrokken groeperingen en dus in de machtsverhoudingen. De directe beschikbaarheid van alle beelden voor de klinische specialisten zou wellicht een veran dering kunnen inluiden in de (in zeker opzicht monopoliejpositie van de radiologen (Andries- sen, 1990). In voortgaand onderzoek zou hieraan expliciet aandacht gegeven moeten worden. d. Aandacht voor nieuwe evaluatiecriteria wan neer geëxtrapoleerd wordt naar het niveau van bijv. een regio of de gezondheidssector als ge heel. Veel van de TA criteria die in de literatuur betreffende medische technologie genoemd wor den (zie bijv. OTA, 1976) zijn hier niet relevant, aangezien het niet om een nieuwe therapeutische techniek of voorziening gaat maar om een on dersteunende techniek, die overigens direct ge koppeld is aan diagnostische technologie. De vol gende extra criteria zullen echter wellicht wel van belang zijn:
— versterking van de positie van huisartsen, wan neer deze direct toegang zullen hebben tot beelden (teleradiologie)
— toename van het aantal door huisartsen aange vraagde beelden
— toename van de vraag naar ontwikkeling van beeldmanipulatietechnieken (bijv. driedimen sionaal) en dus hogere onderzoekskosten — betere diagnosemogelijkheden in verafgelegen
gebieden
— verandering in opleiding
— bepaalde effecten voor de betrokken in dustrieën.
e. Aandacht voor het gestructureerd betrekken van relevante actoren bij de beleidsvorming. Er
zijn drie typen betrokken en in het spel die ieder hun eigen belangen bij een goede evaluatie heb ben.
— Ten eerste de directie en bepaalde groepen professionals van het betreffende academisch ziekenhuis. Zij moeten toekomstige investe ringsbeslissingen en implementatieprocessen kunnen onderbouwen.
— Ten tweede zijn er de directies en overige groeperingen van andere ziekenhuizen die meer zicht willen krijgen op de potentiële voor- en nadelen van de ontwikkeling van een eigen PACSysteem.
— Ten derde is er de overheid, en zijn er centrale instanties in de medische sector. Mede op grond van dit onderzoek zullen zij hun sturen de rol inzake de ontwikkelingen van medische technologie kunnen bepalen.
Tot Slot
Met dit artikel hebben we willen bijdragen aan de ontwikkeling van TA strategieën. Zoals uit het hier gepresenteerde project, maar ook uit andere literatuur (zie bijv. Den Hertog en van Assen, 1990), duidelijk wordt kan men niet spreken van specifieke TA methoden van dataverzameling of specifieke TA onderzoeksontwerpen. In principe is elk design en elke vorm van gegevensverzame ling bruikbaar binnen TA studies.
Zoals hierboven is aangegeven bestaat er wel een zekere consensus met betrekking tot de wijze waarop een algemene verkennende TA uitgevoerd dient te worden. Met dit artikel wil ik met name pleiten voor een combinatie van algemene TA en een ‘bottom up TA’ in een concrete (experimente le) situatie ter verdieping van het inzicht in de re levante effecten én van de condities die daarbij een rol spelen.
L iteratuur
— Andriessen, J.H. Erik (1990), Computer supported com munication and the power relationships between two pro fessional groups. Paper for ICA Annual Conference, Du
blin.
— Andriessen, J.H. Erik, B.M. ter Haar Romeny, F.H. Bar- neveld Binkhuysen, I.E. van der Horst-Bruinsma (1989), ‘Savings and coss of a picture archiving and communicati on system in the University Hospital Utrecht', in: SPIE Vol 1093, Medical Imaging.
— Banta, H.D., en W.T. van Beekum (1987), Computer as sisted medical imaging the Case o f picture archiving and communications systems (PACS), Gezondheidsraad, Den Haag.
expe-riences in impact assessment, Reidel Publishing Compa ny.
— Daey Ouwens, C ., P. van Hoogstraten, J. Jelsma, F. Prak- ke, A. Rip (1987), Constructief Technologisch Aspecten onderzoek. Een verkenning, NOTA-rapport V4, Den Haag.
— Drummond, M.F. (1980), Principles o f economie apprai sal in health care, Oxford University Press, Oxford. — Dijkstra, S., W. Kerkhoff, A. Simonse (1986), ‘Technolo
gy Assessment. De ontwikkeling van nieuwe technologie op basis van sociale waarderingsgrondslag’, Tijdschrift voor Arbeidsvraagstukken, jrg. 2, nr. 3, blz. 45-55. — Hertog, J.F. den, en A. van Assen (1988), Methodologie
van ontwerp gericht onderzoek, TAO-verkenning nr. 4. — Horst-Bruinsma. I.E. van der, J.H.T.H. Andriessen, F.P.
Ottes (1989), Methods for a cost-benefit analysis o f PACS, Paper for Annual Conference on Computer Assisted Radi ology, Berlin, juni.
— Institute of Medicine (1985), Assessing medical technolo gies, National Academy Press, Washington DC.
— Levin, H.M. (1983), Cost-effectiveness. A Primer, Sage Publications, London.
— Ministerie van Onderwijs en Wetenschappen (1984), Inte gratie van Wetenschap en Technologie in de samenleving. Staatsuitgeverij, Den Haag.
— Molenaar, J.M .A ., S. Dijkstra, A H. Simonse, M.H. Reijnen, K. Tijdens (1989), Sociale technology As sessment: theorie en praktijk, ISBP-Universiteit van Am sterdam, Amsterdam.
— Office for Technology Assessment (1976), Development o f medical technologies. Opportunities fo r assessment. U.S. congress, O.T.A., Wasington DC.
— Riesewijk, B., en J. Warmerdam (1988), Het slagen van falen van automatiseringsprojecten, I.T.S., Nijmegen. — Schot, J.W., m.m.v. A.J.M. Leijten, M. Roggen,
R.E.H.M . Smits (1987), Aanzet voor inventarisatie van onderzoek in Nederland van belang voor technologisch aspectenonderzoek, NOTA-rapport W3, Den Haag. — Simonse, A., W. Kerkhoff, A. Rip (red.)(1989), Technolo
gy assessment in ondernemingen, NGI-publicatie, Klu- wer, Deventer.
— Simonse, A., en A. Rip (1989), ‘Inleiding: Technology Assessment in ondernemingen’, in: A. Simonse, W. Kerk hoff, A. Rip (red.), Technology assessment in onderne mingen, NGI-publicatie, Kluwer, Deventer.
— Simonse, A., W. Kerkhoff, A. Rip (1989), ‘De toekomst van TA in ondernemingen', in: A. Simonse, W. Kerkhoff, A. Rip (red.), Technology assessment in ondernemingen, NGI-publicatie, Kluwer, Deventer.
— Smits, R .E.H .M ., A.J.M. Leyten, m.m.v. R.H. Barkema (1984), Technology Assessment. Op zoek naar een bruik bare aanpak. Een zestal gebieden van technologische ont wikkeling, Staatsuitgeverij, Den Haag.
— Smits, R .E.H .M ., A.J.M. Leyten, J.L.A. Geurts (1984), Technology Assessment. Op zoek naar een bruikbare aan pak. I Analyse van de mogelijkheden en beperkingen, Staatsuitgeverij, Den Haag.
— Snellen, I.TH.M ., C.L. Balfoort, W.B.H.J. van de Donk, H. Henkes, J.J.M. Stevens. R.L.N. Westra (1989), Infor malisering in hei openbaar bestuur. Indicaties voor poli- tiek-inhoudelijke sturing. Eindrapport NOTA-rapport VII,
Den Haag.
— Wilmink, J.B.M., B.M. ter Haar Romeny, F.H. Barneveld Binkhuysen, A.J. Achterberg, K.J. Zuiderveld, P.T. Cal- koen, J.L.M. Kouwenberg (1990), ‘PACS in the Utrecht University Hospital: final conclusions of the clinical eva luation', in: Proceedings o f the SPIE, Medical Imaging.
Rectificatie
Helaas is er in het artikel van J.A.M. Cornelis- sens ‘Arbowet en sociaal recht’ in het eerste num mer van 1990 een fout geslopen. Op blz. 52, lin kerkolom, 23e regel staat ‘thuishoort in het ar beidsomstandighedenrecht', waar had moeten staan ‘thuishoort in het arbeidsovereenkomsten recht’.