Bijlage 1: Academische onderzoeken naar datakwaliteit dimensies
Het onderzoek van Wang en Strong is een empirisch onderzoek dat gericht is op de dimensies die belangrijk / kritiek worden gevonden door de dataconsumenten / kenniswerkers. Het onderzoek van Zmud1 geeft de dimensies weer die belangrijk zijn voor gebruikers van computeruitdraaien (prints), hierdoor zijn toegankelijkheidsdimensies niet relevant.
De volgende weergegeven drie onderzoeken hebben hun dimensies ontleend aan een literatuurstudie van de huidige literatuur. In het onderzoek van Jarke en Vassiliou2 zijn de dimensies van Wang en Strong aangepast aan hun studie van data warehouse kwaliteit. De eerstgenoemde dimensie in iedere kolom is het algemene label voor die betreffende categorie.
Het onderzoek van DeLone en McLean3, waarbij ze gedurende de jaren tachtig de MIS (Management Information System) literatuur hebben bestudeerd, heeft drieëntwintig dimensies opgeleverd die gebaseerd zijn op negen voorgaande studies. Goodhue’s dimensies zijn ontwikkeld uit een literatuuronderzoek waarbij de nadruk is gelegd op karakteristieken van informatie die belangrijk zijn voor managers die gebruik maken van kwantitatieve data, die is opgeslagen in computersystemen. Daarom komen voornamelijk de dimensies in de categorie Accessibility aan bod in de studie van Goodhue4.
1 Zmud, R. Concepts, Theories and Techniques: An Empirical Investigation of the Dimensionality of the Concept of Information. Decision Sciences, 9(2) (1978), blz. 187-195
2Jarke, M. en Vassiliou Y. Data Warehouse Quality: A Review of the DWQ Project. In Proceedings of the 1997 Conference on Information Quality. Cambridge, MA (1997), blz. 299-313
3 Delone, W. H. en McLean, E. R. Information Systems Success: The Quest for the Dependent Variable.
Information Systems Research, 3(1) (1992), blz. 60-95
4 Goodhue, D. L., Understanding User Evaluations of Information Systems. Management Science, 41(12) (1995), blz. 1827-1844
Intrinsic Contextual Representational Accessibility
Wang and Strong Accuracy Believability Reputation Objectivity
Value-Added Relevance Completeness Timeliness Appropriate Amount
Understandability Interpretability
Concise Representation Consistent
Representation
Accessibility Ease of Operations Security
Zmud Accurate
Factual
Quantity Reliable / Timely
Arrangement Readable Reasonable Jarke and Vassiliou Believability
Accuracy Credibility Consistency Completeness
Relevance Usage Timeliness Source currency Data warehouse currency Non-volatility
Interpretability Syntax Version control Semantics Aliases Origin
Accessibility System availability Transaction availability Privileges
DeLone and McLean Accuracy Precision Reliability Freedom from Bias
Importance Relevance Usefulness Informativeness Content Sufficiency Completeness Currency Timeliness
Understandability Readability Clarity Format Appearance Conciseness Uniqueness Comparability
Usableness Quantitativeness Convenience of Access
Goodhue Accuracy
Reliability
Currency Level of Detail
Compatibility Meaning Presentation Lack of Confusion
Accessibility Assistance Ease of Use (Hardware and Software) locatability Ballou and Pazer Accuracy
Consistency Completeness Timeliness Wand and Wang Correctness
Unambiguous
Completeness Meaningfulness
Fig. Bijlage 1: De academische blik op datakwaliteit
De laatste twee weergegeven onderzoeken in de tabel leggen de nadruk op een aantal dimensies, die objectief vastgesteld / gemeten kunnen worden, in plaats van een allesomvattende opsomming van dimensies die belangrijk worden gevonden door informatie consumenten.
Het onderzoek van Ballou en Pazer5 richt zich voornamelijk op intrinsieke dimensies die objectief vastgesteld / gemeten kunnen worden. Ze maken gebruik van vier dimensies die veelvuldig opduiken in datakwaliteit studies:
‘accuracy’, ‘consistency’, ‘completeness’ en ‘timeliness’. Ballou en Pazer onderkennen dat er een discrepantie optreedt tussen verwachtingen van eindgebruikers van de informatie en de kenmerken van het aangeleverde informatieproduct door de informatie producenten, maar gaan in mindere mate in op de contextuele, en dus meer subjectieve, dimensies van datakwaliteit. Volgens hen worden dimensies als bijvoorbeeld ‘interpretability’ en
‘presentation’ teveel beïnvloedt door subjectiviteit om verantwoord gemeten te kunnen worden.
Het onderzoek van Wand en Wang6 beschrijft vier dimensies van datakwaliteit: ‘correctness’, ‘unambiguous’,
‘completeness’ en ‘meaningfulness’. De kwaliteit van deze vier dimensies kan bepaald worden door de waarden in het systeem te toetsen aan hun corresponderende real-world waarden.
Wanneer de studies met elkaar vergeleken worden, komen er twee verschillen aan het licht. Ten eerste zijn er onderzoeken waarbij rekening is gehouden met het oogpunt van de informatieconsumenten. In deze onderzoeken is het nodig geweest om een aantal subjectieve dimensies bij te sluiten. Denk dan aan dimensies als;
‘understandability’, ‘interpretability’, ‘readable’, ‘clarity’, ‘presentation’ etc.. Het moge duidelijk zijn dat dergelijke dimensies, wanneer zij gemeten worden en uitgedrukt in een cijfer, onderhevig zijn aan de
5 Ballou, D. P. en Pazer, H. L. Modeling Data and Process Quality in Multi-input, Multioutput Information Systems. Management Science, 31(2) (1985), blz. 150-162
6 Wand, Y. en Wang, R. Y. Anchoring Data Quality Dimensions in Ontological Foundations. Communications of the ACM, 39(11) (1996), blz. 86-95
subjectiviteit van de informatieconsumenten. Op het onderscheid tussen objectieve en subjectieve datakwaliteit dimensies en het toekennen van waarden hieraan zal dieper worden ingegaan in paragraaf 5.9.1.
Ten tweede valt het op dat er een verschil bestaat tussen de verschillende onderzoeken bij het indelen van verschillende dimensies in categorieën. Zo vallen bij de studie van Ballou en Pazer de dimensies ‘completeness’
en ‘timeliness’ onder de intrinsieke categorie van datakwaliteit (intrinsic), terwijl bij de studie van Wang en Strong deze dimensies onder de contextuele categorie van datakwaliteit vallen (contextual). Wanneer
‘completeness’ wordt beschouwd als een intrinsieke dimensie dan is ‘completeness’ gedefinieerd als zijnde iedere missende waarde. Wanneer ‘completeness’ echter wordt beschouwd als een contextuele dimensie, dan is
‘completeness’ ook gedefinieerd als zijnde iedere missende waarde, maar dan slechts voor die waarden die gebruikt worden door, of benodigd zijn voor de informatieconsumenten. Zo zijn er ook verschillen te ontdekken in de definitie van de dimensie ‘timeliness’. Door Wang en Strong wordt deze dimensie gedefinieerd als de
‘ouderdom / leeftijd’ van de gebruikte data. Larry P. English definieert deze dimensie daarentegen weer als het tijdig aanwezig zijn van de benodigde data om een proces mee uit te voeren.
Bijlage 2: De blik uit de praktijk op datakwaliteit
DoD in de tabel is “The Department of Defense” oftewel het Amerikaanse ministerie van defensie. Dit ministerie maakt gebruik van de richtlijnen van het Total Data Quality Management (TDQM) programma om met het onderwerp datakwaliteit om te gaan. Een onderdeel van dit TDQM programma is de continue cyclus van Define, Measure, Analyze en Improve. Deze cyclus richt zich op de, door het ministerie geïdentificeerde, dimensies
‘accuracy’, ‘completeness’, ‘consistency’, ‘validity’, ‘timeliness’ en ‘uniqueness’. MITRE (www.mitre.org) is een non-profit organisatie die voornamelijk bestaat uit wetenschappers en haar kennis inzet ten behoeve van het publieke belang. MITRE maakt gebruik van de dimensies zoals deze door Wang en Strong zijn geïdentificeerd.
Information Resources Inc. (IRI), is een aanbieder van informatie voor andere organisaties. De dimensies die zij gebruiken om informatiekwaliteit te beoordelen zijn gebaseerd op het product dat zij verkopen. De informatie die zij verkopen aan andere organisaties moet accuraat zijn en de levering ervan zal overeenkomend met de afspraak op tijd en betrouwbaar moeten zijn. Zij hebben het TRAQ-model ontwikkeld (Timeliness + Reliability + Accuracy = Quality) om de aandacht binnen de organisatie te vestigen op informatiekwaliteit.
Unitech is een bedrijf dat datakwaliteit software tools verkoopt. Zij prefereren de term: Information Integrity. In de categorie accessibility valt dan ook op dat de dimensies ‘privacy’ en ‘security’ worden genoemd.
Diamond Technology Partners is een consultancy bureau dat datawarehouses bouwt. De nadruk leggen zij op de dimensies ‘accuracy’ en ‘accessibility’ om de datakwaliteit in hun warehouses te beoordelen.
Intrinsic Contextual Representational Accessibility
DoD Accuracy
Completeness Consistency Validity
Timeliness Uniqueness
MITRE
(Same as Wang and Strong)
Accuracy Believability Reputation Objectivity
Value-Added Relevance Completeness Timeliness Appropriate Amount
Understandability Interpretability
Concise Representation Consistent
Representation
Accessibility Ease of Operations Security
IRI Accuracy Timeliness Reliability (of delivery)
Unitech Accuracy
Consistency Reliability
Completeness Timeliness
Security Privacy
Diamond Technology Partners
Accuracy Accessibility
HSBC Asset Management
Correctness Completeness Currency
Consistency Accessibility
AT&T and Redman Accuracy Consistency
Completeness Relevance Comprehensiveness Essentialness Attribute Granularity (korrelig, korrelachtig) Currency / cycle time
Clarity of definition Precision of domains Naturalness Homogenity Identifiability
Minimum unnecessary redundancy
Semantic consistency Structural consistency Appropriate
representation Interpretability Portability Format precision Format flexibility Ability to represent null values
Efficient use of storage Representation consistency
Obtainability Flexibility Robustness
Vality Metadata characteristics
Fig. Bijlage 2: De blik uit de praktijk op datakwaliteit
HSBC Asset Management is ook een bouwer van datawarehouses. In tegenstelling tot Diamond Technology Partners betrekken zij ook dimensies die belangrijk zijn voor gebruikers (dataconsumenten / kenniswerkers) in hun beoordeling. Deze dimensies zijn; ‘correctness’, ‘completeness’, ‘consistency’, ‘currency’ en ‘accessibility’.
Redman7 is een bekende pionier op het gebied van datakwaliteit. Gebaseerd op zijn werk bij AT&T heeft hij een omvangrijke lijst van datakwaliteit attributen opgesteld. Wat opvalt is dat hij een groot aantal attributen benoemt, die vallen onder de representatieve categorie (representational). Dit kan worden verklaard vanuit zijn werkterrein, dat bestond uit het consistent laten samenwerken van omvangrijke databases. Als resultaat hiervan gaat zijn werk minder in op dimensies die belangrijk worden gevonden door dataconsumenten / kenniswerkers (eindgebruikers).
Vality is een bedrijf dat de nadruk, net zoals Redman, heeft liggen op de representatieve categorie. Zij houden zich bezig met het opschonen en combineren van data uit verscheidene bronnen voordat deze data de input vormt van het datawarehouse.
7 Redman, T. C., ed. Data Quality: Management and Technology. New York. Bantam Books. New York (1992)
Bijlage 3: De bronnen van Cendris
Gouden Gids:
Alle bedrijven jaarlijks telefonisch geverifieerd (continu):
Op basis van 1-op-1 koppeling worden Gouden Gids mutaties verwerkt:
• Nieuwe bedrijven
• Bedrijfsopheffingen
• Mutaties
• Rubriekscodes
TPG Post:
Diverse informatiestromen (ad hoc):
• Stratenregister
• Vernummeringen
Kamer van Koophandel:
Wijzigingen handelsregister als signaal:
• Bedrijfsopheffingen
• Mutaties (eind jaar)
Telem arketing (preventief):
Alle bedrijven >= 5 FTE’s jaarlijks telefonisch geverifieerd (continu):
• Organisatie informatie
• Contactpersonen
• Concernrelaties
Telem arketing (correctief): Op basis van mutatie signalen worden mutaties (telefonisch) geverifieerd (continu):
• Postretouren
• Verhuisberichten
• Media
Overige bronnen (periodiek):
• Faillissementen register
• Staatsalmanak
• Pyttersen’s Almanak
• Gids Gemeentebesturen
• Politie Almanak
• Jaarverslagen
• Het Financieele Dagblad
• Vakbladen
• Sales Cendris Cendris
Businessview top 100.000
Bijlage 4: Soort aangetroffen fouten in de steekproef
Bedrijfsnamen zijn niet beschikbaar in de openbare
versie
Bijlage 5: Mijlpalen per stage in het IQMG van Crosby
Van Stage 1 naar Stage 2: Awakening
Om te komen van Stage 1 naar Stage 2 moet het volgende gebeuren:
De organisatie moet zich ontworstelen aan de ijzeren houdgreep waarin zij zich bevindt. Het management moet ‘de pijn’ voelen. De problemen die veroorzaakt worden door een slechte datakwaliteit moeten zichtbaar en voelbaar gemaakt worden. Het gaat dan om de kosten die direct aanwijsbaar zijn en om de kosten die eventueel in het verlengde liggen van problemen met datakwaliteit (lost en missed opportunity costs).
Het benoemen van een Data Quality Leader (Datakwaliteit Leider).
In Stage 2 moeten de volgende componenten in de organisatie geïnstalleerd zijn:
Een organisatiebrede data resource management functie.
Er bestaan organisatiebrede standaarden voor data en deze worden nageleefd. Deze standaarden zijn kwaliteitsstandaarden.
Data wordt gedefinieerd. Data wordt vanaf dit moment gedefinieerd vanuit een gedeelde, cross- functionele optiek.
De datakwaliteit van cruciale data wordt getoetst.
De kosten van een lage datakwaliteit worden bepaald.
Data wordt opgeschoond zodat het met vertrouwen kan worden gebruikt.
Van Stage 2 naar Stage 3: Enlightenment
Om te komen van Stage 2 naar Stage 3 moet het volgende gebeuren:
Het ontwikkelen van persoonlijke relaties met management sponsoren.
Het ontwikkelen en geven van formele educatie aan het senior management met betrekking tot de principes van datakwaliteit.
Het vaststellen van de kwaliteit van de datastandaarden.
Het op continue basis vaststellen van de datakwaliteit van data die net na de kritieke data komt in volgorde van belang.
Het op continue basis vaststellen van de kosten van ‘non-quality information costs’ om de urgentie van het probleem te benadrukken.
Het identificeren en waarderen van de kosten van overbodige / overtollige applicatie- en database ontwikkeling.
In Stage 3 moeten de volgende componenten in de organisatie geïnstalleerd zijn:
Beleid met betrekking tot informatie / data wordt door het senior management geïmplementeerd.
Tools voor informatie / data modelling worden effectief ingezet.
De definities van data en de informatie-architectuur worden opgeslagen in naslagwerken die centraal gedeeld worden en toegankelijk zijn voor de kenniswerkers (dataconsumenten) en de dataproducenten.
Het delen van data vindt op bescheiden schaal plaats.
Organisatiebrede informatiemodellen bewaken de ontwikkeling en het ontwerp van databases.
Het kwaliteitsprogramma van Deming, bestaande uit 14 kwaliteitspunten, wordt geïmplementeerd in de organisatie.
De organisatie van datakwaliteit wordt geformaliseerd.
Training m.b.t. datakwaliteit is beschikbaar voor alle organisatieleden.
Het stewardship programma wordt geinitialiseerd.
Processen en projecten ter verbetering van de datakwaliteit worden geïmplementeerd en uitgevoerd.
Van Stage 3 naar Stage 4: Wisdom
Om te komen van Stage 3 naar Stage 4 moet het volgende gebeuren:
Het uitvoeren van educatie m.b.t. datakwaliteit op continue basis voor het management.
Formele implementatie van het stewardship programma.
Het meten van de vooruitgang en resultaten van de ingevoerde processen en projecten ter verbetering van de datakwaliteit.
Introductie van nieuwe incentives en performance indicators voor datakwaliteit.
Verandering in financiering van applicatie- en dataontwikkeling.
Het afvangen van data aan de bron en het elimineren van grote onnodige tussenliggende stappen.
In Stage 4 moeten de volgende componenten in de organisatie geïnstalleerd zijn:
De 14 punten van Deming zijn volledig geïmplementeerd.
Alle grote processen m.b.t. datakwaliteit worden gecontroleerd en de niveaus van datakwaliteit worden gehandhaafd.
Er is sprake van significante deling en hergebruik van data in de organisatie.
Er is sprake van een significante reductie van overbodige / overtollige data.
Informatie (Information) stewardship (Operational, Managerial, Strategic, Business) is aanwezig voor de belangrijkste data.
Training m.b.t. datakwaliteit is aanwezig voor alle organisatieleden.
Educatie en zelfontplooiing voor alle werknemers omdat sommige onnodige tussenliggende stappen zijn geëlimineerd.
Het voorkomen van fouten in de data is routine.
Het ontwikkelen van applicaties met het oog op foutenpreventie is routine.
Van Stage 4 naar Stage 5: Certainty
Om te komen van Stage 4 naar Stage 5 moet het volgende gebeuren:
Het verbeteren en optimaliseren van de processen en projecten ter verbetering van de datakwaliteit.
Het elimineren van alle onnodige data en applicatie processen.
Het implementeren van informatie stewardship voor alle data.
In Stage 5 moeten de volgene componenten in de organisatie geïmplementeerd zijn:
Er wordt voorzien in feedback t.a.v. alle processen m.b.t. de data. Dit zijn zowel de business- als de ontwikkelprocessen. Deze feedback mechanismen kunnen het best zo dicht mogelijk bij de bron worden geïnstalleerd –het liefst electronisch- zodat fouten tot een minimum worden beperkt.
Informatie stewardship is aanwezig voor alle data.
Preventie ter voorkoming van fouten in de data is routine.
Bijlage 6: Kwaliteitsprogramma’s
Joseph M. Juran8 wordt door velen gezien als “de man die de Japanners leerde wat kwaliteit is”.
Zijn sleutelbijdragen aan de kwaliteitswereld zijn:
Top management involvement (Actieve betrokkenheid van het topmanagement) Pareto principle (Het paretoprincipe, de 80-20 regel)
Training in quality management (Training en opleiding voor de betrokkenen)
Definition of quality as fitness for use (Kwaliteitsdefinitie met de nadruk op de mate van geschiktheid voor gebruikers)
Project-by-project approach (Projectmatige aanpak van kwaliteitsproblemen)
Standard reference the Quality Control Handbook (Handboek met kwaliteitsstandaarden)
Enkele belangrijke stappen die Juran predikte:
Build awareness of the need and opportunity for improvement (Het creëren van awareness m.b.t. de noodzaak voor en de mogelijkheden tot verbeteringen)
Set goals for improvement and organize to reach them (Het instellen van doelen om te bereiken en het organiseren van manieren om deze doelen te bereiken)
Carry out projects to solve problems (Het op projectmatige wijze oplossen van problemen) Report progress (Rapporteren van vooruitgang aan de betrokkenen)
Provide training (Het verzorgen van training en opleiding voor de betrokkenen)
Give recognition (Het onderkennen van het probleem en het toekennen van krediet aan de mensen die goede resultaten boeken)
Communicate results (Het communiceren van resultaten en vooruitgang aan de betrokkenen)
Maintain momentum by making improvement part of the regular systems and processes of the company (Kwaliteitsverbeteringen moeten een plek op de alledaagse agenda krijgen. Kwaliteitsverbetering is een
“ongoing process”)
Philip Crosby is oprichter van Philip Crosby Associates en heeft zijn bedrijf uitgebouwd tot een grote consultancy maatschappij die zich richt op kwaliteitsmanagement. Crosby heeft een 14-stappen programma9 opgesteld om te komen tot kwaliteit. Deze stappen zijn:
1. Management Commitment: “Duidelijk maken waar het management staat ten aanzien van kwaliteit”.
2. The Quality Improvement Team: “Dit team wordt gecreëerd om het verbeterprogramma voor kwaliteit te beheren / runnen”.
3. Quality Measurement: “Om op een zodanige wijze inzicht te verkrijgen in huidige en potentiële problemen dat objectieve evaluatie en ingrijpen mogelijk is”.
4. The Cost of Quality: “Het aangeven wat de opbouw van de kostenstructuur van kwaliteit is zodat dit als management tool kan worden gebruikt”.
5. Quality Awareness: “Het voorzien in een methode om awareness onder de werknemers te creëren met betrekking tot het betreffende proces of de dienst en de relatie hiervan met de reputatie van de onderneming op het gebied van kwaliteit”.
6. Corrective Action: “Het voorzien in een systematische methode die alle, in de voorgaande stappen geïdentificeerde, problemen voor altijd oplost”.
7. Zero Defects Planning: “De focus ligt op het voorkomen van fouten”.
8. Supervisor Training: “Het definiëren van het type training die supervisors nodig hebben om hun aandeel in het verbeterprogramma voor kwaliteit uit te kunnen voeren”.
9. Zero Defects Day: “Het creëren van een gebeurtenis waarbij aan alle werknemers door middel van een persoonlijke ervaring duidelijk wordt gemaakt dat er een verandering heeft plaatsgevonden”.
10. Goal Setting: “Het omzetten van beloften en woorden in concrete actie door het stimuleren van individuen om verbeterdoelstellingen in te stellen voor henzelf en hun teams”.
8 Juran, J.M. Juran's Quality Control Handbook,.Vierde Editie. Toronto, Ontario. McGraw-Hill Book Company (1988)
9 Crosby, P. B. Quality is Free: The Art of Making Quality Certain. New York. Penguin Group (1979)
11. Error-Cause Removal: “Het creëren van de mogelijkheid voor individuele werknemers om aan het management te communiceren wat obstakels zijn die het moeilijk maken om te kunnen voldoen aan de gestelde doelstellingen”.
12. Recognition: “Het uitspreken van waardering voor degenen die deelnemen (kan mede ondersteund worden in de vorm van incentives / beloning)”.
13. Quality Councils: “Het bij elkaar brengen van / bundelen van kwaliteitsprofessionals voor gepland overleg op regelmatige basis”.
14. Do It Over Again: “Om te benadrukken dat het verbeterprogramma voor kwaliteit nooit ten einde is”.
Wanneer de verschillende kwaliteitspunten en benaderingen met elkaar vergeleken valt op dat er veel overeenkomsten zijn. Betrokkenheid van het topmanagement, communicatie van de resultaten en vooruitgang, het creëren van een (Data) Quality Team, training en opleiding, leiderschap, gericht beleid en meetmethoden ontwikkelen en het feit dat kwaliteitsverbetering nooit ophoudt, zijn een paar elementen, die in alle benaderingen zijn terug te vinden. Uit onderzoek blijkt dat managers veelal een benadering kiezen die ze aanspreekt, of die, volgens hun perceptie, het meest overeenkomt met hun specifieke kwaliteitsproblemen. Vervolgens kiezen managers die punten uit een benadering die ze bruikbaar achten. Vaak worden niet alle punten opgevolgd. Het komt ook voor dat managers een doorsnede van een aantal benaderingen maken en de punten die ze aanspreken, verzamelen om zodoende tot een eigen kwaliteitsprogramma te komen. Het kwaliteitsprogramma van Deming wordt echter hoog aangeslagen wanneer het gaat om resultaten m.b.t. datakwaliteit en wordt daarom ook gebruikt in de grid van Crosby. Dit is omdat Deming als enige echt de nadruk op “management commitment”
weet te leggen.
Bijlage 7: Opsomming kernpunten conclusie
Datakwaliteit moet georganiseerd worden o Toekennen van verantwoordelijkheden
Data Quality Leader Data Quality Team Data Quality Manager
Senior management trekt de kar o Heldere interne afspraken maken
Stewardship
o Ontwikkel de juiste methode om kwaliteit te meten Objectief meetbare dimensies Subjectief meetbare dimensies Combinatie van dimensies
Toetsing van de data aan de hand van bronnen en surrogaatbronnen o Breng kosten in kaart
Non-quality information costs Onnodige kosten
Kosten door imagoverlies Datakwaliteit is een continu aandachtsgebied
o Doorlopend onder de aandacht van de mensen brengen Training on the job
Creatie van ‘awareness’
Creatie van een ‘sense of urgency’
o Met een hoge frequentie eraan werken Aandacht niet laten verslappen
Het onderwerp datakwaliteit is onderdeel van de dagelijkse agenda o Kwaliteitsprogramma van Deming
Gebruik de juiste middelen en methoden o Software
o Hardware
o Referentie bronnen
Kamer van Koophandel Gouden Gids
Cendris of andere commerciële partijen De data-objecten zelf
• Klanten
• Contactpersonen o Steekproeven
Willekeurig Niet-willekeurig o Benadering van bronnen
Telefonisch Schriftelijk Fysiek
Online (e-mail, website)
