Opmaak van een bestek voor een evaluatieopdracht

Het bestek is het document waarin de modaliteiten en randvoorwaarden van een evaluatieopdracht worden omschreven. De opmaak van een accuraat bestek is dan ook een essentiële stap wanneer een evaluatie wordt uitbesteed, aangezien het de grondslag vormt voor een contractuele verbintenis tussen de opdrachtgever en de uitvoerder van de evaluatie. Nochtans is deze stap evenzeer van belang wanneer de evaluatie gedeeltelijk in eigen beheer zal worden gedaan, ook al wordt het nut ervan in dergelijke gevallen vaak over het hoofd gezien.

In deze sectie gaan we dieper in de op verschillende ingrediënten van een goed bestek en wordt aldus een sjabloon van bestek aangereikt. Onderstaande tabel geeft de noodzakelijke bestanddelen van een bestek weer.

1. Wettelijk kader en opdrachtgever

2. Beleidsmatige scope van de evaluatie

3. Opzet en stakeholders

4. Evaluatievragen en -criteria

5. Beschikbare gegevens en informatie

6. Methode en technieken voor dataverzameling, analyse en beoordeling (richtlijnen)

7. Tijdslijn

8. Indicatief budget

9. Vereiste kwalificaties voor de evaluator

10. Structurering van offertes

11. Bepalingen ter indiening en toewijzingscriteria

Tabel 6: Bestanddelen van een evaluatiebestek

• Wettelijk kader en opdrachtgever

Het wettelijke en institutionele kader voor de evaluatie is een eerste element. Meer bepaald wordt hier gespecificeerd welke de regelgevende bepalingen zijn waarop de evaluatie wordt gebaseerd of, bij het ontbreken daarvan, welke de aanleiding is voor de evaluatieopdracht. Daarbij kan al een eerste algemene omschrijving worden gegeven van wat de opzet is van de geplande evaluatie. Tevens dient hier duidelijk vermeld wie of welke instanties de opdrachtgever en initiator zijn en welke actoren betrokken werden bij de opmaak van de opdracht.

• Beleidsmatige scope van de evaluatie

Het belang van het adequaat afbakenen van de inhoudelijke scope van een evaluatie kwam reeds in voorgaande paragrafen aan bod. Het bestek dient te verduidelijken welk(e) maatregel, project of programma, integraal of transversaal beleid geëvalueerd moet worden, alsook het relevante tijdssegment, het tijdsperspectief ten aanzien van de beleidscyclus (ex ante / tussentijds / ex post) en de relevante geografische grenzen.

• Opzet en stakeholders

Het belangrijk te vermelden wat de opzet van de evaluatie is. Zoals eerder beschreven zijn er verschillende perspectieven en motieven die ten grondslag kunnen liggen aan een evaluatie. Het toelichten van de opzet betekent dan ook dat men aangeeft op welke wijze en in welke context de resultaten van de evaluatie zullen gebruikt worden. Tevens dienen daarbij de voornaamste belanghebbenden of stakeholders opgegeven te worden. De identificatie van de stakeholders is een belangrijke stap in het design van een evaluatie (cf. supra). In het bestek dient verder aangegeven te worden in welke mate bepaalde stakeholders tijdens de uitvoering en/of opvolging van de evaluatie betrokken moeten worden. Dergelijke betrokkenheid kan verschillende vormen

aannemen, bijvoorbeeld via een technische opvolgingscommissie, als doelgroep bij de datavergaring, een klankbordgroep, e.d.

• Evaluatievragen en -criteria

Welke evaluatievragen staan centraal? Op welk evaluatiecriterium wordt gefocused? (cf. supra). Belangrijk is om bij de evaluatieopdracht de klemtoon te leggen op een beperkte reeks van vragen waarop de evaluatie een antwoord moet geven. Dit zorgt niet enkel voor een welomlijnde focus van de evaluatie, maar laat ook een betere kwaliteitscontrole toe. Het selecteren van evaluatievragen kan gebeuren aan de hand van een toetsing op evalueerbaarheid die eerder werd besproken.

• Beschikbare gegevens en kennis

Kandidaat-evaluatoren moeten hun voorstel van methode kunnen afstemmen op de omvang en aard van de gegevensverzameling en -analyse die tijdens de evaluatie dient te gebeuren. Daarom is het raadzaam om in het bestek een stand van zaken op te nemen over de bestaande kennis over het evaluatieobject en over de beschikbare en consulteerbare gegevens. Elementen in dit overzicht kunnen zijn: uittreksels van of verwijzingen naar planningsdocumenten, een lijst van uitgevoerde analyses en evaluaties, een beschrijving van de bestaande meetsystemen, toegankelijke databanken en raadpleegbare documenten.

• Methode en technieken (richtlijnen)

Elke evaluatie hanteert een ad hoc aanpak, opgesteld met akkoord van de opdrachtgever en gebaseerd op het voorstel van de evaluator waarin specifieke evaluatietechnieken worden vermeld. In de fase van het bestek is het aangewezen om nog geen gedetailleerde omschrijving van de aanpak en evaluatietechnieken te maken, maar om nog voldoende vrijheidsgraden te laten voor de kandidaat-evaluatoren om op dat vlak aan te geven hoe zij te werk zullen gaan. In bestek kan de opdrachtgever in hoofdlijnen vermelden wat deze als behoeften ziet met het oog op een resultaatsgerichte evaluatie, namelijk het verschaffen van antwoorden op de gestelde evaluatievragen. Eventueel kan verwezen worden naar bepaalde technieken die in de lijn liggen van de intenties, bijvoorbeeld een survey onder de doelgroep van het betrokken beleid, een comparatieve analyse, e.d. Op deze wijze hebben kandidaat-evaluatoren de mogelijkheid om zich te onderscheiden op het vlak van de relevantie en duidelijkheid van hun voorgestelde methode. Dat laatste is van belang in het licht van de kwaliteitstoetsing van de voorstellen en de uiteindelijke selectie van de externe evaluator.

• Tijdslijn

Bij het uittekenen van de tijdslijn voor de evaluatie dienen verschillende beperkingen in acht genomen, meer bepaald deze in verband met het beslissingsproces gekoppeld aan het beleid dat wordt geëvalueerd. Ook bepaalde deadlines die samenhangen met de procedure tot uitbesteding moeten ingecalculeerd worden. Enkele fasen van de evaluatie, bv. dataverzameling, zullen steeds een minimum tijdsduur vergen, terwijl bepaalde onderdelen niet met elkaar kunnen overlappen en deel uitmaken van het zogenaamde kritisch pad van activiteiten: wanneer hier ergens een vertraging optreedt, vertraagt het hele proces.

Met bovenstaande elementen in acht genomen, kan men in het bestek de mogelijke totale tijdsduur van de evaluatie aangeven. Het is aan te bevelen om in een eerste fase te reserveren voor het verder verfijnen van de planning en structurering van de evaluatie door de evaluator in samenspraak met de opdrachtgever. Deze eerste fase kan uitmonden in een startrapport waarin de meer gedetailleerde methode en tijdsindeling worden beschreven. In de fase van de resultaten is het raadzaam om voldoende tijd te voorzien voor de bespreking en eventuele amendementen aan de draft van eindrapportage.

• Indicatief budget

Het is raadzaam om een indicatief budget op te nemen in het bestek en de kandidaat-evaluatoren te laten aangeven wat zij binnen deze financiële marge kunnen aanbieden. Op deze wijze kan de kostprijs van de evaluatie beter beheerst worden en kunnen de inkomende voorstellen op efficiëntie worden beoordeeld. Een alternatieve werkwijze bestaat erin dat men de kostprijs laat schatten door de kandidaat-evaluatoren op basis van wat zij als noodzakelijke activiteiten zien. In beide gevallen wordt best in het bestek een richtlijn opgenomen omtrent een transparante kostenstructuur waarbij een opdeling wordt gemaakt naar verschillende kostenplaatsen.

• Vereiste kwalificaties voor de evaluator

Het bestek dient tevens een aantal voorwaarden te stipuleren over het beoogde profiel van de externe evaluator. Daarbij kan verwezen worden naar de noodzakelijke methodologische kwaliteiten, ervaring met gelijkaardige opdrachten, kennis over de institutionele context en de regio (indien van toepassing), professionele achtergronden en specifieke expertise en de capaciteit om een evaluatie uit te voeren en op te leveren binnen bepaalde tijdsgrenzen.

Met het oog op de zorg voor onafhankelijkheid van een externe evaluator kan de potentiële evaluator ook worden gevraagd om in de offerte op te bevestigen dat er geen belangenconflicten bestaan binnen het evaluatieteam. Anderzijds wordt best ook beschreven in het bestek hoe de evaluator toegang zal kunnen hebben tot de relevante beleids- en managementverantwoordelijken en tot de achtergrondinformatie die noodzakelijk is voor de uitvoering van de evaluatie.

• Structurering van offertes

Om de verwerking van de voorstellen en de toewijzing te vergemakkelijken is het raadzaam om tevens enkele richtlijnen in het bestek op te nemen over de structuur van de offertes. Bepaalde elementen die zeker aan bod moeten komen in de offerte, kunnen gesuggereerd worden. Eventueel kan men ook een maximum lengte per onderdeel vermelden.

• Bepalingen ter indiening en toewijzingscriteria

Ten slotte dient duidelijk in het bestek vermeld wat de deadline voor het indienen van voorstellen is, de verschillende mogelijk manieren, en de geldigheidsduur van voorstellen.

Daarnaast is het aan te bevelen om ook de criteria te expliciteren op basis waarvan de voorstellen zullen beoordeeld worden en een selectie zal gemaakt worden. Tevens kan men daarbij het relatieve gewicht van de verschillende criteria aangeven. Bijvoorbeeld:

x % op de kwaliteit van de methode of aanpak y % op de kwalificaties en ervaring van de evaluator z % op de kostprijs

Het spreekt voor zich dat als dergelijke criteria vermeld worden in het bestek, deze consequent dienen te worden toegepast tijdens het beoordelen van de verschillende offertes.