Appendix I
Organogram
Appendix II, The interviews.
Interview Novib, Bruno Molijn Wednesday 25 February 2004 Question-list.
1. Introduction about Novib and their policy, especially Microfinance?.
2. Concerning the policy of DDE; how do they deal with it?, Do they have to justify their results?, Justify their methods of measurement?.
3. Did they made indicators to make policy operational?.
4. What is missing concerning policy?.
5. What is in his view possible with microfinance, regarding poverty alleviation?.
6. What is his opinion concerning the platform?. Main goal?, does it help?.
7. What is the current benefit of the platform and what needs to be done?. With regard to research?.
8. How much do they spend on microfinance? (MF), Do they compare it with other development instruments?.
9. Why did Novib choose to get involved in MF?. ASN bank?.
10. How much MFI’s do they sponsor and in how many countries?.
11. What is the main objective regarding MF?. Social aspects and/or financial aspects?, why?. Is there a tension/relationship?.
12. What is their opinion about reaching financial sustainability within MFI’s?.
13. How do they assess whether MF reaches these objectives?. Impact assessment?.
14. Does it cause an image problem, being a donor organization. Does it conflict?.
15. Who are the competitors/colleague’s on MF and what is the relationship?. Platform?.
16. What are the main problems/bottlenecks in MF?, why?. What should be the direction of the solution?.
17. What is the future of MF ?. Involvement of commercial banks?.
18. Do they report to their donors about their effectiveness?. How?. Indicators?.
19. How is their relationship with the government/DGIS?. They are dependent on the support of the government for 70 percent, what is there opinion about that?.
20. What is their opinion about new financial products, like micro-insuring?.
21. Do they adjust their policy to the millennium-goals, like women empowerment?.
22. Could you tell how a fund application works?.
23. Is there an evaluation of the money spend on the different poverty instruments?. How do they make an estimate/budget?.
24. Do they have a policy note?.
Floris Valkema DDE/OB
Interview Brechtje Paardekooper, DSI (Sociale en institutionele ontwikkeling), 29-04-04
Mijn doelstelling is: Het opstellen van indicatoren voor een rapportagemodel zodat het Ministerie inzicht krijgt in de contributie van MicroFinanciering op armoedeverlichting.
Ik zal me richten op de 4 medefinancieringsorganisaties (Novib, Icco, Hivos en Cordaid), FMO en Oikocredit. Deze sponsoren op hun beurt MicroFinance organisaties.
Mijn interesse gaat uit naar evaluatie in het algemeen, hoe worden subsidie-ontvangers(partners) beoordeeld?, en specifiek naar de MedeFinancierings Organisaties (MFO’s). Op basis waarvan krijgen de MFO’s geld voor Micro-Finance. Wat is de doelstelling van het Ministerie en hoe wordt dit geëvalueerd?.
Vragen
- Kunt u een introductie geven betreffende het proces; Doelstelling, Rapportage, Evaluatie en Conclusie?. Voorbeeld: Om met subsidie te verlenen zullen afspraken gemaakt worden over de doelstellingen. Vervolgens zal gerapporteerd worden in welke mate die gehaald zijn door de partnerorganisatie (dit moet ook transparant gemaakt worden?) en dit zal leiden tot een evaluatie en een conclusie.
- Kunt u vertellen wat de doelstelling was/is met betrekking tot de MFO’s en MicroFinance?.
Zijn deze opgesteld of eerder grof afgesproken?. De overkoepelende doelstelling is armoedeverlichting maar zijn daar operationele waarden voor?. De Millenniumgoals bijvoorbeeld?. Probleem met MicroFinance is misschien dat het over veel schijven gaat.
Ministerie -> Co-Finance -> MFI -> Client. In principe hoeft het Ministerie niet te beoordelen hoe een MFI rapporteert maar alleen hoe een Co-Finance organisatie rapporteert. Het moet wel transparant zijn of dit goed gegaan is.
- Ik heb veel bestudeerd over wat de mogelijkheden zijn met MicroFinance (op armoede) en hoe dat gemeten kan worden maar de vraag begint bij wat het Ministerie wil weten. Vindt het Ministerie alle indicatoren die met armoede te maken hebben belangrijk?. Is daar een model voor?.
- In welke vorm wordt er nu gerapporteerd?, d.m.v. Jaarverslagen, biedt dit voldoende inzicht?.
Zo niet, waar is dan nog behoefte aan?.
Wat vindt u van de kritiek van CGAP, “Donor Peer reviews, 2003” op het Ministerie?:
Onder andere:
• “The Ministry currently has no MicroFinance-specific selection criteria of due diligence for partners that receive the bulk of MicroFinance development cooperation money. Co-
financing agreements and budgets are approved at a general level, and no questions specific to microfinance are asked about the MFO’s and other applicants’ track record in the area, including portfolio quality, and technical capacity”.
• Accountability is still largely defined in financial terms, with very little accountability for quality of results among the Ministry and the institution it finances. Information on the number of projects and dollar vaule by instrument type appears more readily available that portfolio quality information among the MFO’s, raising the risk that substandard programs exist and persist. At the Ministry level, good performers do not appear to be rewarded nor are poor performers sanctioned consistently.
• The lack of accountability for results is linked to weak monitoring systems that provide limited information at the Ministry level about the content and performance of the portfolio.
The new system, Pyramid, promises to track more results-type information, but it is unclear whether it could effectively monitor the ministry money invested in microfinance. Even with FMO, funded directly through a PSD budget line, no clear mechanism for monitoring performance exists.
En van de kritiek van Facet et all. Mei 2002:
- Gebrek aan specifieke eisen voor verslaggeving weerspiegelt de ruimte voor verschillende interpretaties en werkwijzen door de MFO’s en de onduidelijkheden die dit met zich meebrengt.
DGIS heeft bijna niet op kwartaalverslagen gereageerd, en ook de reacties van DGIS op de jaarverslagen waren beperkt. DGIS had zich voorgenomen na een jaar de verslaggeving te evalueren, dit is echter niet gebeurt.
Interview Martine Weve, DSI.
Specialiteit: Feedback en aspecten van resultaatgericht management in het Medefinancieringsprogramma.
Mijn interesse gaat uit naar monitoring en rapportage en dan specifiek voor de
medefinancieringsorganisaties. Het probleem wat aanleiding was voor mijn scriptie laat zich als volgt schetsen:
DGIS wilde van de MFO’s een betere rapportage op het gebied van MicroFinance. Nu slaat dat
“betere” volgens mij op de inhoud aangezien ze meer inzicht wilden krijgen in de mate van armoedeverlichting door MicroFinance.
Betere rapportage kan echter ook slaan op de methodologische kwaliteit van monitoring en rapportage. Dit is het onderwerp waar ik graag over wil hebben.
Insteek: Monitoring kan methodologisch goed of slecht zijn maar ook inhoudelijk goed of slecht.
Respectievelijk: worden de metingen goed gedaan en meten ze wat ze beogen te meten.
Het gaat dus om “Betrouwbaarheid” en “Validiteit”.
Vragen
1. Ik neem aan dat de methodologische kwaliteit (betrouwbaarheid) eerst goed moet zijn voordat er over de inhoud (Validiteit) gesproken wordt?. Je kan namelijk wel meten wat je beoogt te meten maar wanneer dat kwalitatief niet goed gebeurt dan heb je niks aan de uitkomsten. Klopt dit?.
2. Naar mijn inziens zijn er bij MicroFinance geen duidelijke doelen afgesproken. Misschien is het ook wel onduidelijk welke doelen er mogelijkerwijs gesteld kunnen worden. Door goede monitoring zou achterhaald kunnen worden wat er op dit moment bereikt wordt en zo zou er inzicht verkregen kunnen worden in de mogelijke doelen. Is dit een manier op doelen op te stellen?.
3. Vraag twee is niet helemaal waar omdat het abstracte doel armoedeverlichting is. Dat is de doelstelling met MicroFinance. Operationalisatie moet dan echter wel mogelijk zijn. Wat is de ervaring in de praktijk?.
4. (sluit aan op vraag 3) Resultaatgericht management is in ontwikkeling maar zoals ik begreep van Piet de Lange (PM&E) worden resultaten gesteld en dus ook gerapporteerd op abstract niveau. Voor monitoring en Rapportage (het doen van metingen) heb je operationalisatie nodig van abstracte doelen. Is dat mogelijk en lukt dat ook?.
5. Op basis van hoe er nu gerapporteerd wordt binnen Medefinanciering: Waar schort het dan aan en wat gaat goed?. Bijvoorbeeld m.b.t. betrouwbaarheid en validiteit.
6. Voorheen werden er vooral beheersdoelen gesteld en nu gaat dat meer naar resultaat?. Is dit ook te plaatsen onder respectievelijk betrouwbaarheid en validiteit?.
7. Wat zijn ervaringen die nu opkomen bij de ingezette verandering van beheersgericht naar resultaatgericht?.
Algemeen rapportage
1. Hoe gaat rapportage in het algemeen in zijn werk?. Jaarplannen, vierjaarlijkse business plannen, evaluaties etc?.
2. Welke eisen worden daaraan gesteld?.
Zijn de doelen ook ergens duidelijk afgesproken, Abstract of concreet?.
Interview Piet de Lange, PM&E. 07-06-04
Inleiding:
Ik doe vanuit de studie Bedrijfskunde een afstudeerstage bij DDE met als doelstelling: het ontwikkelen van rapportagevereisten voor de MedeFinancieringsorganisaties (MFO) teneinde inzicht te verschaffen in de door hun behaalde mate van armoedeverlichting.
Na uitgebreide literatuurstudie is mij duidelijk geworden dat impact meten (op klantniveau) zeer lastig is en dat mede daarom “Social Performance”-Meting op MFO-niveau in opkomst is.
De MFO’s moeten rapporteren op een aantal indicatoren waardoor indirect een uitspraak gedaan kan worden over hun mate van armoedeverlichting (impact op de klant).
Mijn interesse gaat uit naar rapportage in het algemeen bij het Ministerie en in het bijzonder betreffende Medefinanciering. Ik heb hiervoor gesprekken gehad met Brechtje Paardekooper (DSI) en met Ton Schutte (IOB).
Vragen Algemeen
Na het gesprek met Brechtje heb ik het volgende beeld gekregen van Monitoring en Rapportage.
Partners dienen eens in de vier jaar een bedrijfsplan in. Dit wordt al dan niet goed gekeurd en ter controle worden de jaarverslagen gebruikt. Hiermee wordt de progressie gemeten. De monitoring die het Ministerie doet let vooral op methodologie: Hoe zijn de interne monitoring en
kwaliteitssystemen?. Ter aanvulling zijn er nog externe evaluaties en evaluaties uitgevoerd door de partners zelf.
1. Klopt dit beeld of verdient het nog aanvullingen/ wijzigingen?.
2. Klopt het dat het Ministerie vooral werkt met methodologische eisen en minder gericht is op de inhoud?. Het beleid is dan meer re-actief dan pro-actief?. Of is er wel een beleid voor alle instrumenten te samen?. Een voorbeeld zou kunnen zijn dat het ene instrument bepaalde targets moet halen op een van de MDG’s en een ander instrument andere targets voor een andere MDG?, is daar een overkoepeld beleid voor?.
3. Kunt u misschien kort uiteenzetten van uw ervaring is met Planning, Monitoring en Evaluatie?. Wat zijn de positieve en negatieve aspecten?, Hoe reageren partners over het algemeen?.
4. Heeft u misschien een beoordeling van een bedrijfsplan (4 jaarlijks). Zijn daar vaste eisen voor of is dit ook weer afhankelijk van nieuwe beleid?.
5. Bent u bekend met het resultaatgerichte monitoringsystem dat ontwikkeld is? (Uit het rapport: Developing a global partnership for Development). Weet u misschien hoe die tot stand gekomen is?.
Vragen m.b.t. Medefinanciering
1. Bij MicroFinance is het zeer lastig de bijdrage aan armoedeverlichting te meten. Dit kan alleen door omslachtige evaluatiestudies. Is dit een herkenbaar beeld voor OS?. Hoe wordt daarmee omgesprongen?.
2. Wanneer het lastig is de bijdrage te meten is het ook onrealistisch om targets te stellen die nl.
toch niet gemeten kunnen worden. Toch bestaat er een missie (bijv. de MDG’s), hoe kan dan progressie gemeten worden?.
3. Heeft u een bedrijfsplan m.b.t. MicroFinance?. Op wat voor niveau worden doelen gesteld.
Gaat het meer om het aantal mensen wat bereikt moet worden of om meer om de impact- doelstellingen?.
Hoe wordt omgesprongen met het niet halen van doelen?. Is rapportage ook een stuurmiddel?.
Interview Stefan Platteau, Facet.
Insteek: Monitoring en Rapportage
Ik heb veel bestudeerd op het gebied van Monitoring aan het eind van de keten. Impactmeting, Social Performance. Het begin van de keten is me nog minder duidelijk maar dat heeft wellicht ook te maken met de onduidelijkheid voor de organisaties zelf.
Vragen:
1. Door de omvang van de keten; Ministerie - MFO;s -MFI’s – klanten, is monitoring een omslachtig proces. Laat staan voor een specifiek instrument als MicroFinance. Tot op welke hoogte is het mogelijk eisen te stellen aan monitoring?. Kunnen deze wel inhoudelijk zijn of alleen procedureel?. Validiteit en Betrouwbaarheid.
2. Ministerie monitort nu door Jaarverslagen, Jaarplannen en incidentele evaluaties. De vraag is een beetje of dit wel genoeg oplevert. Is monitoring wel mogelijk gezien het feit dat impact meten zo moeilijk is en het dus aan het begin van de keten misgaat terwijl de doelstelling structurele armoedeverlichting is en daar dus antwoord op gegeven moet worden?.
3. Hoe lossen MFO’s dit probleem op?. Wat zijn hun doelen en hoe meten ze dat?.
4. Is het SPI of het CGAP initiatief een voorbeeld dat er meer gestroomlijnd gaat worden en meer volgens vaste afspraken?. Aan te bevelen?.
5. Het gaat meer om het realiseren van activiteiten (output) dan om outcome of impact?. Is al voldoend als je bijdrage hebt kunnen leveren. Doel als structurele armoedeverlichting is dan ook niet te stellen of in elk geval niet te meten.
Vragen per E-mail
Beste Stefan,
Naar aanleiding van ons gesprek had ik nog enkele vragen. Ik ben momenteel aan het
inventariseren welke instrumenten/indicatoren het Ministerie als richtlijn zou kunnen gebruiken, zoals “PAT”. Nu heb ik ook wat doelen/randvoorwaarden opgesteld die het vergelijken van alternatieven mogelijk maken. Deze doelen heb ik geïnventariseerd naar aanleiding van gesprekken en literatuur.
• Ik ben benieuwd of jij hier nog suggesties voor hebt:
Mijn Doelen/randvoorwaarden:
- moet haalbaar zijn voor MFO’s/MFI’s (Financieel, tijd, moeite, etc.) om indicator te gebruiken.
- Internationaal een geaccepteerde en afgestemde maatstaf.
- Van belang voor MFO’s/MFI’s zelf, dus niet weer een verplichting waar ze zelf niets aan hebben.
- Moet Ministerie voldoende inzicht geven
• Tevens vroeg ik me af wat jij nou de tekortkoming vindt van bijvoorbeeld het SPI-report?.
Dus het Social Performance meten van een MFI. Waarom is dit in jouw optiek niet voldoende en is bijvoorbeeld PAT beter. Hier hebben we het wel overgehad maar het was me nog niet helemaal duidelijk. Allebei gebruiken zou misschien ook kunnen, Social performance en bijvoorbeeld PAT?.
• En heb je nog meer suggesties behalve PAT en CGAP(poverty audit)?
Alvast bedankt en met vriendelijke groet, Floris Valkema
