Kamerbrief inzake de lijst van vragen over het gebruik van nulmetingen in het kader van ontwikkelingssamenwerking
16-02-2009 | Kamerstuk | Nederlands Ministerie van Buitenlandse Zaken
Graag beantwoord ik uw vragen van 18 december 2008 (Kamerstuknummer 31250-42) naar aanleiding van mijn brief van 17 november jongstleden inzake het gebruik van nulmetingen in het kader van ontwikkelingssamenwerking.
Zoals ik heb aangegeven in deze brief van 17 november kan een onderscheid gemaakt worden tussen nulmeting ten aanzien van de uitvoering (is een en ander uitgevoerd als gepland) en nulmeting ten aanzien van effecten en evaluatie (is er een verschil in bijvoorbeeld gezondheid of inkomen, wanneer de situatie voor en na de uitvoering van een activiteit of programma wordt gemeten).
Ik vind het belangrijk hierbij op te merken dat mogelijkheden voor nulmetingen voor (kwantitieve) effectmeting van beleid voor de verschillende beleidsterreinen verschillen en bovendien dat nulmetingen, uit het oogpunt van evaluatie, niet altijd mogelijk zijn. Een nulmeting van bijvoorbeeld het gebruik van verbeterde waterbronnen is geen probleem, terwijl een nulmeting van geweld tegen vrouwen ten behoeve van een wereldwijd of nationaal programma dat gericht is op de vermindering van geweld tegen vrouwen, een stuk lastiger zo niet onmogelijk is. Ook is nulmeting voor het meten van effecten van Nederlands beleid eenvoudiger in geval van door Nederland gefinancierde projecten in vergelijking met effectmeting van nationale door meerdere donoren met behulp van budgetsteun gefinancierde sectorprogramma's, onder meer als gevolg van de omvang van het programma, grotere diversiteit van interventies en het feit dat een groter aantal partijen betrokken is. In dit verband verwijs ik ook naar de Regeling periodiek evaluatieonderzoek en beleidsinformatie (verder: RPE 2006). Zoals bekend beoogt deze rijksbrede regeling bij te dragen aan de betrouwbaarheid van beleidsinformatie en stelt eisen waaraan beleidsinformatie dient te voldoen. In deze regeling staat dat methodologisch verantwoorde effectevaluaties niet altijd haalbaar zijn, of omdat het niet mogelijk is, of omdat het te gecompliceerd en kostbaar is. In dat geval kan worden volstaan met het aangeven van de plausibiliteit van de effectiviteit.
Ten aanzien van verantwoordelijkheden voor nulmetingen dient ook een onderscheid te worden gemaakt tussen het bilaterale, particuliere en multilaterale uitvoeringskanaal. Voor de adequate toepassing ten behoeve van bilaterale activiteiten is dit Ministerie direct verantwoordelijk. Voor de andere kanalen zijn in principe de betreffende organisaties verantwoordelijk voor de uitvoering van afspraken die met dit Ministerie over monitoring en evaluatie zijn gemaakt.
Vraag 1.
Kunt u aangeven op welke wijze (nul)metingen plaatsvinden in het kader van de draagvlakdiscussie? Hoe gebeurt dit bij de medefinancieringsorganisaties (MFO's) en bij de Nationale Commissie voor internationale samenwerking en Duurzame Ontwikkeling (NCDO)? Door wie gebeurt dit en op welke wijze gebeurt dit?
Antwoord
De medefinancieringsorganisaties (MFO's) dragen ieder voor zich zorg voor een adequaat planning-, monitoring- en evaluatiesysteem. MFO's hebben financiering ontvangen op grond van voorstellen die tegemoet komen aan de eisen van het beleidskader MFS 2007 - 2010. Naast de beoordeling van deze voorstellen wordt er ook een inschatting gemaakt van hun capaciteit om het programma voorstel uit te voeren. Als onderdeel van de overeenkomst is er de afgelopen jaren gewerkt met een monitoringprotocol ten behoeve van de rapportage op sleutelindicatoren (op het nivo van inputs, resultaten, doelstellingen en duurzaamheid) die van tevoren zijn afgesproken in het kader van resultaatgerichte samenwerking. Er zijn geen MFS-brede afspraken gemaakt met maatschappelijke organisaties over nulmetingen. Dat geldt ook voor NCDO.
De IOB voert dit jaar in het kader van de evaluatieprogrammering van het ministerie van Buitenlandse Zaken een beleidsdoorlichting uit van het MFS. Deze evaluatie zal zich concentreren op de mate waarin het verantwoordingssysteem de benodigde informatie genereert om de doelmatigheid, doeltreffendheid en relevantie van het beleidskader MFS 2007 2010 en de MFS organisaties te beoordelen. Deze evaluatie zal een belangrijke bijdrage leveren aan de ontwikkeling van het nieuwe beleidskader. Ik heb u ook een onderzoek naar draagvlak toegezegd tijdens een debat (op 3 juli 2008) over de toekomstige status van de NCDO. In dit draagvlakonderzoek, dat nu plaats vindt, wordt gekeken naar draagvlakversterking voor ontwikkelingssamenwerking in bredere zin. Daarbij wordt stilgestaan bij de resultaten van door NCDO uitgevoerde activiteiten en draagvlakeffecten.
Vraag 2.
Door wie worden de nulmetingen uitgevoerd? Zijn degenen die de nulmetingen uitvoeren dezelfde personen als degenen die het betreffende project uitvoeren of wordt ervoor zorg gedragen dat dat juist niet het geval is?
Antwoord
In het geval van effectenonderzoek zijn tot nu toe (steekproefsgewijze) nulmetingen uitgevoerd door lokale consultants onder begeleiding van deskundigen op het gebied van effectenonderzoek. Deze consultants zijn niet dezelfde personen als degenen die het betreffende project uitvoeren. Deze nulmetingen vinden plaats onder verantwoordelijkheid van IOB.
Vraag 3.
Wat kan worden gezegd over de deskundigheid van degenen die de nulmetingen respectievelijk de dataverzameling uitvoeren?
Antwoord
Ik verwijs naar mijn antwoord op de vorige vraag en benadruk dat bij nulmetingen in het kader van IOB effectenonderzoeken specifieke deskundigheid op het gebied van statistische en econometrische methoden en technieken wordt ingezet.
Vraag 4.
Hoe betrouwbaar zijn de steekproeven die ten behoeve van de nulmetingen worden uitgevoerd?
Antwoord
Bij de opzet van steekproeven ten behoeve van (kwantitatief) effectenonderzoek, door IOB impactevaluatie genoemd, wordt ernaar gestreefd om zo betrouwbaar mogelijke verbanden tussen interventies en effecten vast te stellen. Bij iedere impactevaluatie worden de steekproeven voor het meten van effecten bepaald. Daarbij wordt rekening gehouden met factoren als verschillende typen activiteiten en heterogeniteit van de bevolking. Hoe heterogener hoe groter de benodigde steekproef. Alleen achteraf kan met behulp van kwantitatieve technieken de significantie van gevonden verbanden worden vastgesteld. Hierover wordt in het evaluatierapport verantwoording afgelegd.
Vraag 5.
Welke personen dragen zorg voor het monitoren van resultaten tijdens de uitvoering van ontwikkelingsprogramma's?
Antwoord
In eerste instantie is de uitvoerende organisatie zelf verantwoordelijk voor het monitoren van de uitvoering van de activiteit en waar nodig bij te sturen (interne monitoring). Zij rapporteren over de voorgang aan het Directoraat Generaal Internationale Samenwerking (DGIS) als financier. De betreffende budgethouder (ambassades of directies) van het DGIS monitoren de voortgang van projecten en programma's aan de hand van de ingediende rapportages en de daaraan gekoppelde voortgangsgesprekken en veldbezoeken (externe monitoring).
Vraag 6.
Kan meer informatie worden gegeven over de aanscherping van het gebruik van baseline gegevens en voortgangsindicatoren bij de beoordeling van activiteiten en programma's die begin 2008 werd doorgevoerd?
Antwoord
Per 1 januari 2008 zijn enkele interne regels bij de beoordeling van activiteiten en programma's aangescherpt. Dat betekent dat vooraf een expliciet verband gelegd moet worden tussen de probleemanalyse en de doelstellingen van de te financieren activiteiten en dat de beoogde resultaten helder in kaart moeten worden gebracht. Ook moeten deze resultaten nauwkeuriger worden omschreven en moet vooraf worden aangegeven op welke wijze zal worden vastgesteld of deze al dan niet zijn behaald op grond van concrete voortgangs- en effectindicatoren. De kwaliteit van de beoordelingen van activiteiten zal steekproefsgewijs worden getoetst. Ook de kwaliteit van eindrapportages van activiteiten, die inzicht moeten geven in resultaten en de mate waarin voorgenomen activiteiten zijn uitgevoerd, wordt getoetst.
Naast de aanscherping en vereenvoudiging van instructies wordt er jaarlijks aandacht geschonken aan training van medewerkers op het terrein van beoordeling en monitoring van activiteiten (activiteitencyclus) en het beter toegankelijk maken van aanwezige kennis en ervaring op deze onderwerpen (kennismanagement).
De Minister voor Ontwikkelingssamenwerking,
Bert Koenders
Ministerie van Buitenlandse Zaken