Ministerie van Buitenlandse Zaken

charset="iso-8859-1"

http://www.minbuza.nl/content.asp?Key=415711



Internationale activiteiten van de Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie

Aan de Voorzitter van de Vaste Commissie voor Buitenlandse Zaken van de Tweede Kamer der Staten-Generaal Binnenhof 4 Den Haag Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie Bezuidenhoutseweg 67 2594 AC Den Haag Nederland

Datum 15 mei 2001 Auteur Drs. R.D. van den Berg

Kenmerk IOB-293/01 Telefoon 070 - 348 5890

Blad /1 Fax 070 - 3486336

Bijlage(n) 1 E-mail rd-vanden.berg@minbuza.nl

Betreft Notitie Internationale activiteiten van IOB

Zeer geachte Voorzitter,

Tijdens het Algemeen Overleg van 29 maart jongstleden over multilateraal hulpbeleid heb ik uw commissie toegezegd de Inspectie Ontwikkelings-samenwerking en Beleidsevaluatie (IOB) te zullen verzoeken een notitie op te stellen over de internationale activiteiten van IOB. Het is mij een genoegen u hierbij deze notitie aan te bieden.

De notitie gaat in op alle internationale activiteiten van IOB. De inzet van IOB is gericht op toename van gezamenlijke evaluaties (in lijn met de toename in ontwikkelingssamenwerking van gezamenlijke financieringen) en (vaktechnische/methodologische) ondersteuning van evaluatiecapaciteitsopbouw in ontwikkelingslanden. Voorts biedt IOB vaktechnisch advies bij mijn streven om de onafhankelijkheid en kwaliteit van de evaluatiediensten van hulpverlenende organisaties te verbeteren

De Minister voor Ontwikkelingssamenwerking,

Eveline Herfkens

Internationale activiteiten van de Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie


IOB, 10 mei 2001

De zorg over de kwaliteit van de activiteiten van internationale organisaties is wijdverbreid, niet in het minst in die organisaties zelf. In veel organisaties wordt gesproken over resultaatgericht beheer en over kwaliteitsbewaking via systemen van monitoring en waardering van activiteiten. Het ministerie van Buitenlandse Zaken is via deelname aan beheersraden en besturen van internationale organisaties betrokken bij die zorg, en tracht die waar mogelijk te ondersteunen en te bevorderen. De Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie (IOB) speelt daarbij een speciale rol. IOB is de onafhankelijke dienst voor het evalueren van beleidsterreinen van de Homogene Groep Internationale Samenwerking (HGIS), en daarmee ook in principe de evaluatiedienst voor de multilaterale programma's. Het gaat daarbij onder meer om het Europees Ontwikkelingsfonds, de bijdragen aan IMF en de deelnemingen in de multilaterale banken, het Ontwikkelingsprogramma van de VN (UNDP) en speciale multilaterale activiteiten. Tevens worden veel activiteiten gefinancierd uit de bilaterale samenwerking uitgevoerd via internationale organisaties.

en evalueert co-financiering, Evaluatie van de Nederlandse financiering van activiteiten van internationale organisaties via trust funds, co-financiering of multi-bi financiering valt binnen het mandaat van IOB. In het recente verleden is het co-financieringsprogramma met de Wereldbank onderzocht. Het eindrapport van deze evaluatie is aangeboden aan het parlement op 24 juni 1999. De beleidsreactie van de minister voor Ontwikkelingssamenwerking verscheen op 22 mei 2000. In de komende maanden zal de evaluatie van de Nederlandse multi-bi financieringen met de FAO aanvangen.

maar verricht geen dubbel werk en evalueert bij voorkeur samen. Hoewel IOB in principe de Nederlandse bijdrage aan internationale organisaties kan evalueren, zijn daarbij over het geheel genomen enige beperkingen van kracht. Ten eerste beschikken vrijwel alle internationale organisaties over eigen evaluatiediensten. Het ligt voor de hand geen dubbel werk te verrichten. Waar de kwaliteit van die diensten van het vereiste niveau lijkt te zijn, hoeft IOB niet zelf te evalueren. Dit geldt bijvoorbeeld voor de evaluaties die de Operations Evaluation Department (OED) van de Wereldbank verricht van het beleid en de activiteiten van de Wereldbank. Voor veel evaluatiediensten geldt dat onduidelijkheden bestaan over de kwaliteit van hun werk of de mate van onafhankelijkheid waarmee zij opereren. Nederland is in de betrokken internationale organisaties één van de leden, en geeft er de voorkeur aan eventuele kwaliteitsproblemen samen met anderen aan de orde te stellen. Dit gebeurt ook op evaluatiegebied. In de afgelopen tien jaar is een voorzichtige traditie ontstaan om internationale organisaties en
-programma's te evalueren in gezamenlijk verband. De evaluatiediensten van een (redelijk) aantal donoren evalueren de beleidsuitvoering dan bij voorkeur gezamenlijk met de evaluatiedienst van de organisatie in kwestie. Deze benadering heeft tot voordeel dat een beter zicht wordt verkregen op zowel de resultaten van de beleidsuitvoering, als het functioneren van de organisatie als op de rol en positie van de evaluatiedienst van die organisatie.

DAC speelt leidende rol, Wat betreft de evaluatie van ontwikkelingssamenwerking speelt internationaal de Development Assistance Committee (DAC) van de OESO een stimulerende rol. De DAC Working Party on Aid Evaluation, waarin de evaluatiediensten van alle bilaterale donoren, de Wereldbank en UNDP zijn vertegenwoordigd, functioneert reeds sinds de jaren tachtig als internationale focus voor de discussie over richtlijnen, best practices, en gezamenlijke aanpak van de evaluatie van ontwikkelingssamenwerking. In 1991 werd door de DAC de "principles of evaluation of development assistance" aanvaard, die sindsdien gelden als de algemeen erkende richtlijnen voor evaluaties. IOV, de voorganger van IOB, was sinds de oprichting lid van de werkgroep en heeft enige tijd een zeer actieve rol vervult, eerst als vice-voorzitter en later als voorzitter. IOB heeft de actieve betrokkenheid van IOV voortgezet. Veel activiteiten van de werkgroep worden door IOB ondersteund.

maar banken en VN hebben eigen coördinatieorganen. De multilaterale banken werken samen in een speciaal daarvoor opgezet coördinatiecomité, waarvan het voorzitterschap rouleert. Waar mogelijk confirmeren zij zich zoveel mogelijk aan de DAC-richtlijnen. Met uitzondering van de Wereldbank lijkt de onafhankelijke positie van de evaluatiediensten niet bij elke bank gegarandeerd. Het blijft een aandachtspunt voor de Boards van de banken. Daarnaast speelt soms dat evaluatierapporten vertrouwelijk dienen te blijven omdat zij financieel gevoelige informatie bevatten, bijvoorbeeld over de kredietwaardigheid van bedrijven. De kwalitatief sterkste en meest onafhankelijke evaluatiedienst van de banken is de Operations Evaluation Department (OED) van de Wereldbank, die in de jaren zeventig mede tot voorbeeld heeft gediend voor de instelling van IOV. Samen met de evaluatiediensten van MIGA en IFC wordt de OED geleid door de Directeur-Generaal Evaluatie van de Wereldbank, die door de Board wordt benoemd. Het IMF had tot voor kort geen evaluatiedienst, maar is thans doende een interne onafhankelijke evaluatiedienst op te zetten. Voor de ontwikkelingsactiviteiten van de instellingen van de Verenigde Naties gelden de UNDP-richtlijnen voor evaluaties, die zijn afgeleid van de DAC principles of aid evaluation. Ook de VN kennen een overlegorgaan voor evaluatiediensten, de "Inter Agency Working Group on Evaluation", die in principe jaarlijks bijeenkomt onder voorzitterschap van de evaluatiedienst van UNDP. Binnen het VN-systeem tracht de evaluatiedienst van UNDP een coördinerende rol te vervullen. De evaluatiediensten van de verschillende VN-instellingen en gespecialiseerde organisaties verschillen in rol en positionering. Niet altijd zijn zij onafhankelijk, maar ingeschakeld in de projectcyclus en een instrument voor het management om te streven naar een "lerende organisatie". Veel VN-instellingen kennen een kleine kerndienst in het hoofdkwartier, die in feite ondersteunend optreedt tegenover de door de veldkantoren ondernomen evaluaties. Op zich hebben dergelijke modellen voordelen, onder meer bij de bevordering van de kwaliteit in de uitvoering, maar er dient voor gezorgd te worden dat de centrale evaluatiediensten voldoende ruimte krijgen voor uitvoering van een minimaal eigen onafhankelijk evaluatieprogramma. De zorg voor de kwaliteit van de uitvoering van de multilaterale hulp leidt tot een roep om betere systemen van verantwoording. Dat heeft onder meer geleid tot de introductie van een systeem van "Results Based Management" bij UNDP. Ook andere VN-instellingen zijn met een dergelijke veranderingen bezig. De overgang naar meer resultaatgericht werken leidt tot grotere nadruk om systemen van monitoring en waardering van activiteiten. Dat leidt tot een herpositionering van de evaluatiefunctie. In de nieuwe systemen kan evaluatie de rol vervullen van een toetsing van de realiteit en validiteit van de informatie die uit monitoringssystemen voortkomt. Daarnaast is evaluatie naast wetenschappelijk onderzoek het enige instrument om de plausibiliteit of zelfs causaliteit van verband tussen de inzet van hulpmiddelen en de effecten aan te tonen. Bij instellingen die overgaan op "Results Based Management" vindt echter ook vaak een vermindering van het aantal evaluaties plaats, mede omdat de evaluatiedienst wordt ingezet om monitoringssystemen en waarderingssystemen op te zetten en de kwaliteit van het systeem te bewaken. Vaak wordt de verminderde capaciteit voor evaluaties tegemoet gekomen door te streven naar meer gezamenlijke evaluaties.

De trend is naar meer gezamenlijke evaluaties, Sedert het eind van de jaren tachtig heeft de Inspectie in toenemende mate geparticipeerd in zogeheten multidonor evaluaties. Deze betroffen doorgaans multilaterale hulp. De meeste studies waarin IOB participeerde waren gericht op het bepalen van de effectiviteit en efficiency van de beleidsuitvoering van VN-instanties (INSTRAW, WFP, UNCDF - zie bijlage) en van de Europese Commissie (programma voedselhulp, de regionale programma's ACS, MED en ALA (zie bijlage), en humanitaire hulp). Daarnaast was IOB betrokken bij de grootschalige multi-agency evaluatie van de humanitaire hulp verleend in het kader van de complexe noodsituatie in Rwanda in 1994. Het merendeel van deze studies had betrekking op multi-sectorale structurele hulp gericht op een grote diversiteit aan doelgroepen. Uitzonderingen waren de evaluaties van humanitaire hulp, de studie van de programma voedselhulp en het onderzoek naar het United Nations International Research and Training Institute for the Advancement of Women (INSTRAW).

ook in de bilaterale hulp, Ook ontwikkelingen binnen de bilaterale ontwikkelingssamenwerking spelen een rol bij de toename van internationale activiteiten van IOB. In de afgelopen jaren wordt steeds meer gesproken over de verschuiving van projecthulp naar programmahulp en budgetsteun. Daarbij zijn "ownership" en coördinatie van ontwikkelingsinspanningen steeds meer leidende principes. Waar in toenemende mate de Nederlandse gulden niet meer exact valt te traceren, omdat die gulden in een grotere pot van bijdragen en overheidsgelden wordt gestort, zal in de toekomst in toenemende mate gezamenlijk moeten worden geëvalueerd. Onlangs is de eerste van dergelijke gezamenlijke evaluaties verschenen. De subsector transport in Ghana is in 2000 geëvalueerd door de evaluatiedienst van het ministerie van verkeer in Ghana in samenwerking met de evaluatiedienst van Denemarken en met IOB. Daarnaast waren alle donoren in de subsector transport bij de evaluatie betrokken door lidmaatschap van de stuurgroep. Het rapport werd op 23 februari 2001 door de minister voor Ontwikkelingssamenwerking aan het parlement aangeboden. Samen met 11 andere donoren internationale organisaties waaronder UNICEF, UNESCO en de Wereld Bank is IOB betrokken bij het opzetten en uitvoeren van een evaluatie van internationale hulp aan basisonderwijs in ontwikkelingslanden. Deze evaluatie waarbij case studies voorzien zijn in vijf ontwikkelingslanden zal in de loop van 2001 aanvangen. De evaluatie zal worden begeleid door een stuurgroep bestaande uit de evaluatiediensten van de betrokken donoren, internationale organisaties en de vijf partnerlanden. Evenals dit in toenemende mate het geval is geweest bij de multidonor evaluaties en het bilaterale evaluatieonderzoek van IOB, wordt evaluatie expertise uit het Zuiden betrokken bij de uitvoering van de evaluatie van basisonderwijs. Voorts neemt IOB deel aan de voorbereidingen van een breed opgezette evaluatie van het Comprehensive Development Framework (CDF), waaraan onder meer twaalf donoren en zes ontvangende landen deelnemen.

met grotere inschakeling van lokale capaciteit, Bij de formatie van de Inspectie is rekening gehouden met de mogelijkheid externe deskundigen in te schakelen bij de uitvoering van onderzoek. In de beginperiode werden hiertoe vrijwel uitsluitend Nederlandse deskundigen ingehuurd. Veruit de meeste evaluaties worden tegenwoordig ondernomen door teams van evaluatoren uit Nederland en ontwikkelingslanden. Vanaf het midden van de jaren tachtig is de Inspectie tevens gebruik gaan maken van referentiegroepen. Deze zijn samengesteld uit onafhankelijke deskundigen en medewerkers van het ministerie van Buitenlandse Zaken. Zij hebben een klankbordfunctie en dienen ter versterking van het externe karakter van de evaluatie. Een recente ontwikkeling is het inschakelen van referentiegroepen in het ontvangende land. Dit betrof onder meer de landenstudies Egypte, Bolivia en Mali alsmede het onderzoek naar het MATRA-programma. Tegenwoordig worden in principe alle conceptrapporten voorgelegd aan direct betrokkenen in het ontvangende land. Besprekingen vinden vaak plaats in de vorm van een seminar.

leidende tot "recipient-led evaluations". Het principe van "ownership" leidt tot de erkenning dat de ontvangende landen uiteindelijk zelf een oordeel zullen moeten hebben over hun eigen proces van ontwikkeling en de bijdragen van donoren daaraan. Dat zou leiden tot zogeheten "recipient-led evaluations", die een eigen evaluatiecapaciteit vereisen die tevens de ruimte zou krijgen om tot onafhankelijke evaluaties te komen die het vereiste kwaliteitsniveau bereiken. Op dit moment doet zich vrijwel nergens in de wereld de juiste combinatie van politieke wil, administratieve ruimte en adequate evaluatiecapaciteit voor. Een programma voor het opbouwen van evaluatiecapaciteit in brede zin is daarvoor nodig. Het gaat dan niet alleen om vaardigheden, maar ook om het inzetten van die capaciteit in evaluaties op geloofwaardige wijze en kwalitatief hoogstaand niveau.

Samenwerking vindt plaats in Utstein-verband, Voor het bevorderen van dergelijke gezamenlijke evaluaties en opbouw van evaluatiecapaciteit speelt allereerst de DAC Working Party on Aid Evaluation een belangrijke rol. De Working Party wordt echter gedomineerd door bilaterale evaluatiediensten en kent daarbij consensus-besluitvorming, hetgeen betekent dat de zwakste link in de schakel soms voor onnodige vertragingen kan zorgen, en dat innovatieve benaderingen soms (nog) geen kans maken. Mede om die reden is binnen de bilaterale evaluatiediensten een intensief samenwerkingsverband aangegaan met de Utstein-partners. De evaluatiediensten van Duitsland, Nederland, Noorwegen en het Verenigd Koninkrijk wisselen informatie uit en consulteren elkaar actief over mogelijkheden tot samenwerking.

in EU-verband, Binnen de EU vindt regelmatig overleg plaats tussen de Hoofden van Evaluatiediensten van de lidstaten en de Commissie. In de afgelopen jaren heeft dit onder meer geleid tot de uitvoering van gezamenlijke evaluaties naar de uitvoering van de ALA-, MED- en ACP-programma's, alsmede het EU-programma voor humanitaire noodhulp. Op dit moment wordt bekeken of het mogelijk is tot een gezamenlijke evaluatie te komen van de drie c's van het Europese hulpbeleid: coördinatie, complementariteit en coherentie. De rol en positie van de evaluatiediensten van de Commissie en de lidstaten verschillen soms aanzienlijk. IOB heeft de minister voor Ontwikkelingssamenwerking actief gesteund bij haar streven de onafhankelijkheid van de evaluatiedienst van de Commissie te versterken, hetgeen in belangrijke mate is gelukt. Voor de lidstaten geldt dat vooral de landen zonder majeure hulpprogramma's vaak geen sterke of onafhankelijke evaluatiediensten kennen.

De hierboven geschetste samenwerkingsverbanden dekken niet het geheel van benodigde activiteiten af. De DAC Working Party on Aid Evaluation, de Utstein-partners en het EU-overleg worden gedomineerd door of betreffen zelfs exclusief bilaterale evaluatiediensten. Zowel het netwerk van de multilaterale banken als het netwerk van de VN-evaluatiediensten zijn ondervertegenwoordigd. Mede hierom is IOB in juli 2000 en in maart 2001 samenwerkingsverbanden aangegaan met respectievelijk de Operations Evaluation Department van de Wereldbank en de Evaluation Office van UNDP. Via deze twee diensten is het netwerk waartoe IOB toegang heeft uitgebreid tot de multilaterale banken en de VN-instellingen.

met de OED, De samenwerkingsovereenkomst met de OED behelst enerzijds algemene afspraken, gericht op het ondernemen van gezamenlijke evaluaties, informatie-uitwisseling, mogelijkheden voor gezamenlijke training en opleiding, anderzijds een reeks activiteiten gericht op bevordering van de evaluatiecapaciteit in het Zuiden en ondersteuning van een "recipient-led evaluation". De activiteiten gericht op opbouw van evaluatiecapaciteit worden uitgevoerd via het "Evaluation Partnership Program for Monitoring and Evaluation Capacity Development". Dit programma van OED en IOB beoogt onder meer door diagnostische studies, opleidingsprogramma's en institutionele ontwikkelingsactiviteiten evaluatiecapaciteit in het Zuiden op te bouwen. Het programma wordt gefinancierd uit het Nederlandse partnership fonds bij de Wereldbank. Het budget bedraagt US $ 1,5 miljoen voor een periode van drie jaar. Het is gericht op de 17+4 landen, en dan met name op de PRSP-landen daarbinnen. Om het partnershipprogramma van start te laten gaan, werd gezamenlijk een internationale workshop georganiseerd op 26-28 maart 2001 te Den Haag, over het opbouwen van monitoring en evaluatiecapaciteit voor de Poverty Reduction Strategy Papers (PRSP's). Hierbij waren delegaties van zeven PRSP-landen aanwezig. Het zou niet in lijn met de "ownership" gedachte zijn als de ontwikkelingslanden wél zelf verantwoordelijkheid zouden dragen voor de uitvoering van hun PRSP's, maar de evaluatie van de uitvoering zouden overlaten aan de donoren. Dat gevaar is niet denkbeeldig, gezien de geringe evaluatiecapaciteit in ontwikkelingslanden. Met de landendelegaties werd gesproken over de stand van zaken bij de voorbereiding van hun PRSP, en de monitoring en evaluatie die zij daarbij voorzien hebben. De uitwisseling van informatie tussen de betrokken landen onderling was naar het oordeel van de betrokken delegaties nuttig. Over het geheel genomen bleek dat de nu voorgenomen maatregelen vrijwel allemaal op monitoring gericht zijn, en dat evaluatie weinig aandacht heeft gekregen.

en met UNDP.

Beoordelingsysteem kwaliteit VN-instellingen wordt opgezet De Directie Verenigde Naties en Internationale Financiële Instellingen (DVF) van het ministerie van Buitenlandse Zaken is bezig met het opzetten van een systeem van beoordeling van de kwaliteit van de uitvoering van VN-instellingen. Dit betreft een vervolg op de notitie "De kwaliteit van de VN als kanaal voor ontwikkelingssamenwerking", die leidde tot de vraag van de Tweede Kamer om meer inzicht in de kwaliteit van de uitvoering. Bij het opzetten van het beoordelingssysteem is IOB als adviseur betrokken. Getracht zal worden bij het beoordelen van VN-instellingen samen te werken in Utstein-verband (en breder indien mogelijk).

Bijlage
: overzicht van multi-donor evaluaties IOB 1988-2000

Bijlage

Multi-donor evaluaties met participatie van IOB 1988 - 2000

Jaar Naam Omschrijving

1988 Development of Rural Small Industrial Enterprise, Lessons from Experience Evaluatie in opdracht van UNDP, Nederland, ILO en UNIDO

1991 Evaluation of the United Nations International Research and Training Institute for the Advancement of Women (INSTRAW) Evaluatie in opdracht van Nederland, Finland en Noorwegen

1994 Evaluation of the World Food Programme (WFP) Evaluatie in opdracht van Noorwegen, Nederland en Canada

1996 Joint Evaluation of European Union Programme Food Aid Evaluatie in opdracht van de evaluatiediensten van de EU-lidstaten en de Europese Commissie

1996 Joint Evaluation of Emergency Assistance to Rwanda: The International Response to Conflict and Genocide: Lessons from the Rwanda Experience Evaluatie ondernomen onder auspiciën van Denemarken en begeleid door een Stuurgroep van 19 bilaterale donoren, het DAC Secretariaat, 9 multilaterale organisaties en VN-eenheden, ICRC, IFRC en 5 internationale NGO's

1998 Evaluation of European Union Aid to African Caribbean and Pacific Countries Managed by the Commission Evaluatie in opdracht van de evaluatiediensten van de EU-lidstaten en de Europese Commissie

1999 EU Development Aid to the Mediterranean Region (MED) Idem

1999 Evaluation of European Union Development Aid to Asian and Latin American States Idem

1999 Evaluation of Humanitarian Aid Funded by the European Commission between 1/1/1991 and 30/6/1996 Idem

1999 Development and Humanitarian Assistance of the European Union. An Evaluation of Instruments and Programmes Managed by the Commission Idem

1999 Evaluation of the United Nations Capital Development Fund (UNCDF) Evaluatie in opdracht van Nederland, België, Japan, Denemarken, Zweden, Noorwegen, Frankrijk, Zwitserland

===