Ministerie van Buitenlandse Zaken
---
Jaarverslag 2002

Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie

(IOB)

- Voorwoord

Als Inspecteur-Generaal voor Ontwikkelingssamenwerking (IGOS) is Prins Claus sinds 1984 nauw betrokken geweest bij het werk van IOB. In de beginjaren heeft hij zich met veel energie ingezet voor de doorwerking van evaluatieresultaten in het beleid en de praktijk van ontwikkelingssamenwerking. In latere jaren nam hij vooral deel aan de interne discussies binnen IOB. Hij was daarbij altijd openhartig, collegiaal, scherpzinnig en betrokken. Zowel vroegere medewerkers als de huidige staf van IOB
bewaren vele herinneringen aan zijn inbreng in de stafvergadering, die speciaal voor hem op de donderdagochtend plaatsvond. Hij kon met onverwachte anekdotes uit de hoek komen, die bij overdenking bijzonder veel te maken hadden met de onderwerpen die aan de orde waren. Zijn wijsheid en humor werden zeer gewaardeerd. IGOS hechtte groot belang aan de onafhankelijke positie van IOB. In de tweede helft van de jaren negentig heeft hij zich enige keren verzet tegen ambtelijke plannen die tot het
aantasten van die onafhankelijkheid zouden hebben geleid. Ook in zijn laatste levensjaar nam Prins Claus geen afscheid van IOB, ondanks het feit dat hij niet langer in staat was vergaderingen bij te wonen. IOB heeft hem niet kunnen bedanken voor de grote steun die hij voor IOB is geweest en zijn wezenlijke bijdrage aan de Inspectie.

Het verslagjaar stond in het teken van een groot aantal lopende onderzoeken. Over de voortgang van deze onderzoeken wordt uiteraard nader verslag gedaan - in 2003 zullen veel eindrapporten verschijnen. Wat betreft de rapporten die in 2002 de aandacht vroegen, dient eerst het rapport inzake de evaluatie van het Internationaal Cultuurbeleid te worden genoemd. Dat rapport was eind 2001 vastgesteld. In 2002 vond de maatschappelijke consultatie over het rapport plaats en kwam een beleidsreactie van
de betrokken staatssecretarissen (van BZ en OC&W) tot stand. In mei verscheen het rapport "Health, Nutrition and Population", waarin de resultaten van onderzoek in drie landen - Burkina Faso, Jemen en Mozambique - zijn verwerkt. In september publiceerde IOB het rapport over het beleid inzake cultuur en ontwikkeling. Aan het einde van het jaar werd het eerste rapport van de evaluatie schuldverlichting, handelende over het Nederlandse schuldverlichtingsbeleid, aangeboden aan de
staatssecretaris voor ontwikkelingssamenwerking. Het tweede rapport aangaande de resultaten van de schuldverlichting zal in de loop van 2003 gereed zijn - afgesproken werd dat de beide rapporten tegelijkertijd zullen worden gepubliceerd. Het is immers weinig bevredigend over het beleid inzake schuldverlichting te lezen, zonder zicht te krijgen op de resultaten van dat beleid.

In 2002 is de Inspectie twee keer verhuisd, eerst binnen het ministerie van Buitenlandse Zaken (in januari) en daarna naar het gebouw De Arc op de grens van Voorburg en Den Haag op de Maanweg. De verhuizingen hebben mede geleid tot extra vertragingen in de lopende onderzoeken. Daarenboven is de nieuwe locatie niet optimaal, onder meer vanwege de reistijd van en naar het hoofdkantoor.

In 2002 werd IOB in toenemende mate betrokken bij discussies over het invoeren van de resultaatgerichte begroting bij Buitenlandse Zaken en de invoering van de Regeling Prestatiegegevens en Evaluatieonderzoek (RPE) bij de rijksoverheid. Daarover en over de in 2002 uitgebrachte rapporten wordt in dit jaarverslag verantwoording afgelegd.

Rob D. van den Berg

Directeur Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie

- INHOUDSOPGAVE-

- 1 Hoofdpunten
- 2 Evaluatie bij buitenlandse zaken
- 3 Publicaties in 2002
3.1 Inleiding
3.2 IOB-evaluatiereeks
3.3 Gezamenlijke evaluaties
3.4 Publicaties van de OESO
3.5 Werkdocumenten
- 4 Onderzoek in uitvoering
4.1 Evaluaties
4.2 Internationale activiteiten
4.3 Advisering en overige activiteiten
- 5 Financiën
- 6Mandaat, werkwijze en kengetallen IOB
- 6.1Mandaaten werkwijze
6.2 Kengetallen

---
- - 1Hoofdpunten
In januari 2003 werd het reeds in december 2002 vastgestelde rapport "De kunst van het internationale cultuurbeleid" aangeboden aan de staatssecretaris van Europese Zaken en toegezonden aan de staatssecretaris van cultuur van het ministerie van Onderwijs, Wetenschappen en Cultuur. De staatssecretarissen stelden er prijs op eerst een consultatie met het maatschappelijk veld te laten plaatsvinden, alvorens zij een beleidsreactie op het rapport zouden geven. Die consultatie vond in maart plaats.
In de maanden daarop kwam geen beleidsreactie meer tot stand voor de verkiezingen. Die verscheen uiteindelijk in oktober. De Tweede Kamer heeft nog niet met de staatssecretarissen overleg gevoerd over hun beleidsreactie op het IOB-rapport. Voorts heeft de verantwoordelijke beleidsdirectie nog geen actieplan opgesteld voor het uitvoeren van de beleidsreactie.

In mei verscheen het rapport "Health, Nutrition and Population : Burkina Faso, Mozambique, Yemen : Evaluation 1995-1999", waarin verslag wordt gedaan over het onderzoek naar ondersteuning van de gezondheid, voeding en bevolkingskwesties in de genoemde landen. Het rapport levert een gemengd beeld op. Enerzijds is veel bereikt op het gebied van versterking van de infrastructuur en de uitrusting van de gezondheidsvoorzieningen en werd veel aandacht geschonken aan de opleiding van
gezondheidswerkers. Anderzijds constateert IOB ook een verwaarlozing van de aandacht voor de basisgezondheidszorg op het niveau van de gemeenschap. Sinds begin jaren negentig moet voor diensten en geneesmiddelen worden betaald; dat is voor de allerarmsten een belemmering. Uitzonderingsregels bestaan meestal niet, en als zij er wel zijn, worden zij niet uitgevoerd. De toegang van de armsten tot de zorg is daarom verminderd. Voorts bereiken geneesmiddelen de afgelegen gebieden nauwelijks, waarbij
transportproblemen en waarschijnlijk ook diefstal een rol spelen. Het rapport is in mei aan het parlement aangeboden, vergezeld van een beleidsreactie van de minister voor Ontwikkelingssamenwerking. De Tweede Kamer heeft nog geen overleg gevoerd met de bewindspersoon over de beleidsreactie. De beleidsdirectie heeft nog geen actieplan opgesteld voor het uitvoeren van de beleidsreactie.

In september bood IOB het rapport "Cultuur en ontwikkeling : de evaluatie van een beleidsthema : 1981-2001" aan de staatssecretaris voor ontwikkelingssamenwerking aan. Het rapport werd met nog drie andere evaluatierapporten gepresenteerd op een door het Prins Claus Fonds georganiseerde conferentie over cultuur en ontwikkeling, die op 6 september plaatsvond. In de jaren tachtig werd steeds meer aandacht gevraagd voor de rol van cultuur bij ontwikkeling, hetgeen er toe leidde dat begin jaren
negentig in het ontwikkelingsbeleid aan cultuur een fundamentele rol werd toegekend. Die rol werd echter niet geoperationaliseerd, waardoor niet valt te achterhalen hoe in de jaren daarna in de uitvoering met het thema werd omgegaan. IOB merkt op dat na 11 september 2001 het debat over cultuur weer is toegenomen. Bovendien gaat het huidige ontwikkelingsbeleid uit van principes als "ownership" en "partnership", die om een overdenking van de culturele dimensie van ontwikkeling vragen. De
uitdaging is om in de komende jaren de relatie tussen cultuur en ontwikkeling op hanteerbare wijze vorm te geven. Het verleden biedt daartoe weinig aanknopingspunten. De staatssecretaris voor Ontwikkelingssamenwerking heeft het rapport in december aan het parlement aangeboden, vergezeld van een beleidsreactie.

Het in december aan de staatssecretaris aangeboden rapport over het Nederlandse schuldverlichtingsbeleid zal in het verslagjaar 2003 aan de Tweede Kamer worden aangeboden en ook in het jaarverslag over dat jaar worden besproken. De reden daarvoor is dat het rapport in samenhang moet worden bezien met het in 2003 te verschijnen rapport over de resultaten van schuldverlichting. Het is immers weinig bevredigend om het Nederlandse beleid te bespreken zonder naar de resultaten van dat beleid te
kijken. De reden om de rapporten te splitsen is gelegen in het feit dat het onderzoek naar de resultaten betrekking had op de totale schuldverlichting in de onderzochte landen. De Nederlandse bijdrage daaraan valt niet afzonderlijk te bestuderen.

In april 2002 brachten IOB en FEZ onder de aandacht van het SG/DG-beraad dat de kwaliteit van de decentrale evaluaties nog onder de maat is. Naar aanleiding van de invoering van de nieuwe Regeling Prestatiegegevens en Evaluatieonderzoek (RPE) lieten IOB en FEZ een onderzoek uitvoeren naar de mate waarin de decentrale evaluaties voldoen aan de kwaliteitseisen van de RPE - die per 1 januari 2002 als rijksregeling was opgenomen in de comptabiliteitswet. Uit het onderzoek bleek dat de decentrale
evaluaties over het algemeen onvoldoende informatie bieden over het evaluatieonderzoek (wat waren de onderzoeksvragen? waarom is het onderzoek uitgevoerd? wie voerde het uit?), over de kwaliteit van de gegevens (zijn ze betrouwbaar?), over de gebruikte methode (is die valide?) en over de resultaten (waarbij vaak onvoldoende onderscheid werd gemaakt tussen wat uit het onderzoek zelf blijkt - bevindingen - en de aanbevelingen die daaruit kunnen worden gedestilleerd).

In oktober 2002 presenteerde IOB een inventarisatie aan het SG/DG-beraad inzake de "dekking" van beleidsartikelen met ex post evaluatieonderzoek, zoals vereist door de RPE. Naar aanleiding van deze inventarisatie concludeerde IOB dat de mate van operationalisatie van beleidsdoelstellingen in de Memorie van Toelichting 2003 niet toestond om een betrouwbare uitspraak over die dekking te doen. Deze geoperationaliseerde doelstellingen van beleid bleken vaak onvoldoende uitgewerkt om uitspraken te
doen over de mogelijkheden van evaluatieonderzoek. Veel instrumenten dragen bij aan meerdere doelstellingen, terwijl soms instrumenten zonder doelstellingen worden opgevoerd. Ook worden soms doelstellingen gepresenteerd die in feite middelen voor andere doelstellingen betreffen. Voorts zijn soms onder één doelstelling twee verschillende doelen te vinden. Het reikwijdteonderzoek toonde aan dat - voor zover uitspraken mogelijk zijn - de dekkingsgraad voor vier beleidsartikelen zeer beperkt was,
voor twee beperkt, voor vier matig en vijf goed.

- - 2Evaluatie bij buitenlandse zaken
In april 2002 is de notitie 'BZ-beleid voor de organisatie van de evaluatiefunctie: doorvertaling van Regeling Prestatiegegevens en Evaluatieonderzoek (RPE)' vastgesteld. De doelstelling van deze regeling is de waarborging van de evaluatiefunctie, almede om ervoor te zorgen dat de voor de departementale begroting en jaarverslag op te leveren beleidsinformatie aan bepaalde kwaliteitseisen voldoen. De regeling vereist dat iedere geoperationaliseerde doelstelling van beleid minimaal eens in de
vijf jaar wordt geëvalueerd. Ook bepaalt de regeling dat evaluatieonderzoek dat ten behoeve van begroting en verantwoording wordt verricht, aan een aantal kwaliteitseisen voldoet, namelijk validiteit (van opzet van onderzoek: van gevolgtrekkingen, betrouwbaarheid en nauwkeurigheid (van meetmethoden) en bruikbaarheid (van de uitkomsten van het onderzoek).

In april 2002 is door IOB in samen­­werking met FEZ gerapporteerd over het onderzoek naar de mate waarin de huidige evaluaties vol­doen aan de RPE-vereisten. Daar­naast is onder­zoek gedaan naar de dekking van beleid met evaluatie­onderzoek door een onderzoek naar de reikwijdte van evaluaties en een inventarisatie van geopera­tionaliseerde doel­stellingen in de Memorie van Toe­lichting op de begroting 2003, ge­koppeld aan afgeronde en ge­plan­de evaluaties.

De hoofdconclusie van het kwali­teitsonderzoek was dat in opdracht van directies uitgevoerde evalua­ties slechts matig aan de kwaliteits­eisen voldoen. Belangrijke gecon­stateerde tekortkomingen bij de­cen­trale (= niet door IOB uitgevoerde) evaluaties zijn de volgende:

·Informatievoorziening in het rapport over het onderzoekis vaak summier, vooral wat betreft de opzet, benadering en methoden van informatieverzameling. Dit geldt ook voor informatie over het evaluatieobject (activiteiten, financieel belang) en de achtergrond van de evaluatoren.

·Over het algemeen wordt weinig aandacht gegeven aan de kwaliteit van de informatie waarop de evaluatie is gebaseerd, bijvoorbeeld de betrouwbaarheid van de informatie en de representativiteit van de bevindingen. Daarnaast worden bevindingen en conclusies vaak niet duidelijk van elkaar gescheiden, zijn conclusies niet altijd duidelijk gebaseerd op bevindingen en analyse en wordt weinig aandacht besteed aan de kwaliteit van de informatie waarop de evaluatie is gebaseerd.

·Interne consistentie: de consistentie van de probleemstelling, opzet van de studies en de planning vertoont lacunes. In de rapporten worden bevindingen en conclusies vaak niet duidelijk gescheiden. In niet alle gevallen zijn conclusies gebaseerd op bevindingen en analyse.

·Rapport als communicatiemiddel: rapporten zijn soms onnodig lang, vaak ontbreekt een samenvatting en de lezerskring is vaak beperkt.

Vervolgens is in de zomermaanden door IOB een inventarisatie verricht van de mate waarin de beleidsartikelen van de Memorie van Toelichting 2003 zouden worden "afgedekt" door evaluatieonderzoeken. Over die inventarisatie werd begin oktober 2002 gerapporteerd aan het SG/DG-beraad van Buitenlandse Zaken. De hoofdconclusie was dat over de bereikte dekkingsgraad naar het oordeel van IOB geen zinvolle uitspraak mogelijk was. Per beleidsartikel zijn in de Memorie van Toelichting zogeheten
geoperationaliseerde doelstellingen van beleid gepresenteerd, die volgens de RPE als aanknopingspunt voor periodiek "ex post" evaluatieonderzoek dienen. Deze geoperationaliseerde doelstellingen van beleid bleken vaak onvoldoende uitgewerkt om uitspraken te doen over de mogelijkheden van evaluatieonderzoek. Veel instrumenten dragen bij aan meerdere doelstellingen, terwijl soms instrumenten zonder doelstellingen worden opgevoerd. Ook worden soms doelstellingen gepresenteerd die in feite middelen
voor andere doelstellingen betreffen. Voorts zijn soms onder één doelstelling twee verschillende doelen te vinden. Het reikwijdteonderzoek toonde aan dat - voor zover uitspraken mogelijk zijn - de dekkingsgraad voor vier beleidsartikelen zeer beperkt was, voor twee beperkt, voor vier matig en vijf goed. Meer en detail leidde het reikwijdte-onderzoek nog tot de volgende opmerkingen:

1.Voor een deel van de geoperationaliseerde doelstellingen geldt dat de evaluatieprogrammering zou kunnen worden afgedekt door derden-informatie. In financiële omvang gaat het zelfs om circa 70% van de uitgaven: de Europese middelenafdracht en het Nederlandse lidmaatschap van internationale en supranationale organisaties. Derden-informatie op evaluatiegebied is echter in de Memorie van Toelichting slechts in een enkel geval terug te vinden; ook is slechts in een enkel geval iets terug te vinden
over de Nederlandse inzet om bijvoorbeeld eigen evaluatiesystemen van internationale organisaties te verbeteren.

2.Voor ongeveer de helft van de geoperationaliseerde doelstellingen is hetzij derden-informatie van belang, dan wel zijn evaluatieonderzoeken gepland, waarvan ongeveer de helft door IOB zal worden uitgevoerd en ongeveer de helft door de betrokken beleidsdirecties wordt uitbesteed.

3.Voor de andere helft van de geoperationaliseerde doelstellingen zijn in de in 2002 geldende evaluatieprogrammering geen evaluaties gepland.

IOB is als adviseur betrokken bij initiatieven van FEZ en directies om tot een meer aan doelstellingen gekoppelde gestructureerde evaluatieprogrammering te komen.

In 2002 zijn voorstellen gedaan en stappen gezet om te komen tot de oprichting van een Audit Committee, met lidmaatschap van IOB, in navolging van het door het kabinet vastgestelde Kwaliteitsplan Auditfunctie. Het Audit Committee heeft mede tot taak om de programmering en kwaliteit van evaluaties te bespreken, de nodige afstemming tussen onderzoeken te bevorderen en het SG/DG-beraad te adviseren over verbeteringen. Tevens zal het Audit Committee nagaan in hoeverre opvolging wordt gegeven aan
evaluatieresultaten die door de betrokken bewindspersonen zijn overgenomen.

- - 3Publicaties in 2002
- - - 3.1Inleiding
In het verslagjaar publiceerde IOB drie evaluatierapporten in de eigen reeks. Voorts verscheen een rapport van de Werkgroep Hulpevaluatie van de DAC/OESO en nam Directeur IOB deel aan het External Review van IFAD. In de reeks "werkdocumenten" ver­schenen zes rapporten. De rapporten en infor­matiebulletins van IOB zijn te verkrijgen via:

DVL/VM, Postbus 20063 EB Den Haag, tel. 070 3485279.

IOB is te bereiken per e-mail: - iob@minbuza.nl. De rapporten van IOB zijn op internet te raadplegen in de database van de Euforic website, te vinden via: http://www.euforic.org/iob

- - - - 3.2IOB-evaluatiereeks
Nr. 288 - Health, nutrition and population : Burkina Faso, Mozambique, Yemen : Evaluation 1995-1999Van 1995 tot en met 1999 heeft Nederland ¤ 650 miljoen bijgedragen aan de ondersteuning van activiteiten op het gebied van gezondheid, voeding en bevolking in ontwikkelingslanden. IOB heeft deze ondersteuning in Burkina Faso, Jemen en Mozambique onderzocht. Daarbij is in ieder land in één district een uitgebreide veldstudie uitgevoerd, waarbij de nadruk lag op de kwaliteit van de
gezondheidsdiensten en op het gezondheidsgedrag van de bevolking. De evaluatie leidde tot de volgende hoofdbevindingen.

1.Sinds het begin van de jaren tachtig volgt het Nederlandse ontwikkelings­beleid inzake gezondheid, voeding en bevolking de internationale trends.

Het Nederlandse beleid verschoof geleidelijk aan van programma's op het gebied van de basisgezondheidszorg naar steun voor organisatie van de zorg en herstructurering van de gezondheidssector. De nadruk kwam te liggen op sectorbrede steun. Daarbij werden geen richtlijnen opgesteld hoe Nederlandse prioriteiten de Nederlandse deelname in sectorbrede benaderingen zouden beïnvloeden.

2.De meeste programma's en projecten in de drie landen sluiten goed aan bij de prioriteiten binnen het nationale gezondheidsbeleid en het Nederlandse ontwikkelingsbeleid.

Zij zijn echter niet gebaseerd op een diepgaande behoeftenanalyse en/of een samenwerkingsbeleid tussen Nederland en het ontvangende land. In plaats daarvan zijn internationale inzichten op het gebied van gezondheid, voeding en bevolking maatgevend geweest.

3.In programma's voor basisgezondheidszorg heeft de verschuiving van de aandacht naar institutionele steun geleid tot onvoldoende steun voor de basisgezondheidszorg op het niveau van de gemeenschap.

Gedurende de jaren tachtig lag de aandacht zowel internationaal als in het Nederlandse beleid bij basisgezondheidszorg met de nadruk op bevordering van de gezondheid op het niveau van de gemeenschap. Het institutionele niveau werd veronachtzaamd. In de jaren negentig werd geleidelijk aan meer aandacht geschonken aan de kwaliteit van de diensten en aan de organisatie van het systeem alsmede de financiering. Dit leidde er toe dat het gemeenschapsniveau minder aandacht kreeg. Met de beweging
richting sectorbrede ondersteuning wordt nog meer nadruk gelegd op het institutionele niveau. Dit gebrek aan aandacht voor het gemeenschapsniveau vermindert de bijdrage van de gezondheidsprogramma's aan armoedebestrijding.

4.Nederlandse steun voor de bouw, renovatie en uitrusting van gezondheidsvoorzieningen heeft bijgedragen aan verbetering van het gezondheidssysteem.

Het aantal dienstverleningen per hoofd van de bevolking is toegenomen; daarnaast zijn de diensten beter uitgerust, hoewel in sommige diensten onderhoud onvoldoende is. In vrijwel alle programma's werd een substantieel aantal medewerkers opgeleid.

5.In slechts een klein deel van de programma's op het gebied van de basisgezondheidszorg is men er in geslaagd de capaciteit op het gebied van organisatie en planning bij overheidsdiensten op decentraal niveau te vergroten.

In zes van de zeven onderzochte programma's was institutionele versterking een belangrijke doelstelling, vanaf het begin of na een tussentijdse evaluatie. In drie programma's is van deze doelstelling serieus werk gemaakt. In twee van deze programma's is er ook daadwerkelijk vooruitgang geboekt.

6.De kwaliteit en het gebruik van de gezondheidsvoorzieningen verschilde substantieel tussen de drie landen.

In twee van de drie districten die uitgebreid zijn bestudeerd in de veldstudies is de kwaliteit van de preventieve en curatieve zorg verbeterd. Het gebruik van de dienstverlening in deze districten is toegenomen gedurende de laatste vijf jaar, maar het blijft heel laag. In het derde district laat de kwaliteit van de dienstverlening te wensen over.

7.De rechtvaardigheid van de gezondheidszorg is een zorg­wek­kende kwestie. Voor mensen die diensten en genees­mid­delen niet kunnen betalen zijn geen toepasselijke uitzonderings­regels getroffen, hetgeen tot een ongelijke toegang tot de gezondheidsvoorzieningen heeft geleid.

In Burkina Faso zijn geen uitzonderingsregels tot stand gekomen voor degenen die de diensten niet kunnen betalen. In Jemen en Mozambique zijn wel uitzonderingsmaatregelen opgesteld, die in Jemen slechts gedeeltelijk worden toegepast. In Mozambique zijn de vereiste betalingen voor diensten en geneesmiddelen erg laag, maar het ontbreken van essentiële geneesmiddelen in apotheken dwingt de patiënten om dure medicijnen op de vrije markt te kopen. Daarvoor zijn geen ondersteunende maatregelen
getroffen. In alle drie de landen hebben arme mensen geen toegang tot verzekeringen. Deze bevindingen onthullen ongelijkheden in de toegang tot de gezondheidsvoorzieningen, waardoor de bijdrage van gezondheidsprogramma's aan armoedevermindering wordt beperkt.

8.Programma's voor essentiële geneesmiddelen zijn succesvol geweest in de aankoop van geneesmiddelen en hebben geleid tot aanpassingen in de wetgeving, maar wisten de beschik­baarheid van geneesmiddelen in afgelegen gebieden niet te garanderen.

De veldstudies laten zien dat in twee van de drie landen de ondersteuningsprogramma's niet in staat waren de aanwezigheid van essentiële geneesmiddelen in afgelegen gebieden te garanderen. Aangezien geneesmiddelen nog steeds schaars en relatief duur zijn, is het risico van corruptie groot. In Mozambique waren de apotheken vrijwel leeg. In Jemen was de situatie iets beter maar nog niet acceptabel. Het probleem is daar dat doktoren terughoudend zijn in het voorschrijven van essentiële
geneesmiddelen en onder druk lijken te staan van de farmaceutische industrie om dure merkmedicijnen aan te wenden. In Burkina Faso zijn de geneesmiddelen aanwezig, maar vormen de hoge prijzen een belemmering voor het gebruik. In alle drie de landen is onvoldoende gedaan om goed gebruik van de medicijnen te bevorderen. Hierdoor hebben de ondersteuningsprogramma's vrijwel geen positieve bijdrage aan de gezondheidssituatie in de drie landen.

9.De integratie van de aandacht voor voeding in de basisgezondheidszorg is inadequaat.

Ondervoeding is een serieus probleem in de drie onderzochte landen. Desondanks wordt aan voeding onvoldoende aandacht besteed in de gezondheidsvoorzieningen. Hoewel kinderen regelmatig worden gewogen, worden de moeders niet geïnformeerd over hoe hun kinderen er voor staan. Ondervoede kinderen krijgen geen speciale aandacht. In het Nederlandse beleid inzake voeding voor kinderen zijn duidelijke richtlijnen geformuleerd voor de aandacht voor voeding in de basisgezondheidszorg. Deze richtlijnen
zijn niet in de drie landen tot uitvoering gebracht.

10.In de onderzochte landen bestaat wel beleid voor reproductieve gezondheid maar dat wordt slechts gedeeltelijk uitgevoerd.

Hoewel voorbehoedsmiddelen aanwezig zijn in de gezondheidscentra, worden reproductieve rechten niet altijd gerespecteerd en wordt niet aan alle behoeften tegemoet gekomen. Zowel in Burkina Faso als Jemen worden voorbehoedsmiddelen alleen aan vrouwen verstrekt als hun man daarmee instemt. Door Nederland ondersteunde projecten op dit gebied in de drie landen gaven gemengde resultaten te zien, mede vanwege het feit dat zij onvoldoende waren geïntegreerd in het gezondheidssysteem en omdat het
beleid voor reproductieve gezondheid niet goed was uitgewerkt.

11.Ziektebestrijdingsprogramma's die gericht zijn op opsporing van gevallen via gezondheidscentra functioneren niet goed als deze centra weinig worden gebruikt.

Hoewel het nationale tuberculose programma in Burkina Faso dankzij de Nederlandse steun aanzienlijk beter functioneerde, werden niet meer gevallen ontdekt en behandeld. In Mozambique was het lepra-programma op zich effectief, maar slecht geïntegreerd in de nationale gezondheidszorg.

Aandachtspunten voor de toekomst

Sinds 1999 vormt de sectorale benadering de leidraad voor de samenwerking op het gebied van gezondheid, voeding en bevolking. De hier genoemde punten zijn problemen die in de toekomst zullen moeten worden opgelost. Zo is een goede balans tussen het institutionele niveau en het gemeenschapsniveau niet eenvoudig te vinden. Voorts is het van essentieel belang dat arme bevolkingsgroepen toegang krijgen tot de gezondheidszorg. Het opstellen van uitzonderingsregels voor mensen die de prijs van
diensten en geneesmiddelen niet kunnen betalen is één van de mogelijkheden; daarnaast vindt internationaal een discussie plaats over de mogelijkheid om verzekeringssystemen in te voeren. In programma's voor essentiële geneesmiddelen zal moeten worden gewerkt aan het controleren van de verspreiding van geneesmiddelen naar afgelegen gebieden en de voorlichting van gezondheidswerkers en het publiek. Tot slot zullen voeding en reproductieve gezondheid meer aandacht moeten krijgen, zowel binnen als
buiten de reguliere gezondheidszorg.

Nr. 289 - Cultuur en Ontwikkeling : de evaluatie van een beleidsthema (1981-2001)- Cultuur kan worden begrepen als het geheel van materiële en immateriële verworvenheden van een samenleving. In die zin is ontwikkeling cultuurverandering. Ontwikkelingssamenwerking is dan een vorm van geleide of gestuurde cultuurverandering. Dat cultuur en ontwikkeling met elkaar in verband staan, heeft nooit ter discussie gestaan; wel de aard van het verband. Deze evaluatie brengt enige toonaangevende visies
over dit verband gedurende de laatste twee decennia in kaart, alsmede de beleidsvoornemens die daarop werden gebaseerd en de wijze waarop en de mate waarin deze beleidsvoornemens een vervolg hebben gekregen in de uitvoeringspraktijk. Een belangrijke beperking daarbij, is dat oordeelsvorming over de praktijk alleen mogelijk is op basis van wat expliciet is gezegd afgeschreven. Dat bleek in dit geval niet genoeg te zijn om tot uitspraken te komen over de doelmatigheid en doeltreffendheid van de
uitvoering. Met andere woorden, er zijn veel beleidsuitspraken geweest die niet aantoonbaar zijn uitgevoerd. Het is echter heel goed mogelijk dat veel ontwikkelingswerkers, zowel op het ministerie als in het veld, zich hebben laten inspireren door de beleidsvisies ten aanzien van de rol van cultuur en daar naar beste eer en geweten invulling aan hebben gegeven. Daarover wordt echter in de huidige uitvoeringspraktijk slechts zeer beperkt verslag gedaan en niet op een systematische manier. Met
inachtneming van deze kanttekening komt de evaluatie tot de onderstaande drie hoofdbevindingen.

1.Veranderingen in de visies op de relatie tussen cultuur en ontwikkeling hebben nagenoeg geen gevolgen gehad voor de uitvoeringspraktijk van ontwikkelingssamenwerking.

Sedert 1980 is de interpretatie van de rol die cultuur speelt bij ontwikkelingsprocessen regelmatig verschoven. In de jaren tachtig werd de aandacht voor cultuur primair beschouwd als een middel om de effectiviteit van ontwikkelingsactiviteiten te verhogen. In het begin van de jaren negentig werd aan cultuur een veel fundamenteler belang toegekend. In plaats van middel werd cultuur als basis en ook als einddoel van ontwikkeling gezien. In de tweede helft van de jaren negentig verschoof de
aandacht naar behoud van cultureel erfgoed en bevordering van de kunsten als middel om de weerbaarheid van gemeenschappen te vergroten. Aan het eind van de jaren negentig verdween de expliciete aandacht voor cultuur goeddeels uit het ontwikkelingsbeleid. Hoewel daartoe wel pogingen zijn ondernomen, werd in de bilaterale samenwerking het 'cultuur en ontwikkeling' beleid nimmer vertaald in uitvoerbare beleidsmaatregelen en dientengevolge nimmer uitgevoerd.

2.Het 'cultuur en ontwikkeling' beleid, zoals voorgesteld in 1990, is onuitvoerbaar gebleken.

Het beleid van begin jaren negentig werd gekenmerkt door een dynamische en constructivistische visie op cultuur, die impliceerde dat ontwikkeling bepaald wordt door krachten in de cultuur van een samenleving zelf: Een dergelijke visie staat echter op gespannen voet met de bestaande uitvoeringspraktijk van ontwikkelingssamenwerking. Daarin staat het streven naar een door de donor en de recipiënt overeengekomen gerichte cultuurverandering centraal. Het kiezen voor cultuur (en dus ook culturele
diversiteit) als basis of uitgangspunt voor ontwikkelingssamenwerking zou een breuk betekenen met de huidige praktijk. Hoewel daartoe wel enige pogingen zijn ondernomen, zoals in het kader van de duurzame ontwikkelingsverdragen, bleek deze verandering van uitgangspunt niet in werkbare maatregelen om te zetten. De vertaling van het beleid is nooit verder gekomen dan een aantal grotendeels cosmetische maatregelen.

3.De aard van de projecten uit het Cultuurprogramma is, ondanks de verbreding van het cultuurbegrip in het beleid, in de afgelopen jaren niet gewijzigd en vooral bepaald door een 'smalle' definitie van cultuur.

Aanvankelijk uit het Doelbijdragenprogramma en later uit het Cultuurprogramma is een groot aantal (overwegend kleinschalige) activiteiten gefinancierd. Weliswaar zijn in de loop der jaren de visies op het thema 'cultuur en ontwikkeling' veranderd maar van deze veranderingen is nauwelijks iets terug te vinder in de samenstelling van de projectenportefeuille. Het merendeel van de fondsen uit het Cultuurprogramma is besteed aan activiteiten op het terrein van het behoud van cultureel erfgoed en de
kunsten, vooral muziek, film en literatuur. Slechts incidenteel zijn nieuwe paden betreden, zoals cultuureducatie.

Aandachtspunten voor de toekomst

Internationaal is het afgelopen jaar sprake geweest van een herleving van het 'cultuurdebat'. Daarbij gaat het om noties die ook in de eerste helft van de jaren negentig opkwamen, zoals de vraag naar de universaliteit van bepaalde waarden en normen in relatie tot het respect voor culturele diversiteit. Tot dusverre heeft deze ontwikkeling nog geen zichtbare sporen achtergelaten in de huidige praktijk van ontwikkelingssamenwerking. De onderlinge verwevenheid van ontwikkelingssamenwerking met
andere elementen van buitenlands beleid vraagt evenwel om een heroverweging van de rol van cultuur bij het bepalen van prioriteiten en keuzes.

In het huidige beleid voor ontwikkelingssamenwerking is geen expliciete plaats meer ingeruimd voor het thema 'cultuur en ontwikkeling'. Dat wil niet zeggen dat het niet impliciet alom tegenwoordig is. Zo spelen cultuur en culturele diversiteit op de achtergrond mee op tal van voorde hand liggende terreinen als gender, institutionele ontwikkeling of onderzoek. Dit geldt a fortiori wanneer het gaat om de centra1e uitgangspunten van het huidige beleid, te weten ownership en vraagbepaaldheid, die
hoge eisen stellen aan de interculturele communicatie tussen de gevende en de ontvangende partij. Bovendien zijn beide begrippen eenvoudiger te hanteren indien sprake zou zijn van culturele homogeniteit aan zowel de vraag- als de aanbodzijde van de hulp. Een dergelijke situatie is eerder uitzondering dan regel. Hier schiet het huidige beleid tekort in het aanreiken van praktische werktuigen.

Zowel de internationale ontwikkelingen alsook de uitgangspunten van het huidige beleid vereisen een hernieuwde aandacht voor het thema 'cultuur en ontwikkeling'. De uitdaging voor de komende jaren is echter om de relatie tussen cultuur en ontwikkeling op hanteerbare wijze vorm te geven. Het verleden biedt daartoe weinig aanknopingspunten.

Nr. 291- - Nederlands schuldverlichtingsbeleid 1990-1999De inhoud van dit rapport zal worden besproken in het jaarverslag over 2003, aangezien het rapport in dat jaar aan het parlement is aangeboden.

- - - 3.3Gezamenlijke evaluaties
In 2002 was IOB betrokken bij drie internationale gezamenlijke evaluaties, die gedurende het verslagjaar niet tot eindrapportage hebben geleid. Directeur IOB was lid van het External Review Team van het International Fund for Agricultural Development (IFAD) in Rome. Dit team stelde een rapport op voor het consultatieproces voor de zesde aanvulling van de middelen van IFAD.

External Review of the Results and Impact of IFAD Operations : Report of the External Review Team - Rome : IFAD, 19 June 2002 Het rapport wijst op het unieke mandaat van IFAD om als enige van de Internationale Financiële Instellingen armoede op het platteland te bestrijden. Het Fonds zet zijn middelen daarop ook in en heeft daarbij speciale aandacht geschonken aan de situatie waarin vrouwen en marginale groepen verkeren. Voorts heeft het fonds een bescheiden bijdrage aan
wederopbouw in door oorlogen getroffen gebieden geleverd. Er zijn duidelijke aanwijzingen dat IFAD directe en indirecte bijdragen heeft geleverd aan het bereiken van de Millenium Development Goals inzake het uitbannen van extreme armoede en honger, het bevorderen van gender gelijkheid en het bereiken van een duurzaam milieu. Dat is zowel door de eigen activiteiten gebeurd als door het opzetten van innovatieve projecten die door anderen werden overgenomen. De impact van IFAD vindt vooral plaats
op gebieden als voedselproductie en -veiligheid, en verscheidene manieren van kapitaalvorming, zowel sociaal, fysiek als financieel. Het Fonds past daarbij een participatieve benadering toe. De innovaties van IFAD hadden vooral betrekking op microfinanciering, grond- en waterbeheer, zelf-help groepen en diverse vormen van partnership, alsmede de bevordering van het gebruik van lokale kennis en materialen.

Daar staat tegenover dat IFAD niet altijd de balans weet te vinden tussen aandacht voor innovatieve benaderingen en de noodzaak om ook via reeds gebaande paden resultaten te boeken. Meer systematische aandacht voor innovatieve activiteiten en vooral de opvolging daarvan kan potentieel een hogere opbrengst hebben. Ook wordt het Fonds steeds meer gevraagd deel te nemen aan beleidsdialogen, bijvoorbeeld rond de Poverty Reduction Strategy Papers, waarvoor het personeelsmatig onvoldoende is
toegerust. Bovendien is de bijdrage van het Fonds als donor in een land vaak te beperkt om werkelijk een impact op de beleidsdialoog tussen dat land en de donorgemeenschap te hebben. Een kritiekpunt betreft voorts de aandacht voor de duurzaamheid van de door IFAD ondersteunde activiteiten. Een te groot optimisme bij het aangaan van de leningen is daarvoor de oorzaak. De uitvoering wordt onvoldoende gemontored en het toezicht is vaak onvoldoende. IFAD is bezig met het opzetten van een
veelbelovend systeem voor impact assessment, dat vooral tot zijn recht zou komen in een resultaatgerichte cultuur. De review concludeert dat IFAD zijn betrokkenheid bij het veld dient te versterken. Om alle doelstellingen te bereiken dient IFAD voorts over de noodzakelijke financiële en menselijke hulpbronnen te beschikken.

- - - - 3.4Publicaties van de OESO
Glossary of Key Terms in Evaluation and Results Based Management - Paris : OECD De DAC Working Party on Aid Evaluation heeft deze thesaurus van de kernbegrippen in evaluatie en resultaatgericht management samengesteld om de gebruikte concepten te verduidelijken en de verwarring over terminologie te verminderen. Met de toename van gezamenlijke evaluaties neemt ook de noodzaak tot het gebruiken van dezelfde begrippen toe. In de praktijk blijken begrippen zeer
uiteenlopend te worden uitgelegd, waardoor allerlei misverstanden kunnen ontstaan. De resultaatgerichte benadering vindt ingang bij vele donoren en overheden, waarbij de neiging niet kan worden ontkend om het wiel herhaaldelijk opnieuw uit te vinden. De thesaurus dient er mede toe om weer overeenstemming over de begrippen te bereiken. Daartoe is deze glossary besproken zowel in de OESO als met vertegenwoordigers van de wetenschappelijke wereld, alsmede in de internationale gemeenschap. De
Wereldbank heeft de stuurgroep voorgezeten waarin de glossary werd voorbereid. Frankrijk heeft de Franse equivalenten van de begrippen voor zijn rekening genomen, terwijl de Interamerikaanse Ontwikkelingsbank de spaanse versie verzorgde.

Na het verschijnen van de glossary zijn andere taalversies in voorbereiding genomen, zoals Japans en Arabisch.

De publicaties van de OESO zijn te verkrijgen op de volgende adressen:

OECD publications

2, rue André-Pascal

75775 Paris Cedex 16

Frankrijk

http://www.oecd.org

- - - - 3.5 Werkdocumenten
Atelier OED/IOB Renforcement des capacités d' évaluation pour les strategies de réduction de la Pauvreté, 26-28 Mars 2001 - Marie Hulsman-Vejsová, Bert van de Putte, Ray C. Rist - Mars 2002Dit is een Franstalige uitgave van een gezamenlijk met het Operations Evaluation Department (OED) van de Wereldbank opgestelde rapport met de conclusies en aanbevelingen van de op 26-28 maart 2001 gehouden workshop over opbouw van evaluatiecapaciteit ten behoeve van armoedebeleid in partnerlanden. De
Engelstalige versie van het rapport werd in november 2001 uitgebracht en in het Jaarverslag 2001 besproken. Om aan de wensen van de Franssprekende deelnemers aan de workshop tegemoet te komen werd ook een versie van het verslag in het Frans als werkdocument uitgebracht en in januari 2003 aan die deelnemers toegezonden.

Health, Nutrition and Population. Dutch support to programmes and projects in Yemen 1995-1999 - Anita Hardon, Marijke Stegeman, Abdullah Saeed Hattab, Ali Mohamed Assabri, Elisabetta El-Karimy - April 2002Dit werkdocument presenteert de resultaten van het veldonderzoek in Jemen voor het IOB-rapport inzake gezondheid, voeding en bevolking.

Evaluation of Dutch International Policy in the context of South Africa - Anneke Slob, Nicky du Plessis and Sarah Nuttall - March 2002Voor het IOB-rapport inzake het internationaal cultuurbeleid is onderzoek verricht in Zuid-Afrika, waarbij tevens is gekeken naar de activiteiten in het kader van het cultuur en ontwikkelingsprogramma. Dit werkdocument geeft de resultaten van dat onderzoek weer.

Jaarverslag 2001 - Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie - mei 2002Het jaarverslag 2001 is eind mei door de minister van Buitenlandse Zaken en de minister voor Ontwikkelingssamenwerking aan de Tweede Kamer aangeboden.

Annual Report 2001 - Policy and Operations Evaluation Department - November 2002Dit werkdocument betreft de Engelse vertaling van het jaarverslag, die internationaal is onder collegadiensten en samenwerkende partners.

Évaluation des instituts culturels: L'Institut néerlandais, une institution désuète qui fait peau neuve? - IOB - Mai 2002Deze deelstudie betreft het onderzoek dat IOB deed naar het functioneren van het Institut néerlandais in Parijs in het kader van de evaluatie van het internationaal cultuurbeleid. Om ook in Frankrijk het gesprek over de rol van het Institut néerlandais te bevorderen, werd besloten het deelonderzoek in het Frans als werkdocument te publiceren. De inhoud van het rapport komt
geheel voor rekening van IOB.

Cooperaçao do Reino dos Paísos Baixos na area da SAúde, Nutriçáo e Populaçao em Mozambique 1995-1999. (with Executive Summary in English) - Iraê Baptista-Lundin, Ricardo Barradas, Jorge Barreto, Fernanda Farinha, Trudie Gerrits - Junho 2002- Dit werkdocument presenteert de resultaten van het veldonderzoek in Mozambique voor het IOB-rapport inzake gezondheid, voeding en bevolking.

- 4Onderzoek in uitvoering
In dit hoofdstuk zijn waar mogelijk de evaluaties van IOB ondergebracht bij de desbetreffende begrotingscategorieën. Dat bevordert het zicht op waar het zwaartepunt van de evaluaties ligt en waar zich eventuele "witte vlekken" voordoen. Niet alle evaluaties en alle activiteiten van IOB lenen zich echter voor die aanpak. IOB-evaluaties kunnen immers "cross cutting issues" betreffen die verscheidene beleidsterreinen doorkruisen. Bovendien bestrijken de onderzoeken vaak een reeks van jaren,
waarbij de te onderzoeken activiteiten soms in verschillende jaren ook in verschillende begrotingscategorieën zijn ondergebracht geweest. Om die reden is een paragraaf "algemeen" opgenomen, waarin de niet in één begrotingscategorie onder te brengen activiteiten zijn vermeld en tevens een samenvattend overzicht van de besteding van het onderzoeksbudget wordt gegeven.

De rijksoverheid streeft naar meer resultaatgericht werken. Dat betekent dat zoveel mogelijk in kaart dient te worden gebracht welke doelstellingen worden nagestreefd, wat de behaalde of beoogde resultaten zijn, welke activiteiten daartoe worden ondernomen met welke inzet van mensen en middelen. De door IOB uitgevoerde evaluaties voldoen alle aan dit stramien. Per onderzoek wordt in "terms of reference" uiteengezet wat de specifieke doelstelling van de evaluatie is, welke vragen zullen worden
beantwoord, welke activiteiten worden ondernomen om die vragen te beantwoorden, welke mensen en middelen zullen worden ingezet en welke producten de evaluatie zal opleveren. In het jaarverslag wordt niet volgens dit stramien gerapporteerd, omdat het veel herhaling van informatie zal bevatten. Hieronder wordt het overzicht gegeven van de generieke doelstellingen, behaalde of beoogde resultaten, activiteiten en inzet van mensen en middelen, dat voor elk onderzoek geldt.

(Beleids)evaluaties IOB

Doelstelling: terugkoppeling van inzicht en kennis van de uitvoering van beleid naar beleidsformulering en het verantwoorden van de besteding van middelen. Hiermee wordt invulling gegeven aan de verplichting om minimaal eens per vijf jaar een beleidsterrein te evalueren, geldend voor de Rijksoverheid.

Behaalde/beoogde resultaten: beoordeling van de relevantie, effectiviteit, efficiëntie en duurzaamheid voor zover mogelijk van de uitvoering van (deel van) een beleidsterrein over vaak een reeks van jaren.

Activiteiten: opzetten, uitvoeren en verslag doen van een onderzoeksprogramma naar de beleidsuitvoering.

Reguliere werkzaamheden: vooronderzoek, schrijven terms of reference, inhuren consultants, leiding en uitvoering onderzoek, in- en externe contacten, verslaglegging, feedback en voorlichting.

Inzet mensen en middelen: per onderzoek minimaal 0,3 fte maar bij voorkeur 0,7 fte. Per evaluatie wordt een begroting opgesteld.

4.1- - - Evaluaties
- - - Art. 1 - Internationale OrdeningEvaluatie mensenrechten (tevens beleidsartikel 4)In het verslagjaar heeft een vooronderzoek plaatsgevonden naar de mogelijkheid om een evaluatie op het gebied van het mensenrechtenbeleid te ondernemen. Op basis van vooronderzoek is het besluit genomen een aantal deelstudies uit te voeren. Een van deze deelstudies is de evaluatie van een aantal internationale mensenrechtenorganisaties die een financiële bijdrage van Nederland krijgen. De dossiers zijn
geïnventariseerd en samengevat. Op basis van deze inventarisatie, en met inachtneming van het commentaar van de beleidsafdeling en van de betrokken organisaties, zijn de terms of reference voor deze deelstudie opgesteld. Voorts is een startnotitie met een voorstel voor de overige deelstudies geschreven:

·een studie naar de efficiëntie en effectiviteit van door NL gesteunde projecten en programma's;

·een studie over de Nederlandse inzet in de Mensenrechtencommissie;

·twee landenstudies; en

·een studie op het gebied van de politieke inspanningen in een aantal landen.

Er is een begin gemaakt met het vooronderzoek inzake de deelstudie naar de Nederlandse inzet in de mensenrechtencommissie en inzake de deelstudie efficiëntie en effectiviteit van programma's.

Voorts onderneemt IOB activiteiten ter bevordering van de internationale samenwerking op evaluatiegebied (zie paragraaf 4.2).

- - - Art. 2 - Vrede, Veiligheid en ConflictbeheersingGedurende het gehele jaar 2002 lukte het niet de vacature inspecteur vrede en veiligheid te vervullen. Lange tijd is geprobeerd de vacature door een interne kandidaat te laten vervullen - toen dit streven in de loop van het jaar moest worden opgegeven, was het inmiddels te laat om nog tot externe vervulling in 2002 over te kunnen gaan. Het gevolg is dat geen invulling aan verdere evaluaties op dit beleidsterrein kon worden gegeven.

- Art. 3 - Humanitaire HulpOp dit terrein vinden momenteel geen evaluaties plaats. Wel is IOB betrokken bij de internationale activiteiten op dit gebied (zie paragraaf 4.2)

- - - Art. 4 - Goed Bestuur, Mensenrechten en VredesopbouwIn 2002 vond een terreinverkenning plaats, die tot onderwerpskeuze in de nieuwe programmering van IOB zal leiden. Voorts is de evaluatie mensenrechten van belang voor dit artikel, die onder artikel 1 wordt behandeld.

Partnergeleide evaluatie (Country led evaluation)In een samenwerkingsverband met de evaluatiediensten van de Wereldbank en UNDP wordt steun verleend aan te starten evaluatieactiviteiten in Mozambique. Medio 2002 is een seminar in Maputo gehouden waarin de vertegenwoordigers van vakministeries en 'civil society' zich uitspraken om een dergelijke evaluatie uit te voeren in een enkele sector. Afstemmen met andere evaluaties en het inpassen in de beleidsprocessen (vooral de PRSP) is ingewikkeld
gezien de beperkte capaciteit in Mozambique. In de marge van de oprichting van IDEAS (International Development Evaluation Association) zijn afspraken gemaakt met China in 2003 de mogelijkheid te onderzoeken voor een door China geleide evaluatie van (een deel van) de bilaterale samenwerking China-Nederland.

Synthesestudie vredesopbouw (gezamenlijke studie evaluatiediensten Utstein)In 2002 is een gezamenlijke studie op het gebied van vredesopbouw van start gegaan van de evaluatiediensten van Duitsland (BMZ), Noorwegen (het ministerie van Buitenlandse Zaken), het Verenigd Koninkrijk (DfID) en Nederland (IOB). De studie beoogt de aanpak en ervaringen van de vier betrokken Utstein-landen op het gebied van vredesopbouw in 13 landen te inventariseren en te analyseren.

- - - Art. 5 - Europese IntegratieAgenda 2000De evaluatie is uitgevoerd door enerzijds dossieronderzoek en anderzijds berekeningen met het zogeheten Decide-model. De berekeningen met het Decide-model namen een aanvang in oktober 2001 en werden afgerond in januari van het kalenderjaar. Het schrijven van het werkdocument waarin de resultaten van de simulaties zijn opgenomen vond plaats in de periode van januari tot en met september 2002. Het schrijven van het evaluatierapport, waarin zowel de
historische analyse verkregen uit dossieronderzoek als ook de uitkomsten van de berekeningen met het Decide-model werden verwerkt vond plaats in de periode van maart 2002 tot december 2002. In december van het verslagjaar werd het concept-rapport voor commentaar voorgelegd aan deskundigen die bij de onderhandelingen betrokken waren.

Art 6 - Bilaterale OntwikkelingssamenwerkingSchuldverlichtingNadat deze studie in 2001 van start was gegaan zijn gedurende het jaar 2002 de nog resterende deel­studies uitgevoerd. Deze omvatten drie (landen) case studies, waarvan één veldstudie (Nicaragua) en twee bureaustudies (Jamaica en Zambia). De enigszins vertraagde model- en literatuurstudie werd alsnog afgerond, evenals de laatste deelstudie naar de vorming en uitvoering het Nederlandse Schuld­verlichtingsbeleid. Dit laatste
deelonderzoek bleek zo complex en omvangrijk dat de resultaten ervan zich niet tot een hoofdstuk van het geplande eindrapport bleken te laten comprimeren zonder de zorg­vuldige reconstructie van het gevoerde beleid geweld aan te doen. Om die reden is bij nader inzien besloten de eindrapportege te splitsen in twee publicaties: één over het Nederlandse schuldverlichtings­beleid, waarvan de definitieve tekst inmiddels is vastgesteld, en één over de resultaten van de de totale schuldverlichting van
alle donoren en crediteuren.

Gezondheid, voeding en bevolkingHet eindrapport is gepubliceerd in mei 2002. In Hoofdstuk 1 is op de hoofdbevindingen ingegaan. De resultaten van de landenstudie Burkina Faso waren reeds in 2001 in een werkdocument gepubliceerd. De landenstudies Jemen en Mozambique zijn in de loop van 2002 tevens in de vorm van werkdocumenten verschenen. Het rapport is in mei aan het parlement aangeboden door minister Herfkens, vergezeld door een beleidsreactie waarin de bevindingen van het rapport grotendeels
worden onderschreven. In 2002 heeft de Tweede Kamer niet over deze beleidsreactie met de minister of haar opvolgster gesproken.

Basisonderwijs (multi-donor)De evaluatie wordt ondersteund en (mede) gefinancierd door de evaluatiediensten en onderwijsafdelingen van 13 donoren en ontwikkelingsorganisaties, waaronder de Utstein partners, de Wereldbank, UNESCO en UNICEF. Deze donoren en ontwikkelingsorganisaties hebben samen met vier partnerlanden (Burkina Faso, Bolivia, Oeganda en Zambia), waar dieptestudies zullen plaatsvinden, een Steering Committee gevormd. Dit Steering Committee wordt voorgezeten door Directeur IOB. Voor
de dagelijkse begeleiding van de evaluatie is een Management Group gevormd bestaande uit IOB, het Evaluation Office van UNICEF en het Evaluation Department van CIDA. De daadwerkelijke evaluatie wordt uitbesteed aan een team van onafhankelijke evaluatoren. De (openbare) uitbesteding werd in februari 2002 afgerond, waarna de eerste fase van de evaluatie (een analyse van bestaand evaluatiemateriaal en statistische gegevens) een aanvang nam. Na een voorbereiding van het veldonderzoek in de partner
landen in de eerste helft van 2002 vonden de veldstudies in Bolivia, Burkina Faso, Oeganda en Zambia plaats in de periode oktober 2002 - januari 2003. De Stuurgroep kwam in september 2002 bijeen om de conceptrapportage van de eerste fase van de evaluatie te bespreken (document review and analysis report). Besloten is dat de evaluatoren de document review verder uitbreiden en op grond van additioneel materiaal en analyse de rapportage zullen aanpassen.

HulpcoördinatieVerschillende aspecten van coördinatie, waaronder harmonisatie van procedures, worden bezien in de context van de Nederlandse steun aan de sector lokaal bestuur in Oeganda, in de periode 1991-2001. Na een verkennend bezoek aan Kampala en de districten Lira en Soroti in februari 2001 en dossier- en literatuuronderzoek in 2001 is de voortgang van het onderzoek in een interim-rapport weergegeven. Het interim-rapport gaf zicht op de nog ontbrekende informatie en analyse. Om die aan
te vullen zijn in januari 2002 enkele districten in de West-Nile-regio bezocht. Naast gesprekken met districtsautoriteiten, NGO's en technische adviseurs in West-Nile, is in samenwerking met HMA Kampala in alle door Nederland ondersteunde districten een korte schriftelijke enquête gehouden, over verwachte effecten van coördinatie. Vervolgens vonden enkele aanvullende interviews plaats met Oegandese autoriteiten en donoren in Kampala, alsook aanvullend onderzoek in Nederland. De resultaten van
het onderzoek, weergegeven in een voorlopig rapport, zijn in de zomer 2002 voor commentaar voorgelegd aan de staf van de ambassade in Kampala. Daarnaast werden reacties ontvangen van enkele externe experts, van een aantal belanghebbenden en van een aantal DGIS klankbordpersonen. Als resultaat hiervan zijn nog verdere redactionele en inhoudelijke bewerkingen nodig.

Locatie specifieke armoedebestrijdingDeze studie in twee districten van Tanzania behandelt de armoedetrends, de verwachtingen en visies van de bevolking en de planning vanuit de overheid en het door Nederland gesteunde districtenprogramma. De resultaten van de verschillende deelstudies zijn in de tweede helft van 2002 in Tanzania besproken, alsmede binnen IOB. Het eindrapport wordt nu geredigeerd. Aangezien op enige punten extra onderzoek noodzakelijk is, zal het eindrapport pas in de loop van
2003 gereed zijn.

Cultuur en ontwikkelingBegin december werd het rapport samen met een beleidsreactie van de staatssecretaris voor Ontwikkelingssamenwerking aan het Parlement aangeboden. In haar beleidsreactie onderschreef de staatssecretaris de hoofdbevindingen van het rapport en zegde zij de Kamer toe hierop actie te nemen. De hoofdbevindingen van dit rapport zijn behandeld in Hoofdstuk 1.

- - - Art. 7 -- - - EU-fondsenIn paragraaf 4.2 wordt verslag gedaan van het overleg in EU-verband en het onderzoek naar de mogelijkheden om de drie C's van het verdrag van Maastricht te evalueren.

Art. 8 - VN-programma's en fondsenMulti-bi financiering met de FAOIn het afgelopen jaar kreeg het grootste deel van het onderzoek voor de evaluatie zijn beslag. De eerste helft van 2002 stond in het teken van de veldmissies naar Bolivia, Zambia, Senegal en Zuidoost Azië. Voorts werden nog voor de zomer de beoordeling van de projecten uit de steekproef afgerond, alsmede de deelstudies naar de kwaliteit van de uitgevoerde tripartite evaluaties en het zogenaamde "project development fund". De
missierapporten werden voor commentaar toegestuurd naar de FAO en de Nederlandse ambassades in de betrokken landen. Tijdens een drietal bezoeken aan het hoofdkantoor van de FAO werden staf en management van de organisatie geïnformeerd over de voortgang van het onderzoek en een groot aantal project officers geïnterviewd. In het bijzonder de analyse en beoordeling van de in de steekproef opgenomen projecten, hetgeen de basis vormde voor oordeelsvorming over doelmatigheid en doeltreffendheid van
de samenwerking, bleek aanmerkelijk meer tijd te kosten dan in de planning was voorzien. De onoverzichtelijke en soms gebrekkige dossiervorming voor multi-bi projecten was daarvan de belangrijkste oorzaak. Niettemin werd de doelstelling om in het najaar van 2002 een afgerond concept eindrapport aan alle belanghebbenden te kunnen presenteren gehaald.

Evaluatie UNFPA/IPPF (multi-donor o.l.v. de Duitse evaluatiedienst)De terms of reference van deze evaluatie zijn vastgesteld. De evaluatie is specifiek gericht op de programma's voor jongeren en zal in zes landen worden uitgevoerd: Bangladesh, Burkina Faso, Egypte, Nicaragua, Tanzania en Vietnam. De tenderprocedure is afgerond en het consortium dat uitvoerder is geworden heeft een inceptierapport geschreven. Dit is in november besproken in de Stuurgroep (bestaande uit de evaluatiediensten van
Duitsland, Denemarken, het Verenigd Koninkrijk, Noorwegen, Nederland, UNFPA en IIPF). Het rapport voldeed niet geheel aan de verwachtingen en op basis van het commentaar van de stuurgroep zal het consortium een nieuwe versie maken.

Evaluatie UNDP (gezamenlijk)In de tweede helft van 2002 is met de evaluatiedienst van UNDP afgesproken dat de mogelijkheden zullen worden bezien om gezamenlijk de bijdrage van UNDP aan verbetering van bestuur gericht op armoedebestrijding te onderzoeken. De eerste voorstellen van UNDP's evaluatiedienst werden eind 2002 ontvangen.

Art. 4 - Goed Bestuur, Mensenrechten en VredesopbouwEvaluatie Comprehensive Development Framework (CDF) mechanisme (gezamenlijk)Deze evaluatie wordt sinds januari 2001 onder leiding van de evaluatiedienst en de onderzoeksafdeling van de Wereldbank uitgevoerd met als doel na te gaan in hoeverre de vier principes van het Comprehensive Development Framework - een holistische visie op ontwikkeling, resultaatgericht werken, ownership door het ontvangende land en door dat land geleide partnership -
ingang hebben gevonden in de praktijk van de ontwikkelingslanden en in die van de donoren, en met welk effect. De evaluatie is begeleid door een kleine Management Groep gekozen uit het meer dan 20 partners tellende Steering Committee. IOB is in het laatste vertegenwoordigd en steunt de evaluatie financieel. In januari 2002 vond in Kampala een vergadering plaats over de toen afgeronde deelstudies. In de loop van 2002 zijn alle voorgenomen deelstudies afgerond en zijn de meeste landenstudies met
een nationale workshop afgesloten. In november 2002 werd het Draft Synthesis Report met de leden van het Steering Committee, auteurs van deelrapporten en externe adviseurs op een vergadering in Washington besproken. Eind 2002 kwam het Final Draft Synthesis Report voor commentaar beschikbaar.

- Art. 10 - Samenwerking met maatschappelijke organisatiesEvaluatie gemeentelijke internationale samenwerking.De evaluatie over Gemeentelijke Internationale Samenwerking betreft de activiteiten, welke met fondsen van BZ zijn beheerd en/of uitgevoerd door de Vereniging van Nederlandse Gemeenten (VNG) als contractpartner van BZ gedurende de periode 1997 tot en met 2001. Het onderzoek behelst activiteiten zowel op het gebied van de ontwikkelingssamenwerking als dat van de pre-accessie in het kader
van de Europese Integratie. De totale waarde van de BZ-financiering voor deze periode bedroeg ruim ¤ 24.7 mln. Na vaststelling van de Terms of Reference eind februari 2002 en afronding van de tenderprocedure in mei 2002 is aan de associatie SEOR BV van de Erasmus Universiteit en ECORYS-NEI de opdracht verleend tot uitvoering van deelstudies met betrekking tot de beleidsuitvoering. De zomermaanden zijn benut om een enquête uit te voeren bij 153 betrokken Nederlandse gemeenten en bij een
controlegroep van Nederlandse gemeenten. Het Plan van Aanpak voor de uitvoering van de evaluatie is door de Referentiegroep, bestaande uit vertegenwoordigers van betrokken partijen en externe deskundigen, in september 2002 besproken en vastgesteld. Sindsdien is gedetailleerde dossierstudie verricht, zijn interviews afgenomen bij relevante beleidsdirecties van BZ en de VNG en zijn bestuurders en ambtenaren van 30 gemeenten geïnterviewd. Op basis van de dossierstudie en de interviews zijn in
november en december 2002 veldstudies verricht in twee van de vijf geselecteerde landen, Polen en Zuid-Afrika. Tegelijkertijd is de beleidsanalyse ter hand genomen.

Evaluaties in het kader van het medefinancieringsprogrammaIn het Beleidskader MFP-breed en bijbehorende subsidieregeling, welke per 1 januari 2003 van kracht zullen worden, is aan IOB de volgende rol toegekend: "IOB inspecteert en toetst de kwaliteit van het geleverde werk op basis van eigen evaluaties en met gebruikmaking van de uitkomsten van het samenhangende evaluatiesysteem dat de MFO's zelf hanteren." Conform toezegging van de Minister aan de Kamer is in september voor de uitvoering van
die taken een eerste inspecteur aangesteld, die niet alleen beschikt over ruime OS-ervaring maar ook over kennis van en ervaring met maatschappelijke organisaties in Nederland en ontwikkelingslanden. Met het oog op de operationalisering van die taken heeft IOB overleg geëntameerd met de MFO's, teneinde inzicht te verwerven in de door hen gehanteerde systemen op het gebied van Monitoring en Evaluatie. IOB hanteert in deze als uitgangspunt dat naarmate de MFO's zelf beter monitoring en evaluatie
zullen hebben geregeld, de verantwoordelijkheid van IOB voor inspectie en toetsing minder zal kunnen zijn.

Art 11 - Internationaal onderwijsVanuit beleidsmatig oogpunt en ook gezien het maatschappelijk-politieke en financieel belang (¤ 130 miljoen per jaar op de HGIS-begroting) vormt het hoger onderwijs een belangrijk onderwerp voor evaluatie. De evaluatieve dekking tot op heden is beperkt. Dit zijn belangrijke redenen om een evaluatie van dit terrein te rechtvaardigen, evenals de geplande samenwerking met de Onderwijsinspectie. De timing van deze evaluatie bleek echter problematisch. In 2001 is na
lange discussies een nieuw beleidskader opgesteld en geaccepteerd door de Tweede Kamer. Tot 2005 worden geleidelijk de oude programma's afgebouwd. IOB heeft daarom besloten om de eigen evaluatie van het hoger onderwijs uit te stellen en deze evaluatie is nu voorzien voor 2004-2005. Voor die tijd is IOB beschikbaar om advies te verlenen bij decentrale evaluaties op dit terrein ten einde de evaluatieve dekking van dit beleidsartikel te verbeteren. Indien de kwaliteit van deze decentrale
evaluaties voldoende is, zullen deze ook een input kunnen vormen voor de later geplande overkoepelende IOB-evaluatie.

Art 12 - Samenwerking met het bedrijfslevenIn 2002 is een IOB-inspecteur als lid van begeleidingsgroepen en commentator intensief betrokken geweest bij de decentrale evaluaties van de programma's PUM, PSOM en het KB-Fonds. Deze onderzoeken zijn alle in 2002 afgerond, alleen voor de KB-Fonds evaluatie moet de definitieve versie van het eindrapport nog verschijnen.

- - - Art. 13 - Politieke en Economische BelangenbehartigingBehartiging buitenlandse belangen van de Nederlandse Antillen en van ArubaInterviews op de Nederlandse Antillen en Aruba en op relevante posten in de Verenigde Staten, Latijns Amerika en het Caribisch gebied en Europa vonden plaats in de periode oktober 2001-februari 2002. De conceptrapportage werd in juli 2002 voltooid. Commentaar van de diverse stakeholders en referentiepersonen werd in de tweede helft van 2002 ingewonnen en
betrokken bij de afronding van de rapportage.

- Art. 14 - Asiel, Migratie en Consulaire DienstverleningIn het verslagjaar vonden in dit beleidsartikel geen activiteiten van IOB plaats.

- - - Art. 15 - Internationaal CultuurbeleidEvaluatie internationaal cultuurbeleidDe evaluatie van het internationaal cultuurbeleid is in 2002 gepubliceerd onder de titel "De kunst van het internationaal cultuurbeleid". De belangrijkste conclusies van deze evaluatie zijn al in het IOB-jaarverslag 2001 weergegeven. Twee IOB-werkdocumenten die betrekking hebben op twee van de vijf landenstudies werden eveneens gepubliceerd, namelijk "Évaluation des instituts culturels: L'Institut néerlandais, une
institution désuète qui fait peau neuve?" en "Evaluation of Dutch International Cultural Policy in the context of South Africa". In 2002 is de aandacht verder gericht geweest op de follow-up van deze evaluatie. Daartoe vond op 19 maart 2002 in het Rijksmuseum voor Volkenkunde te Leiden een discussiebijeenkomst plaats om de conclusies en aandachtspunten voor de toekomst te bespreken. Deelnemers aan deze bijeenkomst waren vertegenwoordigers van het culturele veld, vertegenwoordigers van
beleidsdirecties van BZ en OC&W, onderzoekers en culturele functionarissen van ambassades. De aanwezigen onderschreven in het algemeen de conclusies, maar verschilden van mening over de opties voor de toekomst. Aangezien de beide verantwoordelijke departementen BZ en OCW niet snel tot overeenstemming konden komen over de beleidsreactie, is het rapport zonder beleidsreactie in mei 2002 naar de Tweede Kamer gestuurd. De verantwoordelijke staatssecretaris van Buitenlandse Zaken stuurde mede
namens zijn collega op OC&W in oktober 2002 de beleidsreactie op dit evaluatierapport naar de Tweede Kamer. Er heeft nog geen debat plaats gevonden over deze beleidsreactie en het evaluatierapport in de Tweede Kamer. Voorts heeft de beleidsdirectie nog geen actieplan opgesteld voor de uitvoering van de beleidsreactie.

- - - 4.2 Internationale activiteiten
Art 1 - Internationale ordeDAC Working Party on Aid Evaluation (WP-EV)In 2002 heeft IOB evenals voorgaande jaren actief deelgenomen aan diverse activiteiten van de DAC Working Party on Aid Evaluation. In mei hebben de leden van de Working Party on Aid Evaluation Directeur IOB tot voorzitter gekozen voor een periode van twee jaar. De hoofden van de evaluatiediensten van DfID en het Deense ministerie van Buitenlandse Zaken werden beiden benoemd tot vice-voorzitter en zullen fungeren als trekker
van activiteiten binnen de speerpunten in het werkprogramma van de WP-EV. IOB heeft inhoudelijk en financieel steun verleend aan de volgende activiteiten:

·Het onderzoek naar de ervaringen met Results Based Management, dat in 2001 werd onderbroken door het overlijden van de consultant, is in 2002 afgerond door publicatie van documenten op de internetsite van de DAC.

·Het inventariseren en inhoudelijk systematiseren van door donoren gehanteerde concepten en definities voor evaluatie en results-based management is geresulteerd in een publicatie getiteld 'Glossary of Key Terms in Evaluation and Results Based Management'. IOB heeft deze publicatie verspreid binnen het DGIS en onder de OS-posten.

·IOB heeft bijgedragen aan de "Review on Gender and Evaluation" door een consultancy onderzoek naar het gebruik van innovatieve en effectieve benaderingen voor het evalueren van genderbeleid.

·De advisering van de Peer Review afdeling van de DAC met als doel methodologische versterking van het peer review proces, kreeg gestalte door deelname aan de daarvoor ingestelde Task Force van de Working Party die opdracht heeft gegeven aan het uitvoeren van een onderzoek onder de gebruikers van peer reviews naar de sterke en zwakke punten van het peer review proces. Eind 2002 zijn de resultaten van dit onderzoek aan de DAC gerapporteerd.

·IOB heeft geparticipeerd in een door de evaluatiedienst van het Franse ministerie van Financiën geleide werkgroep die voorbereidingen heeft getroffen voor een in 2003 te houden workshop 'Partners in Development Evaluation - Learning and Accountability'.

·Voorts heeft IOB geparticipeerd in een inventariserende studie over de resultaten van decentralisatie op het gebied van armoedevermindering. De voortgang van de studie, en een Draft Report zijn besproken op een conferentie in Oslo, op 23-24 september 2002.

·In december heeft Directeur IOB in zijn capaciteit als voorzitter van de WP-EV deelgenomen aan het DAC Development Partnership Forum: Managing for Development Results and Aid Effectiveness.

Art. 3 - Humanitaire HulpActive Learning Network for Accountability and Performance in Humanitarian Assistance (ALNAP)ALNAP beijvert zich om door middel van het uitbrengen van evaluatieve studies aandacht te vragen voor de verbetering van de wijze waarop humanitaire hulp wordt verleend. IOB maakt deel uit van het ALNAP Steering Committee en financiert specifieke evaluatieve studies. In 2002 heeft ALNAP haar tweede annual review uitgebracht. Deze bevatte onder meer een analyse van
kennismanagement in de humanitaire sector. Voorts werden 41 evaluatierapporten van humanitaire hulpactiviteiten geanalyseerd, waarbij zowel de bevindingen van deze evaluaties als de kwaliteit van de eveluatiestudies werden besproken. In 2002 is een studie aangevangen naar de wijze waarop beneficianten worden betrokken bij de planning en uitvoering van humanitaire hulp in langlopende complexe noodsituaties en kortdurende noodsituaties ontstaan door natuurrampen.

Art. 4 - Goed Bestuur, Mensenrechten en VredesopbouwEvaluation Partnership Programme for Monitoring and Evaluation Capacity BuildingIn 2002 zijn samen met de Operations Evaluation Department (OED) van de Wereldbank verschillende landen bezocht ter identificatie van "centres of excellence" die ingezet willen worden bij activiteiten voor de opbouw van evaluatiecapaciteit in ontwikkelingslanden. Zowel in Oeganda, Egypte als Ivoorkust en Senegal zijn centra geïdentificeerd. De financiering van dit
programma vindt plaats ten laste van het door Nederland met de Wereldbank overeengekomen partnershipprogramma. In 2002 zijn cursisten uit de 19+4 landen gefinancierd bij de internationale evaluatie cursus in Ottawa, Canada. Voorts is steun gegeven aan de oprichting van IDEAS (International Development Evaluation Association). Middelen uit het partnershipprogramma maakten het mogelijk dat deelnemers uit ontwikkelingslanden de oprichtingsbijeenkomst in september 2002 in Beijing konden bijwonen.

Art. 5 - Europese IntegratieSamenwerking tussen de Europese evaluatiediensten.In het kader van de Europese samenwerking vindt op het gebied van de ontwikkelingssamenwerking regelmatig overleg plaats tussen de hoofden van de evaluatiediensten van de lidstaten en het hoofd van de evaluatiedienst van de Commissie. In deze groep is het initiatief genomen te komen tot de voorbereiding van een mogelijke evaluatie naar de 3 C's; te weten complementariteit, coherentie en coördinatie van het Verdrag van
Maastricht. De stuurgroep wordt door IOB voorgezeten. In de eerste maanden van 2002 werd een pilotproject door een door de Commissie ingehuurde consultant afgeblazen vanwege gebrekkige voorbereiding. In februari werd besloten tot het organiseren van een seminar met betrekking tot de drie C's. Reden hiervoor was dat er onduidelijkheid bestond over de wijze waarop een mogelijke evaluatie vormgegeven zou moeten worden. Het seminar werd in de tweede helft van 2002 gepland maar is uitgesteld tot
2003 vanwege organisatorische en logistieke problemen.

- - - 4.3Advisering en overige activiteiten
Onderzoek en advisering inzake de evaluatiefunctie in het Ministerie van Buitenlandse ZakenHierop is in hoofdstuk 3 reeds ingegaan.

Inspecteur monitoring en evaluatie- De IOB helpdesk is in februari 2002 met de komst van de inspecteur M&E opgezet om de adviestaak van IOB bij evaluaties van directies of posten te versterken. De hoofdtaak van IOB is het verrichten van evaluaties, maar daarnaast stelt IOB haar kennis en ervaring beschikbaar in een adviserende rol. De inspecteur monitoring en evaluatie heeft een coördi­nerende rol bij advisering bij evaluaties. Uitgangspunt is dat vraaggericht wordt geadviseerd. In 2002 is
door inspecteurs t.a.v. een twintigtal evaluatieonderwerpen geadviseerd:

Beleidsartikel

Aantal onderwerpen

---

---

---

---

---

---

---

---


---

---


---

---


10

---


---

---


12

---


18

---


IOB geeft prioriteit aan structurele advisering bij evaluaties. Daarbij wordt geadviseerd bij alle stappen in het evaluatieproces: bij het opstellen van de Terms of Reference, bij uitbesteding de opdrachtformulering, selectie van consultants, begeleiding van de uitvoering, uitwerking en beoordeling van deelproducten en het evaluatierapport.

De adviestaak heeft zich tevens uitgestrekt naar de versterking van de evaluatiefunctie van BZ, met name het evaluatiebeleid van BZ, verbetering van de evaluatieprogrammering, koppeling van doelstellingen in de Memorie van toelichting aan de evaluatieprogrammering en andere met de evaluatiefunctie samenhangende terreinen, zoals monitoring, audit en toezicht. Met verschillende onderdelen van de organisatie is op deze terreinen samengewerkt, waaronder de Directie Financieel-Economische Zaken
(FEZ), de eenheid Strategische Beleidsplanning, de door DGIS opgezette projectgroep Planning, Monitoring en Evaluatie, de projectgroep inrichting sturing en toezicht en beleidsdirecties. De helpdesk heeft tevens een adviesrol gehad bij ondersteunende activiteiten die door of gezamenlijk met andere diensten worden uitgevoerd, zoals ontwikkeling van intranetsite over evaluatie, informatievoorziening over evaluaties, wegwijzer en operationele checklist voor beleidsevaluaties, voorlichting. Voorts
heeft IOB geadviseerd over het opzetten van een beoordelingssysteem van multilaterale organisaties. Als uitvloeisel daarvan werd advies verstrekt over activiteiten van het 'Mulilateral Organisations Performance Assesment Network (MOPAN).

Bijdrage aan de conferentie "Cultuur en Ontwikkeling", georganiseerd door het Prins Claus Fonds op 6 september 2002In verband met een viertal evaluaties op cultuurgebied heeft IOB het Prins Claus Fonds ondersteund bij de voorbereiding van de conferentie op 6 september. Een overzichtsartikel van inspecteur Anneke Slob werd in de conferentiebundel opgenomen. Plaatsvervangend Directeur Henri Jorritsma en inspecteur Anneke Slob organiseerden twee van de vier werkgroepen die de conferentie
inhoudelijk voorbereidden. Directeur IOB presenteerde tijdens de conferentie de resultaten van de vier evaluaties. Voorts droeg IOB financieel bij aan de organisatie.

Cursussen, presentaties, lezingen, conferenties e.d.Directeur IOB heeft in 2002 lezingen en bijdragen gegeven aan de Universiteit van Amsterdam, de Universiteit van Maastricht, de inspectieacademie in Utrecht en het International Program for Development Evaluation Training in Canada, alsmede de Informal Workshop on Impact Assessment in Washington. Voorts nam Directeur IOB deel aan het overleg met de evaluatiediensten van Duitsland, Oostenrijk en Zwitserland in Bern in mei 2002. Op woensdag 29
mei is door Directeur IOB een presentatie gehouden op het seminar jaarplancyclus over een zinvolle resultaatmeting bij BZ in het licht van de VBTB.

Ook inspecteurs gaven gastcolleges, onder meer bij de Universiteiten van Amsterdam en Maastricht, en waren actief in de beroepsvereniging VIDE.

Programmering 2002-2004Het lag in de bedoeling in 2002 een nieuwe programmering vast te stellen. In verband met de verkiezingen werd besloten de programmering uit te stellen tot de nieuwe bewindspersonen zich daarover ook zouden hebben kunnen uitspreken. In verband met de invoering van de Regeling Prestatiegegevens en Evaluatieonderzoek zou een programmering over vijf jaren bovendien meer voor de hand liggen. De snelle val van het kabinet leidde tot uitstel van deze programmering tot begin 2003.

- 5Financiën
- Onderzoeksbudget(Artikel 07.01.6)
IOB heeft het kasplafond van ¤ 1,8 mln. in 2002 kunnen realiseren.

Personele uitgaven
IOB beschikt niet over inzicht in de personeelsuitgaven gemoeid met de vaste staf van de Inspectie, aangezien het ministerie van Buitenlandse Zaken de personeelsbegroting niet tot op het niveau van Directie specificeert.

IOB beschikte in 2002 over een directeur, een plaatsvervangend directeur tevens inspecteur, en acht reguliere inspecteurs. Daarnaast waren in 2002 nog twee tijdelijke inspecteurs bij IOB geplaatst uit de zogenaamde functionele arbeidsreserve bij het Ministerie van Buitenlandse Zaken en één inspecteur op detacheringsbasis. De Inspectie beschikt over financieel-administratieve en logistieke ondersteuning, waarvoor 3,5 fte beschikbaar is.

De inspecteurs van IOB kunnen gerichte bijscholing krijgen door deelname aan het International Programme for Development Evaluation Training in Ottawa, Canada. Dit door de Wereldbank in samenwerking met de universiteit van Ottawa opgezette programma biedt een volledig curriculum op het gebied van internationale evaluaties. Ervaringen in het verleden met Nederlandse evaluatieopleidingen waren voor IOB minder geslaagd, omdat zij gericht zijn op evaluaties in Nederland en geen kennis overdragen
over het evalueren in het buitenland en vooral in ontwikkelingslanden.

In 2002 kenden tien medewerkers van IOB in het geheel geen ziekteverzuim (vgl. 2000: 3 en 2001: 5). Ook het kortlopende verzuim gaf een daling te zien van circa 3,6 % naar 2,6 %. Met twee langdurig zieken kwam het totale ziekteverzuim in 2002 ruim 1 procent hoger uit op 6,2 % (vgl. 2000: 5 % en 2001: 5%). Deze stijging kwam vooral voor rekening van het Bedrijfsbureau waar het verzuim van 15% verdeeld over drie van de vier medewerkers enige zorgen baart. In 2002 is overleg met het Sociaal
Medisch Team van start gegaan. In 2003 wordt dit overleg voortgezet.

- - 6Mandaat, werkwijze en kengetallen IOB
- -

- - - - 6.1Mandaaten werkwijze
De Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie, kortweg IOB, is belast met de evaluatie van het buitenlands beleid van Nederland.

IOB is een onafhankelijk onderdeel van het ministerie van Buitenlandse Zaken en rappor­teert rechtstreeks aan de minister van Buitenlandse Zaken en/of de minister voor Ontwik­kelingssamenwerking. De betrokken minister zendt de rapporten van IOB naar het parle­ment. In principe worden ze in de Tweede Kamer besproken in de Vaste Kamer­commissie voor Buitenlandse Zaken, op basis van de beleidsreactie die de minister op het rapport heeft gegeven.

Bij haar oprichting in 1977 werd IOB uitsluitend belast met de evaluatie van de bilaterale hulpverlening (destijds nog onder de naam van Inspectie Ontwikkelingssamenwerking te Velde - IOV). Na de herijking van het buitenlands beleid in 1996 is het mandaat van IOB uitgebreid en volgde een naamswijziging.

De Inspectie is onafhankelijk in het opstellen van de onderzoeksprogrammering. Concepten van die programmering worden besproken met het ministerie. Tevens worden in de pro­grammering verzoeken van de ministers of het parlement opgenomen. In de periode na 1988 heeft de minister voor Ontwikkelingssamenwerking zeven keer de Inspectie expliciet verzocht een evaluatie te ondernemen. Twee maal kwam het verzoek daartoe van de minister voor Antilliaanse en Arubaanse zaken. In negen gevallen waren
vragen in het Parlement de aanleiding een evaluatie-onderzoek te entameren. Dat betekent dat circa 40 % van de ondernomen evaluaties na 1988 "op verzoek" geschiedde.

Bij elk onderzoek is IOB onafhankelijk in het vaststellen van de onderzoeksopzet, de wijze van uitvoering, het onderzoek zelf, en het formuleren van de conclusies uit het onderzoek. De eindrapporten worden onder verantwoordelijkheid van IOB gepubliceerd.

IOB besteedt aandacht aan het up to date houden en verdiepen van vaardigheden van de inspecteurs op het gebied van methodologie en verbetering van de eigen werkwijze en uitbreiding van de benodigde vakkennis. Bij de verschillende fasen van de studies onder verantwoordelijkheid van IOB worden tevens onafhankelijke deskundigen betrokken. IOB doet ook steeds vaker een beroep op de medewerking van instituten of deskundigen op het gebied van veldonderzoek in partnerlanden. Voor vrijwel elke
evaluatie wordt een referentiegroep samengesteld uit onafhankelijke deskundigen en ambtenaren van het ministerie. Deze referentiegroep adviseert over de onderzoeksmethodologie en de aanpak.

- - - - 6.2Kengetallen
Basisgegevens

Periode: 1988-2001 1988-2000

Totaal aantal evaluatierapporten 60 57

waarvan:

Programma-evaluaties 17 16

Evaluaties van landenprogramma's 12 12

Thema-evaluaties 10 9

Synthesestudies 2 2

Sectorevaluaties 3 3

Evaluaties van beheersprocessen 4 3

Multi-donor evaluaties met participatie van IOB 12 12

Participatie IOB in studies van OECD/DAC WP/AE 9 8

Werkdocumenten 21 15

Financiële omvang van de geëvalueerde activiteiten ¤ 16.141 mln. ¤ 14.603 mln.

Steekproefomvang van de geëvalueerde activiteiten ¤ 7.549 mln. ¤ 6.883 mln.

Steekproeffractie 45 % 47 %

(NB: hiervoor zijn alleen de door IOB zelf ondernomen evaluaties in beschouwing genomen)

Kengetallen

Gemiddelde aantal evaluatieproducten per jaar 5,9 5,7

Gemiddelde doorlooptijd van het evaluatie-onderzoek 25 maanden 25 maanden

Gemiddelde kosten per evaluatie (1993-2002) ¤ 546.892 ¤ 574.339

- Teneinde de twee schuldverlichtingsrapporten numeriek bij elkaar te houden is het eerste rapport van 2003 (Agenda 2000) nr. 290 ontvangen. Het tweede schuldverlichtingsrapport heeft nr. 292.

---