Ministerie van Onderwijs, Cultuur en Wetenschap

NWO-PROGRAMMA ONDERWIJSONDERZOEK, EVALUATIE 1997-2009
- samenvatting rapport d.d. 29 april 2009 -


1. Vooraf

Het ministerie van OCW heeft de Programmaraad Onderwijsonderzoek van de Nederlandse Organisatie voor Wetenschappelijk Onderzoek (verder NWO/PROO) gevraagd om niet alleen de gebruikelijke laatste programmaperiode te evalueren, maar de complete twaalf jaar van zijn bestaan onder de loep te nemen.

Voor een goed begrip: tot 1997 waren verschillende typen onderwijsonderzoek ondergebracht bij één organisatie, de Stichting voor Onderzoek van het Onderwijs. Daarna is e.e.a. gesplitst en op verschillende manieren georganiseerd. Kortlopend vraagonderzoek is aan de Landelijke Pedagogische Centra opgedragen. De evaluatie van grote veranderingstrajecten en onderwijsachterstandsbeleid in primair onderwijs is ondergebracht bij BOPO, Programmacommissie Beleidsgericht Onderzoek Primair Onderwijs. Aan NWO werd bij convenant opgedragen vierjaarlijks een programma op te stellen voor onderwijsonderzoek, waaronder ook het cohortonderzoek en internationaal vergelijkend onderzoek. Daarvoor is een programmaraad ingesteld, die is ondergebracht bij het NWO-gebied Maatschappij- en Geesteswetenschappen. De opdracht van de programmaraad omvat feitelijk dus alleen het fundamenteel-strategisch onderzoek dat het eerste-geldstroom onderzoek moet versterken. Naast het opstellen van de vierjaarlijkse programma's zijn er de volgende taken: het beoordelen van onderzoeksaanvragen volgens NWO-criteria, het bewaken van gehonoreerd onderzoek, het dissemineren van onderzoeksresultaten en het evalueren van het geheel.

Het evaluatieverslag 1997-2009 bestaat uit twee delen:
- een programmaverslag waarin uitgangspunten, beleid en output feitelijk worden beschreven

- en een zelfevaluatie waarin wordt teruggekeken en vooruitgeblikt.


2. Het programmaverslag

Het verslag gaat over beleid en beheer.
Beleid betekent het kiezen en hanteren van instrumenten (grote projecten, reviewstudies, bijdragen aan internationale onderzoeksconferenties als AERA, EARLI en ORD, de website, eigen workshops e.d.), waarbij het vierjaarlijks vaststellen van een onderzoeksprogramma de meeste impact heeft. Beheer betekent vooral het managen en beoordelen van een grote hoeveelheid onderzoeksaanvragen die altijd de toekenningsmogelijkheden overtreffen, en het monitoren van de toegekende projecten. Daarnaast zijn er de hiervoor genoemde andere verplichte taken.

In de periode 1996-2001 was de oriëntatie voornamelijk wetenschapsgedreven: programma en onderzoek richtten zich vooral op wetenschappelijke vooruitgang. In de jaren erna is het accent verlegd: het fundamenteel onderzoek moet zich, gegeven de kennisbehoefte van het onderwijs, óók laten leiden door vraagstukken uit het onderwijs, wordt ook maatschappijgedreven. Daartoe werden meer dan voorheen directe contacten onderhouden met de onderwijspraktijk. Dat is te zien in de samenstelling van de programmaraad, waar de praktijk betrokken is bij de programmering, en in de grotere aandacht voor disseminatie. Naar nieuwe ontwikkelingen in de wetenschap werd ook gekeken; voorbeeld daarvan is de review naar relevantie van hersen- en cognitiewetenschappen voor het onderwijs(onderzoek). Met het fundamenteel-strategisch
---





karakter van het onderzoek blijft PROO-onderzoek zich onderscheiden van het kortlopend LPC-onderzoek, het beleidsgericht BOPO-onderzoek en TIER, dat zich richt op kosteneffectieve interventies.
Het cohortonderzoek is sterk verbeterd door de oorspronkelijke twee cohorten (PRIMA en VOCL) samen te brengen in een nieuw integraal cohort COOL 5-18, waarin ook het mbo wordt meegenomen. Op verzoek van OCW wordt daar de groep van 2-5 jaar nog aan toegevoegd. Naast het budget voor de dataverzameling als zodanig wordt verdiepend onderzoek geprogrammeerd.
Het internationaal vergelijkend onderzoek omvatte oorspronkelijk alleen TIMSS. Op verzoek van OCW programmeert de PROO nu ook de Nederlandse deelname aan PIRLS. Om beter aan de kennisbehoefte van beleid en praktijk tegemoet te komen, zijn er de laatste jaren meer reviewstudies geprogrammeerd.

In de loop der jaren zijn er in totaal 210 projecten uitgevoerd, waaronder 126 promotieplaatsen. Ruim de helft van de projecten maakt deel uit van multidisciplinaire samenwerkingsprogramma's van vier à vijf onderzoekers. De projecten leverden gemiddeld negen publicaties op. Deze prestaties van PROO-onderzoek liggen daarmee boven de door NWO-MaGW gehanteerde benchmarks. Daarnaast hebben het cohortonderzoek en internationaal vergelijkend onderzoek tot vele projecten geleid: (voor iedere onderzoeker toegankelijke) databestanden, wetenschappelijke publikaties en relevante beleidsinformatie.
Meer onderzoeksinstituten en disciplines dan voorheen onder SVO hebben van de PROO- subsidies geprofiteerd, terwijl de kwaliteitsselectie volgens NWO-criteria streng en transparant is. Daardoor is, conform de doelstelling, de capaciteit van het universitair onderwijsonderzoek uit de eerste-geldstroom kwantitatief en kwalitatief inderdaad versterkt. En omdat het internationale aspect mainstream is geworden, is het PROO- onderzoek meer geïnternationaliseerd geworden. Beoordeling vindt structureel plaats door middel van peer review door binnen- en buitenlandse onderzoekers, PROO- onderzoekers hebben belangrijke inbreng bij internationale congressen en publiceren internationaal, en er worden onderzoeksvoorstellen gezamenlijk met buitenlandse collega-instituten gehonoreerd.


3. Zelfevaluatie

Terugblik
PROO heeft de opdracht van OCW consequent uitgevoerd en is daarin succesvol geweest. Onderbrenging bij NWO met zijn normen voor kwaliteit, onafhankelijkheid en transparantie, heeft daarbij geholpen, zij het dat rekening is gehouden met eigenheden van onderwijsonderzoek. In de SVO-tijd behoorden veel publikaties tot de 'grijze' literatuur; nu worden er veel meer wetenschappelijke publikaties in binnen- en buitenlandse gerefereerde tijdschriften geproduceerd. PROO-subsidies hebben voor een nieuwe generatie onderzoekers gezorgd. Ook aan de opdracht tot kennisoverdracht is voldaan: enerzijds draagt PROO-onderzoek bij aan wetenschap en theorievorming, anderzijds aan de onderwijspraktijk. Dat laatste gebeurt direct (onderwijsmateriaal, conferentiebijdragen, praktijkgerichte publikaties e.d.), dan wel indirect via SLO/CITO/LPC schoolbegeleidingsdiensten, lerarenopleidingen en Onderwijsraad.

Bij het programmeren vragen vier aspecten permanent aandacht: a) verhouding tussen evenwichtig/breed en effectief/gefocust programma; b) onderzoekslijnen die niet van de grond komen (pedagogische functie, beroepsonderwijs);
c) afstemming tussen partijen nu fundamenteel-strategisch, beleidsgericht en praktijkgericht onderzoek gescheiden zijn;
d) in de relaties met OCW en de praktijk is meer nabijheid gewenst. Daarnaast worden verbeteringen voorgesteld bij het beoordelen, het monitoren, de cohorten (waar medewerking van scholen afneemt) en het overdragen van kennis.


2





Vooruitblik
Het stand-alone model heeft zijn nut bewezen en de goede elementen ervan (met name de onderbrenging bij NWO en het overnemen van de betreffende procedures) moeten gewaarborgd worden. Er zijn vier soorten suggesties voor verbetering.


1. Suggesties voor verbetering binnen het bestaande convenant: a) versterken van de relatie met OCW;
b) rationaliseren van het programmaoverleg tussen PROO, BOPO, LPC/kortlopend praktijkonderzoek en OCW;
c) verbeteren beheersprocedures, i.c. volgen onderzoeksprojecten na afronding; d) instellen van gebruikerspanel.


2. Suggesties voor aanpassing van het convenant om bestaande functies aan te zetten: a) meer expliciet benoemen van de functie van fundamenteel-strategisch onderzoek voor beleid en praktijk;
b) scherper formuleren van de kennisoverdrachtstaak.


3. Suggesties voor aanpassing van het convenant om nieuwe functies mogelijk te maken:
a) de professionele beoordelingsstructuur van NWO/PROO inzetten voor ander onderzoek dat OCW bekostigt (bijv. Onderwijsbewijs, PISA e.d.) om bij te dragen aan kwaliteitsverbetering en transparantie en om efficiënter te beoordelen; b) een rol spelen bij invulling fundamentele onderzoekscomponent FES-trajecten om binnen die trajecten op toepassing gericht onderzoek en innovatie te koppelen aan fundamenteel-strategisch onderzoek;
c) gericht kunnen stimuleren om onderzoek van de grond te tillen waaraan grote behoefte bestaat (bijv. pedagogische functie, beroepsonderwijs); d) samenbrengen van PROO en BOPO in één organisatorisch verband om binnen NWO beter af te stemmen, beheerslast te beperken met behoud van de wezenlijke elementen van beide;
e) uitbreiden van programmatisch overleg naar andere door OCW gefinancierde initiatieven;
f) voorzieningen creëren om de kennisketen beter te laten sluiten: enerzijds om resultaten van fundamenteel onderzoek uit te ontwikkelen en in innovatietrajecten te brengen; anderzijds om resultaten van meer toegepast onderzoek in te brengen bij de programmering van fundamenteel-strategisch onderzoek.


4. Suggestie is om, in het verlengde van het laatstgenoemde voorstel, samen met anderen te onderzoeken of een model als ZonMw voor het onderwijsonderzoek meerwaarde oplevert. In dit model zijn verschillende, voorheen afzonderlijke fondsen van een enkel departement, binnen NWO organisatorisch zo ingekaderd dat de elementen van de kennisketen beter op elkaar worden betrokken.

Tot slot wordt opgemerkt dat de voorgestelde verbeteringen als fasen in een proces worden gezien. Sommige voorstellen kan de PROO op basis van het convenant direct doorvoeren; vervolgens wordt in samenspraak met OCW het convenant aangepast en uitgebreid om andere verbeteringen mogelijk te maken. Op de langere termijn zou in overleg met meerdere partijen een nieuwe organisatorische figuur voor het onderwijsonderzoek kunnen worden gerealiseerd. De PROO wil graag blijven meedenken over verdere optimalisering van de kennisinfrastructuur voor het onderwijsonderzoek.


3