Ministerie van Onderwijs, Cultuur en Wetenschap
NWO-PROGRAMMA ONDERWIJSONDERZOEK, EVALUATIE 1997-2009
- samenvatting rapport d.d. 29 april 2009 -
1. Vooraf
Het ministerie van OCW heeft de Programmaraad Onderwijsonderzoek van de
Nederlandse Organisatie voor Wetenschappelijk Onderzoek (verder NWO/PROO)
gevraagd om niet alleen de gebruikelijke laatste programmaperiode te evalueren, maar
de complete twaalf jaar van zijn bestaan onder de loep te nemen.
Voor een goed begrip: tot 1997 waren verschillende typen onderwijsonderzoek
ondergebracht bij één organisatie, de Stichting voor Onderzoek van het Onderwijs.
Daarna is e.e.a. gesplitst en op verschillende manieren georganiseerd. Kortlopend
vraagonderzoek is aan de Landelijke Pedagogische Centra opgedragen. De evaluatie van
grote veranderingstrajecten en onderwijsachterstandsbeleid in primair onderwijs is
ondergebracht bij BOPO, Programmacommissie Beleidsgericht Onderzoek Primair
Onderwijs. Aan NWO werd bij convenant opgedragen vierjaarlijks een programma op te
stellen voor onderwijsonderzoek, waaronder ook het cohortonderzoek en internationaal
vergelijkend onderzoek. Daarvoor is een programmaraad ingesteld, die is ondergebracht
bij het NWO-gebied Maatschappij- en Geesteswetenschappen. De opdracht van de
programmaraad omvat feitelijk dus alleen het fundamenteel-strategisch onderzoek dat
het eerste-geldstroom onderzoek moet versterken. Naast het opstellen van de
vierjaarlijkse programma's zijn er de volgende taken: het beoordelen van
onderzoeksaanvragen volgens NWO-criteria, het bewaken van gehonoreerd onderzoek,
het dissemineren van onderzoeksresultaten en het evalueren van het geheel.
Het evaluatieverslag 1997-2009 bestaat uit twee delen:
- een programmaverslag waarin uitgangspunten, beleid en output feitelijk worden
beschreven
- en een zelfevaluatie waarin wordt teruggekeken en vooruitgeblikt.
2. Het programmaverslag
Het verslag gaat over beleid en beheer.
Beleid betekent het kiezen en hanteren van instrumenten (grote projecten,
reviewstudies, bijdragen aan internationale onderzoeksconferenties als AERA, EARLI en
ORD, de website, eigen workshops e.d.), waarbij het vierjaarlijks vaststellen van een
onderzoeksprogramma de meeste impact heeft. Beheer betekent vooral het managen en
beoordelen van een grote hoeveelheid onderzoeksaanvragen die altijd de
toekenningsmogelijkheden overtreffen, en het monitoren van de toegekende projecten.
Daarnaast zijn er de hiervoor genoemde andere verplichte taken.
In de periode 1996-2001 was de oriëntatie voornamelijk wetenschapsgedreven:
programma en onderzoek richtten zich vooral op wetenschappelijke vooruitgang. In de
jaren erna is het accent verlegd: het fundamenteel onderzoek moet zich, gegeven de
kennisbehoefte van het onderwijs, óók laten leiden door vraagstukken uit het onderwijs,
wordt ook maatschappijgedreven. Daartoe werden meer dan voorheen directe contacten
onderhouden met de onderwijspraktijk. Dat is te zien in de samenstelling van de
programmaraad, waar de praktijk betrokken is bij de programmering, en in de grotere
aandacht voor disseminatie. Naar nieuwe ontwikkelingen in de wetenschap werd ook
gekeken; voorbeeld daarvan is de review naar relevantie van hersen- en
cognitiewetenschappen voor het onderwijs(onderzoek). Met het fundamenteel-strategisch
---
karakter van het onderzoek blijft PROO-onderzoek zich onderscheiden van het kortlopend
LPC-onderzoek, het beleidsgericht BOPO-onderzoek en TIER, dat zich richt op
kosteneffectieve interventies.
Het cohortonderzoek is sterk verbeterd door de oorspronkelijke twee cohorten (PRIMA en
VOCL) samen te brengen in een nieuw integraal cohort COOL 5-18, waarin ook het mbo
wordt meegenomen. Op verzoek van OCW wordt daar de groep van 2-5 jaar nog aan
toegevoegd. Naast het budget voor de dataverzameling als zodanig wordt verdiepend
onderzoek geprogrammeerd.
Het internationaal vergelijkend onderzoek omvatte oorspronkelijk alleen TIMSS. Op
verzoek van OCW programmeert de PROO nu ook de Nederlandse deelname aan PIRLS.
Om beter aan de kennisbehoefte van beleid en praktijk tegemoet te komen, zijn er de
laatste jaren meer reviewstudies geprogrammeerd.
In de loop der jaren zijn er in totaal 210 projecten uitgevoerd, waaronder 126
promotieplaatsen. Ruim de helft van de projecten maakt deel uit van multidisciplinaire
samenwerkingsprogramma's van vier à vijf onderzoekers. De projecten leverden
gemiddeld negen publicaties op. Deze prestaties van PROO-onderzoek liggen daarmee
boven de door NWO-MaGW gehanteerde benchmarks. Daarnaast hebben het
cohortonderzoek en internationaal vergelijkend onderzoek tot vele projecten geleid:
(voor iedere onderzoeker toegankelijke) databestanden, wetenschappelijke publikaties en
relevante beleidsinformatie.
Meer onderzoeksinstituten en disciplines dan voorheen onder SVO hebben van de PROO-
subsidies geprofiteerd, terwijl de kwaliteitsselectie volgens NWO-criteria streng en
transparant is. Daardoor is, conform de doelstelling, de capaciteit van het universitair
onderwijsonderzoek uit de eerste-geldstroom kwantitatief en kwalitatief inderdaad
versterkt. En omdat het internationale aspect mainstream is geworden, is het PROO-
onderzoek meer geïnternationaliseerd geworden. Beoordeling vindt structureel plaats
door middel van peer review door binnen- en buitenlandse onderzoekers, PROO-
onderzoekers hebben belangrijke inbreng bij internationale congressen en publiceren
internationaal, en er worden onderzoeksvoorstellen gezamenlijk met buitenlandse
collega-instituten gehonoreerd.
3. Zelfevaluatie
Terugblik
PROO heeft de opdracht van OCW consequent uitgevoerd en is daarin succesvol geweest.
Onderbrenging bij NWO met zijn normen voor kwaliteit, onafhankelijkheid en
transparantie, heeft daarbij geholpen, zij het dat rekening is gehouden met eigenheden
van onderwijsonderzoek. In de SVO-tijd behoorden veel publikaties tot de 'grijze'
literatuur; nu worden er veel meer wetenschappelijke publikaties in binnen- en
buitenlandse gerefereerde tijdschriften geproduceerd. PROO-subsidies hebben voor een
nieuwe generatie onderzoekers gezorgd. Ook aan de opdracht tot kennisoverdracht is
voldaan: enerzijds draagt PROO-onderzoek bij aan wetenschap en theorievorming,
anderzijds aan de onderwijspraktijk. Dat laatste gebeurt direct (onderwijsmateriaal,
conferentiebijdragen, praktijkgerichte publikaties e.d.), dan wel indirect via
SLO/CITO/LPC schoolbegeleidingsdiensten, lerarenopleidingen en Onderwijsraad.
Bij het programmeren vragen vier aspecten permanent aandacht:
a) verhouding tussen evenwichtig/breed en effectief/gefocust programma;
b) onderzoekslijnen die niet van de grond komen (pedagogische functie,
beroepsonderwijs);
c) afstemming tussen partijen nu fundamenteel-strategisch, beleidsgericht en
praktijkgericht onderzoek gescheiden zijn;
d) in de relaties met OCW en de praktijk is meer nabijheid gewenst.
Daarnaast worden verbeteringen voorgesteld bij het beoordelen, het monitoren, de
cohorten (waar medewerking van scholen afneemt) en het overdragen van kennis.
2
Vooruitblik
Het stand-alone model heeft zijn nut bewezen en de goede elementen ervan (met name
de onderbrenging bij NWO en het overnemen van de betreffende procedures) moeten
gewaarborgd worden. Er zijn vier soorten suggesties voor verbetering.
1. Suggesties voor verbetering binnen het bestaande convenant:
a) versterken van de relatie met OCW;
b) rationaliseren van het programmaoverleg tussen PROO, BOPO, LPC/kortlopend
praktijkonderzoek en OCW;
c) verbeteren beheersprocedures, i.c. volgen onderzoeksprojecten na afronding;
d) instellen van gebruikerspanel.
2. Suggesties voor aanpassing van het convenant om bestaande functies aan te zetten:
a) meer expliciet benoemen van de functie van fundamenteel-strategisch onderzoek voor
beleid en praktijk;
b) scherper formuleren van de kennisoverdrachtstaak.
3. Suggesties voor aanpassing van het convenant om nieuwe functies mogelijk te
maken:
a) de professionele beoordelingsstructuur van NWO/PROO inzetten voor ander onderzoek
dat OCW bekostigt (bijv. Onderwijsbewijs, PISA e.d.) om bij te dragen aan
kwaliteitsverbetering en transparantie en om efficiënter te beoordelen;
b) een rol spelen bij invulling fundamentele onderzoekscomponent FES-trajecten om
binnen die trajecten op toepassing gericht onderzoek en innovatie te koppelen aan
fundamenteel-strategisch onderzoek;
c) gericht kunnen stimuleren om onderzoek van de grond te tillen waaraan grote
behoefte bestaat (bijv. pedagogische functie, beroepsonderwijs);
d) samenbrengen van PROO en BOPO in één organisatorisch verband om binnen NWO
beter af te stemmen, beheerslast te beperken met behoud van de wezenlijke elementen
van beide;
e) uitbreiden van programmatisch overleg naar andere door OCW gefinancierde
initiatieven;
f) voorzieningen creëren om de kennisketen beter te laten sluiten: enerzijds om
resultaten van fundamenteel onderzoek uit te ontwikkelen en in innovatietrajecten te
brengen; anderzijds om resultaten van meer toegepast onderzoek in te brengen bij de
programmering van fundamenteel-strategisch onderzoek.
4. Suggestie is om, in het verlengde van het laatstgenoemde voorstel, samen met
anderen te onderzoeken of een model als ZonMw voor het onderwijsonderzoek
meerwaarde oplevert. In dit model zijn verschillende, voorheen afzonderlijke fondsen van
een enkel departement, binnen NWO organisatorisch zo ingekaderd dat de elementen
van de kennisketen beter op elkaar worden betrokken.
Tot slot wordt opgemerkt dat de voorgestelde verbeteringen als fasen in een proces
worden gezien. Sommige voorstellen kan de PROO op basis van het convenant direct
doorvoeren; vervolgens wordt in samenspraak met OCW het convenant aangepast en
uitgebreid om andere verbeteringen mogelijk te maken. Op de langere termijn zou in
overleg met meerdere partijen een nieuwe organisatorische figuur voor het
onderwijsonderzoek kunnen worden gerealiseerd. De PROO wil graag blijven meedenken
over verdere optimalisering van de kennisinfrastructuur voor het onderwijsonderzoek.
3