Ministerie van Onderwijs, Cultuur en Wetenschap

Ministerie van Onderwijs, Cultuur en Wetenschap

Programma Onderwijsonderzoek
Evaluatie 1997-2009

29 april 2009

1. Inleiding 1

PROGRAMMAVERSLAG 3

2. Evaluatiekader 3
2.1 Convenant onderbrenging onderwijsonderzoek 3
2.2 Opdracht aan de PROO 3
2.3 Opdrachtbrief evaluatie 3 2.4 Afgeronde evaluaties 4 2.5 Toetsingskader 4

3 Uitgangspunten PROO 5
3.1 Uitgangssituatie PROO 1997 5 3.2 Werkterrein 6 3.3 Doorlopend programma 6 3.4 Samenstelling en zittingstermijn van de PROO 6 3.5 Budget 6 3.6 Terminologie 6

4. Twaalf jaar PROO-beleid: 1997-2008 9
4.1 Inleiding 9 4.2 Overzicht programma's 1997-2008 9 4.3 Programmering eerste fase: 1997-2001 9 4.4 Programmering tweede fase: 2002-2005 11 4.5 Programmering derde fase: 2006-heden 12 4.6 Beleid internationaal vergelijkende studies 15 4.7 Cohortonderzoek 16 4.8 Beoordeling en projectbeheer 17 4.9 Kennisoverdracht 19 4.10 Conclusie 20

5. Twaalf jaar PROO: aanvragen, onderzoek en output 23
5.1 Inleiding 23 5.2 Toelichting op de gepresenteerde cijfers 23 5.3 Honoreringspercentages 23 5.4 Lopend en afgesloten onderzoek 25 5.5 Toegekend onderzoek naar zwaartepunt/onderzoekslijn 26 5.6 Toegekend onderzoek naar instituut 27 5.7 Output toegekend onderzoek 28 5.8 Bijdragen aan internationaal vergelijkende studies 29 5.9 Cohortonderzoek 29 5.10 Conclusie 30

ZELFEVALUATIE 33

6. Bezinning en vooruitblik 33
6.1 Inleiding 33 6.2 Reflectie: stand van zaken 33 6.3 Reflectie: opmerkingen en aanbevelingen 35 6.4 Reflectie: vooruitblik 40

Bijlagen

A Opdrachtbrief OCW 43 B Convenant "De onderbrenging van het (middel) lange termijn 45 onderwijsonderzoek bij NWO" (1997)
C Evaluatievragen 61 D Samenstelling Programmaraad Onderwijsonderzoek 65 E Schema beoordelingscriteria 2004-2007 67 F Beoordelingscriteria 2008-2011 71 G Aanvragen en resultaten naar instrument 2004-heden 75 H Overzicht aandachtsgebieden (en deelprojecten)projecten vanaf 1997 77 I Overzicht afzonderlijke projecten vanaf 1997 91 J Overzicht projecten PRIMA vanaf 1997 103 K Overzicht VOCL vanaf 1997 107 L Overzicht projecten internationaal (vergelijkend) onderzoek vanaf 1997 109 M Overzicht proefschriften vanaf 1997 111 N Rapportenoverzicht VOCL/PRIMA 119 O Inkijk in de opbrengsten van PROO-onderzoek: acht aandachtsgebieden 123

1. Inleiding

De Programmaraad voor het Onderwijsonderzoek (PROO) bestaat in 2009 ruim twaalf jaar. De raad is in
1997 ingesteld met als opdracht om een flinke (kwaliteits)impuls aan het eerste geldstroom
onderwijsonderzoek te geven. Deze opdracht heeft geresulteerd in acht onderzoeksprogramma´s,
210 gehonoreerde projecten en 124 afgeronde projecten,1 waaronder gerealiseerde promoties. Tijd om
de balans op te maken. Dat gebeurt in dit verslag en in een boekje "12,5 jaar Programmaraad voor het
Onderwijsonderzoek" dat in mei 2009 verschijnt.

In de afgelopen jaren is de PROO een wezenlijke rol in het wetenschappelijke onderwijsonderzoek gaan
vervullen. De Programmaraad is subsidieverlener en draagt bij aan Nachwuchs binnen en de kwaliteit
van het eerstegeldstroom onderwijsonderzoek. Daarnaast is de PROO gespreks- en
samenwerkingspartner van diverse relevante partijen geworden, zoals de onderzoekschool
Interuniversitair Centrum voor Onderwijsonderzoek (ICO), de Vereniging voor Onderwijsresearch (VOR),
de Onderwijsraad, tal van intermediaire en brancheorganisaties en - niet op de laatste plaats - van het
departement. Ook binnen NWO Maatschappij- en Gedragswetenschappen (MaGW) is de Programmaraad,
gelet op het eigen mandaat dat de PROO heeft en het doorlopende karakter van het programma, een
factor van betekenis.

De PROO kijkt in deze evaluatie terug op twaalf jaar PROO en legt specifiek verantwoording af over het
beleid in de periode 2006-2009.2 Dit gebeurt aan de hand van een feitelijk programmaverslag en een
zelfevaluatie. Voor een effectieve uitvoering van zijn taken moet de PROO zich blijven oriënteren op zijn
omgeving. Recente ontwikkelingen in de brede context van het onderwijsonderzoek vragen om bezinning
op de koers. In de zelfevaluatie reflecteert de PROO, in het kader van deze ontwikkelingen, op zijn
opdracht en blikt hij tevens vooruit.

1 Exclusief projecten PRIMA, VOCL, COOL5-18 en internationaal vergelijkend onderzoek.

2 Opdrachtbrief evaluatie OCW (2008) in bijlage A.

---

Programmaverslag

2. Evaluatiekader

2.1 Convenant onderbrenging onderwijsonderzoek

De evaluatie van de PROO dient als basis voor het besluit over het al dan niet ongewijzigd continueren
van het Convenant "De onderbrenging van het (middel) lange termijn onderwijsonderzoek bij NWO"
tussen NWO en OCW dat per 1-1-1997 in werking trad en in maart 1998 werd bekrachtigd (bijlage B). In
dit Convenant is de opdracht aan de PROO omschreven.

2.2 Opdracht aan de PROO

NWO kreeg in 1997 als opdracht een vierjaarlijks programma op te stellen voor onderwijsonderzoek. Die
taak is opgedragen aan een Programmaraad, die ressorteert onder het NWO-gebiedsbestuur
Maatschappij- en Gedragswetenschappen. De opdracht uit 1997 luidde: Het programma dient betrekking
te hebben op fundamenteel, strategisch, evaluatief, en toepassingsgericht (middel) lange termijn
onderzoek, waaronder cohortonderzoek en onderzoek op het terrein van achterstandsbeleid, en dient
plaats in te ruimen voor evaluatie van grote veranderingsprojecten, internationaal vergelijkende studies,
fundamentele ontwikkelingen op langere termijn in onderwijs en relevante omgeving.

Deze opdracht is in feite, en ook in formele zin, beperkter. De evaluatie van grote veranderingstrajecten
en het achterstandenbeleid zijn namelijk, voor wat betreft het primair onderwijs, volledig bij de
Programmacommissie Beleidsgericht Onderzoek Primair Onderwijs (BOPO) ondergebracht. De evaluatie
van grote veranderingstrajecten en internationaal vergelijkend onderzoek had uitsluitend betrekking op
de zogeheten morele verplichtingen,3 te weten het cohortonderzoek, toentertijd PRIMA en VOCL (nu
COOL 5-18), en TIMSS - nu ook: PIRLS.

Naast het opstellen van een onderzoeksprogramma heeft de PROO als taken: de beoordeling van
onderzoeksaanvragen volgens NWO-criteria; de bewaking van de voortgang van het gehonoreerde
onderzoek; de disseminatie van onderzoeksresultaten en evaluatie.

In de hoofdstukken drie en vier van dit rapport wordt beschreven hoe de PROO deze opdracht uitgewerkt
heeft.

2.3 Opdrachtbrief evaluatie

In bijlage A is de opdrachtbrief van Het Ministerie van OCW bijgevoegd. In deze brief wordt de PROO
verzocht om de periode 2006-2009 te evalueren en in te gaan op de effectiviteit en de efficiency van het
programma, toegespitst op het Convenant.

Daarnaast heeft het departement gevraagd om in te zoomen op een drietal vragen:

· De breedte van het programma: sluit het programma aan bij de belangrijkste vragen van het
onderwijs, met andere woorden is er voldoende focus?

· De multidisciplinariteit van het programma: zijn recente ontwikkelingen in disciplines als
hersen & cognitiewetenschappen en onderwijseconomie verdisconteerd om samenwerking met
bijvoorbeeld disciplines als leerpsychologie en didactiek te bevorderen?

· De relatie onderzoek - praktijk: zijn de potentiële gebruikers bij het onderzoek betrokken, in de
beginfase om relevante vragen te formuleren, en in de eindfase om het benutten van de nieuwe
kennis in de praktijk te bevorderen?

3 Op NWO werd een moreel beroep gedaan om deze verplichtingen van SVO over te nemen en, waar nodig, te
continueren.

---

De PROO legt in dit programmaverslag de nadruk op het beleid en de cijfers van de jaren 2006-2009,
maar zal tevens terugkijken op ruim twaalf jaar PROO. Voor de opbrengsten uit het onderzoek, zoomt de
PROO in op onderzoek dat is uitgezet in de periode 1999-20024.

2.4 Afgeronde evaluaties

Sinds 1997 zijn er drie evaluaties uitgevoerd:

· In 2001 stelde de PROO een voortgangsrapportage op over de periode 1997-2000.

· In 2002 is in opdracht van het Ministerie van OCW door bureau Berenschot een externe
evaluatie afgerond over de programmering van het onderwijsonderzoek in de jaren 1997-2001,
de periode waarin de eerste Programmaraad in functie was.

· Eind 2005, de afloop van de tweede PROO-periode, is een derde evaluatie verschenen. Deze
evaluatie bestond uit een zelf- en een externe evaluatie. De PROO kreeg groen licht voor een
volgende periode en enkele aanwijzingen ter verdere verbetering van zijn programma en
procedure (uitgewerkt in 4.5).

2.5 Toetsingskader

Binnen MaGW wordt een standaardprotocol gehanteerd voor evaluaties. De vragen zijn voor deze
evaluatie toegespitst op de uitgangspunten van de PROO, zoals verwoord in het Convenant van 1997, en
de aanvullende vragen vanuit OCW. De vragen gaan in op de programmatische doelen (waaronder de
speerpunten van de PROO), de wetenschappelijke en maatschappelijke betekenis van het programma en
het onderzoek, op de relatie met de eerste geldstroom en op organisatorische kwesties (zie bijlage C
voor de uitwerking van de evaluatievragen). Het Convenant uit 1997 vormt het feitelijke toetsingskader
voor de evaluatie.

De evaluatie bestaat uit twee delen. In eerste deel, het programmaverslag, staat de beschrijving van de
uitvoering van de PROO-taakstelling centraal. Daarbij gaat het om (kaders voor) het beleid, de uitvoering
van beleid, de procedures en de opbrengsten van het onderzoek in verschillende vormen. In het tweede
deel, de zelfevaluatie, vindt een reflectie op de taakstelling plaats en doet de PROO aanbevelingen voor
de toekomst.

4 Gezien de grote hoeveelheid projecten die de PROO heeft uitgezet en de output die deze projecten opgeleverd
hebben, heeft de PROO de keuze gemaakt in te zoomen op de output van de projecten die ingediend zijn in de periode
1999-2002. Zie voor de toelichting op deze keuze: 5.2.

3 Uitgangspunten PROO

3.1 Uitgangssituatie PROO 1997

De wortels van de PROO liggen bij SVO (Stichting voor Onderwijsonderzoek). Het voormalige SVO was
een subsidieverstrekkende instelling voor het onderwijsonderzoek die voor honderd procent gefinancierd
werd door OCW. Het onderwijsonderzoek onder SVO - dus de feitelijke uitgangssituatie voor de PROO -
werd gekenmerkt door:

· een relatief gesloten systeem van aanbesteding van het onderzoek;

· hoofdzakelijk disciplinair onderzoek;

· een sterke gerichtheid op beleidsonderzoek;

· een overheersende oriëntatie van het onderzoek op Nederland;

· rapportages in de vorm van eindverslagen en weinig wetenschappelijke publicaties;

· onderzoek door zittend personeel binnen enkele onderzoeksinstituten.

De opheffing van SVO in 1997 had tot doel om door een scheiding van geldstromen de specifieke
functies van zowel het fundamenteel en het strategisch, als het toegepast en het beleidsgericht
onderzoek zo goed mogelijk tot recht te laten komen. Zo ontstonden:

· de PROO voor het kwalitatief hoogwaardige, fundamenteel en strategisch lange termijn
onderzoek;5

· het `kortlopend LPC-onderzoek', ondergebracht bij KPC6, voor het toegepaste onderzoek;

· een fonds binnen OCW voor beleidsgericht onderzoek;

· BOPO, ondergebracht bij NWO, voor beleidsgericht, voornamelijk evaluatief onderzoek in het
primair onderwijs.

Het Convenant (1997) beoogde het onderwijsonderzoek beter in te bedden in de bestaande structuren
en, voor wat betreft de PROO, bij te dragen aan de:

· verhoging van de kwaliteit en de doelmatigheid van het onderzoek;

· bevordering van de synergie tussen de eerste en de tweede geldstroom;

· versterking van de onderzoekscapaciteit van de universiteiten;

· vergroting van het draagvlak en de onafhankelijkheid van het onderzoek;

· versterking van de relatie tussen fundamenteel, strategisch, evaluatief en toegepast onderzoek.

Om de functies van het fundamentele en strategische onderwijsonderzoek te optimaliseren werden
daarom:

· departementale beleidsmakers op afstand geplaatst; dit kwam bijvoorbeeld tot uiting in de
omstandigheid dat, via het Wetenschapsbudget, slechts op hoofdlijnen richting werd gegeven
aan de eerste programmering van de PROO, alsook in het feit dat in de PROO een waarnemer

- geen lid - werd benoemd;

· hoge, wetenschappelijke kwaliteitseisen centraal gesteld, zowel met betrekking tot de
beoordeling van onderzoeksaanvragen als de onderzoeksresultaten;

· eisen gesteld aan de transparantie ten aanzien van de besluitvormingsprocedures waardoor meer
onderzoeksgroepen en meer disciplines toegang konden krijgen tot de fondsen van de PROO.

Samenvattend kan gesteld worden dat de PROO is ondergebracht bij NWO om het wetenschappelijke
onderwijsonderzoek `open te breken' en een kwaliteitsimpuls te geven.

5 In de taakstelling van de PROO is ook evaluatief onderzoek en internationaal onderzoek expliciet opgenomen. Die
hadden echter expliciet uitsluitend betrekking op de zogeheten morele verplichtingen, te weten het cohortonderzoek,
toentertijd PRIMA en VOCL, en TIMSS.

6 LPC: Landelijke Pedagogische Centra. KPC, thans KPC-Groep, is een van de LPC.

---

3.2 Werkterrein

Het werkterrein van de PROO betreft het primair onderwijs, het algemeen voortgezet onderwijs, het
voorbereidend en middelbaar beroepsonderwijs en de lerarenopleidingen. Het hoger beroepsonderwijs

- met uitzondering van de lerarenopleidingen - en het wetenschappelijk onderwijs behoren niet tot het
werkterrein van de PROO. In overleg met OCW is afgesproken dat onderzoek in het voortgezet onderwijs
en in het voorbereidend en middelbaar beroepsonderwijs, dat in termen van effecten van belang is voor
het hoger beroepsonderwijs en het wetenschappelijke onderwijs, ook binnen het werkterrein van de
PROO valt.

3.3 Doorlopend programma

De overeenkomst over het onderwijsonderzoek tussen OCW en NWO geldt telkens voor vier jaar met als
oogmerk een doorlopend programma uit te voeren. De PROO heeft daarmee een langlopende
verantwoordelijkheid voor een onderdeel van een terrein. De PROO onderneemt een aantal activiteiten
die samenhangen met zijn meer structurele plaats in de infrastructuur van het onderwijsonderzoek,
bijvoorbeeld in de sfeer van samenwerking, afstemming en coördinatie en kennisoverdracht.

3.4 Samenstelling en zittingstermijn van de PROO

Leden van de PROO worden op voordracht van het departement door het algemeen bestuur van NWO
benoemd. De PROO bestaat, conform het Convenant, uit vijf personen die werkzaam zijn in het weten-
schappelijk onderzoek en voldoende zicht hebben op maatschappelijke vragen en uit vier personen die
hun wortels hebben in onderwijsgerelateerde sectoren. Op deze wijze zijn vraag- en aanbodgeoriënteerde
zienswijzen in de PROO samengebracht. In de PROO is daarnaast plaats voor een waarnemer van OCW.
De leden van de PROO worden benoemd voor een periode van in principe vier jaar. De laatste jaren is
ervoor gekozen om de leden trapsgewijs te vervangen om zo de continuïteit van beleid en procedure beter
te kunnen waarborgen.

De PROO is onder het gebiedsbestuur MaGW geplaatst. Een overzicht van de samenstelling van de PROO
is bijgevoegd onder bijlage D.

De beleidsmedewerkers die de PROO ondersteunen, zijn ondergebracht binnen het bureau van MaGW. In
totaal is ruim 2,5 fte beschikbaar voor ondersteuning van de PROO, afhankelijk van de workload.

3.5 Budget

Het basis budget van de PROO bedroeg in 2008 M 4.1 per jaar (geïndexeerd t.o.v. 1997 en aangevuld
met additionele budgetten).

Tabel 1: verdeling jaarbudget PROO 2008.

Onderdeel m %
Subsidieronde 2,8 68
VOCL/COOL 1,0 25
Internationaal (TIMSS)* 0,3 7
Totaal 4,1 100

* Naast TIMSS maakt de PROO vanaf 2009 middelen vrij voor de financiering van PIRLS 2011.

3.6 Terminologie

Enkele termen die de PROO hanteert worden hieronder kort toegelicht.
De onderzoeksgebieden die in de programma's van de PROO worden aangeduid, worden tot en met het
programma 2004-2007, zwaartepunten genoemd. Vanaf 2008 wordt de term onderzoekslijnen
gehanteerd omdat er voor het huidige programma op een andere wijze geprogrammeerd is. Binnen de
zwaartepunten/onderzoekslijnen worden thema's onderscheiden. Binnen de thema's is een aantal
relevante vraagstellingen opgenomen. In deze evaluatie worden alleen uitspraken gedaan op het niveau
van de zwaartepunten/onderzoekslijnen.

De PROO kende tot 2007 twee subsidie-instrumenten: afzonderlijke projecten en aandachtsgebieden
(agb's). Een afzonderlijk project kan zowel eenjarig als meerjarig onderzoek betreffen. Het project betreft
in de regel niet meer dan 1 fte onderzoeksformatie. Een aandachtsgebied is een omvangrijke steunvorm,
met een gemiddelde omvang van een miljoen euro, waarin meerdere onderzoekers van verschillend
niveau (aio's, postdocs en senior onderzoekers) en bij voorkeur uit verschillende disciplines
samenwerken. Een aandachtsgebied bestaat uit deelprojecten. Aandachtsgebieden bieden meer
mogelijkheden voor multidisciplinaire samenwerking, voor theoretische verdieping, voor het in
samenhang bestuderen van vraagstukken binnen en tussen onderzoekslijnen, en voor impact middels
geconcentreerde kennisoverdracht. Dit sluit aan bij het NWO-beleid `focus en massa'. Voor de interne
aansturing, het waarborgen van de integratie van de deelprojecten en de theoretische verdieping kennen
de aandachtsgebieden integrerende postdocprojecten.

In 2007 zijn de aandachtsgebieden geëvalueerd. De PROO meende dat het instrument op de hiervoor
aangegeven punten voldeed, maar vond het instrument te zwaar. In feite ging het steeds om vier tot vijf
projecten. De opzet en de begeleiding van een dergelijk programma was erg tijdsintensief. Bovendien
bleek het instrument minder toegankelijk voor de kleinere terreinen binnen het onderwijsonderzoek.
Tegen die achtergrond is het aandachtsgebied afgeschaft en een meer flexibele variant van het
aandachtsgebied ontworpen. Vanaf 2008 wordt hiervoor de term samenhangende onderzoeksprojecten
gebruikt, afgekort als irp (interlinked research projects). Een irp omvat minimaal twee en maximaal vijf
samenhangende projecten en heeft eveneens een omvang van maximaal een miljoen euro. Het
verplichte, integratieve postdocproject is vervallen.

De afzonderlijke projecten en de deelprojecten binnen een aandachtsgebied/samenhangend
onderzoeksproject vormen samen de onderzoeksprojecten van de PROO. In de presentatie van de
resultaten wordt afhankelijk van het doel het aantal aanvragen dan wel het aantal eenheden (aantal
deelprojecten) weergegeven.

---

4. Twaalf jaar PROO-beleid: 1997-2008

4.1 Inleiding

Dit hoofdstuk gaat in op de vertaling van de uitgangspunten van de PROO in onderzoeksprogramma's en
aanvullende activiteiten. De PROO heeft zijn programmerings-activiteiten opgesplitst in drie onderdelen:
(1) een onderzoeksprogramma op basis waarvan onderzoeksvoorstellen ingediend kunnen worden en in
competitie beoordeeld worden; (2) selectie en subsidiëring van internationaal vergelijkende studies, die
in het kader van de Organisation for Economic Co-operation and Development (OECD) en de
International Association for the Evaluation of Edcuational Achievement (IAE) worden geëntameerd;
(3) longitudinale dataverzamelingen in het primair onderwijs, het voortgezet onderwijs en (sinds 2008)
het middelbaar beroepsonderwijs.

Naast deze drie onderdelen, wordt in dit hoofdstuk het beleid ten aanzien van beoordeling, projectbeheer
en evaluatie, en disseminatie en valorisatie belicht.

4.2 Overzicht programma's 1997-2008

De PROO heeft vanaf 1997 acht onderzoeksprogramma´s uitgebracht. Tabel 2 geeft een overzicht van
de verschillende programma´s en de bijbehorende zwaartepunten /onderzoekslijnen. Tot 2003 heeft de
PROO jaarprogramma's uitgebracht. In 2003 is overgestapt naar vierjarenprogramma's. Het maken van
jaarprogramma's bleek te arbeidsintensief. Bovendien hebben de onderwerpen veelal een langere
doorlooptijd dan een jaar.

4.3 Programmering eerste fase: 1997-2001

In paragraaf 3.2 is de achtergrond van de onderbrenging van het fundamentele en strategische
onderzoek bij NWO toegelicht. De opdracht die de PROO kreeg om de kwaliteit van het
onderwijsonderzoek te bevorderen, vereiste dat hij zijn functie ten opzichte van de eerste geldstroom
moest profileren. Daarom besloot de PROO in de jaren 1997-2001 om vooral de aandacht te richten op
nieuwe ontwikkelingen in de wetenschap. In het onderzoeksprogramma van de PROO werden
onderzoeksterreinen geselecteerd die extra aandacht vroegen omdat ze in Nederland nog niet waren
verkend, of omdat ze een relatief te kleine inzet kenden, en die in wetenschappelijk opzicht veelbelovend
en voor goed onderwijs voorwaardelijk waren: "Leren en Instructie en ICT", "Management en organisatie
van het onderwijs" en "De Maatschappelijke context van het onderwijs". Met deze thema's sloot de PROO
aan bij de thema's uit Wetenschapsbudget 1997.

De PROO benoemde onderstaande speerpunten die kennisverdieping tot doel hadden en het eerste
geldstroomonderzoek een nieuwe impuls moesten geven:

· transparante competitie voor onderzoeksvoorstellen door middel van landelijke kwaliteitsselectie.
Dit hield in dat de onderwijsonderzoeksinstituten moesten gaan concurreren met facultaire
onderzoekers. De PROO organiseerde daartoe jaarlijks een subsidieronde;

· stimulering van theoriegefundeerd en theorievormend onderzoek;

· stimulering van de samenwerking van de onderwijskunde met de onderwijsspecialismen
(bijvoorbeeld onderwijspsychologie) en de basisdisciplines, alsook multidisciplinair onderzoek.
Deze interactie vergroot de mogelijkheden om het onderzoek theoretisch te funderen. Daarnaast
vereist de complexiteit van maatschappelijke ontwikkelingen de inzet van expertise van
verschillende disciplines;

· stimulering van de internationalisering van het onderzoek. Vraagstukken over het leren, de
manieren van instructie en bijvoorbeeld vaardigheden van docenten kunnen uitstekend in een
internationaal verband bestudeerd worden. De kans op resultaten die grensverleggend zijn, een
trend zetten of een belangrijke spin-off aan toepassingen opleveren, is groter bij projecten die
gepland en uitgevoerd worden in een internationaal perspectief. Daarnaast doen zich door
internationale contacten soms onderzoeksmogelijkheden voor die in Nederland niet bestaan.
Bovendien geeft internationale disseminatie van resultaten vaak niet alleen een betere exposure,
maar ook de grootste kans op inhoudelijke en methodologische terugkoppeling.

---

Tabel 2: zwaartepunten/onderzoekslijnen per programma 1997-2009.
Programma Zwaartepunt

1997 Leren, instructie en de nieuwe communicatie- en informatietechnologie
Management en organisatie van het onderwijs
Maatschappelijke context van het onderwijs
1998 Leren, instructie en de nieuwe communicatie- en informatietechnologie
Management en organisatie van het onderwijs
Menselijk kapitaal

Maatschappelijke context van het onderwijs
1999 Leren en Instructie

ICT en onderwijs

BVE binnen de thematiek van het menselijk kapitaal
Toegankelijkheid van het onderwijs
2000 ICT en onderwijs

De leerkracht

Het Nederlands beroepsonderwijs
Pedagogische functie van het onderwijs
Decentralisatie van het onderwijsbeleid
2001-2002 Leren en Instructie

ICT en Onderwijs

De Leerkracht

Het Nederlands beroepsonderwijs
Pedagogische functie van het onderwijs
Decentralisatie van het onderwijs
2003 Leren en Instructie

ICT en Onderwijs

De Leerkracht

Het beroepsonderwijs

Pedagogische functie van het onderwijs
Voor- en vroegschoolse periode
2004-2007 Innovatieve leerarrangementen
Competentieontwikkeling van onderwijspersoneel
De school als leercontext
Didactiek voor het beroepsonderwijs
Voor- en vroegschoolse periode
Scholen en sociale cohesie
2008-2011 Onderwijsleerprocessen en hun opbrengsten
Onderwijspersoneel

Pedagogische functie van het onderwijs

Hoe ging de PROO te werk? Het programmeren van onderzoek, de beoordeling van aanvragen, de
uitvoering van projecten, evenals de verspreiding en de beoordeling van onderzoeksresultaten werden
als een keten beschouwd waarin iedere stap informatie oplevert voor alle andere en uiteindelijk voor de
volgende fase in de programmering. De PROO vond de inbreng van externe deskundigen (uit onderzoek
én uit beleid en praktijk) in alle fasen van zijn werkzaamheden onontbeerlijk. Zo werd de accentuering in
de verschillende jaarprogramma´s aangebracht door reviewers die de balans opmaakten van
wetenschappelijke en maatschappelijke ontwikkelingen met relevantie voor het onderwijs, en daarin
beloftevolle vraagstellingen opspoorden. De reviews werden in consultatierondes voorgelegd aan onder-
wijsonderzoekers en aan (in)direct bij het onderwijs betrokkenen. Op deze wijze trachtte de PROO
draagvlak voor vernieuwing te creëren en bij te dragen aan de kwaliteitsverhoging van het onderwijs-
onderzoek en de onderzoeksinfrastructuur.

De PROO trachtte in zijn werkwijze ook de relatie tussen fundamenteel, strategisch, evaluatief en
toegepast onderzoek te versterken. Zo werden het BOPO-programma en de toenmalige PROO-
adviescommissies PRIMA en VOCL gebruikt als input voor de programmering. De PROO hield in zijn
programma rekening met de programmering van OCW en de LPC. Tevens bevorderde de PROO de
secundaire analyse van de nationale en internationale databases. En, aan de andere kant van het
spectrum, werden de ontwikkelingen in de themagroepen van het ICO bij de programmering ingebracht.

In de vervolgprogramma´s is een voortschrijdende profilering zichtbaar. Er werd gaandeweg meer
nadruk gelegd op theorieverankering, -verdieping en methodiekontwikkeling. Daarnaast bracht de PROO
naar voren dat hij een verschuiving tot stand wilde brengen van descriptief naar analytisch onderzoek.
De betekenis van multidisciplinaire samenwerking voor het onderwijsonderzoek werd aangescherpt door
een steeds uitdrukkelijker oproep om de basisdisciplines in het onderzoek te betrekken.

Hoewel er zeer nadrukkelijk aandacht was voor de beleids- en praktijkrelevantie van het onderzoek,
kunnen deze eerste jaren van de PROO, conform de focus van de opdracht aan de PROO, als overwegend
science driven gekenschetst worden.

4.4 Programmering tweede fase: 2002-2005

Vanaf 2002, na het aantreden van een geheel nieuwe Programmaraad, vond een nadere accentuering in
het beleid plaats, die zijn beslag kreeg in het eerste meerjarenprogramma van de PROO 2004-2007.
Deze omslag was ingegeven door een kritische beschouwing van de resultaten van de
voortgangsrapportage over de eerste vier jaar (1997-2000) mede naar aanleiding van het verschijnen
van het rapport van de Adviesraad voor het Wetenschaps- en het Technologiebeleid (AWT) en de
Commissie Overleg Sectorraden (COS) Schoolagenda 2010. Kennis van educatie (2002). De PROO
constateerde, in navolging van dit rapport, dat het onderwijsonderzoek, in het algemeen, zich te weinig
richtte op problemen in het onderwijs en dat het onderwijs die resultaten te weinig benutte.

De rode draad in de veranderingen die de PROO doorvoerde was een groter accent op de relevantie van
het onderzoek voor het onderwijs en het onderwijsbeleid. De PROO achtte het wenselijk dat hij beleid
zou voeren om, zij het binnen zijn opdracht, onderzoek te stimuleren dat óók zou kunnen bijdragen aan
de verbetering van het onderwijs. Dit betekende dat de PROO het programma meer richtte op de
vraagstukken van het onderwijs en zich boog over de vraag hoe de onderzoeksresultaten in de
onderwijspraktijk beter voor het voetlicht gebracht en benut konden worden.

Welke accenten werden daarvoor aangebracht? Voorheen koos de PROO zelf de zwaartepunten en liet
deze vervolgens uitdiepen in reviews. Voor het programma 2004-2007 koos de PROO een andere
werkwijze: personen uit de sfeer van onderzoek, beleid en onderwijs werden benaderd met het verzoek
om schriftelijk nieuwe thema's voor onderzoek voor te stellen. De bijdragen van deze personen werden
besproken op expertmeetings. Na selectie van thema's door de PROO en uitwerking daarvan door
programmeurs, werden de teksten voor commentaar aan experts voorgelegd. De PROO beoogde in de
programmering op deze wijze aanbodsturing te paren aan vraagsturing.

Een tweede wijziging betrof de selectie en de invulling van de zwaartepunten. Daarbij ging de PROO niet
alleen uit van de wetenschappelijke potentie van het onderzoek, maar ook van belangrijke
onderwijsproblemen en van de verwachte bijdrage van het onderzoek aan de oplossingen van die
problemen. Dat betekende bijvoorbeeld dat de onderzoeksbehoefte, zoals omschreven in diverse externe
nota's, een rol speelde bij de keuze en invulling van de zwaartepunten. Overigens had dit ook tot gevolg
dat het programma tamelijk gedetailleerd werd ingevuld: problemen werden expliciet benoemd, thema's
nauwkeurig omschreven en richtinggevende vragen relatief eng ingekaderd. Verder was het de bedoeling
om meer balans tot stand te brengen tussen micro-, meso- en macrogeoriënteerde zwaartepunten en
thema's. In de eerdere programma's lag een sterke nadruk op onderzoek van het primaire proces. Maar
juist de accentverschuiving in het beleid zorgde ervoor dat de problemen rond het (schoolse) leren en de
leerkracht de meeste aandacht behielden.

---

Ten derde was het vraagstuk van het betrekken van `praktijkkennis' in het onderzoek en de daarop
gebaseerde vormen van onderzoek nadrukkelijk een punt van overweging. Het belang van design
experiments, ontwerpgericht onderzoek en interventiestudies werd onderstreept. De PROO organiseerde
een expertmeeting over dit type onderzoek en paste zijn beoordelingscriteria aan. Deze expertmeeting
resulteerde in de publicatie Educational Design Research (Routledge; 2006).

Onder invloed van de nadere accentuering in het beleid onderging ook een aantal speerpunten een
wijziging, of kreeg meer dan wel minder aandacht:

· Integratief onderzoek werd meer dan voorheen gestimuleerd. Onder integratief onderzoek
verstaat de PROO onderzoeksvoorstellen die zich begeven op het snijvlak van thema's uit de
verschillende zwaartepunten en die de thema's in het onderzoek integreren. Op de snijvlakken
van de thema's wordt niet zelden de grootste meerwaarde van het onderzoek, ook in termen van
relevantie voor het onderwijs, gerealiseerd. Daarnaast worden onder integratief onderzoek
studies verstaan waarin gebruik wordt gemaakt van de dataverzamelingen PRIMA en VOCL.

· Het speerpunt "theorieontwikkeling" werd vertaald in een breder speerpunt "innovatief
onderzoek". Theorieontwikkeling bleef van primair belang, maar daarnaast werd nadrukkelijk
onderzoek gestimuleerd dat in methodisch opzicht of qua impact op de onderwijspraktijk
innovatief en grensverleggend is.

· Het speerpunt "internationalisering" bleef gehandhaafd, maar werd meer ingebed in het reguliere
PROO-onderzoek - mainstreaming. Het is immers een noodzakelijke voorwaarde voor het
wetenschappelijk onderzoek om internationaal te publiceren en resultaten te presenteren. In dit
verband heeft de PROO in de onderhavige periode besloten om het internationaliseringsaspect
van een aanvraag in de prioritering mee te laten wegen.

· Ook interdisciplinaire samenwerking bleef een belangrijk speerpunt. Het is voor het
onderwijsonderzoek noodzakelijk om voortdurend de nieuwste wetenschappelijke inzichten uit
aanpalende disciplines te gebruiken en samenwerking te organiseren.

Samengevat kan gesteld worden dat er in de periode 2002-2005 sprake was van een ontwikkeling van
science driven naar een ook society oriented programmering. De eisen met betrekking tot de
wetenschappelijke kwaliteit van de uit te voeren projecten bleven onaangetast. De periode werd
afgesloten met een zelfevaluatie en een externe evaluatie (2005). De PROO kreeg van OCW groen licht
voor de volgende periode.

4.5 Programmering derde fase: 2006-heden

In 2006 is overgegaan tot een trapsgewijze vervanging van aftredende PROO-leden om de continuïteit
van het beleid meer te kunnen waarborgen. In deze periode ging een deels nieuwe PROO van start met
de opdracht om het programma 2008-2011 voor te bereiden. De evaluatie van 2005, de review studies7
die de PROO in 2005 heeft laten verrichten en de Strategienota van NWO 2007-2010 Wetenschap
gewaardeerd! (2006) hebben voor belangrijke input gezorgd voor inhoudelijke en beleidsmatige
wijzigingen in de derde fase van de PROO.

De belangrijkste wijzigingen zijn ingegeven door de evaluatie uit 2005. De externe evaluatiecommissie
oordeelde overwegend positief over het programma en de opbrengsten. Deze commissie deed een aantal
suggesties voor de volgende programmering:

· Hoewel de commissie veel waardering had voor de toegenomen aandacht voor het
toepassingsgerichte perspectief in het onderzoek, waarschuwde zij dat de urgentie en de
relevantie van praktijkgerichte vragen aan tijd gebonden zijn hetgeen, gelet op de looptijd van
het reguliere PROO-onderzoek, een probleem kan zijn;

7 Reviewstudie Leren en Instructie, CIP&T, KU Leuven, 2006.
Reviewstudie De Leerkracht, D. Beijaard, 2006.

Review Beroepsonderwijs, R. Mulder & L. Nieuwenhuis, 2006.

· De commissie stelde enige tegenspraak vast tussen de inspanning van de programmering,
gericht op het aanbrengen van focus en coherentie, en de uitvoering van het onderzoek. De
commissie bepleitte in dat verband een meer algemeen geformuleerd programma, met meer
nadruk op de onderzoeksvragen in plaats van thema's, een betere bewaking van de samenhang
van het programma, het zelf verstrekken van opdrachten op onderdelen die niet zijn ingetekend
en meer ruimte voor risicovol onderzoek.

· De commissie was van oordeel dat de PROO meer nadruk zou kunnen leggen op het realiseren
van de bij de toekenning met de aanvrager overeengekomen afspraken.

· Ten slotte oordeelde de commissie dat meer van geval tot geval bezien moet worden wat de
aangewezen weg voor disseminatie is.

OCW heeft op grond van het geheel van bevindingen besloten de status quo ten aanzien van de
aansturing te handhaven voor de periode 2006-2009. In aansluiting op dit besluit heeft OCW de PROO
gevraagd in de programmering aandacht te besteden aan ontwikkelingen in het hersen- en
cognitieonderzoek. Dit naar aanleiding van signalen dat zowel onderwijspraktijk als -onderzoek profijt
zouden kunnen hebben van de mogelijkheden die dit onderzoeksterrein biedt.

Op welke wijze heeft de PROO de opmerkingen uit de evaluatie in het nieuwe programma
verdisconteerd? De PROO heeft, in navolging van het advies van de externe evaluatiecommissie, de
eerste opzet van het nieuwe programma zelf bepaald en niet, zoals eerder het geval was, primair op
basis van externe suggesties. De contouren van de nieuwe opzet zijn begin 2006 in een brede
expertmeeting, met deelnemers uit onderzoek, beleid en praktijk, besproken met als doel draagvlak te
creëren en een goede mix van vraag- en aanbodgestuurde thema's te kunnen realiseren. Naar aanleiding
van deze expertmeeting heeft de PROO het programma voor de subsidieronde 2008 gecentreerd rond
drie onderzoekslijnen: "Onderwijsleerprocessen en hun opbrengsten", "Onderwijspersoneel" en
"Pedagogische functie van het onderwijs".

De volgende argumenten waren voor de PROO leidend voor de thematische invulling van het
programma.

· De PROO koos primair voor continuïteit en sloot daarmee aan op het pleidooi van zowel de
commissie externe evaluatie als de reviewers - zie noot 7. In de reviews werd zelfs gepleit voor
kennisaccumulatie door voort te bouwen op de resultaten van de aandachtsgebieden.

· Daarnaast meende de PROO dat het programma aanvullend moest zijn ten opzichte van het
onderzoek in de eerste geldstroom. Het programma moest zich richten op sterke punten in het
Nederlandse onderzoek, waardevolle lijnen in buitenlands onderzoek en ontbrekend onderzoek
waaraan grote behoefte was, enzovoort.

· Met de keuze voor de hiervoor genoemde drie kernterreinen wilde de PROO bovendien
versnippering tegengaan en zijn relatief bescheiden middelen optimaal inzetten. Een logische
stap in dit proces was een programmering naar inhoudelijke lijnen. Sectorspecifieke
vraagstukken, die vooral in het beroepsonderwijs en de voor- en vroegschoolse educatie een rol
spelen, werden in het nieuwe programma in samenhang met inhoudelijke vraagstukken
behandeld en niet langer in een aparte onderzoekslijn geplaatst. Ook werden bestaande
onderzoekslijnen samengevoegd, maar scherper afgebakend. Zo werden "Innovatieve
leerarrangementen", de "School als leercontext" en "Voor- en vroegschoolse periode"
samengebracht in "Onderwijsleerprocessen en hun opbrengsten". "Onderwijspersoneel"
beschouwde de PROO expliciet als een kernthema. In het thema werd overigens meer dan
voorheen aandacht gevraagd voor significante schoolfactoren die van invloed zijn op
ontwikkeling van (loopbanen van) leerkrachten.

· In de PROO werd wel direct een lans gebroken voor een (nieuwe) onderzoekslijn op
macroniveau, te weten "Bestelvraagstukken". Daarin zouden onderwerpen ondergebracht
moeten worden als de toegankelijkheid, de differentiatie en de pedagogische functie van het
onderwijs, waaraan de PROO eerder relatief weinig aandacht kon besteden, c.q. waarop weinig
aanvragen werd ingediend of konden worden goedgekeurd. Later in het programmeringsproces
besloot de PROO dat op deze lijn eerst een programmeringsstudie uitgezet diende te worden om

de contouren beter in beeld te krijgen. Aangezien de "Pedagogische functie van het onderwijs" al
was verkend en in eerdere programma's opgenomen, werd besloten dat dit een zelfstandige
onderzoekslijn kon worden.

Ter voorbereiding van een aanvulling op de onderzoekslijnen in (de subsidieronde van) 2010 heeft de
PROO een studie laten verrichten naar beloftevolle inzichten uit het hersen- en cognitieonderzoek voor
het onderwijsonderzoek. De studie verschijnt bij Springer: de Jong, T., van Gog, T., Jenks, K., Manlove,
S., van Hell, J. G., Jolles, J., van Merriënboer, J.J.G, van Leeuwen, T., & Boschloo, A. (2009).
Explorations in learning and the brain: On the potential of cognitive neuroscience for educational science.
Berlin: Springer Verlag. Daarnaast wordt in 2009 een programmeringsstudie verricht naar vraagstukken
op het terrein van het onderwijsbestel. Deze studie is in 2008 via een open call toegekend aan dr. H.D.
Webbink (CPB) met als titel De effectiviteit van onderwijsstelsels. De resultaten uit beide studies worden
in een geactualiseerde programmering van 2010-2011 uitgewerkt.

Naast deze nieuwe werkwijze van programmeren is gekozen voor een wijziging van de subsidie-
instrumenten en de frequentie van de subsidieronden. Het "aandachtsgebied" werd, zoals in 3.6 is
toegelicht, omgevormd tot "samenhangende onderzoeksprojecten (irp)". Met dit nieuwe instrument wordt
meer flexibiliteit beoogd. In 2009 zet de PROO bovendien een geheel nieuw instrument in, te weten de
zelfstandige review studies, waarmee de opbrengst van het fundamenteel onderzoek voor de praktijk
vergroot kan worden. De behoefte aan een dergelijk instrument bleek groot tijdens de expertmeeting. De
reviews laten zien wat het onderzoek in al zijn facetten heeft opgeleverd, What works, en dragen
bouwstenen aan voor een discussie over de diepgang, de breedte, de continuïteit en de sectorspecificiteit
van het programma en de betekenis van het onderzoek. In die zin dragen de reviews de kiem in zich van
de nieuwe onderzoeksprogramma's. Dit initiatief is ook een van de voorbeelden waar de inbreng van
professionals uit de praktijk door de PROO is opgepakt om een brug tussen wetenschap en praktijk te
slaan.

In de programmaperiode 2008-2011 worden twee grote rondes voor samenhangende
onderzoeksprojecten georganiseerd (totaal ruim 9 miljoen euro) en twee kleine rondes voor review
studies (totaal maximaal 1 miljoen euro). Het verminderen van de beoordelingslast moet bijdragen aan
het bereiken van meer focus en massa, en moet ook het veld/de peers ontlasten. Een jaarlijkse
subsidieronde legt een behoorlijke druk op onderzoekers. Daarnaast hoopt de PROO dat met deze
wijziging de beoordelingsprocedure efficiënter uitgevoerd kan worden, zodat er meer aandacht gegeven
kan worden aan de monitoring van het onderzoek. Het bureau heeft meer capaciteit vrijgemaakt voor de
monitoring. In het beleid zijn de regels van het track record van aanvragers aangescherpt. Het track
record (ook met betrekking tot eerder afgerond onderzoek) blijkt een belangrijke indicator voor de kans
op tijdige en succesvolle afronding.

De speerpunten die in de eerdere programma's genoemd zijn (wetenschappelijke vernieuwing,
praktijkkennis en gebruiksmogelijkheden, interdisciplinariteit, integratie en internationalisering), blijven
ongewijzigd van kracht. Wel zijn enkele accenten aangebracht:

· Internationalisering is verder ingebed in het reguliere beleid. Het belang van actieve deelname
van Nederlandse onderzoekers aan internationale congressen is groot. De PROO heeft daarom
binnen de reguliere projecten financiële ruimte gemaakt voor een op maat gesneden
(internationaal) communicatie- en disseminatieplan. In het kader van mainstreaming van de
internationalisering van het onderzoek heeft in 2008 overleg plaatsgevonden met het Teaching
and Learning Research Programme (TLRP) en de Economic and Social Research Council (ESRC)
over uitwisseling van referentbestanden, en over mogelijkheden om gezamenlijke voorstellen in
te dienen en te beoordelen en om gezamenlijke conferenties te organiseren. In 2009 zal
geprobeerd worden soortgelijke afspraken met de Deutsche Forschungsgemeinschaft (DFG) te
maken.

· Bij de oproep naar interdisciplinair onderzoek zijn, nadrukkelijker dan voorheen, ook
onderzoekers uit aanpalende en veelbelovende disciplines zoals neuro- en

cognitiewetenschappers, economen, communicatiewetenschappers, experts uit het jeugd- en
gezondheidsonderzoek, de ontwerpwetenschappen en de kunstmatige intelligentie uitgenodigd
om voorstellen in de dienen.

· Voor het programma 2008-2011 heeft de PROO extra aandacht gevraagd voor onderzoek dat
kan bijdragen aan evidence based onderwijs en/of beleid. In de publieke discussie wordt vaak de
stelling betrokken dat veel vernieuwingen in het onderwijs worden doorgevoerd zonder dat de
effectiviteit van bestaande praktijken is onderzocht. In PROO-verband wordt regelmatig
onderzoek verricht dat zich daarvoor leent; in die gevallen wordt gevraagd op (deel)aspecten te
kijken of een aanpak werkt én waarom deze werkt. In de beoordeling wordt dit aspect expliciet
meegewogen.

In de beoordeling en de prioritering wordt nadrukkelijker gelet op de realisatie van een of meerdere
speerpunten in het onderzoek, uiteraard in relatie tot de onderzoeksvraag.

Samenvattend kan gezegd worden dat de PROO in deze derde periode verder werkt aan de relevantie
van het programma voor het onderwijs, maar daarbij de opdracht aan de PROO nadrukkelijk in het vizier
houdt door verklaringsvragen centraal te stellen. Het zoeken naar een goede balans tussen afgebakende
en breed toegankelijke thema's is daarbij een belangrijke opgave. De PROO heeft in zijn
beleidsuitgangspunten aansluiting gezocht bij de strategie van NWO om meer focus en massa in het
onderzoek te creëren om zo een evenwichtiger beleid te kunnen voeren.

4.6 Beleid internationaal vergelijkende studies

In samenspraak met OCW en de IAE selecteert de PROO internationaal vergelijkend onderzoek.
Deelname aan deze studies vloeit voort uit morele verplichtingen rond de overdracht van SVO. De
participatie van de PROO in internationaal vergelijkende studies is in 1998 met de deelname aan SITES
(Second and International Technology in Education Study) en TIMSS (Trends in International
Mathematics and Science Study) van start gegaan.

Het TIMSS-onderzoek kent een vierjarige cyclus en wordt uitgevoerd door de Universiteit Twente. OCW
en PROO hechten veel waarde aan de Nederlandse deelname aan TIMSS. Dit onderzoek brengt in kaart
hoe Nederlandse leerlingen in de exacte vakken presteren in vergelijking met andere landen. Tevens
wordt informatie verzameld die inzicht geeft in de vraag waarom leerlingen in het ene land beter
presteren dan in een ander land. Doordat TIMSS elke vier jaar herhaald wordt, geeft het ook een beeld
van ontwikkelingen in leerprestaties door de jaren heen. In het rapport van de commissie Dijsselbloem
wordt het belang van deze gegevens nog eens onderstreept. In 2007 hebben PROO en OCW besloten om
ook aan TIMSS-Advanced 2008 (in het voortgezet onderwijs) deel te nemen. Zeer onlangs is ook TIMSS
2011 toegekend.

In 2008 heeft de PROO besloten om meer ruimte te reserveren voor internationaal vergelijkend
onderzoek. In 2009 is daarom PIRLS 2011 (Progress in International Reading Literacy Study) in het
programma opgenomen omdat naast rekenen ook taal en begrijpend lezen als kernvakken op de
Kwaliteitsagenda Primair Onderwijs staan. Bovendien komen in 2011 de cycli van TIMSS (vierjarig) en
PIRLS (vijfjarig) bijeen. Dat maakt het mogelijk om prestaties in rekenen, `science' en taal van de
doelgroep van tienjarigen op het zelfde moment met elkaar in verband te brengen. De PROO vindt het
belangrijk om deze mogelijkheid te benutten. PIRLS wordt uitgevoerd door het Talencentrum, RU.

Deze onderzoeken zijn tot op heden gericht aanbesteed. Dit komt voort uit de afspraken die gemaakt zijn
in de overdracht van SVO naar NWO en de inbedding van de studies in een strak internationaal kader.
Omdat de voorgaande versies van de studies naar tevredenheid zijn uitgevoerd en zowel OCW als PROO
hechten aan continuïteit, zijn de aanvragen tot op heden als continueringsaanvragen in de
beoordelingsprocedure behandeld. Dat wil zeggen dat alleen de huidige projectleiders uitgenodigd zijn
een aanvraag in te dienen. De aanvragen zijn vervolgens door de PROO op de gangbare NWO-
kwaliteitscriteria beoordeeld. Hoewel de PROO het aspect van de continuïteit zwaarwegend blijft vinden,

acht hij het van belang om zich te bezinnen op deze gesloten procedure. Dit jaar zal hij bediscussiëren of
een meer open call voor toekomstige aanvragen wenselijk is.

4.7 Cohortonderzoek

De PROO heeft vanaf 1997 twee cohortstudies in uitvoering gehad. Eén in het primair onderwijs, PRIMA,
en één in het voortgezet onderwijs, VOCL. PRIMA is in 2007 afgerond. VOCL (cohort 1999) wordt in 2010
afgerond. In beide onderzoeken zijn leerlingen in hun schoolse ontwikkeling gevolgd. Beide projecten
hebben omvangrijke databestanden opgeleverd die beschikbaar zijn via DANS (Data Archiving Network
Services) - www.dans.knaw.nl. Deze bestanden en de rapporten die door de uitvoerders opgeleverd zijn
(zie bijlage N), vormen een belangrijke informatiebron voor onderzoek en beleid. De data van PRIMA
worden nog veelvuldig gebruikt in onder andere het BOPO-onderzoek. Naast de dataverzameling en de
standaardrapporten die in het kader van VOCL zijn uitgebracht, heeft de PROO twee aandachtsgebieden
gesubsidieerd die voornamelijk gebruik maken van VOCL-gegevens (bijlage H, 411-21-502 en 411-21-
701).

- Cool 5-18

In 2004 zijn de voorbereidingen gestart voor een nieuw integraal cohortonderzoek, waarin zowel het
primair als het voortgezet en het voorbereidende middelbaar onderwijs worden meegenomen en de
transities tussen deze sectoren intact blijven. De invoering van het onderwijsnummer maakte dit
mogelijk. In 2005 konden consortia op een open call voor dit grootschalige onderzoek inschrijven. De
subsidie van bijna 7 miljoen euro (looptijd tot 2016) werd toegewezen aan een consortium van vijf
instellingen. Het ITS en SCO-Kohnstamm Instituut zijn verantwoordelijk voor het primair onderwijs
gedeelte. Het Cito en GION nemen het gedeelte voortgezet onderwijs en mbo voor hun rekening. Het
CBS zorgt voor de koppeling van de gegevens aan de onderwijsnummerbestanden. De studie heeft de
naam COOL5-18 gekregen (Cohort Onderzoek OnderwijsLoopbanen 5 tot 18 jaar). In dit onderzoek worden
scholieren in hun schoolloopbaan (tot en met mbo) gevolgd, waarin drie aspecten van de ontwikkeling
van leerlingen centraal staan:

· de cognitieve ontwikkeling, waarvoor onderzoekers de kennis en vaardigheden in het
Nederlands, Engels en rekenen en wiskunde in beeld brengen;

· de ontwikkeling van burgerschapscompetenties;

· de sociaal-emotionele ontwikkeling, waarbij het gaat om persoonlijkheidsontwikkeling, motivatie
en betrokkenheid bij school en andere maatschappelijke instituties.
Om de ontwikkeling van de leerlingen op deze aspecten te volgen, gebruiken de onderzoekers in drie
ronden de toetsen van het Leerling Volgsysteem en nemen in specifieke gevallen vragenlijsten af.
Daarnaast brengen ze de gehele schoolloopbaan van de leerlingen in kaart door koppeling aan de
onderwijsnummerbestanden. Er zijn drie ronden van gegevensverzameling gepland. In de eerste ronde
(2007-2008) doen leerlingen mee uit groep 2, 5 en 8 van het primair onderwijs en klas 3 van het
voortgezet onderwijs. In de tweede en derde ronde (2010-2011 en 2013-2014) worden deze groepen
opnieuw onderzocht, maar daarnaast ook de leerlingen in de bovenbouw van het havo en vwo en in het
mbo. In elke ronde gaat het om ongeveer 50.000 leerlingen in het primair onderwijs en ongeveer 20.000
leerlingen in leerjaar 3 van het voortgezet onderwijs. In de tweede en derde ronde doen nog eens
20.000 leerlingen verspreid over de examenjaren van havo en vwo en leerjaar 2 in het mbo mee.
COOL5-18 heeft verschillende functies. Voor deelnemende scholen biedt het betrouwbare, vergelijkende
informatie over de prestaties van de leerlingen op de school. Voor de landelijke overheid fungeert
COOL5-18 als `thermometer' voor ontwikkelingen in het onderwijs en als informatiebron voor allerlei
beleidsvragen. Voor de wetenschap biedt de studie een uniek, longitudinaal databestand voor analyses
op tal van onderwerpen. Voor gemeenten en schoolbesturen kan COOL5-18 een instrument zijn voor
evaluatie van het eigen beleid. Ten slotte kunnen de data als bron fungeren voor allerlei
wetenswaardigheden over het onderwijs in Nederland.

Het nieuwe onderwijscohort is uitdrukkelijk opgezet als een basisdataverzameling. Dat wil zeggen dat
voorzien is in het verzamelen van en rapporteren over een aantal basisgegevens over de cognitieve en
psychosociale ontwikkeling van leerlingen. Daarnaast biedt de PROO (gepromoveerde) onderzoekers aan
een Nederlandse (para) universitaire instelling de mogelijkheid om ontwikkelingen binnen en tussen de
cohorten diepgaander te bestuderen in projecten met gerichte vraagstellingen. Dit zal worden
gerealiseerd in de vorm van drie aanvullende modules, waarop onderzoekers - ook van buiten het
uitvoerend consortium - kunnen inschrijven. De call voor de eerste module is in voorbereiding en komt
naar verwachting medio 2009 beschikbaar.

De gekoppelde, privacy-gevoelige data zijn op aanvraag on site bij het CBS, of via remote acces op de
werkplek, beschikbaar. De beveiligde data komen via DANS beschikbaar.
COOL5-18 kent een eigen communicatie- en disseminatieplan en heeft een eigen website
(www.cool5-18.nl).

- PRE-COOL

In 2008 heeft OCW de PROO gevraagd een plan te maken voor een voorschools cohort, waarmee de
effecten van de voor- en vroegschoolse educatie gemeten kunnen worden en uitspraken gedaan kunnen
worden over het rendement van deze investeringen op (middel) lange termijn. OCW heeft hiertoe een
programma van eisen opgesteld. Een van de belangrijkste eisen was aansluiting op de COOL- en de
onderwijsnummerbestanden. De PROO heeft de uitvoerders van het po-deel van het COOL-consortium
uitgenodigd een voorstel in te dienen. Een brede groep van experts heeft vervolgens op dit voorstel
gereflecteerd. De opmerkingen van deze groep zijn verwerkt in het definitieve voorstel. Het voorstel is in
november 2008 aan OCW aangeboden. OCW heeft het voorstel PRE-COOL goedgekeurd en heeft voor de
periode 2009-2020 aanvullende middelen van M 5,3 aan de PROO verstrekt, ten behoeve van de
opbouw van het voorschoolse cohort.

4.8 Beoordeling en projectbeheer

Bij de onderbrenging van het onderwijsonderzoek binnen NWO werd bepaald dat de PROO de
beoordelingsroutines zou volgen die binnen NWO gebruikelijk zijn. Tot 2007 werd jaarlijks een
subsidieronde georganiseerd. Vanaf 2007 (programma 2008-2011) gebeurt dat om het jaar voor
samenhangende onderzoeksprojecten. In de tussengelegen jaren worden er rondes voor review studies
georganiseerd. De aanvraag- en beoordelingsprocedure is in de programma's van de PROO uitvoerig
beschreven en wordt als bekend verondersteld. De beoordelingscriteria zijn vermeld in bijlage E (tot
2007) en F (vanaf 2007). In deze paragraaf wordt volstaan met een korte aanduiding van (nieuw) beleid
ten aanzien van de procedure, de criteria, de discussie die momenteel over de procedure gevoerd wordt
en de aanscherping van het projectbeheer en de evaluatieprocedure.

De PROO heeft - net als geheel MaGW - met een stijgende aanvraagdruk te maken. Universiteiten en
gelieerde instituten proberen in toenemende mate via de tweedegeldstroom middelen te verwerven.
Deze hoge aanvraagdruk legt voor het onderwijsonderzoek een zware belasting op aanvragers,
beoordelaars, de Programmaraad en het bureau en zet het honoreringspercentage onder druk (zie 5.3).
Deze ontwikkeling vervult de PROO met zorg en vraagt om oplossingen.

De procedure kent een beoordeling door twee of drie onafhankelijke (internationale) vakgenoten
(afhankelijk van de projectomvang), een advies van een onafhankelijke beoordelingscommissie, een
reactie van de aanvrager op de voorliggende documenten en een eindoordeel van de PROO.8 De kwaliteit
van de procedure moet, ongeacht het aantal aanvragen, gewaarborgd blijven. De hoge kwaliteitseisen
die NWO aan de procedure stelt, zijn belangrijke redenen om het onderwijsonderzoek bij NWO onder te
brengen. Op deze wijze wordt een kwaliteitsimpuls aan onderzoek gegeven.

8 Alleen bij projecten van een geringere omvang (zoals bijvoorbeeld de review studies) kan via artikel 2.10 van de
Regeling Subsidieverlening van NWO voor een afwijkende procedure gekozen worden.

De aanvraagdruk ligt voor een groot deel buiten de invloedsfeer van de PROO. MaGW-breed wordt met
vertegenwoordigers van het gehele onderzoeksveld besproken op welke wijze er iets aan de
aanvraagdruk gedaan kan worden. De PROO voert momenteel zowel intern als met VOR en ICO een
discussie over de mogelijkheden en de wenselijkheid om onderwerpen in het programma scherper te
selecteren dan wel af te bakenen, scherpere toelatingscriteria te formuleren en de beoordelingsprocedure
efficiënter in te richten.

De PROO stimuleert dus nieuwe gebieden en moedigt onderzoekers uit nieuwe gebieden aan om
aanvragen in te dienen, maar heeft, omwille van de focus in het programma en het beperken van de
aanvraagdruk, als uitgangspunt dat het onderzoek binnen de bestaande, inhoudelijke onderzoekslijnen
plaats moet vinden. De discussie of de nu geformuleerde onderzoekslijnen meer afbakening behoeven is
nog niet afgerond.

Wat betreft de toelatingscriteria heeft de PROO in zijn nieuwe programma de voorwaarden voor de past
performance al aangescherpt, met name wat betreft het track record ten aanzien van eerder afgerond
PROO-onderzoek. Een nadere aanscherping kan plaatsvinden door slechts een aanvraag van een
hoofdaanvrager per subsidieronde toe te laten.

De efficiency van de beoordelingsprocedure staat ook onder druk door de aanscherping van de
Gedragscode Belangenverstrengeling van NWO. Deze code is een waarborg voor transparantie,
onafhankelijkheid en objectiviteit in de beoordeling, maar het toepassen van de code maakt de
beoordeling (arbeids)intensief. Dit geldt in het bijzonder voor de programmatische subsidie, waarbij door
de hoeveelheid aanvragen, de onderlinge verwevenheid en de betrokkenheden die dit met zich
meebrengt, vooral naar buitenlandse beoordelaars gezocht moet worden.9 In subsidieronde 2007-2008
bleek dit een serieus knelpunt. In samenwerking met ICO is de pool van buitenlandse reviewers
inmiddels flink uitgebreid zodat dit in de toekomst beter opgevangen kan worden.

In de zelfevaluatie van 2005 heeft de PROO aangegeven dat hij niet meer voornamelijk op het
programma wilde sturen maar, omwille van de effectiviteit, meer op de beoordeling en de prioritering.
Voor het programma 2008-2011 zijn daartoe nieuwe accenten gelegd in de beoordelings- en de
prioriteringscriteria. Het aantal criteria is teruggebracht. Voorstellen, bestaande uit meerdere projecten,
zijn als één geheel beoordeeld op de hoofdcriteria: wetenschappelijke kwaliteit, wetenschappelijke
betekenis, strategische en maatschappelijke betekenis. In de prioritering is scherper gelet op de
(meerwaarde van) samenwerking in de voorstellen, de meerwaarde van het voorgestelde onderzoek op
het eerstegeldstroom onderzoek en de verwachte bijdrage aan evidence based onderwijs en/of beleid.
Met dit laatste punt tracht de PROO de opbrengst van het onderzoek voor het onderwijs verder te
vergroten.

Welk beleid heeft de PROO ten aanzien van het projectbeheer ontwikkeld? In de tweede fase van de
PROO is aanzienlijk geïnvesteerd in de verbetering van projectmonitoring en -evaluatie. In de vorige
evaluatie constateerde de externe commissie dat de beoordelingsprocedure zeer zorgvuldig uitgevoerd
wordt, maar dat het monitoringsysteem verbeterd zou kunnen worden. De PROO heeft hierop een
medewerker deels vrijgesteld om het projectbeheer systematisch op te pakken. De medewerker ziet erop
toe dat vertragingen en/of wijzigingen in het onderzoek gemeld worden en dat er afspraken over de
oplevering van het onderzoek gemaakt worden. Het is, met de nieuwe regels, ook in het belang van de
aanvrager om de oorspronkelijke afspraken na te komen en de toegezegde producten te leveren, anders
kan er in een volgende ronde niet ingediend worden. Daarnaast worden de jaarlijkse
voortgangsverslagen, wanneer er knelpunten gesignaleerd worden, in de PROO besproken.

9 Hoewel het inschakelen van buitenlandse reviewers goed binnen het internationaliseringsbeleid van de PROO past,
blijkt het soms moeilijk om deze beoordelaars te committeren. Vanwege drukke agenda's en de fysieke afstand,
worden afspraken niet altijd na gekomen.

Er is een attendering opgezet zodat aflopend onderzoek tijdig gemaand wordt om eindverslag en
publicaties op te leveren. De PROO heeft een procedure in uitvoering genomen om een toets op het
afgeronde onderzoek te doen. Deze toets is bedoeld om het predicaat `succesvol afgerond' toe te kennen
en dient ook als input voor nieuwe programmering. Er wordt in kaart gebracht welke kennis het project
heeft opgeleverd en in hoeverre de vragen van het programma beantwoord zijn. De nieuwe kennis en
inzichten worden systematisch op de website van de PROO vermeld en via de mailalert verspreid (naast
de specifieke kanalen die in het communicatieplan bepaald zijn).

4.9 Kennisoverdracht

Ook de kennisoverdracht behoort tot de opdracht aan de PROO. In 2001 is er een communicatieplan voor
de PROO opgesteld "Over en weer, betere wisselwerking tussen onderzoek en onderwijs". In dit plan
staat de interactie tussen de PROO en de onderzoeker centraal, evenals die tussen de wetenschappelijke
gemeenschap enerzijds en de gebruikers in de onderwijspraktijk en in het onderwijsbeleid anderzijds.
Vanaf 2001 heeft de PROO zich in zijn onderzoeksbeleid steeds meer gericht op de relevantie van het
onderzoek voor het onderwijs en het onderwijsbeleid. Ook in zijn communicatiebeleid heeft de PROO
getracht meer aandacht aan de opbrengsten voor onderwijspraktijk en -beleid te geven. In concreto
betekende dit meer aandacht voor bepaalde typen onderzoek (zoals ontwikkelingsgericht onderzoek,
review studies), maar ook specifiekere vormen van communicatie, gericht op doelgroepen.

Omdat de PROO zich primair op fundamenteel onderzoek richt, legt de PROO, volgens NWO-gebruik, een
belangrijk deel van de uitvoering van de kennisoverdracht bij de uitvoerders van het onderzoek. De
afspraken hierover worden bij de toekenning van het onderzoek vastgelegd. Met de projectleider wordt in
samenwerking met de PROO-voorlichter een communicatieplan op maat opgesteld, waarin afspraken
gemaakt worden over publicaties, presentaties, workshops en publiekstoegankelijke bijdragen of
producten en de wijze waarop de resultaten doelgroepgericht verspreid worden. Vanaf 2009 heeft de
PROO een budget gereserveerd om additionele disseminatie-activiteiten tijdens de looptijd van het
project aan te vragen.

Naast de projectleider heeft de PROO een eigen verantwoordelijkheid voor de kennisoverdracht. Deze
taak is niet zozeer uitvoerend, als wel faciliterend. Standaard voor elk project is dat intermediaire
organisaties, brancheorganisaties, redacties van onderwijsvakmedia, TIER, contactpersonen bij
aanverwante subsidieprogramma's en bij de beleidsafdelingen OCW op de hoogte worden gebracht van
resultaten; zij ontvangen ook het eindrapport/proefschrift. Tevens worden de resultaten standaard als
een factsheet op de website van de PROO en Kennislink gepubliceerd. Om de onderzoeksresultaten actief
naar de doelgroepen waaronder ook OCW - toe te brengen, is de PROO enkele jaren geleden gestart
met een e-mail attenderingsdienst. Inmiddels hebben ruim vierhonderd personen zich daarvoor
aangemeld. Via dit bericht wordt een publicatie aangekondigd, de samenvatting en de resultaten van het
onderzoek, alsook de wijze waarop het rapport verkregen kan worden. Naast deze berichten brengt de
voorlichter, gezamenlijk met de betrokken universiteiten, persberichten uit. Ten slotte brengt de PROO
jaarverslagen uit, die via het web gedownload kunnen worden.

Naast deze vormen van kennisoverdracht heeft de PROO bij een aantal belangrijke conferenties een
eigen `slot', waarbij hij - in afstemming met de VOR (Vereniging van Onderwijsresearch) - invulling geeft
aan symposia, rondetafelgesprekken e.d. De PROO treedt standaard op tijdens de conferenties van de
ORD (Onderwijsresearchdagen), de EARLI (European Association for Research on Learning) en de AERA
(American Research Association). Een archief van bijdragen is te vinden op de PROO-website. Daarnaast
is de afgelopen jaren een aantal expertmeetings en workshops georganiseerd, waaraan is deelgenomen
door zowel wetenschappers als personen uit praktijk en beleid.

Met een aantal organisaties is afgesproken dat vanaf 2009 intensiever wordt samengewerkt als het gaat
om de kennisoverdracht en het gezamenlijk naar buiten treden. Dat zijn het NWO-programma BOPO,
Topinstituut TIER, ICO, VOR en de raden voor primair, voortgezet en middelbaar onderwijs. PROO, ICO
en VOR kenden al langer een intentieverklaring op basis waarvan jaarlijks afspraken gemaakt worden
over een gezamenlijk activiteitenplan. In het kader van deze intentieverklaring sponsort de PROO het
tijdschrift Pedagogische Studiën van de VOR en de VFO (Vlaams Forum voor onderwijsonderzoek).

Binnen de PROO wordt min of meer permanent discussie gevoerd over de vraag hoever zijn taak van
kennisoverdracht en valorisatie moet reiken. Voortdurende aandacht voor (de verbetering van) de
kennisoverdracht naar de praktijk en het beleid acht de PROO tot zijn taak behoren. Twee recente
studies onderstrepen dit belang. Uit de studie van Van Broekkamp en Van Hout-Wolters "De kloof tussen
onderwijsonderzoek en onderwijspraktijk: overzichtsstudie van problemen, oorzaken en oplossingen"
(2006) blijkt dat er onvoldoende onderzoek is met praktische opbrengsten, dat praktijkprofessionals te
weinig kennis nemen van onderzoeksresultaten en dat onderzoekers en practici een onrealistisch beeld
van de relatie onderzoek - praktijk hebben. Dergelijke uitspraken zijn in de loop der jaren talrijker en
pregnanter geworden. Ze vormen als het ware een aanvullende eis voor het PROO-onderzoek. Het
dichten van de kloof is niet de primaire taak van de PROO, temeer daar zowel onderzoekers als
`ontvangende' partijen meer ontvankelijk gemaakt moeten worden voor dit vraagstuk. Maar de PROO
kan, ook met fundamenteel/strategisch onderzoek, wel een bijdrage leveren. De PROO heeft daarom
besloten om nauwer te gaan samenwerken met partijen die dit wel als kerntaak hebben zoals de LPC, en
kenniscentra als het Expertisecentrum Beroepsonderwijs (ecbo) en het Expertisecentrum Ontwikkeling,
Opvang en Onderwijs voor 0-12 jarigen (EC O3).

De PROO verwerkt ook een aantal aanbevelingen uit het recent verschenen rapport "Knowledge in the
classroom. About sharing knowledge for innovation" (2008, OECD) in zijn onderzoeks- en
communicatiebeleid. In dit rapport wordt aandacht gevraagd voor de rol die wetenschappers en
wetenschapsjournalisten kunnen hebben in de transformatie van bestaande kennis in bruikbare kennis.
In het rapport wordt tevens gepleit voor een intensiever contact tussen onderzoekers en het
onderwijsveld om toepasbare kennis te ontwikkelen. Ten slotte worden onderzoekers opgeroepen om
meer in het publieke debat en de media te verschijnen. Wat betreft het eerste punt heeft de PROO een
aanvang gemaakt met het uitzetten van review studies, die uitmonden in publiekstoegankelijke
publicaties en concrete aanbevelingen voor de onderwijspraktijk en het -beleid. Wat betreft het tweede
punt moet de PROO zich bezinnen op de vraag of en wat hij zou kunnen initiëren in aanvulling op OCW-
initiatieven als OnderwijsBewijs en de inzet van de FES-gelden, specifiek voor deze doeleinden. Het
derde punt - deelname aan het publieke debat - kan wellicht sterker door de PROO gestimuleerd en
gefaciliteerd worden. Vanuit het programma neemt een aantal leden, op persoonlijke titel, volop deel aan
het publieke debat door, onder andere, columns in landelijke dagbladen.

4.10 Conclusie

De PROO heeft in ruim twaalf jaar acht programma's uitgebracht. In de eerste periode (1996-2001) was
de oriëntatie, gegeven de opdracht aan de PROO, voornamelijk wetenschapsgedreven: de programma's
en het onderzoek richtten zich op wetenschappelijke ontwikkelingen en vooruitgang. De Programmaraad
die in 2001 aantrad verlegde het accent: fundamenteel onderwijsonderzoek diende zich, gegeven de
kennisbehoefte van het onderwijs, te laten leiden door zowel wetenschappelijke ontwikkelingen als
vraagstukken in het onderwijs. Deze lijn werd vanaf 2006 voortgezet zonder het beleid uit de eerste
periode uit het oog te verliezen. De PROO blijft zich onderscheiden van het KPC, dat kortlopend
vraaggestuurd onderzoek uitzet, de BOPO, dat beleidsgericht onderzoek programmeert, en TIER dat zich
richt op kosteneffectieve interventies.

Binnen dit beleid, en waar de opdracht dit toelaat, heeft de PROO in de loop der jaren meer aandacht
gegeven aan het betrekken van concrete vragen uit de onderwijspraktijk en het -beleid in het
programma; aan de rol die praktijkkennis in de uitvoering van (fundamenteel) onderzoek kan hebben;
en aan de mogelijkheden die de PROO binnen de huidige kennisinfrastructuur heeft om de disseminatie

van onderzoeksresultaten te verbeteren en de kans op benutting te maximaliseren. De aandacht voor de
maatschappelijke betekenis van het onderzoek is thans volledig geïntegreerd, en wel in

· de wijze van tot stand komen van het programma - bijvoorbeeld de inbreng en de consultatie
van praktijk en beleid; de programmeringsstudies voor het laatste programma;

· de inhoud van het programma - bijvoorbeeld onderwerpen die meer zijn toegesneden op actuele
onderwijsvraagstukken;

· het type onderzoek - bijvoorbeeld de aandacht voor ontwikkelingsgericht onderzoek, review
studies, meta-analyses en effectstudies;

· de beoordeling - bijvoorbeeld de aanpassing van de criteria; de expliciete beoordeling van de
disseminatieactiviteiten;

· de kennisoverdracht - bijvoorbeeld publieksvriendelijke website, emailalert, afstemming met de
brancheorganisaties en kenniscentra.

Tegelijk heeft de PROO, met name in de laatste periode, expliciet veel activiteiten gericht op nieuwe
wetenschappelijke ontwikkelingen, bijvoorbeeld in de cognitiewetenschappen.

In de derde periode van de PROO is, op advies van de externe evaluatiecommissie uit 2005, besloten tot
een focussering van het programma door minder onderwerpen te benoemen, die in meer globale termen
omschreven werden. Om daadwerkelijk coherentie in het onderzoek te verwezenlijken en tegelijkertijd
ruimte aan nieuwe ideeën te laten, werd een nieuw instrument ingezet: de samenhangende
onderzoeksprojecten. Om de last van de arbeidsintensieve beoordelingsrondes voor alle betrokkenen te
verminderen, werd besloten om het beschikbare budget over minder rondes te verdelen. Ook werd
aanzienlijk geïnvesteerd in het projectbeheer en de website. Kortom: de effectiviteit en de efficiency van
het programma en het onderzoek kregen in de derde periode nadrukkelijk de aandacht.

Het internationaliseringsbeleid werd in de laatste PROO-periode op enkele punten bijgesteld. De PROO
continueerde het beleid om internationalisering niet te beschouwen als een apart facet dat afzonderlijke
programmering en steunvormen behoeft. Er werd nadruk gelegd op de internationalisering van het eigen
onderzoek om op die manier de goede positie van het Nederlands onderwijsonderzoek in internationaal
perspectief uit te bouwen. De PROO heeft daarnaast op de grote (internationale) congressen een eigen
slot verworven en draagt hiermee bij aan de exposure van het excellente onderwijsonderzoek. Naar
aanleiding van het rapport Dijsselbloem en de kernvakken die benoemd zijn in de Kwaliteitsagenda
primair onderwijs heeft de PROO besloten het internationaal vergelijkend onderzoek vanuit zijn middelen
een extra impuls te geven door deelname aan PIRLS 2011.

De cohorten PRIMA en VOCL werden samengebracht in een nieuw, integraal cohort:
COOL5-18. In deze studie wordt ook het mbo meegenomen. Om de toegankelijkheid en de opbrengsten
van het cohortonderzoek te vergroten is COOL5-18 opgezet als een grootschalige dataverzameling, waarbij
onderzoekers, beleidsmakers en andere geïnteresseerden over de data kunnen beschikken en zelf
verdiepende vragen kunnen (laten) beantwoorden en gegevens over het onderwijs kunnen opzoeken. De
PROO heeft een budget gereserveerd voor drie subsidierondes verdiepend en/of aanvullend onderzoek in
het kader van COOL5-18. Zeer recent heeft de PROO een aanvullend budget van OCW gekregen om
COOL5-18 uit te laten bouwen met een voorschoolse deel, dat het mogelijk maakt om uitspraken te doen
over de effectiviteit van voor- en vroegschoolse voorzieningen en programma's. De (internationale
wetenschappelijke en maatschappelijk) relevantie van dit cohortonderzoek wordt met deze uitbreiding
aanzienlijk vergroot.

5. Twaalf jaar PROO: aanvragen, onderzoek en output

5.1 Inleiding

In dit hoofdstuk wordt de vraag aan de orde gesteld wat het programma aan aanvragen, onderzoek en
publicaties heeft opgeleverd. Allereerst wordt ingezoomd op de resultaten van de beoordeling van de
onderzoeksaanvragen. Vervolgens worden cijfers gepresenteerd over het toegekende onderzoek. Ten slotte
wordt de output van het onderzoek cijfermatig in beeld gebracht. In het boekje "12,5 jaar Programmaraad
voor het Onderwijsonderzoek" dat later dit jaar verschijnt, wordt een indruk gegeven van de nieuwe kennis
en de inzichten die acht PROO-aandachtsgebieden hebben opgeleverd. Het betreft aandachtsgebieden die
een goede dwarsdoorsnede van het PROO-onderzoek vormen. De desbetreffende bijdragen zijn per
aandachtsgebied opgenomen in bijlage O.10

5.2 Toelichting op de gepresenteerde cijfers

Omwille van het goede inzicht worden er in dit hoofdstuk cijfers over verschillende periodes gepresenteerd.
Waar mogelijk worden cijfers over de gehele periode van de PROO gegeven zodat een totaalbeeld van de
resultaten van de PROO ontstaat.

De weergave van de honoreringspercentages, dat wil zeggen het aantal gehonoreerde aanvragen ten
opzichte van het aantal ingediende aanvragen (paragraaf 5.3), betreft alleen de gegevens uit deze
evaluatieperiode, 2006-2009. Hier is voor gekozen omdat de cijfers uit de voorgaande jaren reeds in de
eerdere evaluaties gepresenteerd zijn en zo dit verslag leesbaar te houden.
De bespreking van de ouputcijfers (5.7) gebeurt over de (indien)jaren 1999-2002. Dit hangt, ten eerste,
samen met de doorlooptijd van de aanvragen/projecten. Tussen de indieningsdatum van een aanvraag en
de startdatum van een project zit namelijk gemiddeld genomen 1½ jaar; de gemiddelde looptijd van een
MaGW-(promotie)project bedraagt 4,9 jaar (Sonneveld, 2009); dat maakt in totaal 6½ jaar. Een aanvraag
die in 2002 is ingediend wordt dus door de bank genomen in 2008 afgerond. Om, ten tweede, een reëel
beeld te krijgen van de output van de projecten dient een langere periode dan enkel de formele looptijd in
beschouwing genomen te worden. Ook na de formele afsluiting worden namelijk nog tal van publicaties
aangeboden en geaccepteerd. Om de outputgegevens van de PROO te kunnen vergelijken met de
benchmark in de maatschappij- en gedragswetenschappen moet om die reden zelfs een periode van 8½ jaar
na de indieningsdatum worden bezien.

5.3 Honoreringspercentages

Tabellen 3 en 4 geven een overzicht van de uitslag van de beoordelingsrondes programma 2004-2007 en
(de eerste ronde samenhangende projecten) van het programma 2008-2011. De betreffende
beoordelingsrondes hebben plaatsgevonden in de jaren 2006-2009. Een uitsplitsing van tabel 3 naar
instrument (aandachtsgebieden, afzonderlijke projecten) is te vinden in bijlage G.

Tabel 3: aanvragen en honoreringspercentages programma 2004-2007 (budget M 11,2).
Aanvragen VVE IL BO CO SLC SSC* totaal
Aanvragen 13 76 30 22 12 25 178
Subsidiabele aanvragen (A-kwalificatie) 7 28 10 9 5 9 68
Gehonoreerde aanvragen 5 13 4 5 3 4 34

Budget: gehonoreerd/aanvragen (%) 38 17 13 23 25 16 19
Kwaliteit: subsidiabel/aanvragen (%) 53 37 33 41 42 36 38
Effectiviteit: gehonoreerd/subsidiabel (%) 71 46 40 56 60 44 50

*VVE: Voor- en Vroegschoolse Educatie; IL: Innovatieve Leerarrangementen; BO: Didactiek voor het Beroepsonderwijs;
CO: Competentieontwikkeling Onderwijspersoneel; SLC: Schools als Leercontext; SSC: Scholen en Sociale Cohesie.

** Hier wordt geen aparte telling van weergegeven van de deelprojecten binnen de agb's omdat een agb alleen in z'n geheel toegekend
kan worden.

10 Bijlage O ontbreekt nog. Overigens is het in het bestek van deze evaluatie niet mogelijk om de inhoudelijke
resultaten uitputtend en toch handzaam in beeld te brengen. Daarvoor is bijvoorbeeld het aantal publicaties veel te
talrijk, terwijl het vervaardigen van betekenisvolle overzichten buitengewoon arbeidsintensief is. In feite zullen de
reviews die binnenkort worden uitgezet, een dergelijke functie kunnen gaan vervullen.

In het programma 2004-2007 (bestaande uit vier subsidierondes) zijn in totaal 34 aanvragen
gehonoreerd - 29 afzonderlijke projecten en vijf aandachtsgebieden. Dit komt neer op een
honoreringspercentage van 19. Dit percentage komt overigens overeen met het gemiddelde
honoreringspercentages van MaGW. Dit cijfer geeft geen inzicht in de kwaliteit van de aanvragen (de
subsidiabele aanvragen) en de effectiviteit (de subsidiabele aanvragen die gehonoreerd kunnen worden).
Ook dit zijn relevante gegevens voor de analyse van de beoordelingsprocedure. Tabel 3 toont dat van de
ingediende aanvragen 38% als subsidiabel wordt beoordeeld. Op grond hiervan kan gesteld worden dat
er een scherpe selectie op kwaliteit plaatsvindt - zoals dat met het Convenant beoogd werd. De tabel laat
ten slotte zien dat de helft van de subsidiabele voorstellen gehonoreerd kon worden.
De afzonderlijke projecten en de aandachtsgebieden laten verschillende succescijfers zien (zie bijlage G).
Bij de aandachtsgebieden worden er relatief weinig als subsidiabel gekwalificeerd, maar hiervan wordt
wel het merendeel gehonoreerd. Het relatief lage aandeel subsidiabele aandachtsgebieden is een logisch
gevolg van de eis aan aandachtsgebieden dat alle deelprojecten met een A-kwalificatie beoordeeld
moeten worden voordat een aandachtsgebied als geheel subsidiabel kan zijn. Op de prioriteringscriteria
lijken de aandachtsgebieden vervolgens weer wat beter te scoren dan de afzonderlijke projecten.

Zijn er verschillen in honoreringspercentage tussen de zes zwaartepunten waar te nemen? Voordat naar
deze cijfers gekeken wordt, moet opgemerkt worden dat de indeling van aanvragen in zwaartepunten
soms arbitrair is. Enkele aanvragen doorkruisen meerdere zwaartepunten, maar zijn op administratieve
gronden - de aanvrager bepaalt de keuze van het zwaartepunt - aan een zwaartepunt toegerekend. Met
deze kanttekening in het achterhoofd kunnen we constateren (tabel 3) dat de succespercentages binnen
het zwaartepunt "Voor- en Vroegschoolse Educatie (VVE)" hoger liggen dan bij alle andere
zwaartepunten. De PROO heeft hier na twee subsidierondes (vanaf de ronde 2005-2006) op bijgestuurd
door het zwaartepunt te sluiten voor nieuwe aanvragen.
De succespercentages van de andere zwaartepunten laten nauwelijks uitschieters zien. Een uitzondering
hierop zien we bij het zwaartepunt "Competentieontwikkeling Onderwijspersoneel". Binnen dit
zwaartepunt zijn naar verhouding veel subsidiabele voorstellen voor afzonderlijke projecten gehonoreerd.
Een tweede opvallend cijfer is het lage succespercentage van de aandachtsgebieden binnen
"Beroepsonderwijs". Van de vijf aanvragen werd geen enkel aandachtsgebied als subsidiabel beoordeeld.
Een laatste constatering betreft de achterblijvende aanvraagdruk voor afzonderlijke projecten binnen het
zwaartepunt "Scholen en Sociale Cohesie" (4%). Daarentegen werden binnen dit zwaartepunt de meeste
voorstellenvoor aandachtgebieden ingediend (24%), waarvan er twee als subsidiabel beoordeeld en ook
gehonoreerd werden.

Tabel 4: aanvragen en honoreringspercentages (eerste ronde) programma 2008-2011 (budget M 5).
Aantal aanvragen OL OP PFO* totaal
Aanvragen samenhangende onderzoeksprojecten (irp's) 17 12 2 31
Subsidiabele irp's (A-kwalificatie) 5 7 0 12
Gehonoreerde irp's 4 2 0 6

Budget: gehonoreerd/aanvragen (%) 24 17 0 19
Kwaliteit: subsidiabel/aanvragen (%) 29 28 0 39
Effectiviteit: gehonoreerd/subsidiabel (%) 80 29 0 50

* OL: Onderwijsleerprocessen, OP: Onderwijspersoneel, PFO: Pedagogische functie van het onderwijs.

In de eerste ronde van het programma 2008-2011 zijn 31 voorstellen voor samenhangende
onderzoeksprojecten (irp's ) ingediend tabel 4. Daarvan konden er zes gehonoreerd worden (19%). Er
konden in deze ronde geen aanvragen voor afzonderlijke projecten ingediend worden. Het
honoreringspercentage van 19 komt overeen met het honoreringspercentage uit de periode 2004-2007.
Ook de overige twee succesmaten komen overeen met de cijfers van de vorige programmaperiode. De
resultaten van deze ronde worden gebruikt voor bijsturing van de tweede subsidieronde binnen dit
programma.

Tussen de drie onderzoekslijnen zijn er in deze ronde enkele opvallende verschillen in succes waar te
nemen. Zeer opmerkelijk is, ten eerste, dat er maar twee voorstellen zijn ingediend binnen de lijn
"Pedagogische Functie". Geen van deze voorstellen kon als subsidiabel gekwalificeerd worden en
bijgevolg kon geen toekenning gedaan worden. Ten tweede valt op dat de verhouding toegekend ten
opzichte van subsidiabel tussen de lijnen "Onderwijsleerprocessen" en "Onderwijspersoneel" sterk uiteen
loopt. Bij "Onderwijsleerprocessen" is dit beduidend hoger dan bij "Onderwijspersoneel" - 80% tegenover
29%. Kennelijk hebben de aanvragen "Onderwijsleerprocessen" in de prioriteringsprocedure beter
gescoord dan de aanvragen "Onderwijspersoneel".

In maart 2009 is de eerste ronde reviews afgesloten. Tabel 5 geeft de onderwerpen weer, alsook de
honoreringspercentages - de toekenningen uit deze ronde zijn nog niet in de totaaloverzichten verwerkt.
Per onderwerp kon één aanvraag gehonoreerd worden. Een aanvraag behelst een kortlopende studie van
maximaal één jaar voor ten hoogste K 50. In deze ronde zullen acht aanvragen worden gehonoreerd.
Dat komt neer op een honoreringspercentage van 42. Dit ligt aanzienlijk hoger dan de reguliere rondes
(19%). Uitgaande van dit hoge toekenningspercentage mag gesteld worden dat reviews een succesvol
aanvullend instrument zijn in het PROO-programma.

Tabel 5: aanvragen en honoreringspercentage ronde review studies 2008/2009 .
Aanvragen review studies/onderwerpen 1 2 3 4 5 6 7 8 9 10 11 Totaal
Aanvragen 2 0 3 3 1 3 0 2 3 1 1 19
Subsidiabele aanvragen (A-kwalificatie) 1 0 2 1 1 1 0 2 2 0 1 11
Gehonoreerde aanvragen 1 0 1 1 1 1 0 1 1 0 1 8

Budget: gehonoreerd/aanvragen % 50 0 33 33 100 33 0 50 33 0 100 42
Kwaliteit: subsidiabel/aanvragen % 50 0 67 33 100 33 0 100 67 0 100 58
Effectiviteit: gehonoreerd/subsidiabel % 100 0 50 100 100 100 0 50 50 0 100 73
Onderwerpen reviews: 1) Sociale en culturele effecten van externe differentiatie in het secundair onderwijs 2) Differentiëren binnen en
tussen groepen 3) Perspectieven op kwaliteit van onderwijs 4) Meten van leerprestaties in het (v)mbo 5) Het individueel en
maatschappelijk rendement van leren en werken 6) Professionele ontwikkeling van docenten 7) Efficiënt en effectief rekenonderwijs 8)
Taalverwerving in het (v)mbo: iedere les een taalles? 9) Leraar-leerlingrelaties en onderwijsopbrengsten 10) Rendement van
techniekonderwijs 11) Kennisproductiviteit en kennisbenutting: werking van de R&D-functie in het onderwijs

5.4 Lopend en afgesloten onderzoek

Over de gehele PROO-periode zijn 27 aandachtsgebieden/samenhangende onderzoeksprojecten en 107
afzonderlijke projecten toegekend - tabel 6. Binnen de 27 aandachtsgebieden zijn in totaal 103
deelprojecten toegekend - tabel 7. Het totaal aantal toegekende (deel)projecten komt daarmee op 210. Van
deze 210 projecten zijn 124 projecten afgerond; 86 projecten lopen nog.

Tabel 6: lopend en afgesloten onderzoek naar instrument 1997-2008.
Lopend Afgesloten Totaal
N % N % N %
Aantal agb's/irp's 18 33 9 11 27 20
Afzonderlijke projecten 36 67 71 89 107 80
Totaal 54 100 80 100 134 100

Vanaf 2006 heeft de PROO nog meer ingezet op het uitzetten van grotere eenheden onderzoek. Vanaf 2007
is het instrument van het afzonderlijke project niet meer ingezet. Doel is om met de
aandachtsgebieden/samenhangende onderzoeksprojecten meer samenhang en diepgang in het onderzoek
te creëren. Het beleid ten aanzien van grotere eenheden in het onderzoek resulteert nu in een ratio van
49:51 (tabel 7) en kan daarmee in kwantitatieve zin als succesvol beschouwd worden.

Tabel 7: lopend en afgesloten (deel)projecten 1997-2008.
Lopend Afgesloten Totaal
N % N % N %
Aantal projecten in agb's/irp's 50 58 53 43 103 49
Afzonderlijke projecten 36 42 71 57 107 51
Totaal 86 100 124 100 210 100

De vraag of met de aandachtsgebieden en de samenhangende onderzoeksprojecten de beoogde diepgang
en samenhang gerealiseerd wordt, kan worden geïllustreerd aan de hand van bijlage O - zie voetnoot 10 -
waarin een doorkijk wordt geleverd op de inhoudelijke resultaten van het PROO-onderzoek.

5.5 Toegekend onderzoek naar zwaartepunt/onderzoekslijn
In paragraaf 4.2 is in tabel 1 een overzicht gegeven van de acht programma's en de verschillende
zwaartepunten en onderzoekslijnen die onder deze programma's benoemd zijn. In tabel 8 zijn de
zwaartepunten/onderzoekslijnen geclusterd tot dertien voorkomende onderwerpen en wordt gekeken
hoeveel projecten toegekend zijn binnen deze onderwerpen.

Tabel 8: toewijzing naar zwaartepunt/onderzoekslijn 1997-2008.
Zwaartepunt/onderzoekslijn opgenomen in programma agb's/irp's (deel)projecten*
L&I/ ICT/IL/Onderwijsleerprocessen gehele periode 10 93
Management en Organisatie 1997- 1998 0 8
Maatschappelijke context 1997 0 8
Menselijk kapitaal 1998 2 9
Beroepsonderwijs (sector) 1999 2002 2 14
Toegankelijkheid 1999 1 5
De Leerkracht/Onderwijspersoneel vanaf 2000 - heden 5 32
Pedagogische Functie 2000 - 2002, 2008 - 2011 1 5
Decentralisatie 2000 2002 1 6
VOCL 2001 2002 1 4
VVE (sector) 2003 2007 2 13
School als leercontext 2004 2007 2 8
Scholen en sociale cohesie 2004 2007 0 5
Totaal 27 210

* Afzonderlijke projecten en (deel)projecten binnen agb's/irp's.

Omdat niet alle zwaartepunten in gelijke mate deel uitgemaakt hebben van het totale programma moet met
enige nuance naar de invulling gekeken worden. Een aantal zwaartepunten is gedurende de looptijd uit het
programma geschrapt of hernoemd in nieuwe zwaartepunten vanwege nieuwe wetenschappelijke en/of
maatschappelijke ontwikkelingen. Een aantal zwaartepunten is uit het programma verdwenen omdat de
PROO oordeelde dat in deze zwaartepunten voldoende onderzoek uitgezet was.

Het thema "Leren en Instructie" heeft vanaf het begin onderdeel uitgemaakt van het programma. In de loop
der jaren heeft de PROO zich bij de invulling van dit thema meer gericht op praktijkrelevante onderwerpen.
De titel is daarmee veranderd van "Leren en Instructie" in "Innovatieve Leerarrangementen" en vervolgens
in "Onderwijsleerprocessen en hun opbrengsten". De betreffende zwaartepunten zijn in tabel 8
samengenomen in de eerste rij. Vraagstukken op dit terrein worden tot de kern van het PROO-programma
gerekend. Het is daarom niet verwonderlijk dat 37% van de aandachtsgebieden en 44% van het totaal
aantal (deel)projecten binnen dit thema valt.

Een tweede kernthema wordt, vanaf het programma 2000, gevormd door vraagstukken op het terrein van
"De Leerkracht", later benoemd als "Onderwijspersoneel". Ook hier is een substantieel deel aan
aandachtsgebieden (19%) en (deel)projecten (15%) uitgezet. De PROO telde tot 2007 twee
sectorzwaartepunten: "Beroepsonderwijs" en "Voor- en Vroegschoolse Educatie". In beide zwaartepunten

zijn twee aandachtsgebieden uitgezet. In "Beroepsonderwijs" zijn in totaal veertien (deel)projecten uitgezet,
in "Voor- en Vroegschoolse Educatie" dertien. Vanaf het programma 2008-2011 is het sectoronderzoek
binnen inhoudelijke zwaartepunten ondergebracht.

De overige zwaartepunten, die een meer meso- en macro-oriëntatie hebben, zijn kleiner van omvang en
daarmee ook met minder projecten gevuld. In de meso- en macrogeoriënteerde zwaartepunten wordt
substantieel minder ingediend; daarmee worden ook minder projecten gehonoreerd - zie tabel 9. Dit kan
verklaard worden doordat deze terreinen minder onderzoekscapaciteit hebben. De PROO heeft in zijn
huidige programma "De Pedagogische Functie" opnieuw als zwaartepunt opgenomen. In de ronde
2007/2008 is hierop nauwelijks ingediend en hebben geen toekenningen plaats kunnen vinden. De PROO
beraadt zich op de wijze waarop er toch tweede geldstroomonderzoek op dit terrein gerealiseerd kan gaan
worden.

Tabel 9: aandachtsgebieden en (deel) projecten binnen micro-, meso/macro-, of sector* georiënteerde zwaartepunten
/ onderzoekslijnen 1997-2008.

agb's/irp's (deel)projecten
N % N %
Micro 15 56 125 60
Meso / macro 5 19 45 21
Sector (tot 2007) 7 25 40 19
Totaal 27 100 210 100

*Micro: Leren en Instructie en ICT; Innovatieve Leerarrangementen; Onderwijsleerprocessen; De leerkracht / Onderwijspersoneel.
Meso/macro: Management en Organisatie; Maatschappelijke context; Toegankelijkheid; Pedagogische Functie; Decentralisatie; School als
leercontext; Scholen en sociale cohesie. Sector: Menselijk kapitaal; Beroepsonderwijs; VOCL; VVE.

5.6 Toegekend onderzoek naar instituut

SVO kende een meer gesloten systeem van indiening. Daardoor ging een groot deel van de toekenningen
naar de vijf traditionele onderwijsonderzoeksinstituten - zie noot bij tabel 10. Met het Convenant uit
1998 werd beoogd om een open systeem van aanbesteding en beoordeling te realiseren. Tegen die
achtergrond geeft tabel 10 een overzicht van de toekenningen per instituut gedurende de PROO-periode.

Tabel 10: toegekende projecten naar instituut in de perioden 1997-2001, 2002-2005 en 2006-2008.
1997-2001 2002-2005 2006-2008 Totaal
Ooi* 50 46% 9 16% 3 7% 62 30%
Overig 59 54% 48 84% 41 93% 148 70%
Totaal 109 100% 57 100% 44 100% 210 100%

* Ooi: vijf traditionele onderwijsonderzoeksinstituten onder SVO: GION (RUG), ISOR (UU), ITS (RU), SCO/Kohnstamm (UvA) en
voormalig OCTO (UT). Overig: overige instituten onder andere ICLON (UL), ILO (UvA), IVLOS (UU), CELSTEC (OU), FIsme (voorheen
Freudenthal Instituut) (UU), VU Onderwijscentrum, RISBO (EUR), ROA (Unimaas) en groepen binnen faculteiten psychologie, pedagogiek,
instructietechnologie, communicatie en cultuur, rechten, geneeskunde alsmede bètawetenschappen aan verschillende universiteiten.

Het aandeel toekenningen van de vijf traditionele onderwijsonderzoeksinstituten is na SVO aanzienlijk
afgenomen ten gunste van een groot aantal andere (facultaire) instituten en disciplines. Binnen de
onderwijswetenschappen is daarmee het aandeel toekenningen van de lerarenopleidingen, vakdidactici
en onderwijsspecialismen - bijvoorbeeld: onderwijseconomie, onderwijssociologie - aanzienlijk
toegenomen. Daarnaast is het aandeel van de basisdisciplines (psychologen, pedagogen,
orthopedagogen, enzovoort) gestegen. Per saldo is de spreiding van de toekenningen over verschillende
instellingen enorm toegenomen. Deze cijfers tonen aan dat het onderwijsonderzoek daadwerkelijk is
`open gelegd' en dat een groot aantal nieuwe instituten en disciplines heeft kunnen profiteren van de
toekenningen. Dit is de kwaliteit van het onderzoek ten goede gekomen.

Op deze wijze is dus ten opzichte van de SVO-periode het aantal spelers enorm toegenomen. Dat geldt
ook voor de variatie in termen van disciplines. De vertegenwoordiging van de onderzoeksgroepen uit de
overige disciplines maken een bredere theoretische fundering van het onderwijsonderzoek mogelijk.
Daarnaast hanteert de PROO een grootschalige steunvorm, namelijk de
aandachtsgebieden/samenhangende onderzoeksprojecten, die feitelijk de voorwaarden creëert voor
multidisciplinair onderzoek.

5.7 Output toegekend onderzoek

Wat heeft het onderzoek aan publicaties en andere output opgeleverd? In tabel 11 staat de output van alle
(63) afgeronde projecten uit de indienjaren 1999-2002, volgens VSNU-criteria, weergegeven.

Tabel 11: output, volgens VSNU-criteria van 63 afgeronde projecten
(waaronder 44 afgesloten promotieprojecten) uit indienjaren 1999-2002.
Output 63 afgeronde projecten Totaal Gemiddeld
Academische publicaties

Gerefereerde artikelen 247 3,92
Proefschriften 40 0,91*
Boekbijdragen 42 0,67
Monografieën 7 0,11

Professionele producten 172 2,73
Praktijkproducten 62 0,98

Totaal 570 9,05**

* gemiddeld t.o.v. afgesloten promotieprojecten in deze periode,

** gemiddeld aantal publicaties over de 63 afgesloten projecten.

De cijfers geven niet helemaal een compleet beeld, omdat niet alle publicaties worden gemeld die na afloop
van de formele einddatum van een project verschijnen. De gegevens over de proefschriften zijn overigens
wel volledig. De 63 projecten hebben gemiddeld negen publicaties per project opgeleverd, waarvan ruim vijf
academische publicaties. De overige publicaties bestaan voor een belangrijk deel uit bijdragen aan
(internationale) congressen en symposia. Recent onderzoek van Sonneveld laat zien dat het gemiddelde
aantal wetenschappelijke artikelen, geaccepteerd voor publicatie in een refereed tijdschrift, in aio-onderzoek
in de maatschappij- en gedragswetenschappen op gemiddeld drie ligt. Het vergelijkbare cijfer in het aio-
onderzoek 1999-2002 van de PROO ligt op 3,42. Dat verhoudt zich goed ten opzichte van de benchmark.

Tabel 12: succesvol afgerond promotieonderzoek indienjaar 1999-2002.
Promotieonderzoek 1999 2000 2001 2002 Totaal
Afzonderlijke projecten 9 4 6 8 27
Deelprojecten in agb's 12 8 3 2 25
Totaal promotieonderzoek 21 12 9 10 52

Lopend promotieonderzoek

Afzonderlijke projecten 0 1 1 4 6
Deelprojecten in agb's 0 2 0 0 2
Totaal lopend promotieonderzoek 0 3 1 4 8

Totaal afgerond promotieonderzoek 21 9 8 6 44
Succesvol afgerond met dissertatie 19 7 8 6 40
% Dissertatie van afgerond onderzoek 90 78 100 100 91

In de periode 1999-2002 zijn door de PROO 52 promotieprojecten toegekend - tabel 12. Daarvan zijn er
momenteel veertig met een promotie afgerond; dat is 77%. De benchmark in de maatschappij- en
gedragswetenschappen ligt tussen 65 en 70%, op zeven jaar na de start van het onderzoek (Sonneveld,
2009). Om dit te kunnen vergelijken met de gegevens van de PROO zou, omdat er in tabel 12 gerekend is
met indieningsjaren van aanvragen, in het geval van de PROO anderhalf jaar verdisconteerd moeten worden
voor het beoordelen en het werven van personeel. Voor de vergelijking moet derhalve niet met zeven jaar
na de start, maar met 8½ jaar na de indiening gerekend worden. Daarvan uitgaande is voor de PROO
uitsluitend de periode 1999-2001 aan de orde; het onderzoek uit 2002 komt niet aan de termijn van 8½
jaar. Over de periode 1999-2001 is het betreffende percentage (succesvol afgeronde/toegekende
promotieprojecten) 81. Dat ligt royaal boven de benchmark.

Van het thans afgeronde promotie-onderzoek uit de jaren 1999-2002 heeft 91% in een proefschrift
geresulteerd.11 In vier projecten kon geen proefschrift opgeleverd worden wegens ziekte en uitval van de
aio's. Hierbij wordt opgemerkt dat, anders dan in de eerste geldstroom, bij uitval van de promovendus het
project altijd afgerond dient te worden (door aanstelling van nieuwe aio, omzetting in postdocproject,
afronding in de vorm van wetenschappelijke artikelen). Deze vier projecten hebben dus wel in andere
(wetenschappelijke) output geresulteerd.

5.8 Bijdragen aan internationaal vergelijkende studies
Onder de opdracht aan de PROO behoort het bijdragen aan internationaal (vergelijkend) onderzoek (zie
4.6). Dit onderzoek wordt in samenspraak met OCW geselecteerd. Tabel 13 geeft een overzicht van het
internationale onderzoek waaraan de PROO vanaf 1997 heeft bijgedragen.

Tabel 13: projecten internationaal naar toekenningsjaar 1997-2009.
97 98 99 00 01 02 03 04 05 06 07 08 09 Totaal
PROO-beleid 1 1
CCC 1 1
Kies Exact 1 1
SITES 1 2 3
TIMSS 1 5 2 2 1 1 12
TIMSS 1 1
Advanced

PIRLS 1 1
Totaal 0 2 1 7 3 2 1 0 1 0 1 0 2 20

In de vorige evaluatie (2005) is uiteengezet dat de omvang van dit onderzoek in overleg met OCW is
teruggebracht. Hoewel er nu minder projecten toegekend worden, is de omvang van de projecten
aanzienlijk. In 2009 heeft de PROO in totaal K 837 aan TIMSS en PIRLS 2011 toegekend.

5.9 Cohortonderzoek

In bijlage N is een rapportenoverzicht van PRIMA en VOCL bijgevoegd. In deze paragraaf wordt naar het
aantal projecten PRIMA, VOCL en COOL gekeken. In tabel 14 staan de aantallen projecten vermeld die
ten laste van het PRIMA-budget, per cyclus, door de PROO zijn toegekend - zie ook bijlage J. Alle
projecten PRIMA zijn afgesloten.

Tabel 14: projecten PRIMA naar uitvoerend instituut en per cyclus.
1998-1999 2000-2001 2002-2003 2004-2005 2006-2007 Totaal
ITS 3 6 2 5 2 18
SCO 4 5 2 3 2 16
Totaal 7 11 4 8 4 34

11 Inclusief projecten waarvan op dit moment de dissertatie goedgekeurd is en de promotiedatum vast
staat.

Tabel 15 geeft een overzicht van de uit het VOCL-budget gefinancierde projecten VOCL-cohort 1999 - zie
ook bijlage K. De twee eerdere VOCL-cohorten vallen buiten het bestek van deze evaluatie. De
dataverzameling van VOCL wordt uitgevoerd door GION en CBS. Deze dataverzamelingsprojecten lopen
nog door tot eind 2009. De overige projecten zijn afgesloten. De verdiepende projecten zijn aan GION,
UT en RU toegekend.

Tabel 15: lopende en afgesloten projecten VOCL'99 naar uitvoerend instituut.
Lopend Afgesloten Totaal
GION 1 11 12
CBS 1 0 1
UT 0 1 1
RU 0 1 1
Totaal 2* 13 15

* Projecten 411-20-101 en 411-20-102 zijn de lopende dataverzamelingen GION en CBS
en hebben als einddatum 31-12-2009.

Ten behoeve van COOL5-18 vinden drie metingen plaats. De eerste meting is in vier deelprojecten
toegekend. Deze projecten lopen tot eind 2009. Tabel 16 geeft een overzicht. In 2009/2010 zal de PROO
verdiepend en/of aanvullend onderzoek toekennen in het kader van de moduleregeling.

Tabel 16: Toekenningen Cohortonderzoek Onderwijsloopbanen COOL5-18.
411-20-411* COOL 5-18 Meting 1 BAO-1: ITS Mw. Dr. L. Mulder
411-20-412 COOL 5-18 Meting 1 BAO-1: SCO/KI Mw. Drs. G. Ledoux
411-20-413 COOL 5-18 Meting 1 VO-MBO-1 & BAO-1: Cito Dr. A.A. Béguin
411-20-414 COOL 5-18 Meting 1 VO-MBO-1: GION Mw. Prof. dr. M.P.C. van der Werf

* De vier COOL projecten zijn lopend onderzoeken. De einddatum van deze projecten zijn
31 december 2009.

5.10 Conclusie

Welk beeld geven de gepresenteerde cijfers in dit hoofdstuk over de realisatie van de beoogde
doelstellingen van het Convenant en de uitgewerkte beleidsdoelstellingen van de PROO?

De PROO werd ingesteld om, na de SVO-periode, het eerste geldstroomonderzoek een kwaliteitsimpuls
te geven. De PROO heeft hoofdzakelijk langlopend aio- en postdoconderzoek gefinancierd om daarmee
nieuw talent tot wetenschappelijke (onderwijs)onderzoekers op te leiden. Het beleid van de PROO heeft
geresulteerd in 210 projecten,12 waaronder 126 promotieplaatsen die - ook gelet op de benchmark - erg
succesvol waren. De projecten leverden gemiddeld bijna negen publicaties per project op (periode 1999-
2002), waarvan een groot deel proefschriften en gerefereerde academische publicaties. Ook in dat
opzicht liggen de prestaties boven de benchmark. We kunnen daarmee stellen dat de eerste geldstroom,
zowel in kwantitatieve als in kwalitatieve zin, aanzienlijk versterkt is.

De onderbrenging van het onderwijsonderzoek bij NWO moest garant staan voor een objectieve en
transparante selectie op kwaliteit. De toegenomen spreiding in de herkomst van onderzoeksvoorstellen
laat zien dat het instrumentarium van de PROO breed toegankelijk (geworden) is en dat een
verscheidenheid aan instituten en disciplines van de PROO-subsidies heeft kunnen profiteren. Daarmee is
op programmaniveau een rijk multidisciplinair verband ontstaan. Uit het percentage A-kwalificaties dat is
toegekend, blijkt dat de kwaliteitsselectie streng is. Dat is toe te schrijven aan het maatwerk dat in de
beoordelingsprocdure wordt geleverd, en aan de scheiding die wordt gehanteerd in de beoordeling van
absolute en relatieve kwaliteit van de voorstellen. Ondanks deze scherpe selectie, zijn er meer excellente
voorstellen dan er gehonoreerd kunnen worden; dat heeft te maken met het relatief beperkte budget.
Hoewel `kapitaalverlies' deels inherent is aan een systeem van competitie, wordt tegen deze achtergrond

12 Exclusief projecten cohortonderzoek, internationaal (vergelijkend) onderzoek en review studies.

de efficiency van de beoordelingsrondes zorgvuldig gemonitord en is aanleiding om de procedure bij
gelegenheid op onderdelen aan te passen. Overigens hebben de niet-gehonoreerde voorstellen veelal op
andere wijze spin-off en dragen dus indirect bij aan de versterking van de eerste geldstroom.

Het cohortonderzoek en deelname aan internationaal vergelijkende studies behoorden tot de morele
verplichtingen die de PROO overnam van SVO. De PROO heeft een groot deel van de middelen besteed
aan PRIMA en VOCL en later aan COOL5-18. Dit heeft geresulteerd in een groot aantal projecten,
waardevolle (en toegankelijke) databestanden, wetenschappelijke publicaties en relevante
beleidsinformatie. De PROO heeft in 2007 besloten 25 procent - in plaats van 30 - van zijn budget aan
cohortonderzoek te besteden. Op deze wijze kwam er zowel meer ruimte tot stand in het reguliere
onderzoeksbudget, als een omvangrijker cohort, terwijl onderzoek op de cohortdata - gefinancierd uit het
reguliere onderzoeksbudget - nadrukkelijk wordt gestimuleerd.
Naast het cohortonderzoek is de PROO erin geslaagd internationaal vergelijkend onderzoek te blijven
financieren (TIMSS). De PROO heeft onlangs een nieuwe impuls aan dit onderzoek gegeven door ook
PIRLS 2011 in zijn programma onder te brengen. Nederlandse deelname aan beide studies maakt het
mogelijk om prestaties in rekenen en taal met elkaar in verband te brengen. Deelname aan en
kwaliteitstoetsing van deze studies is ook voor het beleid van groot belang.

De zogeheten mainstreaming van het internationale facet heeft zijn vruchten afgeworpen. Het heeft
ertoe geleid dat al het PROO-onderzoek in de loop der jaren in hoge mate geïnternationaliseerd is. Er is
structureel sprake van beoordeling door buitenlandse peers. PROO-onderzoekers hebben een belangrijke
inbreng bij internationale congressen en publiceren internationaal. Daarnaast is er sprake van
internationale samenwerking, ook door het gezamenlijk honoreren van bij de PROO en de DFG, of de
ESRC ingediende onderzoeksvoorstellen.

ZELFEVALUATIE

6. Bezinning en vooruitblik

6.1 Inleiding

In de zelfevaluatie kijkt de PROO terug op 12½ jaar PROO-beleid. In dit hoofdstuk komen in dat licht
eerst een reflectie op de gang van zaken in de afgelopen jaren en met name de huidige stand van zaken
aan de orde. Vervolgens maakt de PROO een aantal kanttekeningen bij het eigen werk en geeft aan hoe
dat in de toekomst beter kan. Tot slot kijkt de PROO verder vooruit door de (zelf)evaluatie van zijn
werkzaamheden te bezien op de mogelijke consequenties voor de opdracht aan de PROO.

6.2 Reflectie: stand van zaken

De PROO heeft in 1997 een helder afgebakende opdracht gekregen van OCW. Daaraan is consequent
uitvoering gegeven. Nu, na 12½ jaar, meent de PROO te kunnen zeggen dat met succes aan de opdracht
is gewerkt. De expliciete elementen en de onderliggende, strategische doelen van de opdracht passeren
in deze paragraaf de revue. Daarmee komt de beantwoording van de evaluatievragen als vanzelf aan de
orde.

De PROO heeft een herkenbaar onderzoeksprogramma neergezet dat zich kenmerkt door:

· een eigen inbreng van de Programmaraad, naast bijdragen van externe deelnemers uit
wetenschap, beleid en praktijk;13

· een gedegen en omvattende analyse vooraf van potentiële onderzoeksthema's in de
verschillende onderwijssectoren, maar een scherpe focus in het programma en tegelijk
voldoende vrijheid voor de onderzoeker;

· focus op de thematische onderzoekslijnen door, zoals gezegd, in nadere samenspraak met
externe deskundigen, stelselmatig aan te sluiten bij zowel nieuwe wetenschappelijke uitdagingen

- bijvoorbeeld: de ontwikkeling in de cognitiewetenschappen als bij de vraagstukken van het
onderwijs - onder meer: de opkomst van ICT, de professionalisering van de leerkracht, de
voorschool, de specifieke vraagstukken in het beroepsonderwijs, de pedagogische functie van
het onderwijs.

De PROO heeft geprofiteerd van de organisatorische onderbrenging bij NWO. Hij heeft een
beoordelingssysteem ingevoerd naar NWO-maatstaven. Het systeem staat voor kwaliteit door de
inschakeling van deskundige peers, transparantie naar alle deelnemers, checks en balances, alsmede
onafhankelijkheid van de advisering en de besluitvorming. Het systeem beoogt kwaliteitsselectie door
open competitie en is in beide opzichten succesvol.
De PROO heeft de beoordelingsroutines niet mechanisch geadopteerd. De PROO-beoordelingsprocedure
houdt rekening met de eigenheden van het onderwijsonderzoek, bijvoorbeeld door specifieke
aanwijzingen te geven voor de beoordeling van educational design research. De PROO kijkt kritisch naar
zaken als de NWO-betrokkenheidsregels en het evenwicht tussen kwaliteitsmaximalisatie en efficiency.
Hij heeft tevens studie laten verrichten naar de invloed van de inrichting van de beoordelingsregels en
van het gedrag van beoordelaars op de uitslag van de selectieprocedure - bijvoorbeeld bij de voorstellen
binnen "Beroepsonderwijs" en "Leren en Instructie". De PROO organiseert hierover de discussie met het
veld en belegt expertmeetings.

13 In dit geval is sprake van vertegenwoordigers uit de directe onderwijspraktijk, zoals leerkrachten en schoolleiders.

---

In kwalitatief opzicht voldoet het PROO-onderzoek aan hoge standaarden, ook in vergelijking met andere
disciplines. De beoordeling vooraf - bijvoorbeeld op past performance -, de monitoring tijdens de
uitvoering en de controle op de output dragen daaraan bij. Uit recent onderzoek blijkt dat PROO-
projecten uitstekend scoren als het gaat om promotierendement. In de SVO-tijd behoorden vele
publicaties tot de categorie `grijze literatuur'. Nu worden er naast `praktijkgerichte producten', veel meer
wetenschappelijke publicaties in Nederlandse en buitenlandse gerefereerde tijdschriften geproduceerd.
De PROO-onderzoekers voldoen ook in dit opzicht ruimschoots aan de benchmark van het MaGW-
onderzoek. De programmering middels reviews evenals de beoordeling bevorderen meer dan voorheen
een systematische kennisopbouw.

Het beleid van de PROO heeft bijgedragen aan het ontbolsteren en dynamiseren van het speelveld. De
beoordelingsprocedure heeft ertoe geleid dat er - in plaats van vijf onderwijsonderzoeksinstituten, bij
SVO - thans een grote verscheidenheid aan instituten toegang heeft gekregen tot de fondsen van de
PROO en daar ook feitelijk gebruik van maakt. Waar voorheen de verhoudingen tussen de vijf instituten
mede door concurrentieoverwegingen werden geleid, hebben de PROO-aandachtsgebieden zowel
multidisciplinaire als interuniversitaire samenwerkingsverbanden tot stand gebracht. Mainstreaming in
het internationaliseringsbeleid heeft ook een dynamiserende invloed gehad. Op programmaniveau is er
sprake van samenwerking en uitwisseling van expertise met verwante, buitenlandse
onderzoeksprogramma's. Daarnaast hebben de PROO-projecten een sterke internationale dimensie. Daar
blijkt de winst onder meer uit de internationale impact van het Nederlandse onderwijsonderzoek, de
vooraanstaande internationale rol van Nederlandse onderzoekers die door de PROO is verstevigd en de
samenwerking binnen gezamenlijke aandachtsgebieden met buitenlandse onderzoekers.

De PROO heeft de capaciteit van het universitaire onderwijsonderzoek versterkt. Het PROO-onderzoek
vertegenwoordigt zo'n dertig procent van het ICO-promotieonderzoek. In visitaties blijkt dat
(gerefereerd) PROO-onderzoek een positieve rol speelt. Het eerste geldstroom onderwijsonderzoek
gebruikt het beoordelingssysteem van de PROO als kwaliteitsindicator, bijvoorbeeld door niet zelden de
in PROO-verband positief beoordeelde, maar niet gehonoreerde onderzoeksvoorstellen alsnog van
financiering te voorzien.

PROO heeft bewust ingezet op aio's en postdocs om de grootst mogelijke kwaliteitsimpuls te geven aan
het eerste geldstroomonderzoek. De PROO-projecten maken zo ook het opleiden van een nieuwe
generatie onderwijsonderzoekers mogelijk. Uiteraard spelen de onderzoekscholen en de begeleiders hier
een belangrijke rol, maar dat wordt mede mogelijk gemaakt doordat PROO-projecten vaak als
'opleidingsplaats' voor onderzoekers functioneren. Die projecten hebben er mede aan bijgedragen dat er
een levendige gemeenschap van senior en junior onderwijsonderzoekers is ontstaan. Dat is een totaal
andere situatie dan voor 1997.

Aan de opdracht inzake de kennisoverdracht zoals die is geformuleerd, is feitelijk voldaan. Er is een
constante stroom ontstaan van onderwijswetenschappelijk onderzoek, dat enerzijds een bijdrage aan de
wetenschap/theorievorming levert en anderzijds vaak waardevolle en bruikbare inzichten oplevert voor
de onderwijspraktijk. Het eerste wordt zichtbaar in proefschriften en (internationale) wetenschappelijke
publicaties; het tweede in praktijkgerichte publicaties, conferentiebijdragen en input in opleidingen,
onderwijsmateriaal, enzovoort. Dat is op beide fronten winst vergeleken met de situatie voor 1997. Het
PROO-onderzoek slaagt er in om fundamentele nieuwe kennis te verbinden met bruikbare adviezen en
producten, en die ook feitelijk onder de aandacht te brengen van belangstellende gebruikers. De
interviews met de acht onderzoeksleiders van de aandachtsgebieden in bijlage O zijn hiervan een tot de
verbeelding sprekende illustratie.

Deze resultaten zijn mede tot stand gekomen doordat de PROO veel inspanningen heeft verricht om álle
fasen in het programmerings- en onderzoekswerk in onderlinge samenhang te ontwikkelen, om alle
elementen in een open gesprek met de buitenwacht telkens opnieuw kritisch tegen het licht te houden en
vervolgens verder te verbeteren. Dit heeft geloond, niet alleen in termen van de onderzoeksresultaten,
maar vooral als in beschouwing wordt genomen hoe de PROO in zowel de programmering - het
`voortraject' - als bij de overdracht van de resultaten ten behoeve van de kennisbenutting - het
`natraject' - in staat is geweest om samen met de onderzoekers een brug te slaan tussen (de uitkomsten
van) fundamenteel onderzoek en een publiek van potentiële gebruikers.

6.3 Reflectie: opmerkingen en aanbevelingen

De PROO is, kijkend naar de stand van zaken, van oordeel dat een goed resultaat is neergezet. Dit
neemt niet weg dat altijd verbeteringen mogelijk zijn. Tegen die achtergrond plaatst de PROO de
volgende opmerkingen en doet hij enkele aanbevelingen voor de toekomst.

- Programmeren

In de evaluatie uit 2005 heeft de PROO rond het vraagstuk van de samenhang tussen de programmering
en de sturing zelf een aantal kantekeningen geplaatst. Ook de externe evaluatiecommissie gaf daarover
behartigenswaardige aanbevelingen. Samengevat is er opgemerkt dat de sturing aan effectiviteit wint
door

· het programma globaler en meer op samenhangen in te richten;

· geen onrealistische eisen aan onderzoekers te stellen;

· wezenlijke voorwaarden in de prioritering (als eindfase van de beoordeling van voorstellen) te
effectueren;

· en tegelijk het programmabeheer te versterken.
De PROO heeft dit de afgelopen jaren vrijwel `een op een' gerealiseerd. En hoewel de vruchten van dat
beleid pas later geplukt zullen worden, is er nu al her en der van winst sprake.

De PROO meent dat het `voortraject' in de loop der jaren een volwassen onderdeel is gaan vormen van
zijn beleid. Er zijn echter vier aspecten die permanent aandacht verdienen, dan wel voor verdere
verbetering in aanmerking komen.

Ten eerste is er de kwestie van de verhouding tussen een evenwichtig programma en de effectiviteit. De
PROO heeft een geschiedenis waarin hij belangstellenden uitnodigt met opmerkingen te komen. Daar
waar problemen worden gesignaleerd, gaat hij het gesprek aan. De PROO stelt zich daarbij open op en
betoont zich zelfkritisch. Die houding impliceert spanning. Het gaat er namelijk om in een open dialoog
voortdurend te zoeken naar noodzakelijke vernieuwing en naar een optimale balans, bijvoorbeeld tussen
programmatische breedte of focus, tussen afzonderlijke aandacht voor onderwijssectoren of een
integrale benadering, enzovoort. Programmeren gebiedt echter het maken van keuzen, en die heeft de
PROO gemaakt. De inbreng van derden is op voorhand ter harte genomen, en daarna is telkens een
welbewuste beleidskeuze gemaakt die is omgezet in een effectief instrumentarium. De open opstelling
van de PROO houdt echter in dat de afweging tussen een evenwichtig en een effectief programma
aandacht zal blijven vragen.

Ten tweede neemt de PROO waar dat sommige onderzoekslijnen niet helemaal van de grond zijn
gekomen. De meest in het oog springende voorbeelden zijn "Beroepsonderwijs" en "Pedagogische
Functie". Hierbij spelen meerdere factoren een rol, zij het niet voor beide onderzoekslijnen in gelijke
mate. Het gaat vaak om:

· een te geringe omvang van het betreffende onderzoeksveld;

· de mogelijkheid elders fondsen te verwerven;

· het ontbreken van consensus binnen het betreffende veld over de kwaliteitseisen;

· een achterblijvende empirische traditie.

Er zijn in de loop der jaren tal van remediërende maatregelen genomen. Die beginnen meestal bij een
gedegen review studie om het vraagstuk adequaat in beeld te krijgen. Meestal volstaat zo'n aanpak, die
bijvoorbeeld recent nog gekozen is om een volwassen onderzoekslijn op macroniveau van de grond te
tillen, te weten "Stelselvraagstukken". Er zijn ook verder reikende instrumenten ingezet, zoals
voorlichting aan onderzoekers, aanpassing van de beoordelingsprocedures en onderzoek naar de
specifieke oordeelsvorming. Zoals aangegeven, in enkele gevallen heeft dat te weinig effect gesorteerd.
De PROO acht het in dat licht wenselijk om op bepaalde terreinen, mede gelet op de meer structurele
verantwoordelijkheid van de PROO voor de onderwijswetenschappen, ingrijpender
stimuleringsmaatregelen in te zetten. De PROO wijst er wel op dat dergelijke arrangementen alleen
succesvol kunnen zijn als meer partijen samenwerken en gezamenlijk verantwoordelijkheid nemen.

Daarmee dringt zich, ten derde, het vraagstuk van de afstemming tussen verschillende partijen in het
onderwijsonderzoek op. Het departement heeft er in 1997 voor gekozen om, waar het de eigen
financiering betreft, het fundamenteel-strategisch onderzoek, het beleidsgerichte onderzoek en het
praktijkgerichte onderzoek afzonderlijk te positioneren. De PROO is van oordeel dat het stand alone
model voor de onderwijswetenschappen tot positieve resultaten heeft geleid.
Maar het programmaoverleg tussen de verschillende onderdelen (OCW, LPC, PROO, BOPO), dat in het
Convenant is voorzien, is langzamerhand op de achtergrond geraakt. Dat klemt, zeker nu er de
afgelopen jaren vanuit OCW een reeks van nieuwe initiatieven rond onderzoek en innovatie is ontplooid,
dat qua financiële middelen fors is opgetuigd.14 Bij `programmaoverleg' gaat het niet alleen om
afstemming en sturing. Essentieel is de aansluiting tussen de schakels van de kennisketen: de in- en
output van het ene programma vormen de voor de kennisaccumulatie én toepassing noodzakelijke input
voor het andere programma. Afstemming behoort overigens hoe dan ook tot de opdracht van de PROO.
Maar dit dient te verbeteren en in een breder verband te worden geplaatst. De PROO zal zich hiervoor de
komende jaren verder inspannen.

De PROO heeft, ten vierde, altijd uiteenlopende partijen betrokken bij het tot stand brengen van het
programma. Dat heeft in de loop der tijd, als gevolg van voortschrijdend inzicht, telkens een wat andere
vorm aangenomen. Over het geheel genomen is de PROO daarover bepaald niet ontevreden. Twee
elementen zijn voor verbetering vatbaar.

OCW heeft, in het toenmalige tijdgewricht heel gangbaar, de PROO `op afstand geplaatst'. Die filosofie
heeft - aan beide zijden - aan kracht gewonnen. Daarmee is de afstand tussen OCW en PROO `werkende
weg' gegroeid. De PROO beschouwt dat als een minder gelukkig ontwikkeling. De programmatische
afstemming - zie hiervoor - is gediend met grotere nabijheid. Enerzijds betreft dat een meer herkenbare
inbreng vanuit de beleids- en themadirecties op het gebied van PO, VO en MBO ter legitimering van de
inrichting van het programma. Anderzijds gaat het om grotere nabijheid ten opzichte van de directie
Kennis van waaruit de hoofdlijnen van het onderwijsonderzoek en de meer algemene aspecten van de
kennisinfrastructuur worden behartigd.

14 Genoemd kunnen worden: Onderwijsbewijs en Innovatie-impuls, (quasi-)experimenteel onderwijskundig onderzoek
met FES-geld; TIER, evidence based research van vooral onderwijseconomische aard; PPON, kwaliteit van het
onderwijsaanbod in primair onderwijs; Kennisnet, ontwerp- en ontwikkelingsondersteunend onderzoek naar ICT-
gebruik; Platform Bèta-Techniek (Vtb-Pro), onderzoek naar invoering van wetenschap en techniek in primair onderwijs;
SLOA-R&D (LPC en SLO), ontwerp- en ontwikkelingsondersteunend onderzoek voor PO en VO; SLOA-vrijval
(sectorraden PO en VO), ondersteunend onderzoek naar kwaliteitsontwikkeling in de eigen sector; SBO-Nederland,
Kennisland Onderwijspioniers: innovatieve projecten van leraren; VO-Raad, DurvenDelenDoen: innovatieprojecten
waarin met onderzoekers moet worden samengewerkt; PO-Raad diepteprojecten, monitor en evaluatie
Innovatieprojecten waarin met onderzoekers moet worden samengewerkt. Verder valt te denken aan de ca. veertig
lectoraten in de educatieve sector; de opdrachtonderzoeken die OCW regelmatig uitzet; en aan andere departementen,
LNV, EZ, en sommige provincies en enkele grote gemeenten die onderwijskundig onderzoek financieren.

Naast de inbreng van het `beleid' heeft het aandeel van de `praktijk' zijn beslag gekregen, maar dit kan
nog beter. De continuïteit, de kwaliteit en de herkenbare verwerking van de bijdrage ten behoeve van
het programma is gebaat bij een vast panel van praktijkdeskundigen. Daarin kunnen bijvoorbeeld zowel
de PO-,VO- en MBO-raad zitting hebben, maar bijvoorbeeld ook schoolleiders of coördinatoren onderzoek
van ROC's. Een dergelijk panel zou ook betrokken kunnen worden bij vraagstukken rond
kennisoverdracht en valorisatie.

- Beoordelen

De PROO meent erin geslaagd te zijn een afgewogen, hoogwaardig systeem voor kwaliteitsbeoordeling te
implementeren. De PROO geeft OCW daarom in overweging om gebruik te maken van de bij hem
aanwezige kennis en infrastructuur, i.c. dit systeem ook in te zetten voor, zowel de ex ante als de ex
post boordeling van ander onderzoek dat door het departement wordt uitgezet, bijvoorbeeld
Onderwijsbewijs en Innovatie-impuls. Dit zal niet alleen de kwaliteit van dat onderzoek ten goede
kunnen komen, maar ook de afstemming tussen de verschillende onderzoeksinitiatieven. Overigens heeft
de PROO het afgelopen jaar nadrukkelijk interesse laten blijken om betrokken te worden bij enkele FES-
initiatieven, niet alleen om beoordelingsexpertise in te zetten, maar ook omwille van de
programmatische aansluiting en om elementen van fundamenteel-strategisch onderzoek in de
betreffende initiatieven in te bouwen.

De PROO constateert wel dat het vinden van referenten en beoordelaars in de afgelopen jaren moeilijker
is geworden. Referenten en beoordelaars moeten namelijk niet alleen deskundig maar ook onafhankelijk
zijn. Door het grote aantal aanvragen en de toenemende verwevenheid van de aanvragen zijn vele
collega-onderzoekers betrokken. Om die reden kunnen zij niet in het beoordelingsproces participeren.
Bovendien zijn de betrokkenheidsregels van NWO aangescherpt. Als reactie op dit probleem zijn de
afgelopen jaren bijvoorbeeld meer buitenlandse referenten ingeschakeld. Maar dit biedt niet altijd een
afdoende oplossing - soms zijn Nederlandse referenten een vereiste. Daarom zal het nodig zijn om in
dialoog met het onderzoeksveld tot werkbare afspraken te komen. Daarbij zou het uitgangspunt moeten
zijn dat een onafhankelijke beoordeling dient te worden gegarandeerd, maar dat aan een systeem van
peer review, dat in tal van opzichten grote voordelen biedt, een zekere mate van betrokkenheid inherent
is.

De PROO is van oordeel dat "de relevantie voor het onderwijs(beleid)" of zelfs "de praktische
mogelijkheden voor het onderwijs(beleid)" doorklinkt in zijn werk, ook in de beoordeling. Het zijn
expliciete criteria. Het zou echter de moeite waard zijn te doordenken of een afzonderlijke beoordeling
van de betreffende maatstaven, zoals bijvoorbeeld bij STW (technische wetenschappen) binnen NWO, tot
een meeropbrengst leidt. Dat kan een vorm aannemen waarin iedere aanvraag (voor fundamenteel
strategisch onderzoek!) twee kwalificaties ontvangt, namelijk een voor de wetenschappelijke kwaliteit en
een voor de maatschappelijke relevantie voor het programma. In het laatste criterium zijn dan
elementen als potentiële betekenis en dito bruikbaarheid voor het onderwijs(beleid) verdisconteerd. Het
kan ook een andere vorm aannemen, bijvoorbeeld door het vaste panel van praktijkdeskundigen - zie
eerder - in deze een rol te laten spelen.

- Wetenschappelijke betekenis en output

In 2005 merkte de externe evaluatiecommissie op: "Alles overziend is de commissie van oordeel dat de
wetenschappelijke kwaliteit van het onderzoek alleszins bevredigend is. Dit geldt zeker als men als
criterium de mate van internationalisering hanteert. Het PROO-onderzoek kan hier de toets van de kritiek
prima doorstaan." De PROO heeft in het voorliggende programmaverslag een aantal indicatoren en
benchmarks geïntroduceerd, waaruit valt op te maken dat het onderzoek na 2005 waarschijnlijk verder
aan wetenschappelijke kwaliteit heeft gewonnen. Maar daarnaast hebben beheersmaatregelen ertoe
geleid dat dit inmiddels ook beter in beeld gebracht kan worden.

De externe evaluatie commissie vroeg in 2005 nadrukkelijk aandacht voor het vraagstuk van de
monitoring van het onderzoek. "De productiviteit van het onderzoek is naar het oordeel van de
commissie een punt van zorg. De commissie stelt vast dat beloofde producten soms veel te lang op zich
laten wachten. Voorts valt op dat vaak een discrepantie bestaat tussen de gerealiseerde en de beloofde
productie. De commissie heeft de indruk dat een deel van de problemen komt doordat van de
onderzoekers teveel wordt gevraagd. Deze beloven dan teveel." En op grond hiervan adviseerde de
commissie om het accent van de werkzaamheden gedeeltelijk te verleggen van de ex ante beoordeling
naar de monitoring.

De afgelopen jaren heeft de PROO dit advies geïmplementeerd. Zo worden de voortgang en de afronding
van de projecten nauwgezet gevolgd, respectievelijk getoetst, en is een malus ingevoerd bij
onderprestatie. Verder is de registratie volledig op peil gebracht. Hierdoor is inderdaad komen vast te
staan dat het geen kwestie was van een te geringe output (dat punt maakte de commissie ook niet!),
noch van te hoge eisen die tot window dressing en niet gerealiseerde beloften leidden. Door de
versterking van de beheerstaak is gewoon veel meer productie in beeld gekomen.

Daar zit precies een punt dat nog verdere verbetering behoeft. Zoals uit onder meer het onderzoek van
Sonneveld bekend is, publiceren onderzoekers tot soms wel vier jaar na de formele beëindiging van een
project, c.q. worden artikelen voor publicatie geaccepteerd. Echter, na de administratieve afsluiting van
een project wordt dat door PROO eigenlijk niet meer gevolgd. PROO neemt zich voor om na afloop van
ieder project jaarlijks nagekomen output op te vragen.

- Cohorten

COOL is als longitudinaal bestand, met zijn voorgangers in PRIMA en VOCL, uniek in de wereld, zeker nu
door de koppeling via het onderwijsnummer zowel de voorschool als het PO, VO en MBO erin betrokken
zijn. COOL zal in de toekomst belangrijke inzichten opleveren. De grote waarde van dit cohortonderzoek
is mede gelegen in de omstandigheid dat het zowel basisgegevens oplevert voor het onderwijsbeleid als
een rijk databestand vormt voor onderzoekers.

Rond COOL is echter sprake van een aantal uitvoeringsproblemen, die een aanzienlijke reikwijdte hebben
en daarom een plaats in de evaluatie verdienen.

De bereidheid tot medewerking aan COOL in het onderwijsveld neemt af. Als gevolg daarvan is de non-
repons zorgwekkend - dat geldt overigens ook voor de internationale onderzoeken TIMSS en SITES.
Natuurlijk zou het onderwijsveld zich verantwoordelijk moeten voelen voor medewerking aan onderzoek:
het komt de kwaliteit van het onderwijs immers ten goede. Maar dat vereist een gezamenlijke
inspanning, bijvoorbeeld door:

· via de opleiding van leerkrachten en de `academisering' van de scholen de ontvankelijkheid bij
leerkrachten voor onderzoek te bevorderen;

· primair het perspectief op de benefits van het onderzoek te richten, voor de leerkracht en voor
de school, op korte en op wat langere termijn;

· medewerkende scholen op een of andere manier te belonen, bijvoorbeeld in de vorm van
educatieve games, maar ook door terugkoppeling van voor hen belangrijke resultaten;

· afstemming tot stand te brengen in de veelheid aan onderzoek/gegevensverzameling.
Dit vereist afspraken tussen onderzoekers en het onderwijsveld. Te denken valt in ieder geval aan een
landelijke toetskalender met een core set aan onderzoeken die bijvoorbeeld door OCW of de sectorraden
worden aanbevolen. Wellicht ook kan er - naar analogie van het inspectieonderzoek - op sectorniveau
een bestuurlijk convenant gemaakt worden waarin scholen zich verplichten om in ieder geval voor de
medewerking aan onderzoek naar rekenen, taal en het volgen van leerlingen een bepaald percentage
van de tijd vrij te maken. OCW zou hierbij een voortrekkersol moeten spelen, mede omdat COOL de
backbone voor onderwijsonderzoek in Nederland is.

Daarnaast is de relatie met het CBS, dat door de koppeling van verschillende COOL-bestanden via de
zogeheten onderwijsnummer-bestanden een cruciale rol speelt, al meerdere jaren als moeizaam te
betitelen. Hierbij spelen meerdere vraagstukken een rol, maar Leitmotiv is de kwestie van de
vertrouwelijkheid. Inmiddels maakt dit de voortgang van het cohort dermate kwetsbaar dat de PROO
besloten heeft de gehele zaak naar een hoog bestuurlijk niveau te tillen. Mocht dit wederom tot een
onbevredigend resultaat leiden, dan is ook hier een rol voor OCW weggelegd.

De toegankelijkheid van de cohortdata is geoptimaliseerd doordat de betreffende bestanden zijn
ondergebracht bij DANS (Data Archiving and Networked Services) van NWO en KNAW. Dat moet leiden
tot een meer optimale benutting van de bestanden. Toch heeft de PROO op dat punten zorgen. Die
worden ingegeven door de hoge investeringskosten enerzijds en de betrekkelijk geringe aanwending van
de databestanden voor onderzoek anderzijds. In dat verband betreurt de PROO het vooral dat het niet
mogelijk is, gegeven het beperkte budget, veel eigen PROO-onderzoek op de data te bekostigen.

Overigens is de PROO van oordeel dat de kwaliteitsborging van door OCW bekostigd internationaal
vergelijkend onderzoek - bijvoorbeeld PISA - aan kracht zou winnen door het in te brengen in het
beoordelingssysteem van de PROO. Juist bij dergelijk internationaal onderzoek is het vaak de vraag of de
wetenschappelijke potentie volledig wordt benut. Wel geldt hier als constraint dat op- of aanmerkingen
bij de betreffende voorstellen, doordat ze in internationaal verband tot stand gebracht worden, slechts
met grote inspanning tot bijstelling leiden. Het is evenwel hoe dan ook de moeite van een experiment
waard.

- Kennisoverdracht en de praktische betekenis van de onderzoeksresultaten
De externe evaluatiecommissie stelde in 2005: "De commissie wijst erop dat het thema disseminatie veel
aandacht krijgt binnen de PROO. De commissie heeft hier veel waardering voor. Ze stelt vast dat de
PROO op dit terrein veel werk verzet, vooral ook in de vorm van het benutten van de eigen expertise van
onderzoekers." Sedertdien zijn de PROO-activiteiten op dit terrein vernieuwd, in aantal en kwaliteit
toegenomen en meer nog dan voorheen tot een regulier onderdeel van de werkzaamheden gemaakt. De
activiteiten hebben, naar de mening van de PROO, een positief effect gehad op de verspreiding van de
onderzoeksresultaten en op het verbinden van nieuwe wetenschappelijke inzichten aan praktisch
bruikbare kennis.

Vooruitgang is nog te boeken bij dit laatste facet van het werk van de PROO. Het publiceren voor het
wetenschappelijk forum kent binnen de academische wereld immers zijn eigen dynamiek en stimulantia,
de verbinding met de praktijk en beleid is er geen vanzelfsprekendheid. Waar precies kan dan winst
worden geboekt? De beantwoording van die vraag is niet eenvoudig. Hier zijn in zekere zin twee vragen
aan de orde: te weten wat de impact van het verrichtte onderzoek is en of de leverancier van kennis
geheel verantwoordelijk kan worden gehouden voor implementatie. De eerste is een empirische vraag
die binnen het huidige evaluatiebestek niet te beantwoorden valt. De tweede is tot op zekere hoogte een
retorische vraag. Dat laat onverlet dat de PROO gunstige voorwaarden kan scheppen/schept en een
concrete bijdrage kan leveren/levert aan de aanpak van dit probleem. De PROO noemt vijf onderwerpen.

De verbinding tussen fundamenteel onderzoek (de opdracht aan de PROO) en de praktijk wordt, meent
de PROO, eenvoudiger door er in de gehele cyclus van het tot stand brengen van het onderzoek rekening
mee te houden. In het programmaverslag (pagina 21) is hiervan kond gedaan. Het is van belang deze
werkwijze te continueren.

"Voor de disseminatie van onderzoeksbevindingen hoeft de onderzoeker" in de woorden van de externe
evaluatiecommissie in 2005 "niet persé de aangewezen persoon te zijn. Het toegankelijk maken van
soms ingewikkelde discussies en bevindingen vragen een eigen expertise waarover de onderzoekers lang
niet altijd beschikken." Om die laatste reden is dit een speciaal aandachtspunt in het communicatieplan.

De PROO zoekt als uitvloeisel daarvan aansluiting bij organisaties die meer gericht zijn op
kennisoverdracht. De PROO maakt om dezelfde reden steeds meer gebruik van de diensten van een
gespecialiseerde voorlichter. De activiteiten waarvan hier sprake is gaan evenwel verder dan louter
voorlichting. In feite vergt dit het systematisch redigeren van op de gebruikers en het publiek gerichte
bijdragen.

Bij sommige typen onderzoek is het zaak om de onderzoeksbevindingen in bruikbare producten te
leveren, bijvoorbeeld in de vorm van lespakketten, of ict-producten. Dat impliceert, ten derde, een
ontwerpfase na het onderzoek alsmede een innovatietraject. Dit in harmonie brengen met de
wetenschappelijke kennisproductie vereist een nog te doordenken strategie waarbij de posities van
meerdere spelers uit de kennisketen betrokken dienen te worden. Het vereist tevens afzonderlijke
expertise, maar bovenal aanvullende financiering van een aanzienlijke omvang zoals, binnen NWO,
bijvoorbeeld bij STW en ZonMw het geval is.

De ontvangende partijen moeten, ten vierde, ontvankelijk gemaakt worden voor onderzoek en
onderzoeksbevindingen. In tal van door OCW gefinancierde projecten wordt dan ook gepoogd de school
dan wel de leerkracht (in opleiding) in de positie te brengen onderzoeksresultaten op hun merites te
kunnen beoordelen. En, ten vijfde, het is zaak dat in de betreffende werkomgeving een klimaat heerst
dat innovaties bevordert.

Dit zijn, kortom, vraagstukken die samenhangen met de innovatieparadox en die verder gaan dan het
PROO-onderzoek of zelfs het onderwijsonderzoek in zijn totaliteit. Sinds `Dijsselbloem' is er evenwel
sprake van een meer open houding tegenover en grotere belangstelling voor onderwijsonderzoek. Dat
biedt kansen en de PROO kan daarbij een rol spelen.
In deze context merkt de PROO daarom op dat er vanuit de PROO behoefte is aan een specifieke
vertaalslag tussen de opbrengsten van het fundamentele onderzoek en de praktijk, als antwoord op het
hiervoor als tweede genoemde probleem. Zo'n liaison- of makelaarsfunctie zou wellicht het meets
effectief zijn als ze niet beperkt blijft tot het onderzoek in een enkele geldstroom of een enkele
onderwijssector.

Daarnaast wijst de PROO er ook in dit verband op en als reactie op het hiervoor als derde naar voren
gebracht probleem dat de afstemming van de verschillende onderzoeksinitiatieven, in ieder geval die
vanuit OCW, noodzakelijk is. Daardoor wordt het, bijvoorbeeld, mogelijk om fundamenteel onderzoek dat
door de PROO is mogelijk gemaakt, systematisch in te brengen in ontwikkelonderzoek en op concrete
innovaties gerichte trajecten die elders worden gefinancierd. Ook kunnen herhaaldelijk naar voren
gebrachte praktijkvragen input vormen voor PROO-onderzoek dat op zoek gaat naar onderliggende
processen en verklaringen.

6.4 Reflectie: vooruitblik

Wat heeft de PROO in het licht van deze zelfevaluatie aan opmerkingen over het Convenant? De PROO is
alles overziende van mening dat het stand alone model, zoals dat eertijds in het Convenant is
opgetekend, zich heeft bewezen. Voor het fundamenteel-strategisch onderzoek is door de onderbrenging
van de PROO bij NWO een niche gecreëerd. Er is een beoordelingssysteem opgetuigd dat tot
kwaliteitsverbetering van het onderwijsonderzoek heeft geleid. De PROO heeft een belangrijke bijdrage
kunnen leveren aan de dynamisering en versterking van het universitaire onderwijsonderzoek. Dat heeft
vanuit het perspectief van de onderwijswetenschappen veel goeds gedaan. Dit was destijds de primaire
insteek van OCW. Met een bescheiden budget heeft de PROO op wetenschappelijk vlak een rol van
betekenis vervuld. Langzamerhand is daar steeds meer het perspectief van de utilisatie en de gebruikers
aan toegevoegd. De PROO heeft ook dat naar vermogen ingevlochten in haar activiteiten.

De PROO wil graag stilstaan bij de constatering dat de resultaten zijn behaald door afzonderlijk aandacht
te besteden aan het fundamenteel-strategisch onderzoek. Daarvoor is niet alleen een eigen
organisatorische figuur in het leven geroepen, maar ook eigen procedures. Voor de toekomst moeten de
goede elementen van dit model met name de onderbrenging bij NWO en het overnemen van de
betreffende procedures - gewaarborgd worden. Deze evaluatie heeft daarnaast duidelijk gemaakt dat
het goede behouden, maar ook uitgebouwd zou moeten worden.

Daarvoor is het ten eerste nodig dat enkele elementen die in het Convenant zijn opgenomen of besloten
liggen, beter opgepakt worden. De PROO wijst in dat verband op de volgende, eerder in de zelfevaluatie
genoemde suggesties:

· het versterken van de relatie met OCW;

· het rationaliseren van het programma-overleg tussen PROO, BOPO, LPC (kortlopend
praktijkgericht onderzoek) en OCW;

· het verder verbeteren van de beheersprocedures, in casu het volgen van onderzoeksprojecten
na de afronding;

· het instellen van een gebruikerspanel.

Ten tweede is het wenselijk enkele, expliciete aanpassingen in het Convenant aan te brengen die het
mogelijk maken bestaande functies aan te zetten. De PROO denkt dan aan

· het meer expliciet benoemen van de functie van fundamenteel-strategisch onderzoek voor beleid
en praktijk;

· het scherper formuleren van de kennisoverdrachtstaak door nadrukkelijk duidelijk te maken dat
de PROO een functie heeft in de vertaling van onderzoeksresultaten naar het beleid en de
praktijk.

Ten derde zijn wijzigingen in het Convenant denkbaar, en wat de PROO betreft wenselijk, die een
uitbreiding van de activiteiten van de PROO inhouden. De PROO stelt in dit verband voor om

· de professionele beoordelingsinfrastructuur die bij de PROO bestaat, in te zetten voor ander
onderzoek dat door OCW wordt bekostigd (bijvoorbeeld Onderbewijs, PISA, enzovoort), zodat de
desbetreffende beoordelingen efficiënter georganiseerd kunnen worden en bovenal kunnen
bijdragen aan kwaliteitsverbetering;

· daar waar mogelijk een rol te spelen bij de invulling van de fundamentele onderzoekscomponent
in FES-trajecten, zodat binnen die trajecten op toepassing gericht onderzoek en innovatie
gekoppeld kunnen worden aan fundamenteel-strategisch onderzoek;

· in staat gesteld te worden om gerichte stimuleringsacties te kunnen ondernemen om onderzoek
waaraan grote behoefte bestaat - denk aan de Pedagogische functie van het onderwijs - van de
grond te kunnen tillen;

· het samenbrengen van PROO en BOPO in een enkel organisatorische verband, zodat de
afstemming binnen NWO kan worden verbeterd, de beheerslast kan worden beperkt, en
wezenlijke elementen van beide kunnen worden behouden en verenigd;

· het programmatisch overleg niet te beperken tot de partijen uit het convenant, maar uit te
breiden naar andere door OCW gefinancierde initiatieven;

· voorzieningen in het leven te roepen, in termen van afspraken tussen verschillende
onderzoekscircuits of in termen van financiële middelen, die het mogelijk maken dat resultaten
van fundamenteel onderzoek worden uitontwikkeld en in innovatietrajecten worden ingebracht,
en `omgekeerd' dat de output van beleidsgericht en toegepast onderzoek (onder meer het
kortlopend praktijkgericht onderzoek van de LPC) als bouwsteen dient voor de programmering
van de PROO, c.q. het mogelijk te maken om de schakels van de kennisketen beter in elkaar te
klikken.

In aansluiting op het laatst genoemde voorstel meent de PROO, ten vierde, dat het zinnig zou zijn om
met anderen te onderzoeken of een model als dat van ZonMw ook voor het onderwijsonderzoek
meerwaarde oplevert. Dat model voorziet in een organisatorische inkadering binnen NWO van
verschillende, voorheen afzonderlijke fondsen van een enkel departement, waardoor de elementen van
de kennisketen beter op elkaar kunnen worden betrokken.

De PROO merkt op dat de voorgaande voorstellen ook als fasen in een proces kunnen worden gezien,
waarin de PROO zelf direct de veranderingen doorvoert waartoe ze op grond van het Convenant al in
staat gesteld wordt, vervolgens in samenspraak met OCW enkele wijzigingen en zo mogelijk ook
uitbreidingen in het Convenant worden aangebracht en op wat langere termijn in overleg met meerdere
partijen een nieuwe organisatorische figuur voor het onderwijsonderzoek wordt gerealiseerd. Hoe dan
ook wil de PROO graag blijven meedenken over de verdere optimalisering van de kennisinfrastructuur
voor het onderwijsonderzoek.

vrijdag 12 juni 2009