Cito
Zijn examenresultaten van jaar tot jaar vergelijkbaar?
22 mei 2002
Je hoort regelmatig de opmerking: Het examen van dit jaar in vak x was
veel moeilijker of gemakkelijker dan dat van vorig jaar. Maar betekent
dat ook dat kandidaten benadeeld worden? Op grond van de principes van
eerlijkheid en transparantie van toetsing mogen kandidaten verwachten
dat het examen waarvoor ze opgaan gelijkwaardig is aan de oudere
examens. En dat streven examenmakers dan ook na. Maar wat betekent
gelijkwaardigheid en hoe wordt die bereikt?
Allereerst maakt de Citogroep in opdracht van de Centrale
examencommissie vaststelling opgaven (Cevo) examens die qua inhoud zo
gelijkwaardig mogelijk zijn. De examenprogramma's liggen vast en de
leerstof die in de examens aan de orde wordt gesteld ook. Tevens staat
vast welke vaardigheden nodig zijn voor het beantwoorden van de
vragen. Door examens samen te stellen aan de hand van een examenmodel,
in vakjargon toetsmatrijs, is ook de spreiding over de leerstof van
jaar tot jaar vergelijkbaar. Ten slotte worden examenvragen gemaakt
door docenten die ruime ervaring hebben in examenklassen en nog eens
beoordeeld door vakdeskundigen.
Maar dan nog is niet gegarandeerd dat de examens van jaar tot jaar
even moeilijk zijn. Het blijkt helaas op voorhand erg moeilijk om
precies in te schatten hoe moeilijk een bepaalde vraag is. Dus, hoewel
examens inhoudelijk gelijkwaardig zijn, kunnen ze toch nog verschillen
in moeilijkheid.
Dit verschil in moeilijkheidsgraad hoeft geen probleem te zijn als
daarmee bij de normering van het examen rekening wordt gehouden.
Normering
Een eenvoudige manier is de normering zo aanpassen dat elk jaar de
gemiddelde score op het examen gelijk is. Een vergelijkbare methode is
de normering zo aan te passen dat het percentage leerlingen dat een
onvoldoende haalt op het examen elk jaar even groot is. In de praktijk
wordt deze laatste methode bij een deel van de examens gebruikt,
bijvoorbeeld wanneer een examen weinig kandidaten heeft of wanneer het
onderwerp of het programma van het examen vaak wisselt. Ook spelen
kostenoverwegingen een rol. Deze methoden zijn eenvoudig uit te
voeren, maar ze hebben ook een belangrijk nadeel. Ze gaan eraan
voorbij dat de vaardigheid van de leerlingen van jaar tot jaar zou
kunnen verschillen. Groepen leerlingen kunnen vaardiger of minder
vaardig zijn. Voor een individuele leerling zou de waardering van zijn
of haar prestatie mede afhangen van de prestaties van de andere
examenkandidaten. Als de andere leerlingen beter presteren krijgt hij
of zij een lager cijfer dan wanneer de andere leerlingen minder
gepresteerd zouden hebben. Het gevolg is dat het voor leerlingen uit
kan maken in welk jaar zij examen doen.
Zelfde prestatie, zelfde cijfer
Het doel van de normering van examens is echter om voor een zelfde
prestatie elk jaar een zelfde cijfer te geven. Hiervoor is het nodig
een onderscheid te maken tussen de moeilijkheid van de examens en de
vaardigheid van de examenkandidaten. Op basis van vergelijking van de
verzamelde afnamegegevens van twee examens, het ene van dit jaar en
het andere van vorig jaar, kan dit onderscheid echter niet gemaakt
worden. Want als het behaalde aantal scorepunten op het nieuwe examen
overwegend lager is dan het behaalde aantal scorepunten op het examen
van vorig jaar dan is niet bekend of dat aan de opgaven lag of aan een
verschil in vaardigheid van de kandidaten, of aan beide.
Aanvullend onderzoek
Om dit onderscheid toch te kunnen maken moet er aanvullende informatie
verzameld worden. Het eenvoudigst zou zijn om beide examens bij
dezelfde groep leerlingen af te nemen. In dat geval zijn immers
verschillen in resultaten op beide examens alleen het gevolg van een
verschil in moeilijkheid van de examens. Het is echter praktisch niet
haalbaar om twee examens onder examencondities af te nemen bij
dezelfde groep leerlingen. Belangrijke complicaties hierbij zijn dat
de vragen van oude examens openbaar en daarmee bekend zijn, dat het
niet mogelijk is vragen op te nemen in een examen die niet meetellen
voor het eindcijfer en dat het nieuwe examen in verband met
geheimhouding niet afgenomen kan worden voor de eigenlijke
examendatum. Verder is het praktisch onmogelijk om bij dezelfde groep
leerlingen een toets ter grootte van twee volledige examens af te
nemen. Dat zou vier tot zes uur kosten. En als dat al zou lukken, dan
moeten ook nog eens de afnamecondities vergelijkbaar zijn aan de
examenconditie. Waarbij het moeilijkste punt is dat de leerling
evenveel belang moet hebben bij een goed resultaat als bij een echt
examen het geval zou zijn.
Model
Gelukkig is het niet noodzakelijk om de beide volledige examens af te
nemen bij dezelfde groep leerlingen. Met beperkte aanvullende gegevens
van groepen leerlingen die een aantal van de vragen uit het ene examen
en een aantal van de vragen uit het andere examen maken, kunnen we de
prestatie op beide examens van een gelijkwaardige groep leerlingen met
behulp van een statistisch model schatten.
In de praktijk worden de aanvullende gegevens verzameld bij groepen
leerlingen die geacht mogen worden de opgaven op een redelijk niveau
te kunnen maken. Er bestaan bij examens twee verschillende opzetten
voor de verzameling van de aanvullende gegevens. In beide opzetten
worden vragen waarvan bekend is hoe moeilijk ze zijn gecombineerd met
nieuwe vragen. In het ene geval worden deze vragen afgenomen voordat
het nieuwe examen is samengesteld. Bij de samenstelling van het examen
wordt er dan voor gezorgd dat het examen een gelijke
moeilijkheidsgraad heeft met voorgaande examens. In het tweede geval
worden de aanvullende gegevens verzameld direct na afloop van het
examen zodat de leerlingen nog niet bekend kunnen zijn met de opgaven
uit het nieuwe examen. Op basis van een statistisch model wordt daarna
bekeken hoe het examen genormeerd moet worden om een gelijke
prestatie-eis te stellen als op eerdere examens. En daarmee worden
leerlingen niet bevoordeeld of benadeeld ten opzichte van leerlingen
in een ander examenjaar.
Rol Cevo
De Centrale examencommissie vaststelling opgaven (Cevo) stelt namens
de minister de examenopgaven vast en is ook verantwoordelijk voor de
normering. De Citogroep adviseert de Cevo over de normering van de
examens. De adviesnormen van de Citogroep zijn gebaseerd op de
procedures zoals hier beschreven. Deze adviesnormen zijn voor de Cevo
een belangrijk gegeven. De Cevo kan echter afwijken van de adviesnorm,
bijvoorbeeld omdat het examenprogramma of de studielast gewijzigd is.
Voor geïnteresseerden is een uitgebreide beschrijving van de gebruikte
statistische modellen te vinden op
http://www.toetswijzer.nl/html/normering/normering.pdf