Regels en afspraken
Het normeringsproces begint met een aantal basisafspraken. De basisafspraken worden verwoord in uitgangspunten en regels. Deze worden door het College voor Toetsen en Examens (CvTE), in samenspraak met Cito, opgesteld. Aan de hand hiervan vindt de normering plaats:
Uitgangspunt 1: Aan leerlingen worden van jaar tot jaar bij eenzelfde vak in hetzelfde schooltype dezelfde eisen gesteld.
Uitgangspunt 2: Leerlingen zijn van jaar tot jaar even vaardig.
Dit betekent dat we ervan uitgaan dat leerlingen van jaar tot jaar hetzelfde gemiddelde cijfer halen. Uiteraard onderzoeken we wel elk jaar of dit uitgangspunt stand houdt. Zie punt 2 Aanvullende gegevens.
Uitgangspunt 3: Leerlingen mogen niet de dupe worden van fouten in het examen.
Vaak worden fouten in een centraal examen meteen na afname ontdekt. De fout wordt dan hersteld met een aanvulling op het correctievoorschrift. Soms worden fouten pas ontdekt op het moment dat de correctie al in een vergevorderd stadium is. In dat geval kan er voor een fout gecompenseerd worden via de N-term. We gaan hier dieper op in bij punt 10 .
De CvTE-methode houdt in dat elk gescoord punt tot een hoger cijfer leidt: een score van 0% correspondeert met het cijfer 1 en een score van 100% met het cijfer 10.
De uitgangspunten voor de normering zijn vastgelegd in wet- en regelgeving. Zie ook: Regeling omzetten scores in cijfers.
Aanvullende gegevens vooraf
Als het examen Engels dit jaar beter wordt gemaakt dan vorig jaar, dan kunnen er drie dingen spelen: het examen kan makkelijker zijn dan vorig jaar of de leerlingen hebben beter gepresteerd. Of misschien wel allebei.
Om een eerlijke vergelijking te kunnen maken, moet je de groepen kunnen vergelijken, waarna je conclusies kan trekken over de examens. Of je moet de examens vergelijken, waarna je conclusies kan trekken over de groepen leerlingen die het examen hebben gemaakt. Het CvTE doet, samen met Cito, het laatste.
We maken gebruik van verschillende equivaleringsmethodes om de moeilijkheid van de examens te bepalen: pretest, posttest, anker-in-package en standaardbepaling. Als we voor een vak, bijvoorbeeld Engels, de moeilijkheidsgraad kennen van het examen van dit jaar en van het examen van vorig jaar, kunnen we bepalen of de leerlingen ook beter hebben gepresteerd. We kunnen dan bepalen of de leerlingen van dit jaar vaardiger zijn dan de leerlingen van vorig jaar.
We meten dus elk jaar de vaardigheid van de leerlingen. Deze zetten we uit in een zogenaamde trendgrafiek. Met behulp van deze trendgrafiek kunnen we bepalen of het uitgangspunt dat leerlingen van jaar tot jaar even vaardig zijn nog steeds geldt.
Scores leerlingen
Een belangrijke stap in het normeringsproces is het verzamelen van de scores van de leerlingen. Docenten leveren deze gegevens aan nadat zij het werk van hun kandidaten hebben gecorrigeerd en beoordeeld. Bij de digitale centrale examens worden de scores automatisch via Facet aangeleverd. Cito gebruikt deze gegevens voor de technische analyse (zie punt 4).
Technische analyse
Zodra de scores van de leerlingen binnen zijn, stelt Cito aan de hand van de beschikbare gegevens een toets- en itemanalyse op (TIA). Deze analyse geeft een beeld hoe het examen als geheel en hoe elke vraag afzonderlijk is gemaakt.
Cito berekent wat de technische N-term zou moeten zijn volgens de afgesproken uitgangspunten. Als vooraf geconstateerd is dat de vaardigheid van de kandidaten voor een bepaald vak stabiel is, wordt gekeken bij welke N-term de kandidaten voor een vak hetzelfde gemiddelde cijfer halen als het voorgaande jaar. Als het vaardigheidsniveau niet stabiel is gebleken, dan wordt aan de hand van de gegevens gekeken wat het verschil is met voorgaande jaren. Uit die berekening volgt een hogere of lagere N-term, afhankelijk van het feit of het vaardigheidsniveau hoger of lager is uitgevallen.
Deze technische N-term is nog niet de definitieve N-term. Hoe we tot de definitieve N-term komen wordt beschreven bij de punten 10 en 11. We beschikken immers over nog meer relevante gegevens. Dat beschrijven we bij de punten 5 t/m 9.
Examenlijn
Wanneer docenten bij het nakijken een fout in het centraal examen constateren, kunnen zij die melden aan de Examenlijn van het College voor Toetsen en Examens (CvTE).
Een fout in het examen wordt altijd gecorrigeerd. De manier waarop dat gebeurt is afhankelijk van het moment in het examenproces waarop de fout wordt ontdekt. We kunnen kiezen voor:
- Een inhoudelijke aanvulling op het cv.
- Het neutraliseren of schrappen van een vraag.
- De fout compenseren via de N-term.
Overige meldingen, zoals bijvoorbeeld over de lengte van de examens, wegen we later in het normeringsproces mee (zie punt 10).
LAKS
Leerlingen melden na afname van het examen hun opmerkingen bij de klachtenlijn van het LAKS. Deze meldingen bij het LAKS spelen een rol bij de normering. Het LAKS verzamelt alle klachten van leerlingen en legt deze samen met enkele concrete vragen voor aan het College voor Toetsen en Examens (CvTE). De meldingen van het LAKS worden op dezelfde manier behandeld als de meldingen aan de Examenlijn (zie punt 5).
Bij het beoordelen van de klachten kijken het LAKS en het CvTE (vooral) naar de inhoud van de klacht, niet naar het aantal. Een enkele gegronde inhoudelijke klacht kan voldoende zijn voor een aanpassing. Als er veel klachten zijn over een te moeilijk examen wordt dat altijd getoetst aan de item-analyse om na te gaan of die dat bevestigt. Is dat het geval, dan wordt het meegenomen in het normering, anders niet.
Examenbesprekingen door vakverenigingen
Elk jaar organiseren veel vakverenigingen direct na de afname van het centraal examen een bespreking van de opgaven en het correctievoorschrift. Na afloop van de bespreking sturen vakverenigingen opmerkingen door aan het College voor Toetsen en Examens (CvTE). De meldingen van de vakverenigingen worden meegewogen in de normering, op dezelfde manier als de meldingen aan de Examenlijn (zie punt 5).
Bevraging docenten
Direct na het uitvoeren van de eerste correctie wordt docenten gevraagd naar hun mening over de moeilijkheid en de lengte van het examen en de aansluiting van het examen op het gegeven onderwijs. Ook wordt aan hen gevraagd welk rapportcijfer zij aan dit centraal examen geven. De resultaten van deze bevraging (de quickscan) worden meegenomen bij de normering. Bij de flexibele digitale centrale examens vindt nog geen quickscan plaats. Bij de beroepsgerichte examens van het vmbo worden de gegevens uit een enquête meegenomen, die wordt afgenomen door de platforms vmbo.
De quickscan geeft een beeld van de mening van de docenten over het centraal examen nadat zij de eerste correctie hebben verricht. De resultaten van de quickscan worden gebruikt bij de inhoudelijke analyse. De resultaten van de quickscans en de enquêtes van de platforms vmbo zijn na afloop van de examenperiodes terug te vinden op de vakpagina’s op Examenblad.
Toetstechnisch advies Cito
Op basis van de gegevens uit de technische analyse (zie punt 4) onderzoekt Cito of er een aanleiding is om af te wijken van de technische normeringsterm. Dat kan bijvoorbeeld zijn omdat de toets- en itemanalyse aanwijzingen geeft dat veel kandidaten in tijdnood zijn gekomen of dat vooral de meer vaardige kandidaten bij sommige vragen mogelijk op een verkeerd been zijn gezet. Dat kan dan aanleiding zijn om aan het College voor Toetsen en Examens (CvTE) te adviseren af te wijken van de technische N-term.
Inhoudelijke analyse CvTE
Als alle gegevens verzameld zijn, zijn de vaststellingscommissies van het College voor Toetsen en Examens (CvTE) aan zet. Een vaststellingscommissie bestaat uit docenten die les geven aan de examenkandidaten waar het examen voor bedoeld is. De vaststellingscommissie heeft het examen (na constructie) vastgesteld en adviseert het CvTE over de uiteindelijke N-term van een centraal examen. Hierbij maakt de vaststellingscommissie gebruik van alle kwantitatieve én kwalitatieve gegevens die er zijn. Belangrijk hierbij is de vraag of er in het examen zaken zijn aangetroffen waardoor leerlingen in onvoldoende mate konden laten zien wat ze kunnen. Als dat zo is, kan de vaststellingscommissie daar rekening mee houden in haar normeringsadvies.
Besluit CvTE
Het College voor Toetsen en Examens (CvTE) neemt het definitieve besluit over de N-termen. Dit doet het in overleg met normeringsdeskundigen van Cito, die daarbij adviseren. In deze stap worden ook de door de vaststellingscommissie geadviseerde N-term en de technische N-term meegenomen.
Als de vaststellingscommissie adviseert om de N-term aan te passen weegt het CvTE de argumenten. Het CvTE neem uiteindelijk het besluit over de N-term. Als een advies van een vaststellingscommissie niet afwijkt van het technisch normeringsadvies en er zijn geen aanwijzingen dat er bijzondere dingen met het examen aan de hand zijn, dan wordt de technische N-term als definitieve N-term vastgesteld.
Definitieve N-term
Ten slotte worden de N-termen om 8.00 uur ’s ochtends op Examenblad gepubliceerd op de dag die daarvoor in de jaarplanning is aangewezen . Op dat moment gaat er ook een mailing naar de scholen. Vanaf dat moment kunnen scholen de behaalde scores van hun leerlingen omzetten in een cijfer en kunnen ze vaststellen welke leerlingen zijn geslaagd en welke niet.