Toets gemaakt, en dan?
De periode voorafgaand aan een toets is voor de meeste advocaat-stagiaires hectisch; studiemateriaal nog eens doornemen, digitale leeromgeving (DLO) doorlopen en oefentoetsen maken, terwijl het werk op kantoor gewoon doorgaat. Dan wordt de toets gemaakt en begint het wachten op het resultaat. Waarom laat de uitslag tien weken op zich wachten? Een kijkje achter de schermen bij de toetsbeoordeling.
De beoordelaars
Na de toetsdag zit voor advocaat-stagiaires het werk erop, voor de examencommissie nog niet. Volgens het examenreglement moet die de beoordeling binnen tien weken afronden. Zoveel tijd is nodig om het beoordelen van de toetsen zorgvuldig uit te voeren.
De examencommissie heeft beoordelaars aangewezen om de toetsen na te kijken. Dat zijn vakinhoudelijke juristen uit de praktijk en de wetenschap. De beoordelaars zijn ook toetsontwikkelaar voor hetzelfde vak.
Gesloten vragen
Antwoorden op de gesloten vragen worden geautomatiseerd nagekeken. Na deze stap gaan de beoordelaars met de resultaten aan de slag en analyseren deze. Hebben bijvoorbeeld opvallend veel stagiaires dezelfde vraag foutief beantwoord?
De examencommissie gebruikt de analyse om, voordat de uitslag bekend wordt gemaakt, toetsvragen met opvallende scores nog eens onder de loep te nemen. Soms besluit de examencommissie dan een vraag te laten vervallen of een ander antwoord dan het vooraf als goed bestempelde antwoord ook goed te rekenen.
Open vragen
De antwoorden op de open vragen worden door de beoordelaars nagekeken in de DLO. Een beoordelaar neemt één van de open vragen voor zijn of haar rekening en bekijkt de geanonimiseerde antwoorden van alle deelnemers op die vraag. Dat kost een hoop tijd omdat het vaak om grote aantallen gaat; sommige toetsen worden door bijna 600 stagiaires tegelijkertijd gemaakt.
Voor de beoordelaars is het door de examencommissie vastgestelde antwoordmodel de leidraad, maar hun eigen professionele oordeel is beslissend voor de puntentoekenning. Een antwoord dat alleen wetsartikelen of termen die in het antwoordmodel voorkomen noemt, levert geen of weinig punten op. Waar het om gaat is begrip van, inzicht in en praktische toepassing van de materie waarop de vraag betrekking heeft.
Per vraag kunnen maximaal tien punten worden gescoord. Heeft een stagiaire onvoldoende punten gescoord, dus vijf of minder, dan kijkt een tweede beoordelaar de vraag ook nog na.
Vaststellen cesuur
Als van beide toetsonderdelen de punten bekend zijn, wordt de cesuur door de examencommissie vastgesteld op basis van een vaste berekeningsmethode. De cesuur bepaalt bij welke puntenscore een voldoende toetsresultaat is behaald.
Vanaf dat moment is duidelijk wie er een voldoende of een onvoldoende heeft gehaald. Hierna plaatst de afdeling toetsing de uitslag in de DLO. De examencommissie bevestigt per e-mail de uitslag aan de stagiaires en de patroon.
Er is, kortom, sprake van een zorgvuldig proces dat voor de beoordelaars en de leden van de examencommissie bij vlagen erg arbeidsintensief is, zeker als je bedenkt dat zij meerdere toetsen tegelijkertijd onder hun hoede hebben. Zij combineren hun toetsactiviteiten bovendien met hun dagelijkse advocatuurlijke en academische werk. Benieuwd wie de leden van de examencommissie zijn? Kijk dan hier voor een overzicht.
