Caroline Bakkerus: ”Toetsontwikkeling is een langdurig, intensief en zorgvuldig proces.”
Caroline Bakkerus is sinds oktober 2014 Manager Toetsen bij de Uitvoeringsorganisatie van de Beroepsopleiding Advocaten. Haar insteek: “Bij toetsontwikkeling onderzoeken wij steeds opnieuw de mogelijkheden tot kwaliteitsverbetering”.
Caroline Bakkerus heeft na afronding van de raio-opleiding gewerkt als officier van justitie bij de rechtbank Arnhem en was redactiesecretaris van het juridisch vaktijdschrift JOR bij de Radboud Universiteit Nijmegen. Haar insteek: “Bij toetsontwikkeling onderzoeken wij steeds opnieuw de mogelijkheden tot kwaliteitsverbetering”.
Van toetstermen en vakbeschrijving naar toets
“Iedere toets die binnen de Beroepsopleiding Advocaten wordt afgenomen, is gebaseerd op de vakbeschrijving met de toetstermen. Per vak laten wij een Toetsontwikkelteam, bestaande uit praktijkjuristen en wetenschappers, multiple choice-vragen en open vragen ontwikkelen. Bij het opstellen van de vragen kijkt ook een onderwijskundige mee. Wanneer het Toetsontwikkelteam alle vragen heeft vastgesteld, worden deze opgenomen in een digitale database en wordt daaruit, op basis van een zogenaamde toetsmatrijs (de vertaling van de toetstermen naar een blauwdruk voor de toets, red.), een toets getrokken. Daarna voert de hoofdredactie van het Toetsontwikkelteam verschillende reviews uit en wordt de toets ter beoordeling voorgelegd aan de Toetskwaliteitscommissie. De Examencommissie van de Nederlandse Orde van Advocaten stelt de toets vervolgens, al dan niet na de doorvoering van amendementen, vast. Daarna is de toets gereed voor – digitale – afname. Het Toetsontwikkelteam heeft dan al eerder een, eveneens door de Toetskwaliteitscommissie beoordeelde, oefentoets opgeleverd. Deze stellen wij voor het eerste cohort enige weken voorafgaand aan de eindtoets ter beschikking in de Digitale Leeromgeving. Voor het tweede en de volgende cohorten zijn alle oefentoetsen al eerder beschikbaar.”
Langdurig, intensief en zorgvuldig proces
“Toetsontwikkeling is een langdurig, intensief en zorgvuldig proces waarbij veel advocaten, onderwijskundigen en medewerkers van de Uitvoeringsorganisatie betrokken zijn. De tijdsdruk is hoog, gegeven het aantal toetsen dat moet worden ontwikkeld en het feit dat alle vakbeschrijvingen nieuw zijn. De interpretatie daarvan vergt afstemming, inhoudelijke discussies en ervaring.”
Nakijken
Ook het nakijken van de digitaal afgenomen toetsen verloopt via een vaste procedure. De gesloten (‘multiple choice’) vragen worden digitaal nagekeken. Vervolgens wordt een psychometrische analyse van de gegeven antwoorden gemaakt en wordt gekeken of een vraag bijvoorbeeld door veel stagiaires fout is beantwoord en mogelijk te moeilijk was. Ook kan blijken dat achteraf gezien het onderscheid tussen het juiste en een fout antwoord niet helder genoeg is. Die analyse wordt ter beoordeling voorgelegd aan achtereenvolgens de Toetskwaliteitscommissie en de Examencommissie. De open vragen worden nagekeken door inhoudsdeskundigen. Elke beoordelaar kijkt van alle stagiaires dezelfde vraag na, bijvoorbeeld open vraag 2. In de gevallen waarin een onvoldoende wordt gegeven voor een vraag, vindt beoordeling door een tweede beoordelaar plaats. Zodra de uitslagen van de vragen (gesloten én open) bekend zijn, wordt op basis van een wetenschappelijk verantwoorde methode een cesuurvoorstel gedaan aan de Examencommissie. De Examencommissie stelt de beoordeling – en daarmee het eindcijfer – vast. Uiterlijk tien weken na de toetsdatum wordt de uitslag aan de stagiaires bekend gemaakt.
Actuele aandachtspunten
“Het eerste cohort heeft in het najaar van 2014 de eerste keuzevakken en het voor iedereen verplichte vak Jaarrekeninglezen gevolgd en begin januari de toetsen afgelegd. De komende maanden ontwikkelen wij de toetsen voor de 20 keuzevakken die in het voorjaar van 2015 worden aangeboden aan het eerste cohort en in juni worden getoetst. Maar ook wat betreft de al bestaande toetsen staan we niet stil. Mede op basis van de feedback die wij ontvangen van de stagiaires, blijven wij de toetsen verbeteren en aanscherpen. We kijken daarbij uiteraard naar inhoudelijke verbeteringen, maar ook naar de toetslocatie en de regels rondom de toetsafname.”
