Keuzetool Toetsen

Onder digitale toetsen verstaan we toetsen die worden afgenomen in een speciaal daarvoor ontworpen applicatie. Dit kan een functionaliteit van de elektronische leeromgeving zijn als Canvas, of een afzonderlijke toetsapplicatie zoals TestVision of Remindo.

Met een digitale toets kan je gebruikmaken van diverse vraagvormen. Deze lopen uiteen van meerkeuzevragen, drag-and-drop vragen tot korte invulvragen. Digitale toetsen zijn geschikt voor het toetsen van de volgende cognitieve niveaus van Bloom:: onthouden, begrijpen, toepassen, analyseren, en evalueren. Digitale toetsen kunnen zowel formatief als summatief ingezet worden. Bij een summatieve inzet leiden toetsen tot beslissingen over studenten (zoals zakken of slagen), bij een formatieve inzet worden toetsen gebruikt om te bepalen waar studenten staan in hun leerproces, waar zij naar toe moeten werken en hoe zij dit het beste kunnen doen [@van2017toetsen]. In plaats van een digitale toets kan ook worden gekozen voor een fysieke ‘pen-en-papier toets’. Hoewel digitale afname van toetsen verscheidene voordelen heeft, waaronder efficiënt beoordelen en analyseren van gemaakte toetsen en mogelijkheden voor toetsen op afstand, zijn er ook argumenten om te kiezen voor een fysieke toets; bijvoorbeeld wanneer een toets op de campus wordt afgenomen maar er te weinig computers beschikbaar zijn of wanneer de toets opdrachten bevat waarbij tekeningen moeten worden gemaakt. Het is ook mogelijk om fysiek afgenomen toetsen digitaal te beoordelen, door de antwoordbladen in te scannen.

Afhankelijk van de inzet van formatieve of summatieve toetsing zijn er verschillende stappen te zetten in de aanpak. Tevens bepalen de hoeveelheid studenten in je onderwijs en de hoeveelheid beschikbare nakijktijd de …

Formatief

Voorbereiding

Gebruik bij voorkeur hetzelfde toetssysteem als voor de summatieve toets, zodat studenten kunnen wennen aan de omgeving.

Daarbij is het aan te bevelen om het ontwerpen van vragen of didactisch leermateriaal ruim voor aanvang van het onderwijs te doen. Dit is namelijk erg tijdrovend. De inzet van studentassistenten kan hier echter een uitkomst bieden. Zie ook dit interview waarin dit ter sprake komt.

Tijdens afname

De afname van een formatieve toets hoeft zich niet te beperken tot een specifiek moment. Opdrachten kunnen ook gedurende een week opengezet worden of juist ter voorbereiding op een college of werkgroep.

Na afloop

Om een optimaal leereffect te bevorderen is het relevant om studenten na afloop van de formatieve toets toegang te geven tot de resultaten en modelantwoorden.

Voor de docent bieden de resultaten inzicht in waar de kennishiaten zich bevinden. Deze inzichten kunnen vervolgens tijdens de lopende cursus gebruikt worden om het onderwijs te sturen.

Aandachtspunten

Het wel of niet meewegen van formatieve toetsen in de beoordeling en de manier waarop deze worden meegewogen kan van invloed zijn op de inzet van studenten. Met name bij grote groepen kan dit een rol spelen. Overweeg eens een ander beloningssysteem. Zoals een strafstaffel, zoals ook beschreven in [klinkenberg2016role].

Bij een vak waarvan de leerstof ook op een later moment in de opleiding getoetst werd, hebben we een summatieve meerkeuzetoets omgezet naar een formatieve toets. Deze toets wordt door de studenten in drietallen gemaakt. De onderlinge discussie zorgde voor een groot leereffect en wij hoeven geen proctoring meer te gebruiken.

Summatief

Sinds we een oefentoets met proctoring aanbieden, ervaren we veel minder technische problemen bij de echte afname van de online toetsen.

Voorbereiding

Stel voordat je begint aan de constructie van de tentamenvragen eerst een toetsmatrijs/specificatietabel op, om te verzekeren dat de verschillende kennis- en vaardigheidsaspecten die de toets beoogt te meten worden gedekt en daarmee de inhoudsvaliditeit wordt geborgd [@van2017toetsen]. Zie hiervoor bijvoorbeeld deze handreiking van Hogeschool Utrecht.

Het opstellen van je tentamenvragen doe je bij voorkeur door gebruik te maken van een persoonlijke of gedeelde itembank, zodat je later vragen kunt hergebruiken. Meer informatie hierover vind je in het Handboek Itembanken en in de SURF thema-uitgave Digitale toets- en vragenbanken in het onderwijs.

Doorgaans geldt dat hoe meer vragen in de toets worden opgenomen, hoe hoger de betrouwbaarheid is. Voor een toets met gesloten vragen is het aan te bevelen om veertig (in het geval van vierkeuzevragen) à zestig (in het geval van driekeuzevragen) vragen op te nemen, voor het bereiken van een acceptabele betrouwbaarheid [@van2017toetsen].

Pas het vier-ogenprincipe toe: leg de toetsvragen voor aan een collega en vraag om feedback [@van2017toetsen].

Bied, om fraude te voorkomen, vragen en antwoordopties in willekeurige volgorde aan of geef studenten verschillende toetsvragen. Het gebruik van itembanken maakt het gemakkelijker om meerdere toetsversies met een verschillende set van vragen te maken. Meer informatie hierover vind je in het Handboek Itembanken. Het aanbieden van vragen en antwoordopties in een willekeurige volgorde kan gemakkelijk met een digitale toetsapplicatie.

Stel een passende tijdslimiet: teveel tijd vergroot de kans op fraude, maar tijdsnood zorgt voor stress bij studenten en minder valide toetsresultaten. Zie van Berkel (1999) voor tijdsindicaties.

Afhankelijk van de inrichting van het toetsproces binnen je instelling worden sommige taken zoals het plannen van de afname, het toevoegen van studenten aan de afname en het informeren van studenten in meer of mindere mate voor je gedaan.

In het geval van toetsen op afstand:

Communiceer duidelijk en goed over de inzet van een online proctoringmethode. Niet alle studenten hebben thuis een geschikte ruimte of beschikken over de benodigde apparatuur; zeker bij toetsen met proctoring kan dit een probleem vormen. Geef vroegtijdig aan wat je van de studenten verwacht, wat ze nodig hebben, op welke manier ze ondersteuning kunnen krijgen vanuit de instelling (bijvoorbeeld leenapparatuur of een alternatieve afnamelocatie) en hoe ze voorafgaand aan de toetsafname kunnen oefenen.

Bied bij een toets met proctoring een oefentoets aan waarmee de student met het systeem kan oefenen. Dit is ook van belang voor studenten die door een visuele of auditieve beperking gebruikmaken van spraak- of voorleessoftware.

Tijdens afname

Draag er ten behoeve van de betrouwbaarheid van de toets zorg voor dat de omstandigheden waaronder de toets wordt afgenomen zo gelijk mogelijk zijn voor alle studenten.

Zorg bij afname van de toets voor authenticatie, door een bewijs van inschrijving in combinatie met het vragen naar een identificatiebewijs. Maak voor de studenten de gedragsregels en de toegestane bronnen en hulpmiddelen tijdens de afname van de toets bekend, evenals de wijze van behandeling van onregelmatigheden waaronder fraude, de wijze waarop uitslagen worden gecommuniceerd, en de mogelijkheden voor inzage. Draag ook zorg voor een goede surveillance en laat (in het bijzonder bij toetsen op afstand) de examencommissie onderzoeken of, en zo ja, in welke mate de inherente beperkingen van de surveillance een bedreiging vormen voor de betrouwbaarheid van de meting. Het dient aanbeveling om een verslag te laten schrijven van de toetsafname waarin melding gemaakt wordt van relevant geachte voorvallen, storingen, onregelmatigheden, vermeende pogingen tot fraude, vragen van studenten om verduidelijking, pogingen om in discussie te gaan met surveillanten, frequent toiletbezoek, massaal vroegtijdig vertrek van studenten of juist het massaal benutten van de laatste secondes. Voor examinatoren levert deze informatie mogelijke aanknopingspunten voor de definitieve normering en voor een evaluatie van de kwaliteit van de betreffende toets [@van2017toetsen].

Het digitaal afnemen van kennistoetsen is relatief fraudegevoelig. Daarom is het nodig om maatregelen te nemen die dit tegengaan. Digitale toetssystemen kunnen mogelijkheden bieden om fraude zoveel mogelijk te voorkomen. Zo kan een toetssysteem bijvoorbeeld bepaalde computerfuncties uitschakelen, zodat studenten bijvoorbeeld tijdelijk geen externe webpagina’s kunnen openen.

In het geval van toetsen op afstand:

Ter preventie van fraude kan bij toetsen op afstand online surveillance worden toegepast. Live monitoring houdt in dat er een docent aanwezig is in een videoconferentie waarbij studenten in real-time, via bijvoorbeeld een webcam of telefoon, worden bekeken. Bij recorded proctoring worden er video-opnames gemaakt die na afloop steekproefsgewijs worden bekeken. Geautomatiseerde proctoring betekent dat speciale detectiesoftware automatische controles uitvoert op opvallendheden zoals onverwachte bewegingen of omgevingsgeluiden. Meer informatie over online proctoring vind je hier.

Na afloop

Verwerk en analyseer de resultaten van de toets. Kijk hierbij ook naar de kwaliteit van de items, met behulp van psychometrische gegevens zoals de rit-waarde. Als uit de analyse blijkt dat er items zijn waarvan de kwaliteit tekortschiet, neem dan maatregelen om deze te verbeteren, hetzij voor de reeds afgenomen toets (zoals in het geval van een antwoordsleutel die verkeerd is ingevoerd), hetzij voor afname in een toekomstige toets. Zie bijvoorbeeld deze handreiking van Hogeschool Utrecht voor meer informatie over toetsanalyse. Als gekozen is voor een relatieve cesuur of voor een compromismethode [@van2017toetsen], bepaal dan nu op basis van de toetsresultaten de definitieve cesuur.

In het geval van toetsen op afstand:

De verwerking van de proctoringsresultaten is na afloop niet alleen afhankelijk van de gekozen proctoringmethode, maar ook van de procesafspraken die er binnen de instelling gemaakt zijn. Informeer dus naar het beleid en de werkwijze.

Als er gebruik is gemaakt van ‘recorded proctoring’ of ‘automated proctoring’ moeten de opnames geanalyseerd worden. Mogelijke fraudegevallen worden vervolgens ter beoordeling voorgelegd aan de examinator of examencommissie. Als gebruik is gemaakt van recorded proctoring, leg de resultaten dan pas vast als er geen problemen zijn gebleken.

De verwerking van de toetsresultaten verloopt verder op dezelfde manier als het digitaal toetsen op de campus.

Aandachtspunten

Maak een onderbouwde keuze voor de te hanteren cesuur. Zie voor richtlijnen bijvoorbeeld Soeting en Haykens (z.d.)
Verzamel en analyseer psychometrische gegevens van de toets en toetsvragen, zoals de betrouwbaarheidscoëfficiënt en de rit-waarden (doorgaans bieden toetsapplicaties hiervoor mogelijkheden). Gebruik deze gegevens voor het verbeteren van de kwaliteit van de toets(vragen).
Specifiek voor toetsen met open vragen geldt de aanbeveling om een tweede beoordelaar in te schakelen. Laat de beoordelaars de antwoorden onafhankelijk van elkaar beoordelen met behulp van een vooraf geconstrueerd correctievoorschrift.

In het geval van toetsen op afstand:

Bij toetsen op afstand is er een groter risico op fraude dan bij toetsen op de campus, zeker bij gebruik van gesloten vragen. Naast maatregelen als online procotoring kun je overwegen of je zoveel mogelijk open vragen in kunt zetten. Bedenk wel dat dit de nakijktijd aanzienlijk vergroot.
Voor studenten die grote bezwaren hebben tegen de inzet van online proctoring bieden veel instellingen de mogelijkheid om de toets toch op de campus te maken.

Bij de landelijke opleiding tot klinisch perfusionist worden digitale toetsen met behulp van automated proctoring afgenomen. Sinds de introductie hoeven studenten niet meer uit Groningen of Maastricht naar Leiden te reizen voor het maken van een toets.

Toon meer Toon minder

Digitale toetsen kunnen zowel op de campus als online (plaatsonafhankelijk) worden afgenomen. Een keuze die hierbij echter nog te maken valt is of de afname ook tijdonafhankelijk kan. Maken alle studenten de toets tegelijkertijd of kunnen ze dit op verschillende momenten doen? Voor formatieve toetsing kleven hier relatief weinig bezwaren aan. Voor summatieve toetsen heeft dat echter wel implicaties. De vragen van een eerdere afname kunnen immers uitlekken. Voor zowel plaats- als tijdsonafhankelijke summatieve toetsing is het raadzaam om de online proctoring goed op orde te hebben (zie ook Klinkenberg, 2021).

Formatief

Bij het op afstand inzetten van formatieve toetsen kan je denken aan digitale oefentoetsen voor een tentamen dat alle leerdoelen van het tentamen bevat of aan toetsen die een beperkt leerdoel bevragen, zoals een digitale formatieve toets die random vragen selecteert uit een grote vragenbank over een bepaald onderwerp. Een andere mogelijkheid is het inzetten van een oefentoets als een didactisch leerinstrument. Hierbij kan de toetsinstructie in de vorm van kennisclips, tekst, beeld en bestanden bevatten. Een voorbeeld hiervan is een Exceltoets waarin eerst wordt uitgelegd hoe je Excel moet gebruiken, je een Excelbestand kan downloaden, een bepaalde handeling moet uitvoeren en in een invulveld kan aangeven wat een bepaalde uitkomst is van de handeling.

De resultaten van de formatieve toetsen zijn zowel waardevol voor de student als voor de docent. Beiden krijgen hiermee inzicht in waar de student staat in het leerproces, maar ook waar de hiaten zich nog bevinden.

Voordelen

De student kan just in time, binnen het leerproces, direct feedback ontvangen.
De beoordeling kan in sommige gevallen deels of geheel geautomatiseerd worden.
Antwoordmodellen kunnen van narratieve feedback worden voorzien.
Er zijn geen problemen met moeilijk leesbare handschriften.
Toetsresultaten geven input in het leerproces en bieden de docent informatie over onderdelen die nog niet beheerst worden.

Nadelen

Het kost tijd om goede opdrachten te maken en te finetunen.

Summatief

De inzet van digitale toetsen voor cijferbepaling heeft op afstand behoorlijk wat voeten in de aarde. Om de authenticiteit van de toets te kunnen borgen, is het noodzakelijk dat kan worden vastgesteld dat de identiteit van de student gedurende de gehele toetsafname kan worden geverifieerd.

Online proctoring biedt hier een uitkomst, maar de effectiviteit hangt sterk af van de gekozen toepassing. Er zijn grofweg vier vormen van online proctoring te onderscheiden (SURF, 2020):

Live toezicht met conferencing software (SURF whitepaper §1.2)
Live proctoring met proctoring software (SURF whitepaper §1.3)
Opslag en controle achteraf met proctoring software (SURF whitepaper §1.4)
Geautomatiseerde reviewing (SURF whitepaper §1.4)

Afhankelijk van het belang van de toets moet een afweging gemaakt worden welke vorm van online proctoring ingezet moet worden. Informeer binnen je eigen instelling welke voorzieningen beschikbaar zijn en wat het beleid is omtrent de inzet van online proctoring.

Voordelen

Kan een alternatief zijn voor capaciteitsgebrek op de campus.
Geeft studenten met een functiebeperking de mogelijkheid om thuis het tentamen te maken, waar ze wellicht betere voorzieningen hebben.
Legt minder druk op het openbaar vervoer.

Nadelen

Technisch uitdagend. Als er iets misgaat is dat zeer vervelend.
Studenten kunnen online proctoring ervaren als inbreuk op hun privacy, als niet transparant gecommuniceerd wordt over hoe de online proctoring is ingericht.
Studenten kunnen online proctoring als stressverhogend ervaren.

Toon meer Toon minder

Koppel je leerdoelen met tags aan de formatieve en summatieve digitale toetsen en maak deze resultaten inzichtelijk voor studenten en voor jezelf als docent. Zie deze SURF uitgave.
Benadruk voor de formatieve toetsing dat fouten maken is toegestaan, maar dat je als student middels de formatieve toets kunt zien waar je staat in het leerproces. Daarom is het van belang dat studenten de formatieve oefentoetsen serieus en met inzet maken.
Stel bij open vragen beperkingen aan de antwoorden van studenten, bijvoorbeeld in het aantal woorden of in de inhoud van de antwoorden, om te uitgebreide antwoorden te voorkomen.
Wanneer zowel kennis als toepassing worden getoetst, kan de werkdruk verlicht worden door een mix van multiple choice- of invulvragen en open vragen te gebruiken. Er kan ook gebruik worden gemaakt van itembanken of gestandaardiseerde antwoordmodellen waarbij er bijvoorbeeld door de beoordelaar gescand wordt op het voorkomen van bepaalde termen.
Lees als je interesse hebt het gesprek van SURF over publieke waarden in de praktijk met het ethiekkompas in gesprek over online proctoring

Het minimalizeren van fraude bij kennistoetsen op afstand (zonder inzet van online proctoring) Nguyen (2020).
Handboek itembanken SURF: Introductie, stappenplan en verdiepende informatie over het opbouwen van een relevante, …

Het minimalizeren van fraude bij kennistoetsen op afstand (zonder inzet van online proctoring) Nguyen (2020).
Handboek itembanken SURF: Introductie, stappenplan en verdiepende informatie over het opbouwen van een relevante, beheersbare en bruikbare itembank.
Handboek proctoring SURF: 1) Een uitleg over online proctoring 2) Een toelichting over het privacy aspect van online proctoring 3) Een toelichting over fraudepreventie door middel van online proctoring.
Handreiking van Hogeschool Utrecht voor het doorlopen van de verschillende fasen van de toetscyclus
Molkenboer (2015) boek over het opzetten van toetsen met open en gesloten vragen.
SURF thema-uitgave Digitale toets- en vragenbanken in het onderwijs.
Soeting, J. & Haykens, E. (z.d.) Cesuurbepaling houdt veel meer in dan afspreken dat 55% een voldoende is. Hogeschool Utrecht.. Handreiking van Hogeschool Utrecht voor de cesuurbepaling.
Van Berkel, H., Bax, A., & Joosten-ten Brinke, D. (2017). Toetsen in het hoger onderwijs. Bohn Stafleu van Loghum.

Bibliografie

Molkenboer, Harry. 2015. Toetsen Volgens de Toetscyclus. Bureau voor Toetsen & Beoordelen.

Nguyen, Kristopher J., Joseph G. 2020. “Minimize Online Cheating for Online Assessments During COVID-19 Pandemic.” Journal of Chemical Education 97 (9): 3429–35.

Toon meer Toon minder