Hoofdstuk 1 Rapportage

De COVID-19-crisis toonde hoe veerkrachtig het hoger onderwijs kan zijn op het gebied van online onderwijs, maar ook waar de pijnpunten lagen. De pandemie maakte tijd- en plaatsonafhankelijk toetsen noodzakelijk. Tegelijkertijd kwamen daarmee ook verschillende uitdagingen aan het licht. Om die reden is eind 2020 de landelijke werkgroep Toetsen op afstand opgericht als onderdeel van het Versnellingsplan Onderwijsinnovatie met ICT, een gezamenlijk initiatief van VSNU, VH en SURF. De werkgroep heeft in het voorjaar van 2021 een vragenlijst uitgezet onder docenten in het Nederlandse hoger onderwijs met betrekking tot toetsen op afstand. Het doel van deze vragenlijst is om vast te stellen welke problemen er spelen bij docenten, welke inzichten het beste gedeeld kunnen worden en aan welke oplossingen en praktische handvatten docenten behoefte hebben, zowel tijdens als na de COVID-19-situatie. Dit eerste hoofdstuk bevat een rapportage van de resultaten van de vragenlijst. Het geeft een overzicht van welke problemen docenten tegenkwamen, alsmede een richting en handvatten voor oplossingen en tools die docenten in de toekomst kunnen helpen bij toetsen op afstand. In hoofdstuk 2 staat een samenvatting van de resultaten per vraag uit de vragenlijst. In hoofdstuk 3 is meer informatie over de vragenlijst te vinden, evenals de vragenlijst zelf en de data van de respondenten die toestemming hebben gegeven om de antwoorden publiekelijk beschikbaar te maken.

1.1 Signaleren vraagstukken

De vragenlijst bestaat uit 19 open en gesloten vragen, verdeeld over vijf categorieën: (1) toetsen op afstand, (2) toetsdoel en toetsontwerp, (3) procedures, regels, richtlijnen en toetsorganisatie, (4) fraudepreventie en (5) visie op toetsen op afstand. Daarnaast werden nog enkele demografische vragen gesteld. De vragenlijst is verspreid via sociale media en nieuwsbrieven van het Versnellingsplan, het Netwerk Toetsbekwaamheid h(b)o en de SIG Digitaal Toetsen.

201 respondenten zijn gestart met de vragenlijst en hebben de vragenlijst deels of geheel beantwoord. 151 docenten hebben bruikbare antwoorden gegeven. 66,9% van die 151 hebben meer dan 70% van de vragen beantwoord. Respondenten kwamen vooral uit het hbo (78,9%) en deels ook uit het wo (16,8%). De respondenten kwamen het meest uit de domeinen economie en bedrijf, onderwijs en opvoeding, techniek en gezondheid, en dan voornamelijk uit grote onderwijsinstellingen. Het merendeel van de respondenten was docent, meestal in de rol van examinator. De statistische analyse met behulp van SPSS liet geen significante verschillen zien tussen de gesloten vragen en de demografische kenmerken. Er is in de antwoorden daarom geen verschil gemaakt tussen bijvoorbeeld antwoorden van docenten uit het wo of het hbo. Op de antwoorden op de open vragen is een beknopte inhoudelijke thematische analyse uitgevoerd met behulp van het programma ATLAS.Ti8. Voor deze laatste analyse zijn in twee rondes thema’s geïdentificeerd en besproken met de werkgroep.

De geïdentificeerde thema’s zijn: (1) wijzigingen bij toetsen tijdens COVID-19, (2) uitdagingen bij toetsen op afstand en (3) kennisbronnen voor toetsen op afstand. Deze thema’s worden hieronder beschreven.

1.2 Wijzigingen bij toetsen tijdens COVID-19

In de eerste plaats was de werkgroep benieuwd of toetsing in het hoger onderwijs doorgang gevonden had en of daar wijzigingen in plaats hadden gevonden. De docenten werd gevraagd of toetsen werden afgenomen zoals die in het toetsprogramma en/of de onderwijs- en examenregelingen beschreven staan. Voor toetsen met enkel een formatieve functie was dat in meerderheid het geval, slechts een kwart van de docenten gaf aan dat deze toetsen werden aangepast. Voor summatieve toetsen lag dat anders, daarvan gaf een kleine meerderheid van de docenten aan dat de toetsen werden aangepast. Daarbij wordt wel een kanttekening geplaatst: door sommige docenten werd een wijziging in afname, bijvoorbeeld een presentatie via Teams in plaats van op locatie, niet als wijziging gezien. Immers worden de doelen, de toetsvorm en de beoordeling niet aangepast; niet elke docent noemt een online afname een wijziging.

1.3 Plaats van de toetsing

De COVID-19 maatregelen hebben een grote invloed gehad op de plaats waar toetsing plaatsvond. Veruit de meeste docenten geven aan dat zij op afstand getoetst hebben. Het grootste deel van de toetsing vond tijdens de COVID-19 maatregelen dan ook niet op de instelling plaats; de meeste toetsing vond plaats op afstand. Een derde van de docenten geeft aan dat er een hybride model gebruikt werd als het gaat om de plaats van de toetsafname. Ongeveer een kwart gaf aan dat toetsing enkel op de instelling plaatsvond.

1.4 Aanpassingen aan toetsing

De meeste docenten geven aan dat aanpassingen in de toetsvorm noodzakelijk waren. Daardoor nan sommige gevallen de variatie in verschillende toetsvormen binnen het onderwijs toe. Het merendeel van de aanpassingen bestond uit het omzetten van een kennistoets naar een take-home tentamen (bijvoorbeeld casusopdrachten, open vragen of essay opdrachten) dat meestal door studenten thuis uitgewerkt wordt, zonder toezicht. Een groot aantal respondenten gaf aan dat assessments die normaliter fysiek afgenomen worden, zoals portfoliogesprekken, nu online afgenomen werden via een videoverbinding. Daarbij werden de eisen meestal gelijk gehouden en is enkel de afnamevorm aangepast naar online. Bepaalde beoordelingen, zoals stagebeoordelingen, waren soms echter niet mogelijk. Een enkele toets werd uitgesteld wanneer fysieke afname noodzakelijk werd geacht. In de basis van toetsen, zoals de toetsdoelen de toetsmatrijs, werden weinig aanpassingen gedaan.

Dit maakt duidelijk dat de COVID-19 maatregelen ervoor gezorgd hebben dat er veel meer op afstand werd getoetst dan gebruikelijk, en dat daarvoor met name aanpassingen in de afname en toetsvorm noodzakelijk waren.

1.5 Uitdagingen bij toetsen op afstand

De meeste docenten hebben goede ervaringen met de aangepaste toets- en afnamevormen; meer dan de helft van de docenten geeft aan in de toekomst zowel de nieuwe aangepaste toetsen als de oorspronkelijke toetsen te gaan gebruiken. Echter zijn docenten ook tegen diverse uitdagingen aangelopen bij het toetsen op afstand.

1.6 Uitdagingen bij aanpassing van toetsen

Docenten hebben de meeste problemen ervaren bij vaardigheidstoetsen en kennistoetsen. Vaardigheidstoetsen werden vooral uitgesteld, omdat docenten het lastig vonden om deze op afstand af te nemen. Bij kennistoetsen liepen docenten vaak tegen het probleem aan dat de vorm die de toets bij de omzetting moest krijgen niet duidelijk was. Vanwege de tijdsdruk moest er echter wel veel gebeuren en geleerd worden. Instituten zagen al snel het gevaar in van het alleen maar uitstellen van toetsen. De hoeveelheid tijd en moeite die het maken van goede toetsvragen kost, leverde een hoge werkdruk bij docenten op. Zeker bij grote groepen studenten levert de taxonomische omzetting problemen op, doordat de (veelal) open vragen een grotere nakijklast geven voor docenten. Vanwege fraudegevoeligheid werden open vragen en opdrachten met unieke antwoorden van studenten vaak wel als oplossing voor dit probleem aangedragen. Een alternatief is om veel verschillende versies van toetsvragen en toetsen te maken, maar ook dat levert een hoge werkdruk op. Daar komt bij dat deze vragen niet hergebruikt konden worden omdat gebleken is dat studenten vragen verzamelen en met elkaar delen.

Bij het beantwoorden van de vragen uiten docenten hun zorgen over de kwaliteit van de toetsing. Er worden veel opmerkingen gemaakt over de toetskwaliteit, de borging van de toetskwaliteit en gerelateerde zaken als fraudegevoeligheid, online proctoring en de werk- en tijdsdruk. Een aantal docenten geeft aan dat de nadruk bij deze omgezette toetsen minder op kennisreproductie komt te liggen. In een aantal gevallen worden de negatieve kanten van online proctoring benoemd, zoals de ethische afweging en de weerstand van studenten en docenten tegen online proctoring.

Bij toetsen op afstand is het voorkomen en opmerken van fraude een groter probleem dan bij toetsen op locatie. Hoe controleer je de identiteit van de student en hoe voorkom je dat er antwoorden gedeeld worden? Doordat er minder controle uitgeoefend kan worden op de omgeving waarin de toets afgenomen wordt, is preventie van fraude een belangrijk aandachtspunt bij het toetsen op afstand, zo geven docenten aan. Toch zijn er wel een aantal maatregelen die docenten nemen. Sommige maatregelen zijn preventief, maar een aantal ook curatief. In Tabel 1 staan de meest genoemde maatregelen.

Genoemde maatregelen tegen fraude:

Actie Frequentie
Online proctoring 28
Unieke toets per student 17
Inzetten plagiaatsoftware 12
Toets met random vragen/volgorde 9
Verkorten tijdsduur 9
Verificatiegesprekken 8
Toets in blokken zonder terugbladerfunctie 4
Studenten verklaring laten tekenen 4
Mondelinge toets afname 4
Afnemen van digitale toetsen op locatie 2
Informatie naar studenten over wat fraude is 2
Meerdere versies 2
Lockdown browser 1

Ondanks bovenstaande maatregelen geven veel docenten aan dat fraude niet altijd voorkomen kon worden en dat deze maatregelen slechts in zeer beperkte mate hielpen. Met name bij online proctoring zijn veel gevallen benoemd waarbij achteraf bleek dat er toch gefraudeerd was: “Achteraf gehoord dat ook hier geholpen is bij de toets… zonder dat de docent dat gezien heeft…”. Het is dan ook niet verwonderlijk dat een groot aantal docenten van mening is dat bijvoorbeeld het toetsen van kennis echt voorbehouden is aan toetsen op locatie, al dan niet met behulp van ICT.

Docenten hebben dus meerdere uitdagingen bij toetsen op afstand aan weten te pakken. Ze hebben in een korte tijd veel nieuwe kennis op moeten doen om aanpassingen in de toetsen voor elkaar te krijgen. Docenten hebben noodgedwongen een grote professionaliseringsslag gemaakt, maar dat heeft wel een zware wissel getrokken op docenten vanwege de tijds- en werkdruk.

1.7 Kennisbronnen voor toetsen op afstand

Er is veel literatuur beschikbaar over toetsen op afstand en over alternatieve toetsvormen. Er zijn meerdere lectoraten binnen het hbo en leerstoelen binnen het wo die zich bezighouden met toetsing. De meeste docenten gaven aan dat ze tijdens de coronapandemie de beschikking hadden over bronnen die bedoeld zijn voor het toetsen op afstand.

Paradoxaal is dat er zowel docenten zijn die aangeven dat bepaalde handreikingen erg geholpen hebben als docenten die aangeven dat er behoefte is aan bepaalde handreikingen. Niet alle docenten hebben bestaande handreikingen gevonden, of zij misten het overzicht: “… omdat je door de bomen het bos niet meer zien. Een heldere boomstructuur zou mij bijvoorbeeld erg kunnen helpen…”.

Docenten benoemen concrete bronnen die geholpen hebben, zoals de resultaten uit het onderzoek naar formatief evalueren van Baartman en Gullikers (2017) of boeken zoals Programmatisch toetsen (Baartman, van Schilt-Mol, & van der Vleuten, 2020) en Toetsrevolutie (Sluijsmans & Segers, 2018). Deze literatuur richt zich echter voornamelijk op de doorontwikkeling van assessmentpraktijken, en niet perse op oplossingen binnen de COVID-19 maatregelen. Daarnaast is veelvuldig gebruik gemaakt van de documenten die verschillende hogescholen aan elkaar beschikbaar stelden, bijvoorbeeld binnen het netwerk Toetsbekwaamheid h(b)o. Vele instituten hebben deze handreikingen vertaald naar hun eigen context. Wat werd gemist zijn concrete handvatten en goede begeleiding om toetsen om te zetten en om goede toetsvragen te construeren, zowel op inhoudelijk als organisatorisch vlak. Ook goede voorbeelden worden als helpend ervaren, bijvoorbeeld in de vorm van instructievideo’s.

De onderstaande aanbevelingen voor concrete handreikingen worden bij navraag door docenten benoemd en kunnen dienen als inspiratie voor concrete tools die ontwikkeld kunnen worden.

  • Inrichting van een digitale toetsomgeving
  • Inrichting van online proctoring
  • Inrichting van ‘high stakes’-momenten, zoals bijvoorbeeld assessmentgesprekken (bij grote EC eenheden)
  • Inrichting van toetsen voor grote groepen
  • Toetsen van vaardigheden
  • Stappenplannen voor het omzetten van of alternatief voor toetsvragen, toetsvormen en toetssystemen
  • Informatie over privacyregels bij het omzetten naar online toetsvarianten
  • Instructies voor betrokkenen bij online toetsen
  • Instructie voor het lezen en interpreteren van de psychometrische analyses die veel software geeft
  • Inzicht in de kosten van het omzetten van het bovenstaande

1.8 Conclusie en implicaties voor tools

Uit deze verkenning blijkt ten eerste dat toetsing op grote schaal wezenlijke aanpassingen heeft ondergaan naar aanleiding van de COVID-19 maatregelen. De aanpassingen zitten met name in de wijze van afname en de omzetting van kennistoetsen naar vormen die op afstand afgenomen kunnen worden. Een groot deel van de toetsing heeft dan ook, ondanks alle beperkingen, plaatsgevonden. Toetsen waarvan enkel de afname aangepast werd, waren daar meestal al geschikt voor en behoefden geen inhoudelijke aanpassingen. Kennistoetsen zijn niet van zichzelf geschikt voor afname op afstand; daarbij hebben dan ook de meeste inhoudelijke aanpassingen plaatsgevonden. De eerste uitdaging lag voor docenten bij het ontwerpen van deze alternatieve toetsvormen. De toetskwaliteit stond onder druk omdat toetstaken op een ander taxonomisch niveau kwamen te liggen. Daar komt bij dat deze omzetting in een zeer korte tijd plaats moest vinden, wat de nodige werkdruk heeft opgeleverd. De tweede uitdaging lag bij het afnemen van toetsen. Fraude was lastig te ontdekken omdat de omgeving slechts deels gecontroleerd kon worden. Online proctoring werd soms gezien als de oplossing, maar dit zorgde ook voor grote problemen en weerstand bij studenten in verband met hun privacy (Heyblom, 2021).

Ondanks de uitgebreide ervaring met toetsen op afstand tijden de COVID-19 maatregelen, behoeven drie onderwerpen nog verduidelijking voordat toetsen op afstand in de toekomst een gedegen vaste plek kan krijgen in de toetsprogramma’s: visie, toetsbekwaamheid van docenten en tools.

Als eerste is er behoefte aan een duidelijke visie op toetsen op afstand. Volgens docenten zijn belangrijke onderdelen van deze visie bijvoorbeeld de werkdruk en belasting van docenten en studenten. Dit vanwege de werkdruk bij docenten bij het omzetten van toetsen, maar bijvoorbeeld ook bij het maken van open vragen en opdrachten door studenten. Daarnaast moet er aandacht zijn voor de mogelijkheden en de beperkingen van toetsen op afstand, met name op het gebied van kennistoetsen. Problemen als de privacy van de studenten, de mindere motivatie van studenten bij online lessen en toetsen, fraudepreventie en digitale geletterdheid zouden beschreven moeten worden met passende en werkende oplossingen. Daarnaast is er veel onduidelijkheid over wat wet en regelgeving toestaat als het gaat om toetsen op afstand. Er is behoefte aan een duidelijke informatievoorziening.

Het tweede onderdeel is de toetsbekwaamheid van docenten. Een groot deel van de kennis die nodig is bij de omzetting en afname van toetsen op afstand is reeds aanwezig bij docenten, maar ze hebben moeite om deze bronnen effectief in te zetten. Het omzetten van toetsen en toetsvragen is een aparte vaardigheid die lang niet alle docenten binnen het hoger onderwijs bezitten. Ondanks dat er voldoende literatuur voorhanden is, is de diversiteit hierin groot en niet altijd op maat voor datgene waar docenten behoefte aan hebben. De toetsbekwaamheid in het toetsen op afstand moet verder ontwikkeld worden. Daarbij is het noodzaak dat deze toetsbekwaamheid geen quick fix is, maar dat er een duurzame ontwikkeling plaatsvindt bij de docenten en in de toetsprogramma’s (Meijer et al., 2020; Sluijsmans, Boei, de Beer, van der Linden, & Meijer, 2017).

Als derde is er bij docenten behoefte aan praktische tools. Deze tools bestaan bijvoorbeeld uit duidelijke richt- en handleidingen ondersteund door deskundigen, en videomateriaal, bij voorkeur gebaseerd op wetenschappelijk onderzoek. De werkgroep Toetsen op afstand is bezig met het ontwikkelen van een tool voor docenten op basis van de uitkomsten van deze vragenlijst, de ontwikkelde handreikingen tijdens de COVID-19 crisis en bestaande literatuur over toetsen op afstand. Deze tool helpt docenten bij het kiezen van de juiste toetsvorm en geeft tips en good practices hoe de toetsvorm in te zetten in de praktijk. De tool is binnenkort te vinden via versnellingsplan.nl/zones/toetsen-op-afstand/.

Updated: 2021-07-15