Hoofdstuk 1 Rapportage

De werkgroep ‘Toetsen op afstand’, die namens de VSNU, VH en SURF (Versnellingsplan) is ingesteld om de problematiek rond het toetsen op afstand in kaart te brengen en met oplossingen voor gerezen problemen te komen, heeft in de periode maart/april 2021 een enquête gehouden onder voorzitters van examencommissies in het hbo en wo. Het voornaamste doel daarbij was de belangrijkste knelpunten in kaart te brengen die examencommissies ervaren hebben en nog steeds ervaren met de Corona-gerelateerde overgang naar toetsen op afstand. Op de oproep tot deelname aan de enquête hebben 216 examencommissies gereageerd.

Dit rapport valt uiteen in drie hoofdstukken. In dit eerste hoofdstuk beschrijven we de voornaamste conclusies die getrokken kunnen worden op basis van de resultaten van de enquête. In hoofdstuk 2 geven we per enquêtevraag een samenvatting en geven we duiding aan de antwoorden op de betreffende vraag. Hoofdstuk 3 is gewijd aan de ruwe data: de door respondenten vrijgegeven antwoorden en de door hen geüploade documenten.

De uitkomsten van dit onderzoek kunnen gebruikt worden door instellingen om de toekomstige kwaliteit van toetsing op peil te houden en wellicht zelfs te optimaliseren.

1.1 Algemene bevindingen en conclusies

Achterliggend waren drie wettelijke taken en bevoegdheden van de examencommissie bepalend voor de opzet van de enquête:

1.2 Resultaten van de enquête

Gevraagd naar de meest nijpende knelpunten die de examencommissies zien, nadat Corona een verschuiving naar toetsing op afstand teweeg had gebracht, noemen zij prominent zaken die rechtstreeks gerelateerd zijn aan de bovengenoemde wettelijke taken. De kwaliteit van de toetsing respectievelijk de kwestie van de alternatieve toetsvormen, de surveillance bij toetsing op afstand en fraude vervullen examencommissies met zorg. Als dreigt dat de toets geen adequate afspiegeling is van het kennen en kunnen van individuele kandidaten, profileren examencommissies zich getuige hun antwoorden op de enquêtevragen als actieve hoeders van de waarde van het diploma. Hierna wordt op elk van deze onderwerpen nader ingegaan. Voor een puntsgewijs overzicht van uitkomsten van de enquête zij verwezen naar bijgaand kader.

Positieve uitkomsten van de enquête:

  • een proactieve opstelling van de examencommissie in het monitoren van aanpassingen in de toetsopzet (50% gaf expliciet toestemming)
  • een constructieve dialoog met de bestuurlijke lijn
  • een adequate invulling van de autonomie van de examencommissie
  • grote inzet op handhaving van de kwaliteitscriteria ‘validiteit’ en ‘betrouwbaarheid’
  • terughoudendheid met het toepassen van coulance
  • zeer grote overeenstemming in de respons van commissies in hbo en wo
  • een grote inzet om processen te optimaliseren.

Punten van zorg:

  • frustratie over het ontbreken van eenduidige kaders
  • een aanzienlijk geringere betrokkenheid van examencommissies bij aanpassingen in ‘de organisatie en de procedures rond tentamens en examens’2 waaronder ook de surveillance op afstand valt
  • grote scepsis omtrent de kwaliteit van online proctoring op basis van algoritmes
  • grote bezorgdheid over fraude bij toetsing op afstand aangezien studenten blijken samen te werken, al dan niet via sociale media, screenshots/foto’s van opgaven maken, pogingen ondernemen tot sabotage van online proctoring, niet alleen bij klassieke tentamenvormen die voor de toetsing van kennis worden ingezet, maar ook bij take-home tentamens
  • een lichte tot substantiële stijging van het aantal fraudemeldingen die bijdraagt aan de ervaren toename van de werkdruk
  • frustratie over de beschikbare plagiaatscanner
  • een ervaren gemis van adequate technische en onderwijskundige ondersteuning
  • enige bezorgdheid over wat de latere borgingsactiviteiten van de examencommissie zullen uitwijzen op het vlak van gerealiseerde kwaliteit.

1.3 Toetskwaliteit

Met betrekking tot aanpassingen van de toetsvorm en leerdoelen is de betrokkenheid van de examencommissies groot geweest. Grofweg de helft van de commissies geeft aan expliciete toestemming te hebben gekoppeld aan voorstellen voor aanpassingen van de toetsvorm en/of leerdoelen. De andere helft geeft aan dat er sprake is geweest van een afstemmingsproces.

Ten aanzien van aanpassingen in de afnamecondities, het tweede aspect van kwaliteitsborging dat hierboven genoemd werd, is de inbreng van de examencommissies aanzienlijk geringer geweest. In het overgrote deel van de gevallen zijn examencommissies hierover “slechts” geïnformeerd. Principieel zou ook ten aanzien van dit tweede aspect van toetskwaliteit, namelijk de afnamecondities, een verdergaande bemoeienis van de examencommissie goed te verdedigen zijn geweest. Examencommissies kregen vaak pas te maken met de wijze van surveilleren, als er eens een keer echt iets verkeerd ging. Onder normale omstandigheden konden op een toetslocatie van de instelling bepaalde onregelmatigheden nog tijdens de toetsafname rechtgetrokken worden, zodat problemen voorkomen werden. Mogelijk heeft dat ertoe geleid dat examencommissies de kwaliteit van de organisatie van tentamens (waaronder ook surveillance valt) soms als minder prominent bestanddeel van de borging van de kwaliteit van toetsing hebben beschouwd. Toetsing op afstand met registratie van surveillance-gegevens vraagt nu echter om een veel actievere opstelling van examencommissies. De wijze waarop de surveillance tijdens een toetsafname is ingericht, kan potentieel invloed hebben op de meting. Daarom dient een examencommissie in het kader van haar borgingsinspanningen ook aandacht te besteden aan de surveillance. Zij dient over adequate informatie te beschikken over de opzet hiervan en over het feitelijke verloop van de toetsafname en dient te onderzoeken of, en zo ja, in welke mate de inherente beperkingen van de surveillance een bedreiging vormen voor de kwaliteit van de meting. Enkele examencommissies vrezen overigens dat hun doorlichting van toetsing die onder invloed van Corona is aangepast, nog voor verrassingen zou kunnen zorgen. In veel antwoorden klinkt scepsis door ten opzichte van online proctoring, onder meer vanwege de privacy-gevoeligheid ervan, de stress die studenten erdoor zeggen te ervaren, de bewerkelijkheid van de detectie, de bewijsproblematiek en de technische onvolmaaktheden. Veel examencommissies hebben fraudepreventie hoog op de agenda staan en zouden graag zien dat de detectie in de nabije toekomst effectiever wordt en dat de huidige onvolkomenheden rond online proctoring snel overwonnen worden.

1.4 Rolverdeling tussen examencommissie en bestuurlijke lijn

Naar het oordeel van de bevraagde examencommissies is bij sommige instellingen het toetsen op afstand nog onvoldoende verankerd in het toetsbeleid en ontbreken nog heldere protocollen die bijvoorbeeld specificeren hoe moet worden omgegaan met de complicaties die zich bij afname van toetsen op afstand kunnen voordoen. Examencommissies ervaren een kennisachterstand ten aanzien van toetsing op afstand in het algemeen en online proctoring in het bijzonder en misten vaak adequate ondersteuning op technisch, juridisch en onderwijskundig vlak. Deze achterstanden zijn weliswaar gedeeltelijk ingelopen, maar een deel van de examencommissies ervaart dit gemis nog steeds.

Examencommissies hebben rol gepakt.

Om in beleidsmatig opzicht tot een betere inrichting van toetsing op afstand te komen, is het belangrijk om zich rekenschap te geven van de onderlinge functionele verhoudingen binnen de instellingen voor hoger onderwijs. Doordat de taken en verantwoordelijkheden van examencommissies zijn verankerd in de WHW, heeft de examencommissie een verregaand autonome positie tegenover management en bestuur. De examencommissie is functioneel niet ondergeschikt aan het instellingsbestuur, maar geeft haar eigen beleidsruimte vorm binnen de wettelijke kaders en binnen het kader van de Onderwijs- en Examenregeling (OER).

Sinds de invoering van de Wet versterking besturing in 2016 is de toezichthoudende en bestuurlijke rol van de examencommissie versterkt. Uit de enquête komen examencommissies naar voren als zelfbewuste en proactieve gremia. Deze ontwikkeling zien we terug in de enquête. Examencommissies hebben in het voorjaar van 2020 vaak snel hun rol gepakt. Het is een periode geweest van frequent overleg met management en bestuur en examencommissies hebben een actieve rol gespeeld in het monitoren van de aanpassingen die teweeg gebracht werden door de toetsing op afstand. Dit sluit aan bij het langzamerhand gegroeide besef dat het systeem van checks and balances van partijen vraagt om in een constructieve dialoog af te tasten hoe binnen de instelling de verantwoordelijkheid voor het ‘zorgen’ en ‘borgen’ op een passende manier belegd kunnen worden. Gegeven de verschillende verantwoordelijkheden kan die dialoog tussen partijen soms schuren. Besluiten van examencommissies werden tijdens de Corona-crisis soms ingehaald door besluiten van CvB’s.

WHW operationaliseert ‘toetskwaliteit’ niet.

Ook de dialoog tussen een examinator en de examencommissie kan soms schuren. De eerste heeft de exclusieve bevoegdheid om na toetsing het cijfer vast te stellen, maar de regels die daarvoor gelden, kunnen vooraf door de examencommissie bepaald zijn. Gezien de borgingstaak van de examencommissie zal zij mogelijk ook behoefte hebben aan extra informatie over de wijze waarop de toetsing op afstand is verlopen. Het is dan op grond van art. 12c, tweede lid (WHW) aan de examinator om de examencommissie deze inlichtingen over de toetsing te verstrekken.

1.5 Constructieve dialoog

De praktijk van de laatste jaren heeft steeds duidelijker gemaakt dat de spelers in het krachtenveld van een instelling op elkaar aangewezen zijn. De respons in de enquête laat zien dat het in de Corona-periode “alle hens aan dek” was en dat iedereen naar beste kunnen en met frequent overleg geprobeerd heeft om het primaire proces zo soepel mogelijk te laten verlopen. Gesteld kan worden dat borgen in principe “aan de achterzijde” plaatsvindt in de vorm van monitoring en controle, maar dat een proactieve opstelling van een examencommissie zich ook kan en zelfs moet manifesteren “aan de voorzijde”, bijvoorbeeld door de aanwijzing van examinatoren en door het uitvaardigen van richtlijnen voor de beoordeling van tentamens en examens. De praktijk in de periode maart 2020 tot heden heeft laten zien dat examencommissies de urgentie van een eigen nog actievere opstelling snel hebben onderkend en getuige de enquête ook daarnaar gehandeld hebben. De enquête wijst uit dat er over toetsing op afstand sprake is geweest van veelvuldige afstemming tussen examencommissies enerzijds en bestuur en management anderzijds.

Examencommissies voelen zich machteloos tegenover het gebruik van sociale media tijdens de afname van een toets op afstand.

Omdat de WHW geen operationalisering bevat van het begrip ‘toetskwaliteit’, is dit bij uitstek een punt waarover examencommissies met het instellingsbestuur van gedachten kunnen wisselen. In het verlengde daarvan is het vanzelfsprekend wenselijk dat ook de visie op toetsing van examinatoren, opleidingscommissies en curriculumcommissies met elkaar congrueren, dit om principiële discussies achteraf te voorkomen.

1.6 Fraudepreventie en -detectie

Examencommissies uiten zich in de enquête zeer bezorgd over vormen van fraude waartegen nauwelijks een kruid gewassen lijkt. Examencommissies voelen zich machteloos tegenover het gebruik van sociale media tijdens de afname van een toets op afstand. Er tekent zich ook kwantitatief gezien een toename af van het aantal door examinatoren gedane meldingen van vermeende fraude. Veel examencommissies hebben fraudepreventie hoog op de agenda staan en zouden graag zien dat er in de toekomst een verantwoorde afweging gemaakt zal worden of online proctoring ingezet kan worden. Vanuit hun wettelijke verantwoordelijkheid om in voorkomende gevallen te onderzoeken of feitelijk sprake is van fraude, proberen examencommissies zich op een gewetensvolle manier te kwijten van hun taak. Uit de enquête blijkt dat een substantieel deel van de commissies in de praktijk echter niet het nuttige onderscheid hanteert tussen onregelmatigheid en fraude. Als zich aftekent dat het lastig, zo niet onmogelijk zal blijken te zijn om het bewijs van fraude rond te krijgen, kan afdoening ook in een vroeg stadium over een andere boeg gegooid worden, waardoor de kwestie uit de sanctiesfeer geraakt, nutteloze escalatie voorkomen wordt en snelle duidelijkheid geboden kan worden. Indien een ernstige onregelmatigheid geconstateerd wordt, kan dan altijd gekoerst worden op ongeldigverklaring van de betreffende toetsafname waarna in beginsel een herkansingsmogelijkheid benut kan worden.

1.7 Aanvullende handreikingen

Gezien de door de examencommissies geconstateerde knelpunten heeft de werkgroep ‘Toetsen op Afstand’ de ontwikkeling van enkele handreikingen geïnitieerd. Deze behandelen de volgende onderwerpen:

De Borging van de toetskwaliteit bij toetsing op afstand zal op dit moment niet worden ontwikkeld.

De handreikingen zullen beschikbaar gemaakt worden op de website van de werkgroep.

Updated: 2022-02-15