Hoofdstuk 2 Resultaten per vraag

In dit hoofdstuk gaan wij in op de afzonderlijke enquêtevragen. Na elke enquêtevraag volgt een samenvatting van de gegeven antwoorden en geven we duiding aan de respons.

2.1 Toetsen op afstand

2.1.1 Toetsafname

Kunnen de toetsen op dit moment ongewijzigd worden afgenomen?

Met ongewijzigd wordt bedoeld: zoals opgenomen in het huidige onderwijs-/toetsprogramma en/of onderwijs- en examenregelement (OER) en zoals u die vóór de COVID-19 ontwikkeld had. Het gaat hierbij om toetsen met zowel een formatieve als een summatieve functie.

Toets Ja Nee nvt
Formatief (n=131) 63.4% 25.2% 11.5%
Summatief (n=130) 46.2% 52.3% 1.5%

2.1.2 Toetslocatie

Waar vindt de toetsing op dit moment, tijdens de COVID-19 maatregelen, grotendeels plaats?

Locatie Percentage (n=131)
Op de onderwijsinstelling 26.7%
Vanuit huis/op afstand 41.2%
Op de werkplek (stage) 1,5%
Hybride (een mix van bovenstaande) 30.5%

2.1.3 Aanpassingen

Waren er sinds de COVID-19 maatregelen (maart 2020) aanpassingen noodzakelijk in de toetsing? Het gaat hierbij om toetsen met zowel een formatieve als een summatieve functie.

En zo ja; om welke aanpassingen ging dit? (meerdere antwoorden mogelijk)

Locatie Frequentie
Nee, er waren geen aanpassingen noodzakelijk 14
Ja; aanpassing wijze van afname (digitaal ipv fysiek) 99
Ja; aanpassing toetsdoelen 17
Ja; aanpassing toetsvorm 79
Ja; aanpassing toetsmatrijs 17
Ja; aanpassing toetsprogramma 15

2.1.4 Toelichting aanpassing

Kunt u beknopt de uitgevoerde aanpassingen toelichten?

90 respondenten hebben toelichting gegeven op de uitgevoerde aanpassingen. Ruim de helft (50) van de respondenten gaf aan dat er voor een andere toetsvorm gekozen is en dat de variantie in verschillende toetsvormen binnen het onderwijs daardoor toenam. Het merendeel wordt daarbij omgezet van een kennistoets naar een take-home tentamen (casusopdrachten, open vragen en essay opdrachten) dat meestal door studenten thuis uitgewerkt wordt, zonder dat daarbij proctoring ingezet wordt. Daarbij wordt redelijk vaak (17 keer) aangegeven dat de nadruk bij deze omgezette toetsen minder op kennisreproductie komt te liggen en meer op een hoger taxonomisch niveau.

Indien werd vastgehouden aan de reguliere toetsvorm werd 14 keer aangegeven dat er proctering wordt ingezet, bijvoorbeeld in systemen als ANS, Testvision of Cirrus. In een aantal gevallen worden de negatieve kanten van proctoring benoemd, zoals de ethische afweging en de weerstand van studenten en docenten tegen proctoring. 7 maal wordt benoemd dat online varianten van toetsing problemen opleveren met de borging van de kwaliteit van de toetsing, bijvoorbeeld bij vermoedens van fraude, wat lastig te bewijzen is. Soms wordt het ook niet als probleem gezien, bijvoorbeeld bij een programmatisch toetssysteem, waarbij de toets slechts een datapunt is en de mindere betrouwbaarheid niet als probleem ervaren wordt.

Bijna de helft van de respondenten (40) gaf aan dat performancetoetsen of assessments die normaliter fysiek afgenomen werden, zoals portfoliogesprekken, CGI’s en presentaties van eindwerkstukken, nu online afgenomen worden via een videoverbinding. Daarbij worden de eisen meestal gelijk gehouden en is enkel de vorm aangepast naar online. Bepaalde soorten beoordelingen, zoals veldwerk en stage, zijn soms helemaal niet mogelijk.

Een klein deel van de respondenten (6) geeft aan dat de toetsdoelen zijn aangepast omdat er werd gekozen voor een andere toetsvorm. Soms vervallen toetsdoelen, een enkele keer worden doelen bij een toets verderop in het curriculum getoetst. Een enkele toets wordt uitgesteld wanneer fysieke afname noodzakelijk wordt geacht. Bij wijze van uitzondering worden deze toetsen, ondanks de beperkingen, zo snel mogelijk toch op locatie afgenomen.

Respondenten geven meestal niet aan op basis waarvan de omzetting van de toetsvorm heeft plaatsgevonden. Slechts een enkeling geeft aan dat dit op basis van handreikingen binnen het instituut gebeurt.

2.1.5 Aanpassingen na COVID

Wat wordt er na de COVID-maatregelen gedaan met de nieuwe aangepaste toetsen, wanneer het onderwijs weer in gangbare vorm kan plaatsvinden?

Aanpassing Percentage (n=99)
We gebruiken zowel de nieuwe, aangepaste toetsen als de oorspronkelijke toetsen 58,6%
We gebruiken dan weer de oorspronkelijke toetsen en er wordt niets gedaan met de nieuwe, aangepaste toetsen 20,2%
We vervangen de oorspronkelijke toetsen door de nieuwe aangepaste toetsen 10,1%
Nog niet bekend 9,1%
We passen de nieuwe, aangepaste toetsen aan o.b.v. ervaringen tijdens COVID 2.0%

2.2 Toetsdoel en toetsontwerp

2.2.1 Op afstand getoetst

Toetst u op afstand of heeft u tijdens COVID-19 maatregelen op afstand getoetst?

Met toetsen op afstand bedoelen we toetsen waarbij de student fysiek niet aanwezig is op de campus om de toets te maken. Het gaat daarbij om een toets die (zonder COVID-19 maatregelen) ook op de campus afgenomen had kunnen worden, en dus niet om bijvoorbeeld langere opdrachten of scripties.

Toetsen op afstand Percentage (n=117)
Ja 90.6%
Nee 9.4%

2.2.2 Problemen toetsen op afstand

Als u bij het toetsen op afstand bij onderstaande activiteiten problemen of uitdagingen heeft ondervonden, zou u deze dan willen omschrijven?

Wilt u daarbij vermelden bij welke soort(en) toets(en) dit aan de orde was (bijvoorbeeld kennistoets of vaardigheidstoets)?

2.2.2.1 Problemen of uitdagingen bij (her)formuleren van toetsdoelen

Ook bij dit onderdeel komt terug dat er een uitdaging ligt bij het herformuleren van toetsdoelen op een hoger niveau. Dit houdt verband met de onmogelijkheid van het hergebruiken en het zonder fraude afnemen van kennis/reproductievragen, in ieder geval zonder proctoring toe te passen. Immers zijn de omstandigheden zonder proctoring onmogelijk te controleren. Proctoring brengt echter ook problemen met zich mee qua betrouwbaarheid, privacygevoeligheid en systeemeisen. Soms werd als oplossing het probleem omzeild door de toetsing voor bepaalde onderdelen uit te stellen tot het moment dat het afnemen van fysieke toetsen weer mogelijk was.

Daarnaast wordt genoemd dat het eigenlijk niet mogelijk is om alleen de toetsdoelen te herformuleren; ook de leerdoelen zouden dan aangepast moeten worden.

2.2.2.2 Problemen of uitdagingen bij (her)ontwerp van toets(en)

Uit de meeste reacties blijkt dat er veelvuldig gebruik gemaakt is van de documenten die verschillende hogescholen aan elkaar beschikbaar stelden. Een overzicht en concrete handvatten om toetsen om te zetten, en om goede toetsvragen te construeren, worden gemist.

Ondanks deze beschikbaarheid liepen een aantal docenten toch tegen het probleem aan dat de vorm die de toets bij de omzetting moest krijgen niet duidelijk was. Daarnaast leverde het omzetten van de toetsvragen een hoge werkdruk op. Zeker bij grote groepen levert de taxonomische omzetting problemen op, doordat de (veelal) open vragen een grote last zijn voor zowel studenten als docenten. Vanwege fraudegevoeligheid werden unieke antwoorden van studenten vaak wel als oplossing aangedragen. Daarnaast is er een aantal vraagtypen die lastig om te zetten zijn, denk bijvoorbeeld aan wiskundige formules of elektrische stroomschema’s. Een alternatief is om veel verschillende versies van toetsvragen en toetsen te maken, maar ook dat levert een hoge werkdruk op. Daar komt bij dat deze vragen, zoals aangegeven, niet hergebruikt kunnen worden omdat gebleken is dat studenten vragen verzamelen en met elkaar delen. Een ander alternatief was toch op locatie te toetsen.

Er worden veel (66) opmerkingen gemaakt over de toetskwaliteit, de borging van de toetskwaliteit en andere gerelateerde zaken; bijvoorbeeld fraudegevoeligheid, proctoring, of de werkdruk en tijdsdruk waardoor de kwaliteit onder druk komt te staan. Het is bij online toetsen lastig om zeker te weten dat de juiste student de, in een zeer korte tijd ontwikkelde, toets maakt en dat de antwoorden individueel onder de juiste omstandigheden gegeven worden. En zelfs als dat al zo is, dan is de vraag of er wel het juiste getoetst wordt, omdat er vaak op een ander niveau getoetst wordt.

2.2.2.3 Problemen of uitdagingen bij (her)ontwerp van het toetsprogramma

Er zijn niet veel docenten die deze vraag ingevuld hebben. Een deel geeft aan hier geen zicht op te hebben. De docenten die de vraag wel ingevuld hebben zijn echter duidelijk: het toetsprogramma wordt niet aangepast binnen de huidige maatregelen, en dat zou ook niet moeten. Het wordt gebruikt om bijvoorbeeld toetsen op hoger niveau te verantwoorden, om de methodemix te beschrijven en te vergelijken of om aan te geven dat bepaalde toetsen in een ander deel of een ander moment binnen het toetsprogramma terugkomen.

2.2.3 Type toetsen

Wat is het type toetsen waar u de meeste problemen mee heeft ervaren? Zie deze link voor meer informatie over de type toetsen.

Toets soort Percentage (n=48)
Kennistoets(en) 68.8%
Vaardigheidstoets(en) 37.5%
Praktijktoets(en) en werkplekleren/stage 20.8%
Integrale toets(en) 12,5%
Scriptie 6.3%
Anders 8.3%

2.2.4 Beschikbaarheid handreikingen

Heeft u de beschikking over handreikingen, hulpdocumenten of andere bronnen, die zijn bedoeld voor het toetsen op afstand?

Handreikingen Percentage (n=107)
Ja 72.0%
Nee 28.0%

2.2.5 Nuttig uit handreiking

Welke informatie uit de handreikingen, hulpdocumenten of andere bronnen vond u het meest bruikbaar of waardevol en zou u daarom aanbevelen voor een nieuwe aanvullende online tool?

Er zijn zowel docenten die aangeven dat bepaalde handreikingen erg geholpen hebben als docenten die aangeven dat er behoefte is aan bepaalde handreikingen. Het is duidelijk dat deze twee perspectieven nog onvoldoende bij elkaar komen. Soms worden concrete onderdelen benoemd, zoals de resultaten uit het onderzoek naar formatief evalueren van Baartman en Gullikers (2017), of boeken zoals Programmatisch toetsen (Baartman, Schilt-Mol en Van der Vleuten, 2020) en Toetsrevolutie (Sluijsmans en Segers, 2018). Deze literatuur richt zich echter voornamelijk op de doorontwikkeling van assessmentpraktijken, niet per se op oplossingen binnen de coronacrisis. Docenten geven regelmatig aan dat hun eigen hogeschool handreikingen heeft opgesteld op basis van bestaande, landelijk gedeelde documenten die zijn vertaald naar de eigen context. Sommige docenten gaven echter ook aan deze handreikingen juist te missen of zagen door de hoeveelheid informatie door de bomen het bos niet meer.

Aanbevelingen voor concrete handreikingen liggen in de volgende onderdelen:

  1. Inrichting van een digitale toetsomgeving
  2. Inrichting van proctoring
  3. Inrichting van ‘high stakes’-momenten, bijvoorbeeld assessmentgesprekken (bij grote EC-eenheden)
  4. Inrichting van toetsen voor grote groepen
  5. Toetsen van vaardigheden
  6. Stappenplannen voor het omzetten van, of alternatieven voor:
    1. Toetsvragen
    2. Toetsvormen
    3. Toetsystemen
  7. Informatie over privacyregels bij het omzetten naar online toetsvarianten
  8. Instructies voor betrokkenen bij online toetsen
  9. Instructie voor het lezen van de psychometrische analyses die veel software geven
  10. Inzicht in de kosten van het omzetten van het bovenstaande

Daarnaast is er behoefte aan expertbegeleiding bij bovenstaande vraagstukken, zowel op inhoudelijk als organisatorisch vlak, op diverse onderdelen binnen de toetscyclus. Goede voorbeelden worden als helpend ervaren, bijvoorbeeld in de vorm van instructievideo’s. Deze worden soms meer gewaardeerd dan pagina’s aan lange handleidingen.

2.3 Procedures, regels, richtlijnen en toetsorganisatie

2.3.1 Regels en richtlijnen

Liep u bij het toetsen op afstand tegen problemen aan bij procedures, regels en richtlijnen of in de toetsorganisatie?

  Problemen en uitdagingen bij procedures, regels en richtlijnen of in de toetsorganisatie? Mogelijke oplossingsrichtingen / verbetermogelijkheden Nieuwe inzichten die u wilt delen
Doelbepaling / toetsontwerp Overzicht houden op/robuustheid toetsprogramma. Betrouwbaar en valide toetsen. Aanpassingen kosten tijd en mogen (EC) of kunnen (ICT) soms niet. Bijhouden wijzigingen in toetsen. Meer tijd, deskundigheid en ondersteuning. Flexibele systemen en toetsprogramma. Fysieke afname. Noodgedwongen hebben docenten een grote professionaliseringsslag gemaakt, maar dit heeft voor een hoge belasting gezorgd i.v.m. tijdsdruk en werkdruk.
Toetsconstructie Zicht op afnamecondities bij digitale afname. Onbekendheid materie. Tijdsdruk. Lage orde toetsen onmogelijk. EC blokkeert andere toetsvorm. Aanschaf speciale software, expert ondersteuning, meer tijd. Ruimte krijgen van EC.
Toetsafname Betrouwbaarheid ICT. Proctoring en fraude. Meer tijd kwijt. Ondersteuning mist. Proctoring, meer tijd, fysieke afname, docenten aanwezig, veilige ICT. EC meer tijd geven, ondersteuning. Al veel gedaan, maar nog een lange weg te gaan voordat het toetsen op afstand goed en eerlijk kan plaatsvinden.
Beoordelen Tijdsdruk i.v.m. deadlines en complexere beoordelingen. Authenticiteit van studenten, fraude. Soms onmogelijk om de OER-termijnen te aanhouden. Docenten ondersteunen en facilteren. Analyses over slagingspercentages en plagiaat. Ervaring noodzakelijk bij inzet en beoordelen van proctoringinformatie.
Communiceren en registreren (inclusief inzage) Inzage van mindere kwaliteit, en grotere vraag i.v.m. minder vertrouwen bij studenten. Vragen op straat bij online inzage. ICT-systemen voor inzage in grote groepen, daarna individueel maatwerk. Bekendheid geven over problemen, zoals vragen op straat.

2.3.2 Aanvullende opmerkingen

Heeft u nog aanvullende opmerkingen en/of suggesties bij de matrix; vul deze dan hier in:

Oude vormen van toetsen zijn vaak niet geschikt voor deze nieuwe omgevingen. Daarvoor moeten overstappen worden gemaakt naar andere toetsystemen, bijvoorbeeld meer formatief toetsen of TPACK.

Veel is ook afhankelijk van de organisatie.

2.4 Fraude preventie

Wat heeft u gedaan om fraude te voorkomen bij het toetsen op afstand? Kunt u één voorbeeld beschrijven dat voor u goed werkte? Wilt u daarbij de soort toets vermelden?

Actie Frequentie
Online proctoring 28
Unieke toets per student 17
Inzetten plagiaatsoftware 12
Toets met random vragen/volgorde 9
Verkorten tijdsduur 9
Verificatiegesprekken 8
Toets in blokken zonder terugbladerfunctie 4
Studenten verklaring laten tekenen 4
Mondelinge toets afname 4
Afnemen van digitale toetsen op locatie 2
Informatie naar studenten over wat fraude is 2
Meerdere versies 2
Lockdown browser 1

Ondanks bovenstaande maatregelen geven veel docenten aan dat fraude niet voorkomen kon worden en dat deze maatregelen slechts in zeer beperkte mate hielpen.

2.5 Visie toetsen op afstand

De werkgroep Toetsen op Afstand heeft de opdracht om samen met de hoger onderwijsinstellingen een visie op toetsen op afstand te formuleren. Op deze manier kunnen we inzichtelijk maken hoe toetsen op afstand er volgens het hoger onderwijs (ook na de COVID-19 maatregelen) uit zou kunnen zien, wat er nodig is om dat mogelijk te maken en vast te stellen op welke punten instellingen samen kunnen optrekken (bijvoorbeeld richting leveranciers, of in de vorm van het ontwikkelen van tools en kennisdeling).

Waar zou in een dergelijke visie volgens u zeker aandacht voor moeten zijn?

  1. Werkdruk docenten
  2. Belasting op de student
  3. De niet altijd aanwezige motivatie bij studenten als het niet voor de toets is
  4. Blended toetsen
  5. Privacy van studenten
  6. Samenhangend toetsprogramma
  7. Informatievoorziening
  8. Beperkingen bij online toetsen
  9. Afwegingen bij alternatieve toetskeuze
  10. Fraudepreventie
  11. Formatieve functie van toetsen, het leerproces van de student
  12. Het belang van kennistoetsen
  13. Dat beslissingen over studenten niet afhankelijk mogen zijn van 1 toetsmoment
  14. Richtlijnen, wet en regelgeving
  15. Digitale geletterdheid
  16. Sociale uitsluiting bij online toetsen
  17. Studentvertrouwen
  18. De blik zou m.i. gericht moeten worden op andere mogelijkheden die het element ‘toetsing’ realiseren. Men zou zich niet alleen maar moeten blindstaren op het oplossen van de paradox tussen fraudebestrijding en privacyschending.
  19. Wetenschappelijke onderbouwing van effectiviteit van verschillende toetsvormen op afstand.