Hoofdstuk 2 Enquête vragen

2.1 Toetsafname

Kunnen de toetsen op dit moment ongewijzigd worden afgenomen?

Met ongewijzigd wordt bedoeld: zoals opgenomen in het huidige onderwijs-/toetsprogramma en/of onderwijs- en examenregelement (OER) en zoals u die vóór de COVID-19 ontwikkeld had. Het gaat hierbij om toetsen met zowel een formatieve als een summatieve functie (zie deze link voor meer informatie hierover).

Toets	Ja	Nee	nvt
Formatief	50.9%	20.2%	9.2%
Summatief	36.8%	41.7%	1.2%

2.2 Toetslocatie

Waar vindt de toetsing op dit moment, tijdens de COVID-19 maatregelen, grotendeels plaats?

Locatie	Percentage
Op de onderwijsinstelling	21,5%
Vanuit huis/op afstand	33,1%
Op de werkplek (stage)	1,2%
Hybride (een mix van bovenstaande)	24,5%

2.3 Aanpassingen

Waren er sinds de COVID-19 maatregelen (maart 2020) aanpassingen noodzakelijk in de toetsing? Het gaat hierbij om toetsen met zowel een formatieve als een summatieve functie.

En zo ja; om welke aanpassingen ging dit? (meerdere antwoorden mogelijk)

Locatie	Frequentie
Nee, er waren geen aanpassingen noodzakelijk	14
Ja; aanpassing wijze van afname (digitaal ipv fysiek)	99
Ja; aanpassing toetsdoelen	17
Ja; aanpassing toetsvorm	79
Ja; aanpassing toetsmatrijs	17
Ja; aanpassing toetsprogramma	15

2.4 Toelichting aanpassing

Kunt u beknopt de uitgevoerde aanpassingen toelichten?

90 respondenten hebben toelichting gegeven op de uitgevoerde aanpassingen. Ruim de helft (50) van de respondenten gaven aan dat er voor een ander toetsvorm gekozen is en dat de variantie in verschillende toetsvormen binnen het onderwijs daardoor toenam. Het merendeel wordt daarbij omgezet van een kennistoets naar een take-home paper (casusopdrachten, open vragen en essay opdrachten) die meestal door studenten thuis uitgewerkt wordt, zonder dat daarbij proctoring ingezet wordt. Daarbij wordt redelijk vaak aangegeven (17) dat de nadruk bij deze omgezette toetsen minder op kennisreproductie komt te liggen en meer op een hoger taxonomisch niveau. Een klein aantal geeft daarbij aan dat het mede vanwege capaciteitsproblemen op het instituut is dat de toetsen thuis gemaakt worden. Een enkeling geeft aan dat er juist ingezet is op uitbreiding van ICT apparatuur.

Indien werd vastgehouden aan de reguliere toetsvorm wordt 14 keer aangegeven dat er proctering wordt ingezet, bijvoorbeeld in systemen als ANS, Testvision of Cirrus. In een aantal gevallen worden de negatieve kanten van proctoring benoemd zoals de ethische afweging en de weerstand van studenten en docenten tegen proctoring. 7 maal wordt benoemd dat online varianten van toetsing problemen opleveren met de borging van de kwaliteit van de toetsing, bijvoorbeeld bij vermoedens van fraude, wat lastig te bewijzen is. Soms wordt het ook niet als probleem gezien, bijvoorbeeld bij een programmatisch toetssysteem, waarbij de toets slechts een datapunt is en de mindere betrouwbaarheid niet als probleem ervaren wordt.

Een groot aantal respondenten (40) gaven aan dat performancetoetsen of assessments die normaliter fysiek afgenomen wordt, zoals portfoliogesprekken, CGI’s en presentaties van eindwerkstukken, nu online afgenomen werden via een videoverbinding. Daarbij worden de eisen meestal gelijk gehouden en is enkel de vorm aangepast naar online. Sommige beoordelingen, zoals veldwerk en stage zijn soms echter helemaal niet mogelijk.

Een klein deel van de respondenten (6) geeft aan dat er toetsdoelen naar aanleiding van een andere toetsvorm zijn aangepast. Soms vervallen toetsdoelen, een enkele keer worden doelen bij een toets verderop in het curriculum die op een hoger niveau toetst getoetst. Een enkele toets wordt uitgesteld wanneer fysieke afname noodzakelijk wordt geacht. Deze worden als uitzondering ondanks de beperkingen zo snel mogelijk toch op locatie afgenomen.

Respondenten geven meestal niet aan op basis waarvan de omzetting van de toetsvorm heeft plaatsgevonden. Slechts een enkeling geeft aan dat dit op basis van handreikingen binnen het instituut gebeurd, soms er sturend wat niet als goed wordt ervaren. Ook wordt eenmaal de handreiking die gedeeld is op het netwerk toetsbekwaamheid genoemd.

Eén respondent geeft aan dat een alternatieve toetsvorm zo goed bevallen is dat deze als vast in het toetsprogramma is opgenomen. In een enkel geval geeft het aanleiding tot een evaluatie van de huidige toetspraktijk. Zo wordt soms de mondelinge vorm ook na de maatregelen aangehouden.

2.5 Aanpassingen na COVID

Wat wordt er na de COVID-maatregelen gedaan met de nieuwe aangepaste toetsen, wanneer het onderwijs weer in gangbare vorm kan plaatsvinden?

Aanpassing	Percentage
We vervangen de oorspronkelijke toetsen door de nieuwe aangepaste toetsen	6,1%
We gebruiken zowel de nieuwe aangepaste toetsen als de oorspronkelijke toetsen	35,6%
We gebruiken dan weer de oorspronkelijke toetsen en er wordt niet gedaan met de nieuwe aangepaste toetsen	12,3%
Nieuwe aangepaste toetsen aanpassen o.b.v. ervaringen tijdens COVID	1,2%
Nog niet bekend	5,5%

2.6 Op afstand getoetst

Toetst u op afstand of heeft u tijdens COVID-19 maatregelen op afstand getoetst?

Met toetsen op afstand bedoelen we toetsen waarbij de student fysiek niet aanwezig is op de campus om de toets te maken. Het gaat daarbij om een toets die (zonder COVID-19 maatregelen) ook op de campus afgenomen had kunnen worden en dus niet om bijvoorbeeld langere opdrachten of scripties.

Toetsen op afstand	Percentage
Nee	6,7%
Ja	65,0%

2.7 Problemen toetsen op afstand

Als u bij het toetsen op afstand bij onderstaande activiteiten problemen of uitdagingen heeft ondervonden, zou u deze dan willen omschrijven?

Wilt u daarbij vermelden bij welke soort(en) toets(en) dit aan de orde was (bijvoorbeeld kennistoets of vaardigheidstoets)?

2.7.1 Problemen of uitdagingen bij (her)formuleren van toetsdoelen

Net als bij vraag 4 komt ook bij dit onderdeel terug dat er een uitdaging ligt bij het herformuleren van toetsdoelen op een hoger niveau in verband met de onmogelijkheid van het hergebruiken en het zonder fraude afnemen van kennis/reproductievragen. In elk geval niet zonder proctoring toe te passen omdat anders onmogelijk de omstandigheden te controleren zijn. Proctoring brengt ook weer een hoop problemen met zich mee, zowel qua betrouwbaarheid, qua privacy gevoeligheid en qua systeemeisen. Soms is als oplossing gekomen om het probleem te omzeilen door de toetsing voor bepaalde onderdelen uit te stellen tot wanneer het afnemen van fysieke toetsen weer mogelijk was.

Daarnaast wordt genoemd dat toetsdoelen alleen herformuleren eigenlijk niet kan. Ook de leerdoelen zouden dan aangepast moeten worden.

2.7.2 Problemen of uitdagingen bij (her)ontwerp van toets(en)

Uit de meeste reacties blijkt dat er veelvuldig gebruik gemaakt is van de documenten die verschillende hogescholen beschikbaar stelden aan elkaar. Met name de HvA, de HU, Avans en de HAN worden genoemd. Maar binnen het netwerk toetsbekwaamheid, dat ook een aantal keer genoemd wordt (aantal) werd een hoop gedeeld. Wat wordt gemist is een overzicht en concrete handvatten om toetsen om te zetten en om goede toetsvragen te construeren.

Ondanks deze beschikbaarheid liepen een aantal docenten toch tegen het probleem aan dat de vorm die de toets bij de omzetting moest krijgen niet duidelijk was. Het omzetten van vragen is een aparte vaardigheid die lang niet alle docenten binnen het hoger onderwijs bezitten. Vanwege de tijdsdruk moest er echter wel een hoop gebeuren. Die steile leercurve in combinatie met de hoeveelheid tijd en moeite die het maken van goede toetsvragen nu eenmaal kost, leverde een hoge werkdruk op. Zeker bij grote groepen levert de taxonomische omzetting problemen op doordat de (veelal) open vragen een grote last zijn voor zowel studenten als docenten. Vanwege fraude gevoeligheid werden unieke antwoorden van studenten vaak wel als oplossing aangedragen. Daarnaast zijn er een aantal vraagtypen die lastig om te zetten zijn, denk bijvoorbeeld aan wiskundige formules of elektrische stroomschema’s. Een alternatief is om veel verschillende versies van toetsvragen en toetsen te maken, maar ook dat levert een hoge werkdruk op. Daar komt bij dat deze vragen, zoals aangegeven, niet hergebruikt kunnen worden omdat gebleken is dat studenten vragen verzamelen en met elkaar delen. Daarnaast is het probleem omzeilt door op locatie te toetsen.

De grootste uitdaging ligt hem echter in de kwaliteit van de toetsing. Er worden veel (66) opmerkingen gemaakt over de toetskwaliteit, de borging van de toetskwaliteit en over gerelateerde zake zoals fraudegevoeligheid, proctoring of de werkdruk en tijdsdruk waardoor de kwaliteit onder druk komt te staan. Het is bij online toetsen lastig om zeker te weten dat de juiste student ook aan de andere kant de, in een zeer korte tijd ontwikkelde, toets maakt en dat de antwoorden individueel onder de juiste omstandigheden gegeven worden. En zelfs als dat al zo is, dan is de vraag of er wel het juiste getoetst wordt, omdat er vaak op een ander niveau getoetst wordt. Soms wordt daarom bij proctoring naderhand alsnog besloten dat deze vorm niet mag of mag het binnen bepaalde instituten/faculteiten niet.

2.7.3 Problemen of uitdagingen bij (her)ontwerp van het toetsprogramma

Er zijn niet veel docenten die deze vraag ingevuld hebben, een deel geeft aan daar geen zicht op te hebben. Degene die het ingevuld hebben zijn wel duidelijk: het toetsprogramma wordt niet aangepast binnen de huidige maatregelen en dat zou ook niet moeten. Het wordt gebruikt om bijvoorbeeld toetsen op hoger niveau te verantwoorden, om de methodemix te beschrijven en te vergelijken of om aan te geven dat bepaalde toetsen in een ander deel of een ander moment binnen het toetsprogramma terugkomen.

2.8 Type toetsen

Wat is het type toetsen waar u de meeste problemen mee heeft ervaren? Zie deze link voor meer informatie over de type toetsen.

Toets soort	Percentage
Integrale toets(en)	0,6%
Integrale toets(en),Praktijktoets(en) (bij het werkplekleren/stage),Scriptie	0,6%
Kennistoets(en)	12,9%
Kennistoets(en),Integrale toets(en)	0,6%
Kennistoets(en),Praktijktoets(en) (bij het werkplekleren/stage)	0,6%
Kennistoets(en),Praktijktoets(en) (bij het werkplekleren/stage),Scriptie	0,6%
Kennistoets(en),Vaardigheidstoets(en)	3,7%
Kennistoets(en),Vaardigheidstoets(en),Praktijktoets(en) (bij het werkplekleren/stage)	1,8%
Vaardigheidstoets(en)	1,8%
Vaardigheidstoets(en),Integrale toets(en)	1,2%
Vaardigheidstoets(en),Integrale toets(en),Praktijktoets(en) (bij het werkplekleren/stage)	0,6%
Vaardigheidstoets(en),Praktijktoets(en) (bij het werkplekleren/stage)	1,2%
Vaardigheidstoets(en),Praktijktoets(en) (bij het werkplekleren/stage),Scriptie	0,6%
Anders	2,5%

2.9 Beschikbaarheid handreikingen

Heeft u de beschikking over handreikingen, hulpdocumenten of andere bronnen, bedoeld voor het toetsen op afstand?

Handreikingen	Percentage
Ja	47,2%
Nee	18,4%

2.10 Nuttig uit handreiking

Welke informatie uit de handreikingen, hulpdocumenten of andere bronnen vond u het meest bruikbaar of waardevol en zou u daarom aanbevelen voor een nieuwe aanvullende online tool?

Er zijn zowel docenten die aangeven dat bepaalde handreikingen erg geholpen hebben als docenten die aangeven dat er behoefte is aan bepaalde handreikingen. Het is duidelijk dat deze twee perspectieven nog onvoldoende bij elkaar komen. Soms worden concrete onderdelen benoemd (zoals de resultaten uit het onderzoek van Baartman en Gullikers of boeken zoals Programmatisch toetsen, Voorbeelden en ervaringen uit de praktijk (Baartman, Schilt-Mol en Van der Vleuten) en Toetsrevolutie (Sluijsmans). Deze literatuur richt zich echter voornamelijk op de doorontwikkeling van assessment praktijken en niet perse op oplossingen binnen de coronacrisis.

Docenten geven regelmatig aan dat hun eigen hogeschool handreikingen heeft opgesteld op basis van bestaande landelijk gedeelde documenten, vertaald naar de eigen context. Daarmee zijn deze documenten niet vanzelfsprekend deelbaar. Daarnaast voelen de respondenten zich meestal niet gemakkelijk bij het delen van deze documenten (hoeveel zijn er ingeleverd?)

Aanbevelingen voor concrete handreikingen liggen in de volgende onderdelen:

1. Inrichting van een digitale toets omgeving
2. Inrichting van proctoring
3. Inrichting van High Stakes momenten zoals bijvoorbeeld assessmentgesprekken (bij grote EC eenheden)
4. Inrichting van toetsen voor grote groepen
5. Toetsen van vaardigheden
6. Stappenplannen voor het omzetten van of alternatief voor
   1. Toetsvragen
   2. Toetsvormen
   3. Toetsystemen
7. Informatie over privacyregels bij het omzetten naar online toetsvarianten
8. Instructies voor betrokkenen bij online toetsen
9. Instructie voor het lezen van de psychometrische analyses die veel software geeft
10. Inzicht in de kosten van het omzetten van het bovenstaande

Daarnaast is er behoefte aan expertbegeleiding bij bovenstaande vraagstukken, zowel op inhoudelijk als organisatorische vlak op diverse onderdelen binnen de toetscylcus. Ook goede voorbeelden worden als helpend ervaren, bijvoorbeeld in de vorm van instructievideos. Deze worden soms meer gewaardeerd dan pagina’s lange handleidingen.

Frappant is dat de door sommige docenten gevraagde informatie (bijvoorbeeld een beslisboom over andere toetsvormen) door anderen juist benoemd worden als erg behulpzaam. De hierboven genoemde handreikingen zijn mijn inziens dan ook vaak reeds aanwezig, maar blijkbaar schort het aan bekendheid en aan structuur doordat

… je door de bomen het bos niet meer ziet. Een heldere boomstructuur zou mij bijvoorbeeld erg kunnen helpen… (R_2ScdSztmmFtXyXG).

Webinar met voorbeelden van online tools (naar voorbeeld van UU Educatie)

2.11 Regels en richtlijnen

Liep u bij het toetsen op afstand tegen problemen aan bij procedures, regels en richtlijnen of in de toetsorganisatie?

.	Problemen en uitdagingen bij procedures, regels en richtlijnen of in de toetsorganisatie?	Mogelijke oplossingsrichtingen / verbetermogelijkheden	Nieuwe inzichten die u wilt delen
Doelbepaling/toetsontwerp	Overzicht houden op toetsprogramma. Robuustheid tp. Betrouwbaar en valide toetsen. Aanpassingen kosten tijd en mogen (EC) of kunnen (ICT) soms niet.	Bijhouden wijzigingen in toetsen. Meer tijd, deskundigheid en ondersteuning. Flexibele systemen en toetsprogramma. Fysieke afname.	Noodgedwongen hebben docenten een grote professionaliseringsslag gemaakt, maar dit heeft een zware wissel getrokken ivm tijdsdruk en werkdruk.
Toetsconstructie	Zicht op afnamecondities bij digitale afname. Onbekendheid materie. Tijdsdruk. Lage orde toetsen onmogelijk. EC blokt andere toetsvorm.	Aanschaf speciale software, expert ondersteuning, meer tijd. Ruimte krijgen van ec.
Toetsafname	Betrouwbaarheid ICT. Proctoring en fraude. Meer tijd kwijt. Ondersteuning mist.	Proctoring, meer tijd, fysieke afname, docenten aanwezig, veilige ict. Ec meer tijd geven, ondersteuning	Al veel gedaan, maar nog een lange weg te gaan voordat het toetsen op afstand goed en eerlijk kan plaatsvinden.
Beoordelen	Tijdsdruk ivm deadline en complexere beoordelingen. Authenticiteit van studenten, fraude. Soms onmogelijk om de OER termijnen te aanhouden.	Docenten ondersteunen en facilteren. Analyses over slagingspercentages en plagiaat.	Ervaring noodzakelijk bij inzet en beoordelen proctoring informatie.
Communiceren en registreren (inclusief inzage)	Inzage van mindere kwaliteit, en grotere vraag ivm minder vertrouwen bij studenten. Vragen op straat bij online inzage.	ICT systemen voor inzage in grote groepen, daarna individueel maatwerk.	Bekendheid geven over problemen zoals vragen op straat.

2.12 Aanvullende opmerkingen

Heeft u nog aanvullende opmerkingen en/of suggesties bij de matrix; vul deze dan hier in:

Oude vormen van toetsen zijn vaak niet geschikt voor deze nieuwe omgevingen. Daarvoor zullen echte overstappen gemaakt moeten worden naar andere toetsystemen: naar meer formatief toetsen, TPACK e.d.

Veel is ook afhankelijk van de organisatie.

2.13 Fraude preventie

Wat heeft u gedaan om fraude te voorkomen bij het toetsen op afstand? Kunt u één voorbeeld beschrijven dat voor u goed werkte? Wilt u daarbij de soort toets vermelden?

1. Studenten nabellen/ interviewen om te kijken of het eigen werk was
2. Afnemen van digitale toetsen op locatie
3. Inzetten plagiaatsoftware
4. Proctoring
5. Toets met random vragen/volgorde
6. Toets opdelen in blokken zonder terugbladerfunctie
7. Digitale toetsen zonder terugbladerfunctie (soms juist ook verboden door ec)
8. Verkorten tijdsduur
9. Toetsvragen op een hoger taxonomieniveau
10. Informatie naar studenten over wat fraude is
11. Studenten verklaring laten tekenen
12. Controleren omgeving van de student via webcam
13. Opgaven met andere getallen
14. time locked opdracht waarbij de opdracht beperkte tijd zichtbaar is en het moment van inleveren beperkt in tijd.

Ondanks bovenstaande maatregelen geven veel docenten aan dat fraude niet voorkomen kon worden en dat deze maatregelen slechts in zeer beperkte mate hielpen.

2.14 Visie toetsen op afstand

De werkgroep Toetsen op Afstand heeft de opdracht om samen met de hoger onderwijsinstellingen een visie op toetsen op afstand te formuleren. Op deze manier kunnen we inzichtelijk maken hoe volgens het hoger onderwijs toetsen of afstand (ook na de COVID-19 maatregelen) eruit zou kunnen zien, wat er nodig is om dat mogelijk te maken en vast te stellen op welke punten instellingen samen kunnen optrekken (bijvoorbeeld richting leveranciers of in de vorm van het ontwikkelen van tools en kennisdeling).

Waar zou in een dergelijke visie volgens u zeker aandacht voor moeten zijn?

1. Werkdruk docenten
2. Belasting op de student
3. De niet altijd aanwezige motivatie bij studenten als het niet voor de toets is.
4. Blended toetsen
5. Privacy van studenten
6. Samenhangend toetsprogramma
7. Informatievoorziening
8. Beperkingen bij online toetsen
9. Afwegingen bij alternatieve toetskeuze
10. Fraudepreventie
11. Formatieve functie van toetsen, het leerproces van de student
12. Het belang van kennistoetsen
13. Dat beslissingen over studenten niet afhankelijk mogen zijn van 1 toetsmoment.
14. richtlijnen, wet en regelgeving
15. Digitale geletterdheid
16. Sociale uitsluiting bij online toetsen
17. Studentvertrouwen
18. De blik zou m.i. gericht moeten worden op andere mogelijkheden die het element ‘toetsing’ realiseren. Men zou zich niet alleen maar moeten blindstaren op het oplossen van de paradox tussen fraudebestrijding en privacyschending.
19. Wetenschappelijke onderbouwing van effectiviteit van verschillende toetsvormen op afstand.