Voorbereiding
Voor een goede inhoudsvaliditeit is het belangrijk dat elk van de beoogde leerdoelen gedekt wordt door een gespreksonderwerp (Van Berkel et al., 2017).
Hoe meer vragen er tijdens het mondeling worden gesteld, hoe …
Voorbereiding
Voor een goede inhoudsvaliditeit is het belangrijk dat elk van de beoogde leerdoelen gedekt wordt door een gespreksonderwerp (Van Berkel et al., 2017).
Hoe meer vragen er tijdens het mondeling worden gesteld, hoe betrouwbaarder de beoordeling. Een mondeling duurt echter doorgaans niet langer dan één uur en de ruimte voor het stellen van vragen is daarom beperkt, zeker gezien mondelinge vragen doorgaans niet zo to-the-point kunnen worden beantwoord als schriftelijke vragen (Van Berkel et al., 2017).
Gebruik een specificatietabel waarin per onderwerp aangegeven is hoeveel tijd eraan mag worden besteed. Besteed meer tijd aan de belangrijkere onderwerpen (Van Berkel et al., 2017). Een andere manier is om gebruik te maken van een kaartenbak met vragen (de ‘hoge-hoedmethode’), waarin het aantal vragen rond een bepaald onderwerp afhangt van het belang van dat onderwerp. Studenten mogen blindelings kaarten trekken uit deze bak; elke getrokken kaart dienen zij te beantwoorden (Van Berkel et al., 2017).
Zorg voor transparantie: Studenten vinden (online) mondelinge toetsen vaak spannend. Geef de studenten van tevoren informatie over wat zij kunnen verwachten. Informeer hen tijdig en volledig over inhoud, procedures, deelnemende beoordelaars en de wijze van beoordeling. Geef hen ook voorbeelden van vragen die zouden kunnen worden gesteld (Van Berkel et al., 2017). Door voorafgaand aan een mondelinge toets een aantal representatieve oefenopgaven te delen is het voor de studenten duidelijker wat voor soort toetsvragen ze kunnen verwachten. Ze kunnen de oefenopgaven gebruiken om te evalueren of ze de studiestof voldoende beheersen.
Als je een toets met open vragen omzet in een mondeling, houd dan rekening met het volgende:
-
Gesloten vragen zijn niet aan te raden bij mondelinge toetsen voor grote groepen. De vragen kunnen snel uitlekken terwijl het afnemen van verschillende vragen voor alle studenten ten koste gaat van de al geringere betrouwbaarheid. Daarnaast biedt een mondelinge toets juist de kans om diepgaande vragen te stellen.
-
Tijdens een mondeling kun je ook afbeeldingen zoals een anatomische afbeelding, een technische tekening of een model gebruiken als basis voor een vraag.
-
Maak een inschatting van het aantal vragen die je in de beschikbare tijd kunt stellen.
-
Noteer leerdoelen, bijbehorende vragen en doorvraag-vragen in een (beoordelings)tabel. Bijvoorbeeld:
|
|
Maximale tijdsduur |
5 minuten |
Leerdoel |
Conceptueel Statistisch begrip over nul hypothese toetsing |
Vraag (met cognitief niveau)* |
Waarom is het bij nul hypothese toetsing noodzakelijk om vooraf te bepalen hoeveel proefpersonen je nodig hebt. (evalueren) |
Antwoordmodel |
Om te garanderen dat de beoogde alpha (1pt) en Power (1pt) behaald kunnen worden (1pt). |
Punten |
3 |
Als je een bestaande schriftelijke toets met open vragen hebt, dan kun je het oorspronkelijke beoordelingsmodel (eventueel met enige aanpassing) ook gebruiken bij het (online) mondeling.
In het geval van toetsen op afstand:
Vragenlijst
Het opstellen van vragen voor zowel een online assessmentgesprek als mondeling is niet anders dan voor op locatie. Ook afbeeldingen kunnen gedeeld worden met de student en dus als basis dienen voor een vraag.
Anticiperen op technische problemen
Het organiseren verschilt iets van mondelinge toetsen op locatie. Naast de ‘reguliere’ informatie (over planning, procedure, eventuele benodigdheden, verwachtingen, beoordeling) maak je ook afspraken over het werken in de online omgeving. Denk aan het delen van het scherm, het in- en uitschakelen van camera en microfoon, de wijze waarop vragen kunnen worden gesteld en de handelswijze bij technische problemen. Veel studenten vinden het een fijn idee als ze vooraf weten dat ze het assessmentgesprek opnieuw mogen doen als er technische problemen optreden. Ook kun je stimuleren dat studenten vooraf met elkaar oefenen. Bij sommige instellingen kan de student apparatuur lenen of kun je een fysieke locatie aanbieden. Zorg er in ieder geval voor dat je tijdig en helder communiceert over de afspraken.
Opname
Door het assessmentgesprek op te nemen, kan bij twijfel over de beoordeling het gesprek teruggekeken worden met de student of door een tweede beoordelaar. Informeer de student vooraf over een eventuele opname. Het verwerken, opslaan en verwijderen van opnames moet plaatsvinden binnen de wettelijke kaders. Informeer bij je instelling wat hiervoor de regels zijn.
Tijdens afname
Vlak voor het assessmentgesprek
-
Zorg er, ten behoeve van de betrouwbaarheid van de toets, voor dat de condities waaronder het mondeling wordt afgenomen zoveel mogelijk hetzelfde zijn voor alle studenten. Zorg voor een rustige omgeving waarin je niet gestoord wordt en met zo min mogelijk afleiding voor de studenten.
-
Zorg dat je de benodigde documenten (rubric, beoordelingsformulier e.d.) geprint of op een (tweede) scherm bij de hand hebt.
-
Zet, indien nodig, benodigde documenten klaar, zoals afbeeldingen behorende bij een bepaalde vraag.
-
Op afstand: Zorg voor opgeladen apparatuur.
-
Op afstand: Test de apparatuur voorafgaand aan de toets, gebruik zo nodig een headset.
-
Op afstand: Log enkele minuten voorafgaand aan de toets in op de videovergadering.
Start
-
Vraag de student een identiteitskaart of studentenpas te tonen als je als beoordelaar onbekend bent met de student.
-
Stel de student gerust.
-
Controleer of de regels en afspraken duidelijk zijn en herhaal ze zo nodig.
-
Geef aan wanneer de student de beoordeling en/of feedback kan verwachten.
-
Geef zo nodig aan dat er een opname wordt gemaakt.
Afname
- Begin met meer eenvoudige vragen, om studenten op hun gemak te stellen.
Afsluiting
- Als je met meerdere beoordelaars werkt en direct feedback wilt geven, kun je de student vragen om even de ruimte of, in het geval van toetsen op afstand, even de videovergadering te verlaten of hem/haar in een breakoutroom zetten. Na het bespreken van de bevindingen kun je de student weer terug laten komen.
Na afloop
Geef direct na afloop van het assessmentgesprek en (ruim) voor het delen van het cijfer feedback aan de student. Dit is het moment waarop feedback het best geïnternaliseerd wordt. Er kan bij een opname overwogen worden om deze na afloop aan de student beschikbaar te stellen.
Aandachtspunten
-
Laat een mondelinge toets altijd beoordelen en eventueel ook afnemen door twee docenten, om het risico op beoordelaarseffecten (dat zeker bij een mondeling hoog is) zoveel mogelijk te beperken. Deze kunnen live aanwezig zijn of achteraf de video-opname beoordelen.
-
Maak een onderbouwde keuze voor de te hanteren cesuur.