Mondeling

Voorbereiding

Voor een goede inhoudsvaliditeit is het belangrijk dat elk van de beoogde leerdoelen gedekt wordt door een gespreksonderwerp (Van Berkel et al., 2017).

Hoe meer vragen er tijdens het mondeling worden gesteld, hoe betrouwbaarder de beoordeling. Een mondeling duurt echter doorgaans niet langer dan één uur en de ruimte voor het stellen van vragen is daarom beperkt, zeker gezien mondelinge vragen doorgaans niet zo to-the-point kunnen worden beantwoord als schriftelijke vragen (Van Berkel et al., 2017).

Gebruik een specificatietabel waarin per onderwerp aangegeven is hoeveel tijd eraan mag worden besteed. Besteed meer tijd aan de belangrijkere onderwerpen (Van Berkel et al., 2017). Een andere manier is om gebruik te maken van een kaartenbak met vragen (de ‘hoge-hoedmethode’), waarin het aantal vragen rond een bepaald onderwerp afhangt van het belang van dat onderwerp. Studenten mogen blindelings kaarten trekken uit deze bak; elke getrokken kaart dienen zij te beantwoorden (Van Berkel et al., 2017).

Zorg voor transparantie: Studenten vinden (online) mondelinge toetsen vaak spannend. Geef de studenten van tevoren informatie over wat zij kunnen verwachten. Informeer hen tijdig en volledig over inhoud, procedures, deelnemende beoordelaars en de wijze van beoordeling. Geef hen ook voorbeelden van vragen die zouden kunnen worden gesteld (Van Berkel et al., 2017). Door voorafgaand aan een mondelinge toets een aantal representatieve oefenopgaven te delen is het voor de studenten duidelijker wat voor soort toetsvragen ze kunnen verwachten. Ze kunnen de oefenopgaven gebruiken om te evalueren of ze de studiestof voldoende beheersen.

Als je een toets met open vragen omzet in een mondeling, houd dan rekening met het volgende:

• Gesloten vragen zijn niet aan te raden bij mondelinge toetsen voor grote groepen. De vragen kunnen snel uitlekken terwijl het afnemen van verschillende vragen voor alle studenten ten koste gaat van de al geringere betrouwbaarheid. Daarnaast biedt een mondelinge toets juist de kans om diepgaande vragen te stellen.

• Tijdens een mondeling kun je ook afbeeldingen zoals een anatomische afbeelding, een technische tekening of een model gebruiken als basis voor een vraag.

• Maak een inschatting van het aantal vragen die je in de beschikbare tijd kunt stellen.

• Noteer leerdoelen, bijbehorende vragen en doorvraag-vragen in een (beoordelings)tabel. Bijvoorbeeld:

Als je een bestaande schriftelijke toets met open vragen hebt, dan kun je het oorspronkelijke beoordelingsmodel (eventueel met enige aanpassing) ook gebruiken bij het (online) mondeling.

In het geval van toetsen op afstand:

Vragenlijst

Het opstellen van vragen voor zowel een online assessmentgesprek als mondeling is niet anders dan voor op locatie. Ook afbeeldingen kunnen gedeeld worden met de student en dus als basis dienen voor een vraag.

Anticiperen op technische problemen

Het organiseren verschilt iets van mondelinge toetsen op locatie. Naast de ‘reguliere’ informatie (over planning, procedure, eventuele benodigdheden, verwachtingen, beoordeling) maak je ook afspraken over het werken in de online omgeving. Denk aan het delen van het scherm, het in- en uitschakelen van camera en microfoon, de wijze waarop vragen kunnen worden gesteld en de handelswijze bij technische problemen. Veel studenten vinden het een fijn idee als ze vooraf weten dat ze het assessmentgesprek opnieuw mogen doen als er technische problemen optreden. Ook kun je stimuleren dat studenten vooraf met elkaar oefenen. Bij sommige instellingen kan de student apparatuur lenen of kun je een fysieke locatie aanbieden. Zorg er in ieder geval voor dat je tijdig en helder communiceert over de afspraken.

Opname

Door het assessmentgesprek op te nemen, kan bij twijfel over de beoordeling het gesprek teruggekeken worden met de student of door een tweede beoordelaar. Informeer de student vooraf over een eventuele opname. Het verwerken, opslaan en verwijderen van opnames moet plaatsvinden binnen de wettelijke kaders. Informeer bij je instelling wat hiervoor de regels zijn.

Tijdens afname

Vlak voor het assessmentgesprek

• Zorg er, ten behoeve van de betrouwbaarheid van de toets, voor dat de condities waaronder het mondeling wordt afgenomen zoveel mogelijk hetzelfde zijn voor alle studenten. Zorg voor een rustige omgeving waarin je niet gestoord wordt en met zo min mogelijk afleiding voor de studenten.

• Zorg dat je de benodigde documenten (rubric, beoordelingsformulier e.d.) geprint of op een (tweede) scherm bij de hand hebt.

• Zet, indien nodig, benodigde documenten klaar, zoals afbeeldingen behorende bij een bepaalde vraag.

• Op afstand: Zorg voor opgeladen apparatuur.

• Op afstand: Test de apparatuur voorafgaand aan de toets, gebruik zo nodig een headset.

• Op afstand: Log enkele minuten voorafgaand aan de toets in op de videovergadering.

Start

• Vraag de student een identiteitskaart of studentenpas te tonen als je als beoordelaar onbekend bent met de student.

• Stel de student gerust.

• Controleer of de regels en afspraken duidelijk zijn en herhaal ze zo nodig.

• Geef aan wanneer de student de beoordeling en/of feedback kan verwachten.

• Geef zo nodig aan dat er een opname wordt gemaakt.

Afname

• Begin met meer eenvoudige vragen, om studenten op hun gemak te stellen.

Afsluiting

• Als je met meerdere beoordelaars werkt en direct feedback wilt geven, kun je de student vragen om even de ruimte of, in het geval van toetsen op afstand, even de videovergadering te verlaten of hem/haar in een breakoutroom zetten. Na het bespreken van de bevindingen kun je de student weer terug laten komen.

Na afloop

Geef direct na afloop van het assessmentgesprek en (ruim) voor het delen van het cijfer feedback aan de student. Dit is het moment waarop feedback het best geïnternaliseerd wordt. Er kan bij een opname overwogen worden om deze na afloop aan de student beschikbaar te stellen.

Aandachtspunten

• Laat een mondelinge toets altijd beoordelen en eventueel ook afnemen door twee docenten, om het risico op beoordelaarseffecten (dat zeker bij een mondeling hoog is) zoveel mogelijk te beperken. Deze kunnen live aanwezig zijn of achteraf de video-opname beoordelen.

• Maak een onderbouwde keuze voor de te hanteren cesuur.

Online assessmentgesprek

Bij een online assessmentgesprek stelt de examinator via videoconferentiesoftware vragen aan de student op basis van vooraf opgestelde criteria. Hierbij kan gevraagd worden naar situaties waaruit blijkt dat de student bepaalde competenties bezit. De examinator kan hierop vervolgens doorvragen. Vaak wordt een online assessmentgesprek gehouden naar aanleiding van een portfolio, project/product, presentatie of observatie. Soms start het online assessmentgesprek met een presentatie door de student.

Online mondeling

In een online mondeling beantwoordt de student vragen mondeling. Hierbij heb je als examinator de mogelijkheid aanvullende toelichting te vragen of een begrip te laten verduidelijken om vast te stellen of de student het echt begrijpt. De vragen kunnen mondeling en/of schriftelijk (bijvoorbeeld via een chatfunctie) aan de studenten worden gepresenteerd. Een online mondeling wordt vaak als vervanging van een toets met open vragen gebruikt.

Uiteraard zijn combinaties van bovenstaande twee vormen mogelijk.

Voordelen

• Het grootste voordeel van een mondelinge toets op afstand is dat het plaatsonafhankelijk kan, en bij een video-opname ook tijdsonafhankelijk. Dit maakt observeren voor een beoordelaar minder tijdrovend door het ontbreken van bijvoorbeeld reistijd. Ook het beoordelen door meerdere beoordelaars is gemakkelijker te organiseren. Uit onderzoek blijkt dat de validiteit van observaties vaak sterk toeneemt door het toevoegen van extra observaties of beoordelaars, iets wat vergemakkelijkt wordt door observeren op afstand.

Nadelen

• Kans op technische problemen door uitval van verbinding.

• Publicatie van Inholland voor meer informatie over het organiseren van peerfeedback

• When old becomes new (Akimov and Malin 2020), in dit artikel staat beschreven hoe een online mondeling kan worden ingezet als toetsvorm op afstand of als aanvulling op andere toetsvorm. Het online mondeling wordt vooral gebruikt als interview. Er worden tips gegeven om de betrouwbaarheid en validiteit van deze toetsvorm op afstand te kunnen waarborgen.

• Een artikel van de open universiteit over online mondelinge toetsen. Hierin worden kort de belangrijkste procedurele aspecten van een online mondelinge toets uitgelegd.

• Van Berkel, H., Bax, A., & Joosten-ten Brinke, D. (2017). Toetsen in het hoger onderwijs. Bohn Stafleu van Loghum.