Observaties

Voorbereiding

Voor een valide observatie is het ten eerste belangrijk om ervoor te zorgen dat de te observeren taken representatief zijn: volledig en natuurgetrouw (van Berkel et al., 2017). ‘Volledig’ houdt in dat de taken een goede afspiegeling zijn van het assessmentdomein (alle verschillende taken die in het assessment aangeboden hadden kunnen worden). ‘Natuurgetrouw’ houdt in dat de taken ook representatief moeten zijn voor de beoogde vervolgsituatie, bijvoorbeeld in de beroepsuitoefening (het criteriumdomein). Tussen volledigheid en natuurgetrouwheid bestaat echter een spanningsveld: met beperkte tijd en middelen is het niet mogelijk om beide volledig te realiseren. Er zal daarom altijd een afweging moeten worden gemaakt.

Stel voor een valide en betrouwbare beoordeling beheersing van een competentie niet vast op basis van één of enkele uitgevoerde assessmenttaken, maar op basis van een assessmentprogramma.

Gebruik een beoordelingsmodel met vooraf vastgelegde criteria, bijvoorbeeld in de vorm van een rubric.

Zorg ervoor dat de verschillende kennis-, vaardigheids-, en houdingsaspecten die de toets beoogt te meten worden gedekt door de criteria in het beoordelingsmodel, om de inhoudsvaliditeit te borgen. Als competenties worden getoetst, formuleer de criteria dan wel zodanig dat deze verschillende aspecten niet afzonderlijk maar geïntegreerd worden beoordeeld.

Pas het vier-ogenprincipe toe: construeer het beoordelingsmodel samen met collega’s.

Omdat het de vraag is in hoeverre uit getoond gedrag conclusies kunnen worden geformuleerd over kennis, is het aan te bevelen om gebruik te maken van een aanvullend instrument, zoals een criteriumgericht interview dat voorafgaand aan of na de observatie wordt afgenomen. Als dit interview naderhand wordt afgenomen, dan kan de student bijvoorbeeld om een argumentatie worden gevraagd voor de gevolgde taakuitvoering (van Berkel et al., 2017).

Tijdens afname

Draag er ten behoeve van de betrouwbaarheid van de toets zorg voor dat de omstandigheden van de observatie zo gelijk mogelijk zijn voor alle studenten, met behoud van volledigheid en natuurgetrouwheid (van Berkel et al., 2017).

Als je met meerdere beoordelaars werkt en direct feedback wilt geven, kun je de student vragen om even de ruimte te verlaten. Na het bespreken van de bevindingen kun je de student vragen om weer terug te komen.

Na afloop

Als er een opname is van de handeling kan dit – samen met feedback en beoordeling – veel informatie aan de student geven. Geef bijvoorbeeld studenten de opdracht om samen video’s terug te kijken en van elkaar te leren.

Aandachtspunten

• Schakel een tweede beoordelaar in die de geobserveerde prestatie beoordeelt onafhankelijk van de eerste beoordelaar, zeker wanneer standaarden en criteria abstract zijn.

• Maak een onderbouwde keuze voor de te hanteren cesuur.

• Als het doel van de observatie (ook) is om de (beroeps)houding en motivatie te beoordelen, overweeg dan een zogenaamde unobtrusive observation, een observatie waarbij de te beoordelen persoon zich er niet van bewust is dat er wordt beoordeeld; bijvoorbeeld door te werken met een ‘mystery guest’, een beoordelaar die zich voordoet als een reguliere ‘klant’.

• Het kan belangrijk zijn om de observatie na te bespreken in een (assessment)gesprek. Als observator weet je soms niet waarom een student bepaalde keuzes maakt en kun je pas een goede beoordeling geven als je deze bespreekt.

• Het kan van belang zijn om de observatie te combineren met andere bronnen. Wil je bijvoorbeeld weten of leerlingen zich veilig voelen bij een student in de klas of dat zij de uitleg van de student hebben begrepen, dan kun je dit soms beter aan de leerlingen zelf vragen met bijvoorbeeld een korte vragenlijst. Scores van observatoren hangen niet altijd samen met de scores van leerlingen (Dobbelaer, 2019).