Universiteit Leiden Universiteit Leiden

Nederlands English

Proefschrift

Design and evaluation of video portfolios: reliability, generalizability, and validity of an authentic performance assessment for teachers

In welke mate zijn beoordelingen op basis van een videodossier betrouwbaar, generaliseerbaar en valide?

Auteur Maria Elisabeth Jacomina Bakker
Datum
Links Fulltext in Leiden University Repository

Onderzoeksvraag

De ontwikkeling van instrumenten voor het beoordelen van docentcompetenties staat volop in de belangstelling. Uit onvrede met bestaande procedures, worden momenteel nieuwe beoordelingsprocedures ontwikkeld, ook wel ‘authentieke performance assessments’ genoemd. Een belangrijk kenmerk van deze beoordelingsprocedures is dat ze beogen recht te doen aan het complexe en contextgebonden karakter van lesgeven.Deze nieuwe vormen van beoordelen brengen nieuwe bedreigingen van de betrouwbaarheid en validiteit met zich mee. Om die bedreigingen te reduceren, worden in de literatuur verschillende maatregelen aangedragen die in het design van de beoordelingsprocedure zouden kunnen worden opgenomen. Voorafgaand aan dit onderzoek werd er op basis van deze maatregelen een beoordelingsprocedure ontwikkeld genaamd ‘videodossiers’. De centrale vraag in het proefschrift luidt: in welke mate zijn beoordelingen op basis van een videodossier betrouwbaar, generaliseerbaar en valide? Deze onderzoeksvraag is in drie deelstudies onderzocht.

Resultaten

Het belangrijkste resultaat dat werd gevonden, is dat beoordelaars een acceptabel tot hoog niveau van overeenstemming bereikten voor het toekennen van cijfermatige competentiebeoordelingen op basis van een videodossier en dat er op basis van twee beoordelaars al een acceptabele interbeoordelaarsovereenstemming te verkrijgen was. Verder bleek dat beoordelaars de toegekende cijfermatige beoordelingen baseerden op uiteenlopende bewijzen en argumenten.