Facetten der Genauigkeit. Zur Reliabilität der Beurteilung fremdsprachlicher Leistungen

Die Beurteilung fremdsprachlicher Leistungen unterliegt einer Reihe von Fehlern. Diese Fehler äußern sich darin, dass selbst erfahrene und geschulte Beurteiler bei ein und derselben Leistung zu unterschiedlichen Bewertungen kommen. Im vorliegenden Beitrag werden traditionelle Ansätze zur Lösung des Problems, insbesondere Beurteilerschulung, wiederholte Beurteilung und Berechnung eines Maßes der Reliabilität, als unzureichend kritisiert und neuere Methoden zur Kontrolle bzw. Korrektur von Urteilsfehlern besprochen.

Ratings of language performance are subject to a number of errors. These errors can be seen from the fact that even experienced and trained raters come up with different ratings for the very same performance. In this paper, it is argued that traditional approaches to solving the problem like rater training, repeated ratings, and computing an index of interrater reliability are insufficient. More recent methods are suggested that can be used to control or compensate for judgemental errors.