Taugt KI für die Bewertung schriftlicher Arbeiten?
Das haben sich Rainer Mühlhoff von der Universität Osnabrück und und Marte Henningsen von der Maastricht University gefragt und die „KI-Korrekturhilfe“ von fobizz - einer KI-Suite für den Schuleinsatz - getestet.
Das Tool soll Lehrende bei der Bewertung und Rückmeldung von Schülerarbeiten unterstützen und lässt sich methodisch auch auf den Einsatz an Hochschulen übertragen.
Allerdings weist die Analyse auf erhebliche Defizite hin:
Die Bewertungen und qualitativen Rückmeldungen des Tools hingen häufig vom Zufall ab und verbesserten sich auch nicht durch die Einarbeitung der vom Tool formulierten Verbesserungsvorschläge.
Eine Bestbewertung war nur mit Texten erreichbar, die von ChatGPT geschrieben wurden.
Falschbehauptungen und Nonsense-Abgaben wurden häufig nicht erkannt, und die Umsetzung einiger Bewertungskriterien war unzuverlässig und intransparent.
Leider resultieren diese Mängel aus fundamentalen Einschränkungen großer Sprachmodelle und grundlegende Verbesserungen dieses oder ähnlicher Tools seien damit, nach Einschätzung von Rainer Mühlhoff, zunächst nicht zu erwarten.
Spannend ist, dass die Ergebnisse den Behauptungen einer Studie der IU Internationale Hochschule diametral gegenüber stehen, wonach KI-Bewertungen fairer und konsistenter seien. Dass die Studie der IU methodisch fraglich war und eher offenbarte, dass die Erstbewertungen der Hochschule massiv positiv verschoben sind, darauf war ich aber bereits in einem eigenen Beitrag eingegangen.
Umso spannender ist es also, die Entwicklungen und Analysen für dieses Thema zu verfolgen. Bis auf weiteres hat sich unser KI-Team übrigens entschieden, KI nicht für die Korrektur von Arbeiten einzusetzen... eben weil wir dieselben Probleme und inhärenten Fehler sehen, wie die Analyse von Mühlhoff und Henningsen.
Die gesamte Studie findet sich unter https://rainermuehlhoff.de/fobizz-KI-korrekturhilfe-test-studie/
