Increasing teachers' trust in automatic text assessment through named-entity recognition

Vertrauen in unbekannte Systeme ein entscheidender Faktor für den Einsatz digitaler Technologien im Bildungswesen. Daher untersuche ich in dieser Studie das Vertrauen von Lehrkräften in automatische Textbewertungen und erforsche, ob das Vertrauen von Lehrkräften steigt, wenn ich ihnen zusätzlich zum Ergebnis der Bewertungsklassifikation kontextuelle didaktische Schlüsselwörter (z. B. wichtige didaktische Begriffe, Fachwörter oder Personen) im Text von Studierenden durch eine Eigennamenerkennung (Named-Entity-Recognition, NER) anzeige. Zu diesem Zweck wurde eine Webanwendung entwickelt, die neben der automatischen Bewertung durch ein binäres Klassifikationsmodell mit LSTM-Schichten (Long Short-Term Memory), auch wichtige didaktische Schlüsselwörter im Antworttext der Lernenden automatisch ausgibt. Die Ergebnisse der vorliegenden Studie verdeutlichen, dass bei der Mehrzahl der teilnehmenden Lehrenden (N=34) das Vertrauen und die Akzeptanz in eine automatische Textbewertung zunimmt, sobald ihnen wichtige aufgabenbezogene Schlüsselwörter im Text angezeigt werden.