Kontext
Feedback ist ein zentraler Bestandteil guter Lehre, insbesondere als lernförderliches formatives Feedback zu Freitextaufgaben, also ein Feedback, das im Lernprozess zu Übungszwecken gegeben wird. Gutes Feedback für Studierende ist ein wichtiger Faktor für den Lernerfolg. Ein systematisiertes Feedback folgt in der Regel klaren Kriterien, die z.B. auf formale Aspekte, fachliches Wissen und Transferleistungen rekurrieren und als Anforderungen an eine gute Lösung formuliert werden können. Lehrende können so Freitextaufgaben noch besser einsetzen, um Studierende kontinuierlich und individualisierter auf die Prüfungsanforderungen vorzubereiten.
Problem
Lösungsspezifisches Feedback zu Freitextaufgaben ist in sehr großen Kursen nicht skalierbar und erfordert viele Ressourcen der Lehrenden. Für Lehrende kann es zudem herausfordernd sein, in einem Feedback auch das Wissen darüber, was eine gute Lösung ausmacht, an die Studierenden weiterzugeben.
Wirkkräfte
Formatives Feedback nimmt eine entscheidende Rolle für den Lernerfolg ein. Effektives und zeitnahes Feedback kann Studierenden dabei helfen, ihre Kenntnisse und Fähigkeiten zu verbessern, selbstreguliertes Lernen zu fördern und Motivation und Autonomie im Lernprozess zu unterstützen. (vgl. Hattie & Timperley, 2007; Shute, 2008; Evans, 2013; Kluger & DeNisi, 1996; Wisniewski et al., 2020).
Im Hochschulstudium können Freitextaufgaben zu sehr ausführlichen Antworten führen, die von einfachen Darstellungen von Sachverhalten hin zu komplexen wissenschaftlichen Diskursen in langen Texten führen. Lehrende brauchen die Möglichkeit, Bewertungskriterien an die eigenen Anforderungen und das gewünschte Leistungsniveau für jede Aufgabe anzupassen.
Studierende lösen Freitextaufgaben zunehmend mit generativer KI, so dass in dem Fall das Aufgabenformat nicht mehr die gleiche Wirkung erzielen kann wie vor dem breiten Zugang zu generativer KI. Auf diese KI generierten Lösungen Feedback durch Lehrende zu geben, würde sogar zu einer “Verschwendung” von Ressourcen führen.
Beim Einsatz von KI gibt es hohe Anforderungen an Privatsphäre und an einen geschützten Übungsraum, in dem Studierende nicht zu identifizieren sind. Dies ist eines der Desiderate aus Studierendenbefragungen.
Lösung
Lehrende geben ihre Freitextaufgaben, eigene Bewertungskriterien und den Lernkontext in eine Anwendung für KI-gestütztes formatives Feedback ein und erstellen einen systematisierten Prompt, um ein Feedback mit einem ausgewählten LLM von dieser Anwendung generieren zu lassen.
Mit der Veröffentlichung stellen Lehrende so Aufgabenfeedbacks für Studierende bereit. Studierende reichen ihre Lösungen über eine Eingabemaske ein. Per Knopfdruck generiert die KI dann ein spezifisches Feedback zur jeweiligen Lösung. Feedbacks können für eine beliebige Anzahl an Fragen erstellt werden und die Nutzerzahl bzw. Kursgröße ist nicht begrenzt, da automatisiert zu jeder eingegebenen Lösung ein systematisches Feedback generiert wird. Für einen schnellen Start können Lehrende typische Kriterien und passende Prompts über Begleitmaterialien nutzen, die dann an die eigenen Bedarfe angepasst werden können. Large Language Models (LLMs) können passend zu jedem Kriterium ausgewählt werden, so dass man für den fachlichen Zusammenhang das am besten geeignete Modell nutzen kann.
Eine Anwendung, die genau dieses Lösungsmuster umsetzt, ist COFFEE (Corrective Formative Feedback). Die nachfolgenden Screencasts geben einen ersten Eindruck, wie die Anwendung COFFEE diese Lösung umsetzt: Screencast der Studierendensicht und Screencast der Lehrendensicht
Details der Lösung
Grundsätzliche Umsetzung der Lösung
Die Umsetzung der Lösung wird exemplarisch an der KI-Anwendung COFFEE illustriert. Mit COFFEE können Lehrende ihren Studierenden ein Feedback zu Lösungen auf Freitextaufgaben bereitstellen. Dieses Feedback basiert auf den didaktischen Kriterien, welche von Lehrenden vorgegeben werden. Stark vereinfacht kann man sich die Funktionsweise von COFFEE so vorstellen: Ein Teil der Anwendung wird durch Lehrende bestimmt, die ihre Aufgaben und Bewertungskriterien in die Anwendung eingeben, und dann über einen Prompt an ein generatives KI-Model gesendet wird, das dann das Feedback lösungsspezifisch ausführt. So können Studierende schnell die Stärken und Schwächen ihrer Lösung in Bezug zu den Lernzielen des Kurses überprüfen.
In einem Value Sensitive Designprozess wurde COFFEE entwickelt und als Open Source Lösung für Hochschulen veröffentlicht. Nach Installation der Anwendung und der Ausbildung von KI-Kompetenzen bei den Nutzergruppen kann die Anwendung COFFEE an Hochschulen direkt in Betrieb genommen werden. Alle dafür nötigen Informationen und Begleitmaterialien sind im Abschnitt Medien verlinkt. Rahmenbedingungen wie Datenschutz und EU KI-VO wurden im Entwicklungsprozess berücksichtigt. Anforderungen zu Datenschutz und EU KI-VO wurden daher nach dem „Privacy by Default“ Konzept umgesetzt. Die Applikation kommt ohne personenbezogene Daten aus. Transparenzinformationen werden direkt in der Anwendung automatisiert zu den jeweiligen Kriterien angegeben. Sie sind durch einen einfachen Klick auf den Info-Button abrufbar. Weitere Informationen können über in der Anwendung integrierte Nutzungsbedingungen aufgerufen werden. Details dazu sind im Abschnitt Stolpersteine beschrieben.
Notwendige Vorbereitungen (Lehrende)
Der Zugang zur Anwendung COFFEE (s. Abschnitt Medien) muss an der eigenen Hochschule eingerichtet werden. Lehrende sollten eigene Freitextaufgaben mit Bewertungskriterien und passenden Kontextinformationen (Musterlösungen, Studientexte) vorbereiten. Kenntnisse im Prompt Engineering sind vorteilhaft, können aber schnell mit Begleitmaterialien erlernt werden. Zur Anwendung gehört auch ein Schulungsangebot (z. B. “How to make COFFEE”), das vor der Nutzung der Anwendung durchlaufen werden sollte, sowie Content-Vorlagen zu Kriterien und Prompts.
Durchführung
Eine Lehrperson muss zunächst Fragen, Kriterien und Kontextinformationen – also wissenschaftliche Fachtexte, Musterlösungen oder Lehrtexte – in die entsprechenden Eingabemasken einfügen. Sie schreibt einen Prompt zu jedem Bewertungskriterium und wählt ein dazu passendes LLM aus.
Alle Informationen werden dann in einer Datenbank zusammengeführt und an ein generatives KI-Modell gesendet, die aus diesen Informationen Feedbacktexte in der Web-Anwendung erstellt. Die einzelnen Aufgaben zu einem Kurs können dann per Link in die Lernumgebung zum Kurs als Link oder in einem „iframe“ eingebunden werden, sodass Studierende sich das Feedback jederzeit für ihre Aufgabenlösung generieren lassen können.
Screencast der Studierendensicht
Nachbereitung (Lehrende)
Je nach Bedarf und Evaluationsergebnis kann im Anschluss eine Qualitätssicherung und Anpassung der Prompts erfolgen.
Die Anwendung besitzt unter dem Menüpunkt „Metrics“ ein Dashboard, in der die Nutzung und Bewertung der angelegten Feedbacks eines Kurses mit Filtermöglichkeiten dargestellt werden. So können verbesserungswürdige aktive Feedbacks schnell identifiziert werden.
Erforderliche Werkzeuge
Dieses Muster kann über die Anwendung COFFEE umgesetzt werden. Dies erfordert die Installation der Anwendung auf Systemen der Hochschule incl. Anbindung an LLM. Alle Informationen dazu finden Sie hier: https://github.com/hansesm/COFFEE
Stolpersteine
- Weniger gehaltvolle Feedbacks durch einfache LLM-Nutzung: Da generative KI, oder genauer gesagt LLMs trainiert wurden, immer die Antwort zu geben, die mit hoher Wahrscheinlichkeit gewünscht ist, kommt es oft zu sogenannten Halluzinationen und damit zu ungenauen Feedbacks. Daher ist es wichtig, klare Bewertungskriterien mit in einen Prompt zu integrieren.
- Sehr komplexe Aufgaben: Feedbacks zu umfangreichen Wissensfragen, Kettenaufgaben o.ä. bedürfen besonderer Sorgfalt. Es sollte darauf geachtet werden, dass die Aufgabenstellungen eindeutig sind. Ggf. müssen zu komplexe oder verschachtelte Aufgaben in mehrere Aufgaben aufgeteilt werden.
- Didaktische Kriterien: Feedbacks sollten idealerweise ca. 3 Kriterien nutzen. Zu viele Kriterien führen zu einem hohen Tokenverbrauch und machen das System langsam. Kriterien sollten trennscharf entwickelt werden, damit keine Redundanzen in den einzelnen Feedbacktexten entstehen.
- Qualitätssicherung: Die Qualität wird bestimmt durch die Passung von Kontextinformation, Prompt und genutztem LLM. Generelle Schwächen generativer KI für wissenschaftliche Anforderungen können nur minimiert werden, sind aber ggf. nicht ganz zu vermeiden. Eine erprobte Anleitung zur Qualitätssicherung ist Teil der Begleitmaterialien.
- EU KI-VO: Eine solche Anwendung ist laut EU KI-VO nur im Rahmen von Übungen während des Lernprozesses zu nutzen. Wie in den Nutzungsbedingungen beschrieben, dürfen z. B. keine Prüfungsleistungen mit COFFEE bewertet werden. Am Beispiel von COFFEE kann gezeigt werden, wie dies gelingen kann: Die Betreiber von COFFEE müssen Transparenzinformationen nach Art. 50 EU KI-VO geben, diese wurden bereits in die Anwendung in Nutzungsbedingungen und in Info-Felder integriert. Nach Art. 4 EU KI-VO müssen Nutzende KI-Kompetenzen besitzen, die von der Hochschule ggf. dokumentiert werden müssen. Das Lernangebot „How to make COFFEE“ dient zur Erfüllung dieser Pflicht. Studierende sollten vor allem KI-Kompetenzen im kritischen Umgang mit genKI besitzen. Dazu können kurze Lernvideos genutzt werden, insofern diese Kompetenzen nicht bereits auf andere Weise im Studium vermittelt wurden.
- DSGVO: Die Anwendung selbst nutzt keine personenbezogenen Daten, das Rollensystem der Anwendung kann durch Gruppenrollen erfolgen. Da die Datenschutzgesetze auch auf Landesebene oder den Regelungen einer Hochschule unterliegen, müssen die Pflichten immer im Zusammenhang mit der tatsächlichen Installation und Einbettung der Anwendung betrachtet werden. Bitte stimmen Sie sich dazu mit dem / der zuständigen Datenschutzbeauftragten ab und lassen Sie sich gut zu möglichen Szenarien beraten.
Folgen (Vorteile, Nachteile)
Vorteile
- Entlastung der Lehre durch automatisiertes Feedback
- Bestimmung der Bewertungskriterien für eine Aufgabe durch die Lehrenden selbst
- Lernförderliches Feedback für Studierende innerhalb weniger Sekunden nach Übermittlung einer Lösung
- Geschützter digitaler Übungsraum, da das Feedback ohne die Speicherung personenbezogener Daten gegeben werden kann
- Bereitstellung von Feedback, das ggf. aufgrund fehlender Ressourcen nicht möglich wäre
- Steigerung der Lernmöglichkeiten für Studierende, COFFEE kann mit entsprechenden Prompts die Anforderungen an gute Lösungen an Studierende kommunizieren bzw. vermitteln
- Umfangreiches Begleitmaterial mit Beispieltexten zu Bewertungskriterien und Prompts
- Transparenz für Nutzende, die automatisiert in Infoboxen Beschreibungen zum Bewertungskriterien und zum genutzten Prompt erhalten
- Evaluierter Einsatz und nachgewiesene Lernwirksamkeit
- Ein LLM wird mit der Anwendung installiert
- Ergänzung von beliebig vielen LLMs über eine dafür vorbereitete Schnittstelle möglich
- DSGVO- und EU KI-VO-konform bei Berücksichtigung der Stolpersteine
Nachteile
- Lokale Installation der Anwendung notwendig, keine Cloud Lösung.
- Zu Beginn möglicher erhöhter Aufwand bei der Generierung eines hochwertigen Feedbacks. Entscheidende Bedeutung der Kombination von Kontext, LLM und Prompt zur Erzeugung eines qualitätsgesicherten Feedback
