Integration einer generativen KI-basierten Auswertung in Thesis Writer
Als Machbarkeitsnachweis entwickelt dieses Projekt ein generative KI-basiertes Tool zur Bewertung der Textqualität für die Plattform Thesis Writer. Der Ansatz nutzt Prompt Engineering, um über eine API relevante Bewertungen für auf der digitalen Plattform verfasste Texte in grossem Umfang bereitzustellen.
Beschreibung
Der Prozess des Verfassens einer Abschlussarbeit umfasst eine iterative Textentwicklung, bei der Feedback-, Bewertungs- und Überarbeitungszyklen von zentraler Bedeutung sind. Für Lehrkräfte im Bereich wissenschaftliches Schreiben stellt dies angesichts hoher Arbeitsbelastung eine Herausforderung dar. Automatisierte Bewertungssysteme (Automated essay scoring - AES) können hier Abhilfe schaffen. Allerdings erfordert dieser Ansatz eine umfangreiche Sammlung manuell bewerteter Texte, um einen Algorithmus auf Basis automatisch extrahierter und verarbeiteter Textmerkmale (NLP) zu entwickeln – was mit erheblichem Aufwand und Kosten verbunden ist.
Die Entwicklungen im Bereich der generativen KI eröffnen neue Möglichkeiten für automatisierte Bewertungen. Ein Ansatz besteht darin, große Sprachmodelle (LLMs) gezielt für bestimmte Zwecke zu fine-tunen. Ein flexiblerer und kosteneffizienterer Weg ist die Nutzung von Prompt Engineering, um ein effektives System zur Bewertung und Rückmeldung zu gestalten. Dieses Projekt schlägt als Machbarkeitsnachweis die Entwicklung eines promptbasierten Bewertungssystems vor, das durch API-Integration und codebasierte Nutzung generativer KI die Bewertung studentischer Texte im Rahmen des Abschlussarbeitsprozesses skalierbar unterstützt.
Eckdaten
Projektleitung
Projektteam
Jakob Ott, Dr. Christian Rapp, Prof. Dr. Otto Kruse
Projektstatus
abgeschlossen, 08/2024 - 07/2025
Institut/Zentrum
Institute of Language Competence (ILC)
Drittmittelgeber
ZHAW digital / Digital Futures Fund for Research
Projektvolumen
20 CHF