Best Paper Award für Jasmin Heierli
Der Swiss Data Science (SDS) Award für das beste Paper geht an ein Projekt der ZHAW School of Management and Law (SML). Jasmin Heierli und ihr Team des Instituts für Wirtschaftsinformatik untersuchten unter dem Titel «Too Nice to Be Human», ob Large Language Models (LLM) je nach Sprachversion unterschiedliche Antwortmuster aufweisen.
Wie ticken Sprachmodelle in verschiedenen Kulturkreisen? Antworten GPT & Co. je nach Sprache anders? Diesen Fragen gingen Jasmin Heierli, Alexandre de Spindler, Elena Gavagnin und ein Team von Studierenden vom Institut für Wirtschaftsinformatik der SML nach – und gewannen dafür den SDS-Award für das beste Short Paper. Die Idee für eine solche Forschung entstand bereits vor zwei Jahren. Nun konnte sie im Rahmen des Data Science Projekts von Ilias Ehrensperger und Maurice Rüegg umgesetzt werden.
Antworten LLMs je nach Sprache anders?
Menschen weisen abhängig von ihrem kulturellen Hintergrund im Durchschnitt unterschiedliche Verhaltens- und Antwortmuster auf. Auf Fragen wie «Was würden Sie tun, wenn Sie eine halbe Million stehlen könnten und wüssten, dass es niemand jemals erfahren würde?» reagieren Personen je nach kulturellem Kontext unterschiedlich. Das Team des IWI wollte herausfinden, wie LLMs diese Fragen je nach Sprache, in der die Frage gestellt wurde, beantworten. Für die Untersuchung nutzten sie drei LLMs, nämlich GPT von OpenAI, Gemini von Google sowie DeepSeek der gleichnamigen Firma. Die Fragen wurden in vier Sprachen – Englisch, Deutsch, Spanisch und Finnisch – gestellt. Die Idee hinter der Auswahl dieser Sprachen: Es sollte ein guter Mix aus Sprachen mit vielen Trainingsdaten wie Englisch oder Sprachen wie Finnisch, wo deutlich weniger Trainingsdaten vorhanden sind, bestehen. Zudem wurden mit der Auswahl germanische, romanische und uralische Sprachfamilien abgedeckt.
LLMs zeigen eigene Antwortmuster
Die Untersuchung hat gezeigt, dass LLMs die Fragen übermässig fair und hilfreich beantworteten – nicht, emotional. Jasmin Heierli betont, dass sie den Fragebogen nicht als Persönlichkeitsmerkmale der Sprachmodelle interpretierten. Vielmehr wollten die Forschenden zeigen, dass LLMs nicht in allen Sprachen gleiche Antworten liefern. «Je nach Kulturkreis lassen sich bei Menschen Unterschiede in den Antwortmustern feststellen. Bei den Modellen ist dies nicht der Fall. Hier sehen wir aber ein Muster pro LLM», erläutert Jasmin Heierli die Ergebnisse. «Die LLMs werden entsprechend darauf trainiert und entsprechende Alignments werden programmiert. Dies konnten wir an den gegebenen Antworten je LLM auch feststellen.» Einzig im Finnischen gab es leichte Abweichungen zu den anderen Sprachen. Das Forschungsteam erklärt sich das damit, dass hier weniger Trainingsdaten vorhanden sind, auf die die Systeme zugreifen können.
Die Forschung macht deutlich, dass Sprachmodelle konsistente, angenehme Unterhaltungen ermöglichen. Bei genauerem Hinschauen wirken die Antworten aber generisch und unzureichend auf lokale soziale Normen abgestimmt.
Gratulation an Jasmin Heierli, die Studierenden Ilias Ehrensperger und Maurice Rüegg sowie Alexandre de Spindler und Elena Gavagnin zu dieser Auszeichnung.