Sagen grosse Sprachmodelle die nächsten Wörter voraus, so wie es unser Gehirn tut?
Gehirnaufzeichnungen zeigen konsistente Muster hinsichtlich der Vorhersagbarkeit nachfolgender Wörter als Sprachmodelle
Das Sprachverständnis beinhaltet die kontinuierliche Vorhersage nachfolgender Wörter und sprachlicher Inhalte. Es ist jedoch unklar, ob die Art und Weise, wie unser Gehirn Sprache auf der Grundlage der Vorhersagbarkeit von Wörtern vorhersagt, den in grossen Sprachmodellen (LLMs) beobachteten Mustern ähnelt.
Die neueste Veröffentlichung der Gruppe „Responsible AI Innovation“ nutzt bildgebende Verfahren, um wortklassenspezifische neuronale Reaktionen während der Wahrnehmung von kontinuierlicher Sprache zu untersuchen. Die mittels Elektroenzephalografie (EEG) und Magnetenzephalografie (MEG) erfassten Gehirnmuster wurden mit der Vorhersagbarkeit auf Wortklassenebene und der Repräsentationsstruktur in einem grossen Sprachmodell in Beziehung gesetzt.
Die Analyse der wortklassenspezifischen Vorhersagbarkeit und Repräsentationsstruktur im transformerbasierten Sprachmodell Llama liefert einen computergestützten Referenzrahmen, der die neuronalen Befunde auf der Ebene der Wortklassen ergänzt. Diese Ergebnisse unterstreichen die Bedeutung neurowissenschaftlich fundierter Studien für die Entschlüsselung der prädiktiven, syntaktischen und semantischen Mechanismen, die dem Sprachverständnis des Menschen und dessen Kodierung in LLMs zugrunde liegen.
Diese Arbeit ist das Ergebnis einer Zusammenarbeit mit Achim Schilling und Patrick Krauss von der FAU Erlangen-Nürnberg und Universitätsmedizin Mannheim, mit Unterstützung der EELISA European University.
Kölbl, N., Rampp, S., Kaltenhäuser, M. et al. Prediction, syntax and semantic grounding in the brain and large language models. Sci Rep 16, 8728 (2026). https://doi.org/10.1038/s41598-026-41532-0