Multikom XR - Explorative Studie zur KI-gestützten Analyse beruflicher Kommunikation in XR
Das Projekt untersucht die Machbarkeit KI-gestützter Gesprächssimulationen in XR für professionelles Kommunikationstraining. Der innovative Fokus dabei liegt auf dem Erfassen und Bewerten von para- und nonverbalen Kommunikationssignalen.
Beschreibung
Kommunikative Kompetenzen sind zentrale Erfolgsfaktoren in Gesundheits- und Sozialberufen – ihre Vermittlung in der Ausbildung stellt jedoch eine besondere Herausforderung dar. Rollenspiele mit Schauspieler:innen gelten zwar als effektiv, sind aber teuer und schwer skalierbar. Eine valide Alternative dazu bieten virtuelle Trainingssimulationen.
Bestehende Produkte stützen sich bislang fast ausschliesslich auf textuelle Transkripte des Gesprochenen und vernachlässigen dabei zentrale para- und nonverbale Kommunikationssignale wie Blickverhalten, Körperhaltung oder Stimmlage. Neue Sensorik im Bereich eXtended Reality (XR) sowie Fortschritte in der KI-gestützten Sprach- und Dialoganalyse eröffnen das Potenzial, diese Lücke zu schliessen.
Das Projekt prüft die Machbarkeit einer gesamtheitlichen, sensorbasierten Erfassung und KI-gestützten Auswertung von Kommunikationsverhalten in immersiven Lernszenarien. Dabei sollen diese Daten erstmals mit einem normativen Anforderungskatalog aus der Berufsbildung abgeglichen und objektiv bewertet werden.
Der Nutzen liegt auf mehreren Ebenen: Gelingt das Vorhaben, könnten Lehrpersonen künftig fundierte Rückmeldungen zu kommunikativen Kompetenzen geben, die über rein subjektive Einschätzungen hinausgehen. Die Ausbildung würde dadurch objektivierbarer, skalierbarer und zugänglicher.
Langfristig lassen sich bessere Trainingseffekte erzielen, Ausbildungskosten senken und die Versorgungsqualität im Gesundheits- und Sozialbereich erhöhen. Die technische Umsetzung ist anspruchsvoll: Normen wie "wertschätzende Kommunikation" müssen zunächst in beobachtbare Verhaltensmerkmale übersetzt und diese wiederum sensorisch erfasst und automatisch bewertet werden. Die Studie legt hierfür die methodischen und technischen Grundlagen. Mehrere potenzielle Umsetzungspartner haben starkes Interesse an einer Weiterentwicklung bekundet – sie erwarten vor einer Mitwirkung jedoch klare Hinweise auf die Machbarkeit.
Eckdaten
Projektleitung
Stellv. Projektleitung
Projektteam
Projektpartner
Pädagogische Hochschule Zürich PHZH / Abteilung Sekundarstufe II
Projektstatus
laufend, gestartet 09/2025
Institut/Zentrum
Institut für Wirtschaftsinformatik (IWI); Centre for Artificial Intelligence (CAI)
Drittmittelgeber
Innosuisse Innovationsprojekt
Projektvolumen
259'774 CHF