Wenn KI den Dialekt aus dem Dorf spricht
Wie genau kann künstliche Intelligenz Schweizer Dialekte unterscheiden? Forschende der ZHAW School of Engineering und der Universität Zürich entwickeln ein KI-Modell, das die sprachlichen Eigenheiten einzelner Ortschaften abbilden und daraus künstliche Stimmen erzeugen soll. Dafür sammeln sie Aufnahmen von Personen aus 85 Orten der Deutschschweiz.
Die ZHAW hat Standorte in Winterthur, Zürich und Wädenswil. Würde man jemanden fragen, welchen Schweizer Dialekt man dort spricht, würde man wohl «Züritüütsch» als Antwort erhalten. Doch vergleicht man Personen aus den drei Orten beim Sprechen, würden wohl einige Unterschiede im Dialekt auffallen. Kann das KI auch?
Das Projekt Synthetic Dialectology of Swiss German (SynthDiaSG) der ZHAW School of Engineering und des Linguistik Zentrum Zürich der Universität Zürich untersucht, ob eine künstliche Stimme nicht nur nach Regionen, sondern nach jemandem aus einer ganz spezifischen Ortschaft klingen kann. Das dreijährige Projekt verbindet KI-Forschung und Dialektologie und erhielt eine Förderung des Schweizerischen Nationalfonds SNF.
«Unsere Vision ist eine synthetische Dialektologie. Wir wollen Wissen aus der Dialektologie nutzen, um Sprachmodelle besser zu machen – und umgekehrt synthetische Daten einsetzen, um Fragen der Dialektologie zu beantworten», sagt Jan Milan Deriu, Co-Projektleiter seitens ZHAW.
85 Orte, je drei Stimmen
Den Auftakt des Projekts macht das Zusammenstellen eines aufwendiger Datensatzes. In 85 über die Deutschschweiz verteilten Ortschaften sollen jeweils drei Personen für Sprachaufnahmen gewonnen werden. Für die Aufnahmen kommen die Teilnehmenden ins phonetische Labor der Universität Zürich. Allein die Suche nach den Personen und Datenerhebung dürften rund eineinhalb Jahre dauern.
Parallel baut das Team ein eigenes Voice-Cloning-Modell auf. Es soll nicht nur bekannte lokale Dialekte abbilden, sondern auch Varianten erzeugen können, die nicht direkt in den Trainingsdaten vorkommen. «Besonders spannend ist die Frage, ob wir zwischen zwei Orten interpolieren können – also einen Dialekt synthetisieren, den das Modell so nie gehört hat», erklärt Deriu. Dabei könnten auch Faktoren wie historische Reisezeiten und die dadurch entstandene sprachliche Nähe zwischen Regionen eine Rolle spielen.
Wie klingt denn ein Dialekt?
Eine weitere Herausforderung ist die Evaluation. Die Messung, ob eine synthetische Stimme tatsächlich den gewünschten lokalen Dialekt trifft, ist schwierig. In Hörstudien soll untersucht werden, wie Laien und Fachleute natürliche und künstliche Aufnahmen wahrnehmen und geografisch einordnen.
Die Ergebnisse sind nicht nur für die Forschung interessant. Mögliche Anwendungen reichen von regional angepassten Werbespots und Callcenter-Stimmen bis zu Sprachassistenten oder Robotik. «Wir erhalten bereits Anfragen von Unternehmen, die synthetische Schweizer Stimmen einsetzen möchten», sagt Deriu. Denkbar wäre etwa derselbe Werbespot in verschiedenen Regionen im jeweiligen Dialekt.