Speech-To-Text (STT) für Menschen mit Hörbehinderung
Die Sprache von Menschen mit Hörbehinderung (MmH) ist für jedes Speech-To-Text (STT)-System eine Herausforderung. Ziel dieses Projektes ist die Optimierung eines STT-Systems für Schweizerdeutsche Dialekte, das im Forschungsprojekt MAM des InIT entwickelt wurde, auf die Sprache dieser Menschen.
Beschreibung
Es gibt bereits einige STT-Apps für Menschen mit Hörbehinderung. Diese transkribieren jedoch nur einseitig die Sprache der hörenden Gesprächspartner. Die gehörlose Person muss ihre Nachricht stattdessen eintippen. Dieses Projekt versucht, diese Hürde zu überwinden, indem es die neusten Forschungsergebnisse im Bereich DL-basierter STT anwendet.
Zu diesem Zweck soll ein robustes STT-System auf der Basis von Whisper, das im Forschungsprojekt MAM für das Schweizer Dialekte optimiert wurde, so nachtrainiert werden, dass es auch Sprache von MmH erkennt, die sich stark von der Sprache von Normalhörenden unterscheidet. Zu diesem Zweck werden Audiodaten verschiedener Sprechenden mit Hörbehinderung gesammelt und damit das STT-System nachtrainiert. Mit diesem wird sodann eine mobile App entwickelt, die Sprache von Menschen mit und ohne Hörbehinderung in Text transkribiert, der dann dem Gesprächspartner auf dem Bildschirm angezeigt wird.
Eckdaten
Projektleitung
Projektteam
Projektstatus
abgeschlossen, 03/2025 - 12/2025
Institut/Zentrum
Institut für Informatik (InIT)
Drittmittelgeber
ZHAW digital
Projektvolumen
20'000 CHF
Steinberggasse 13
8400 Winterthur