We Design Human Interaction with Information
Die Forschungsgruppe Human-Centered Computing (HCC) des InIT befasst sich mit innovativen natürlichen Interaktionskonzepten zwischen Benutzern und digitaler Information. Diese Interaktionen sind immer häufiger mobil und multimodal und umfassen neben den klassischen Interaktionsmöglichkeiten neue Modalitäten wie Gestik, Sprachein- und -ausgabe sowie Mixed-Reality-Interaktionen. Da heutige Benutzer hohe Anforderungen an die Usability und User Experience vor allem mobiler Applikationen und Services stellen, müssen diese von Beginn weg benutzerzentriert und partizipativ entwickelt und laufend bezüglich Usability mit den Benutzern evaluiert werden. Bei der Entwicklung der Interaktionskonzepte ist auch wichtig zu berücksichtigen, dass die Interaktion barrierefrei ist für möglichst alle Benutzer, auch solche mit einer Einschränkung oder ältere Personen.
Forschungsgebiete
Immersive Technologien
Wir erforschen einerseits neuste Interaktionsmodalitäten (Sprache, Gestik, Augmented Reality, Virtual Reeality) für Mobile und Visual Computing und befassen uns mit der benutzerzentrierten Entwicklung von innovativen Applikationen und Services mit besonderen Ansprüchen. Dabei werden die Sensorik und Interaktionsmöglichkeiten heutiger und zukünftiger Mobilgeräte eingesetzt, um eine optimale User-Experience zu erreichen.
Sprache und Sound (Sonification) sind wichtige Modalitäten von Natural User Interfaces, insbesondere für Anwendungen mit limitierter Bildschirminteraktion (wie Smartwatches oder hands-free AR). Deep-Learning-basierte Spracherkennung hat in den letzten Jahren enorme Fortschritte gemacht, so dass nun vielversprechende Anwendungen möglich werden, wie z.B. Live-Captioning von Videos oder Conversational Assistants.
Das Konzept "AR Cloud" addressiert die Web-basierte, persistente Anreicherung von Innen- und Aussenräumen. Wir entwickeln kollaborative AR/VR-Anwendungen, um den Inhalt des „Metaverse“ für Benutzer aktiv gestaltbar und dank „Scene Understanding“ smart erlebbar zu machen.
Aktuelle Forschungsprojekte und -themen
Im Innosuisse-Projekt "Monitoring von AV-Medien" erforschen wir Deep-Learning-basierte Speech-to-Text-Systeme für die Transkription von Schweizer Dialektsprachen in AV-Medien.
Im Innosuisse Flagship-Projekt „Data-driven transformation of surgical education for proficiency-based performance“ wird ein völlig neuartiges Konzept für die praktische Ausbildung von Chirurgen entwickelt, basierend auf innovativen Virtual- und Augmented Reality-Simulatoren.
ICT-Accessibility
ICT-Accessibility befasst sich mit der Erforschung und Entwicklung von ICT-basierten Lösungen, um Barrieren für Menschen mit Behinderungen und ältere Menschen zu reduzieren, sei es durch barrierefreie Benutzerschnittstellen, den barrierefreien Zugang zu digitalen Informationen oder barrierefreie Mobilität. Dabei setzen wir immer häufiger KI-basierte Ansätze ein.
Aktuelle Forschungsprojekte und -themen
Im Projekt „Accessible Scientific PDFs for all“, das vom Schweizerischen Nationalfond und Innosuisse gemeinsam finanziert wird, erforschen wir, wie wissenschaftliche PDF-Dokumente barrierefrei gemacht werden können, damit die wissenschaftliche Forschungsliteratur auch für Menschen mit Seheinschränkung zugänglich gemacht werden kann. Dabei werden innovative Deep-Learning-basierte Ansätze erforscht, um Formeln in PDFs zu erkennen und in eine lesbare und navigierbare Form umzuwandeln.
Im jüngsten Projekt "Accessible Graphics" befassen wir uns mit der automatischen Generierung von Beschreibungen für wissenschaftliche Grafiken in PDF-Dokumenten mit Hilfe Deep-Learning-basierter Ansätze.
Daneben erforschen wir in verschiedenen Projekten im Bereich „Accessible Mobility“, wie Menschen mit Mobilitätseinschränkungen einfach barrierefreie Wege von einem Ausgangspunkt zu einem Zielort finden und unterwegs sicher auf diesem Weg geleitet werden.
Im Rahmen zweier durch swissuniversities finanzierten Projekte befassen wir uns damit, wie das Studium für Menschen mit Beeinträchtigungen durch den Einsatz digitaler Technologien barrierefrei gemacht werden kann. In Zusammenarbeit mit Universitäten führen wir gemeinsame PhDs im Bereich Accessibility durch.
Wir evaluieren auch gerne Websites und mobile Applikationen bezüglich Barrierefreiheit und entwickeln Tools und Plugins, um digitale Dokumente barrierefrei zu machen.
Projekte
Im Zuge des Neuaufbaus der Forschungsdatenbank sind die bisherigen Listen mit Forschungsprojekten nicht mehr abrufbar. Die Zukunft geht in Richtung Volltextsuche und Filterung, um bestmögliche Suchergebnisse für unsere Besucher:innen zur Verfügung zu stellen.
In der Zwischenzeit können Sie die Projekte ganz einfach unter folgendem Link per Textsuche finden: «Zur neuen Suche in der Projektdatenbank»
Publikationen
-
Stucki, Simon; Ackermann, Philipp,
2024.
Physically-based path tracer using WebGPU and OpenPBR [Paper].
In:
ACM SIGGRAPH Web3D 2024.
29th International Conference on 3D Web Technology (Web3D), Guimarães, Portugal, 25-27 September 2024.
Association for Computing Machinery.
Verfügbar unter: https://doi.org/10.1145/3665318.3677158
-
Bamdad, Marziyeh; Scaramuzza, Davide; Darvishy, Alireza,
2024.
SLAM for visually impaired people : a survey.
IEEE Access.
12, S. 130165-130211.
Verfügbar unter: https://doi.org/10.1109/ACCESS.2024.3454571
-
2024.
Accessible mobility for persons with disabilities [Paper].
In:
Miesenberger, Klaus; Peňáz, Petr; Kobayashi, Makato, Hrsg.,
Computers Helping People with Special Needs.
International Conference on Computers Helping People with Special Needs (ICCHP), Linz, Austria, 8-12 July 2024.
Cham:
Springer.
S. 395-399.
Lecture Notes in Computer Science ; 14750.
Verfügbar unter: https://doi.org/10.1007/978-3-031-62846-7_47
-
Pierrès, Oriane; Schmitt-Koopmann, Felix; Darvishy, Alireza,
2024.
PDF accessibility in international academic publishers [Paper].
In:
Miesenberger, Klaus; Peňáz, Petr; Kobayashi, Makato, Hrsg.,
Computers Helping People with Special Needs.
International Conference on Computers Helping People with Special Needs (ICCHP), Linz, Austria, 8-12 July 2024.
Cham:
Springer.
S. 38-46.
Lecture Notes in Computer Science ; 14750.
Verfügbar unter: https://doi.org/10.1007/978-3-031-62846-7_5
-
Schmitt-Koopmann, Felix; Huang, Elaine M.; Hutter, Hans-Peter; Stadelmann, Thilo; Darvishy, Alireza,
2024.
MathNet : a data-centric approach for printed mathematical expression recognition.
IEEE Access.
12, S. 76963-76974.
Verfügbar unter: https://doi.org/10.1109/ACCESS.2024.3404834