School of Engineering

Machine Perception and Cognition

«Ausgestattet mit führender KI-Expertise widmen wir uns der praxisorientierten Lösung realer Probleme: Wir entwickeln beispielsweise alltagstaugliche Weltmodelle, setzen Foundation Models für Dokumente ein, treiben Innovationen in der medizinischen und industriellen KI unter begrenzten Ressourcen voran, erforschen Interaktionsmuster zwischen Mensch und KI und gestalten Visionen für eine positive gesellschaftliche Zukunft – mit einem klaren Bekenntnis zu einer menschenzentrierten KI.»

Prof. Dr. Thilo Stadelmann

Expertise

  • Sensorische Mustererkennung mit Deep Learning
  • Dokumentenerkennung und Multimedia-Analyse (z. B. für Industrie und Medizin)
  • Entwicklung biologisch inspirierter neuronaler Systeme, Weltmodelle
  • Gesellschaftliche Auswirkungen von KI, menschenzentriertes KI-Design

Praxisnahe KI-Aufgaben beginnen häufig mit der Erkennung von Mustern in Sensordaten (etwa Ähnlichkeiten und Anomalien in Bild-, Video-, Zeitreihen- oder Audiodaten) und reichen bis hin zur Interpretation dieser Muster (was zu Aktionen wie Klassifikation, Segmentierung, Vorhersage oder Entscheidungsfindung führt). 

Die MPC-Gruppe deckt dieses Spektrum von der Wahrnehmung bis zur Kognition ab; sie ist in der Forschung zur Mustererkennung verwurzelt und konzentriert sich auf Methoden der tiefen neuronalen Netze. 

Die von uns untersuchten Aufgabenstellungen umfassen unterschiedliche Lernziele (z. B. Detektion, Klassifikation, Clustering, Segmentierung, Erkennung von Neuartigem, Regelung) und entsprechende praktische Anwendungsfälle (z. B. vorausschauende Wartung industrieller Anlagen, Sprechererkennung für die Multimedia-Indexierung, Dokumentenanalyse im Bauwesen, Computer Vision für die industrielle Qualitätskontrolle, automatisiertes maschinelles Lernen in der allgemeinen Datenwissenschaft, Deep Reinforcement Learning für die Gebäudesteuerung, Videoanalyse für die automatisierte Medienproduktion, Gesichtserkennung für biometrische Zugangskontrollen sowie Co-Lernen von Mensch und KI für eine sinnvolle Zusammenarbeit in Szenarien mit weitreichenden Konsequenzen), die wiederum unterschiedliche Aspekte des Lernprozesses beleuchten. 

Wir nutzen diese Erfahrung, um zunehmend universell einsetzbare KI-Systeme für die Praxis zu entwickeln, die auf neuronalen Architekturen basieren. Zentrale Herausforderungen liegen dabei in der Robustheit der Systeme sowie in ihrer Effizienz hinsichtlich benötigter Datenproben und Annotationen; Lösungsansätze hierfür finden wir häufig im Transfer Learning und in der Domänenanpassung. 

Darüber hinaus lassen wir uns von biologischen Lernprozessen inspirieren, um KI-Methoden der nächsten Generation auf der Basis von Weltmodellen zu entwickeln, und engagieren uns aktiv an der Schnittstelle von Technologie und Gesellschaft, um durch eine menschenorientierte KI zu einer lebenswerten Zukunft beizutragen.

Dienstleistungen

Zusätzliche Informationen

Die Mitglieder unserer Gruppe verfügen über sehr unterschiedliche Hintergründe; dies ermöglicht es uns, unsere jeweiligen Kompetenzen zu ergänzen und vielfältige Fragestellungen mit einer zielgerichteten Methodik zu bearbeiten. Kontaktieren Sie uns gerne, wenn Sie an einer Zusammenarbeit im Rahmen geförderter Verbundprojekte für Forschung und Innovation interessiert sind oder ein Masterstudium unter unserer Betreuung absolvieren möchten. Stellenangebote (auch für Promovierende) veröffentlichen wir auf der Website unserer Institution, sobald diese verfügbar sind.

Team

Projekte

Publikationen

Sonstige Veröffentlichungen

Wann Art Titel
2023 Extended Abstract Thilo Stadelmann. KI als Chance für die angewandten Wissenschaften im Wettbewerb der Hochschulen. Workshop (“Atelier”) at the Bürgenstock-Konferenz der Schweizer Fachhochschulen und Pädagogischen Hochschulen 2023, Luzern, Schweiz, 20. Januar 2023
2022 Extended Abstract Christoph von der Malsburg, Benjamin F. Grewe, and Thilo Stadelmann. Making Sense of the Natural Environment. Proceedings of the KogWis 2022 - Understanding Minds Biannual Conference of the German Cognitive Science Society, Freiburg, Germany, September 5-7, 2022.
2022 Open Research Data Felix M. Schmitt-Koopmann, Elaine M. Huang, Hans-Peter Hutter, Thilo Stadelmann, und Alireza Darvishy. FormulaNet: Ein Benchmark-Datensatz für die Erkennung mathematischer Formeln. Eine ungelöste Teilaufgabe der Dokumentenanalyse ist die Erkennung mathematischer Formeln (MFD). Forschungen von uns und anderen haben gezeigt, dass bestehende MFD-Datensätze mit Inline- und Display-Formel-Etiketten klein sind und eine unzureichende Etikettierungsqualität aufweisen. Es besteht daher ein dringender Bedarf an Datensätzen mit besserer Beschriftungsqualität für die zukünftige Forschung im Bereich MFD, da diese einen großen Einfluss auf die Leistung der darauf trainierten Modelle haben. Wir stellen eine fortschrittliche Etikettierungspipeline und einen neuen Datensatz namens FormulaNet vor. Mit über 45.000 Seiten ist FormulaNet unserer Meinung nach der größte MFD-Datensatz mit Inline-Formelbeschriftungen. Unser Datensatz soll bei der Bewältigung der MFD-Aufgabe helfen und kann die Entwicklung neuer Anwendungen ermöglichen, wie z. B. die Zugänglichkeit mathematischer Formeln in PDFs für sehbehinderte Benutzer von Bildschirmlesegeräten.
2020 Open Research Data Lukas Tuggener, Yvan Putra Satyawan, Alexander Pacha, Jürgen Schmidhuber, and Thilo Stadelmann, DeepScoresV2. The DeepScoresV2 Dataset for Music Object Detection contains digitally rendered images of written sheet music, together with the corresponding ground truth to fit various types of machine learning models. A total of 151 Million different instances of music symbols, belonging to 135 different classes are annotated. The total Dataset contains 255,385 Images. For most researches, the dense version, containing 1714 of the most diverse and interesting images, is a good starting point.