Safe AI & Vertrauenswürdige Autonomie

KI-basierte Funktionen übernehmen zunehmend Wahrnehmungs-, Diagnose-, Planungs- und Entscheidungsaufgaben in sicherheitskritischen Systemen. Dabei entstehen neue Anforderungen an Entwicklung, Absicherung und Betrieb.

Wir entwickeln und validieren KI-basierte und autonome Funktionen für sicherheitskritische und regulierte Anwendungen. Dabei betrachten wir KI-Komponenten nicht isoliert, sondern als Teil eines Gesamtsystems aus Sensorik, klassischer Software, Steuerung, Aktorik, Sicherheitsmechanismen und menschlicher Interaktion.

Neben Safety und Robustheit berücksichtigen wir auch Anforderungen an Transparenz, Fairness, Datenqualität, Human Oversight, Cybersecurity und Monitoring über den Lebenszyklus.

1. Für welche Aufgaben kann eine KI-Funktion in einem sicherheitskritischen System eingesetzt werden und wo liegen ihre Grenzen?
2. Welche Risiken entstehen durch Daten, Modelle, Wahrnehmungsfehler oder unbekannte Einsatzbedingungen?
3. Wie lassen sich Robustheit, Unsicherheit und Grenzen einer KI-Funktion systematisch untersuchen?
4. Wie kann eine KI-Komponente sicher in das Gesamtsystem integriert und durch zusätzliche Sicherheitsmechanismen abgesichert werden?
5. Wie können Transparenz, Fairness, Human Oversight und Datenqualität bereits bei der Entwicklung berücksichtigt werden?
6. Wie lassen sich KI-basierte Funktionen verifizieren, validieren und im späteren Betrieb überwachen?
7. Wie können Anforderungen aus dem EU AI Act und sektorspezifischen Safety-Vorgaben gemeinsam umgesetzt werden?

• Einsatzkontext und Rolle der KI verstehen
  Wir analysieren, welche Aufgabe die KI im Gesamtsystem übernimmt, welche Entscheidungen von ihr abhängen und unter welchen Bedingungen sie eingesetzt werden soll.
  Dazu gehören Systemgrenzen, Einsatzumgebung, mögliche Fehlentscheidungen und deren Auswirkungen auf das Gesamtsystem.
• Risiken analysieren
  Wir betrachten Risiken aus Daten, Modellen und Systemintegration. Neben klassischen Fehlfunktionen berücksichtigen wir unter anderem Unsicherheit, unbekannte Situationen, Performance-Grenzen und Wechselwirkungen mit Menschen oder anderen Systemkomponenten.
• Daten und Modelle entwickeln
  Wir unterstützen bei Auswahl, Aufbereitung und Bewertung von Trainings-, Validierungs- und Testdaten sowie bei der Entwicklung und Integration geeigneter KI-Modelle.
  Dabei betrachten wir insbesondere Datenqualität, Repräsentativität und mögliche Biases.
• Fähigkeiten und Grenzen untersuchen
  Ein hoher Performance-Wert allein reicht für sicherheitskritische Anwendungen nicht aus. Wir untersuchen gezielt, unter welchen Bedingungen eine KI-Funktion zuverlässig arbeitet und wo ihre Grenzen liegen.
  Dafür kombinieren wir reale Daten, Simulation, Szenarientests und physische Versuchssysteme.
• KI sicher in das Gesamtsystem integrieren
  Wenn eine KI-Funktion eine Situation nicht ausreichend zuverlässig beurteilen kann, muss das Gesamtsystem damit umgehen können.
  Je nach Anwendung kommen beispielsweise Plausibilitätsprüfungen, zusätzliche Sensorik, Redundanzen, Monitoring, degradierte Betriebsarten oder definierte sichere Zustände zum Einsatz.
• Verhalten im Betrieb überwachen
  Auch nach der Inbetriebnahme können sich Daten, Einsatzbedingungen oder Systemverhalten verändern. Deshalb berücksichtigen wir Monitoring und die kontinuierliche Bewertung bereits während der Entwicklung.

Safe AI ist für uns nicht nur eine Frage der Modellqualität. Entscheidend ist, wie eine KI-Komponente in das sicherheitskritische Gesamtsystem eingebettet ist.

Dabei betrachten wir unter anderem:

• welche Informationen die KI erhält,
• welche Entscheidungen von ihrem Output abhängen,
• welche Folgen fehlerhafte oder unsichere Outputs haben,
• wie Unsicherheit erkannt wird,
• welche Sicherheitsmechanismen ausserhalb der KI vorhanden sind,
• wann eine Funktion degradiert oder abgeschaltet werden muss,
• welche Rolle der Mensch bei Überwachung und Intervention übernimmt.

Dadurch werden KI, klassische Systemtechnik und Safety Engineering gemeinsam betrachtet.

Neben funktionaler Performance betrachten wir weitere Eigenschaften, die für den sicheren und vertrauenswürdigen Einsatz von KI relevant sind.

• Robustheit
  Das System muss auch bei Störungen, Unsicherheit und veränderten Einsatzbedingungen beherrschbar bleiben.
• Transparenz & Nachvollziehbarkeit
  Fähigkeiten, Grenzen und relevante Systementscheidungen müssen für Nutzer und Verantwortliche ausreichend nachvollziehbar sein.
• Fairness & Bias
  Wir untersuchen Daten und Modelle auf systematische Verzerrungen und bewerten deren Auswirkungen auf das System und betroffene Personen.
• Data Governance
  Trainings-, Validierungs- und Testdaten werden hinsichtlich Herkunft, Qualität, Repräsentativität und Eignung betrachtet.
• Human Oversight
  Wir untersuchen, welche Informationen und Eingriffsmöglichkeiten Menschen benötigen, um KI-basierte Funktionen angemessen zu überwachen.
• Cybersecurity
  Manipulationen an Daten, Modellen und Schnittstellen können Auswirkungen auf Safety und Systemverhalten haben und müssen entsprechend berücksichtigt werden.
• Traceability & Monitoring
  Systemzustände, Entscheidungen und relevante Ereignisse sollen nachvollziehbar erfasst und über den Betrieb hinweg bewertet werden können.

Autonome Systeme verbinden Wahrnehmung, Planung, Entscheidungsfindung und Ausführung. Entscheidend ist deshalb nicht nur die Qualität einzelner KI-Modelle, sondern das sichere Zusammenspiel dieser Funktionen.

Wir betrachten insbesondere:

• Wahrnehmung
  Welche Informationen stehen dem System zur Verfügung und wie zuverlässig sind sie?
• Planung & Entscheidung
  Welche Entscheidungen darf das System selbstständig treffen?
• Systemgrenzen
  Unter welchen Bedingungen darf eine autonome Funktion eingesetzt werden?
• Fallback & Degradation
  Wie reagiert das System, wenn notwendige Fähigkeiten oder Informationen nicht mehr ausreichend verfügbar sind?
• Human Oversight
  Wann und wie muss ein Mensch eingreifen können?