Vertrauenswürdige Künstliche Intelligenz

Warum ist es wichtig, dass KI-Anwendungen vertrauenswürdig sind?

KI verändert unser Leben rasant: KI-Systeme automatisieren Prozesse in der Wirtschaft, unterstützen die Diagnose von Krankheiten, verändern unseren Arbeitsalltag durch generative Modelle und gestalten ganze Branchen neu. Die Verlässlichkeit und Vertrauenswürdigkeit von KI-Technologien ist entscheidend – insbesondere in sicherheitskritischen Bereichen wie dem Gesundheitsweisen oder autonomen Fahren.

Es ist deshalb notwendig, KI-Risiken frühzeitig zu erkennen, die Einhaltung ethischer Standards und rechtlicher Anforderungen sicherzustellen und Systeme entsprechend abzusichern. Klar und schlank operationalisierte rechtliche Anforderungen an vertrauenswürdige KI-Systeme und technische Lösungen zur KI-Absicherung durch zielgerichtete Prüfmethoden sind wichtige Bausteine, um den nachhaltigen, sicheren und effektiven KI-Einsatz zu ermöglichen. So wird das Vertrauen in die Technologie und den digitalen Wandel gestärkt und Unternehmen der effiziente KI-Einsatz in sicherheitskritischen und regulatorisch relevanten Bereichen ermöglicht.

Was wird am Fraunhofer IAIS zu vertrauenswürdiger KI erforscht?

Am Fraunhofer IAIS wird das komplette Spektrum vertrauenswürdiger KI erforscht. Ein besonderes Augenmerk liegt auf der Operationalisierung der gesamten Wertschöpfungskette für vertrauenswürdige KI sowie KI-Qualität. Anforderungen an KI-Systeme aus Gesetzgebung und Standards müssen technisch interpretiert und wissenschaftlich umgesetzt werden. Methoden und Tools zur Implementierung der Anforderungen müssen entwickelt werden und an Ansätzen zur Abdeckung von Gaps in der Umsetzung wird aktiv geforscht. Schlussendlich wird am Fraunhofer IAIS in enger Kooperation mit Partnern aus Wirtschaft und öffentlichen Behörden an der Entwicklung von Prüfverfahren, Prüfkriterien und Prüfmethoden für KI-Assessments, Audits und Zertifizierungen gearbeitet. Ein besonderer Schwerpunkt ist hierbei die Entwicklung von automatisierten Prüfworkflows und Software-basierten Prüfplattformen für KI-Systeme, die nahtlos in gängige MLOps-Prozesse eingefügt werden können.

Im Einzelnen beinhaltet unsere Forschungs- und Entwicklungsarbeit die folgenden Felder:

Welche Anforderungen muss ein KI-System erfüllen, um vertrauenswürdig und von hoher Qualität zu sein?

  • Analyse von Standards und Gesetzgebung
  • Technische Interpretation von KI-Gesetzgebung
  • Ableitung und Anforderungen an KI-Systeme aus Standards und Gesetzgebung

Wie können Anforderungen umgesetzt und implementiert werden?

  • Entwicklung von Absicherungsmethoden und Qualitätssicherung für KI-Systeme
  • Entwicklung von neuen Ansätzen und Methoden zur Abdeckung von Gaps in der technischen Umsetzung von Anforderungen
  • Entwicklung von KI-Governance Frameworks
  • Forschung zu den besonderen Herausforderungen für Absicherungsmethoden von besonders komplexen General-Purpose-AI und agentischen KI-Systemen.

Wie kann geprüft werden, ob Anforderungen auch richtig umgesetzt und implementiert wurden?

  • Entwicklung von KI-Prüfkriterien
  • Entwicklung von KI-Prüfmethoden und Automatisierung von Prüfworkflows
  • Durchführungen von KI-Assessments, Audits und Prüfungen

Wie wird KI vertrauenswürdig?

Regulierung, Absicherung, Transparenz

Die Vertrauenswürdigkeit von KI stellt einen interdisziplinären Begriff dar, der klassische technische Konzepte von Sicherheit und Qualität mit der sinnvollen technischen Operationalisierung ethischer Grundüberlegungen verbindet. Hierbei werden klassische Qualitätsdimensionen wie Verlässlichkeit, Robustheit und Sicherheit erweitert auf Bereiche wie Autonomie und Kontrolle, Transparenz oder Fairness, die zentral sind für eine vertrauenswürdige Umsetzung moderner KI-Systeme. Durch Rechtskonformität, die Absicherung mit technischen Methoden und die Einhaltung von Standards wird gewährleistet, dass sich Individuen und Gesellschaft auf die Ergebnisse und Steuerungsmechanismen von KI-Systemen verlassen und Unternehmen KI auch in sicherheitskritischen Bereichen planbar und effizient zum Einsatz bringen können.

Durch die konsequente, praxisorientierte Umsetzung lassen sich KI-spezifische Risiken frühzeitig und systematisch identifizieren, bewerten und mit geeigneten Maßnahmen auf ein sinnvolles Niveau reduzieren. Entscheidend ist dabei eine zielgerichtete Absicherung von KI-Systemen entlang klarer Schutzziele – und die Fähigkeit, dies bei Bedarf nachvollziehbar nachzuweisen. So entsteht Vertrauen nicht nur in die KI-Technologie selbst, sondern auch in die damit verbundene digitale Transformation.

Die Prinzipien vertrauenswürdiger KI bilden zugleich das Fundament der regulatorischen und rechtlichen Anforderungen an KI-Systeme aus der EU-KI-Verordnung (KI-VO) sowie weiterer europäischer KI-Regulierung.

Umsetzung von Vorgaben und Anforderungen

Vertrauenswürdige KI kann durch die Einhaltung gesellschaftlicher oder regulatorischer Vorgaben einen messbaren Unternehmensnutzen erzielen: Sie erleichtert eine schlanke, belastbare Umsetzung regulatorischer Anforderungen, z. B. der EU-KI-Verordnung, und unterstützt zugleich die effiziente Implementierung von Vorgaben aus sicherheitskritischen Domänen (z. B. Safety-Standards). Darüber hinaus kann sie als Differenzierungsmerkmal wirken – weil vertrauenswürdig entwickelte Systeme schneller in Betrieb gehen, weniger Störfälle verursachen, Betriebsrisiken von KI-Systemen von Grund auf adressieren und regulatorisch besser skalieren.

Trustworthiness-by-design

Auf der technischen Ebene führt die Erweiterung von Sicherheits- und Qualitätsbegriffen zu neuen Vorgehensweisen für Risikomanagement und Governance von KI-Systemen sowie zu angepassten Prozessabläufen im Software-Engineering. Entwicklungs- und Betriebsprozesse können sich dabei  »Trustworthiness-by-design«-Prinzipien zunutze machen: Anforderungen werden früh definiert, Kontrollen in Daten- und Modellpipelines integriert, und Entscheidungen werden so dokumentiert, dass sie auditierbar über den ganzen Lebenszyklus bleiben. Klassische MLOps-Pipelines entwickeln sich entsprechend zu TAIOps-Abläufen, in denen Absicherung, Monitoring und kontinuierliche Verbesserung fest verankert sind – von der Datenerhebung über Training und Validierung bis hin zum Betrieb mit laufender Überwachung. Die Absicherung und – wo erforderlich – der Nachweis der Vertrauenswürdigkeit (inkl. Prüf- und Zertifizierungsfähigkeit) wird damit zu einem integralen, modularen Bestandteil der gesamten Wertschöpfungskette von KI.

Forschungsprojekte und -kooperationen

 

Vertrauen schaffen in Künstliche Intelligenz

ZERTIFIZIERTE KI

Im KI.NRW-Flagship-Projekt ZERTIFIZIERTE KI entwickeln Expertinnen und Experten des Bundesamtes für Sicherheit in der Informationstechnik BSI und des Fraunhofer IAIS Prüfverfahren für KI-Systeme. Ziel der Kooperation ist es, technische Produkt- und Prozessprüfungen von KI-Systemen in der Wirtschaft zu etablieren und die Entwicklung einer KI-Zertifizierung »made in Germany« voranzubringen.

 

KI-Plattform für Unternehmen/öffentlichen Sektor

DeployAI

Die Mission von DeployAI ist die Entwicklung einer umfassenden, herstellerunabhängigen KI-Plattform, die auf Vertrauen, Ethik und Transparenz basiert und einen fairen, demokratischen Zugang zu in Europa entwickelten KI-Spitzentechnologien ermöglicht– einschließlich generativer KI und großer Sprachmodelle (LLMs). Ziel ist es, Innovationen im großen Maßstab zu ermöglichen und gleichzeitig europäische Werte wie Datenschutz und Sicherheit zu wahren.

Entwicklung eines Test-Frameworks

AICRID

KI‑Anbieter und -Betreiber sehen sich angesichts neuer regulatorischer Vorgaben – etwa aus EU AI Act, Cyber‑Resilienz‑Gesetz und weiteren domänenspezifischen Anforderungen – zunehmend komplexen Compliance‑Fragen entlang ihres gesamten Lebenszyklus und ihrer Lieferkette gegenüber.

Um Abhilfe zu schaffen, entwickeln wir für das BSI das TAISEC‑Framework, das einen KI‑Testkatalog bereitstellt, Vertrauenswürdigkeitskriterien entlang der gesamten Lieferkette unterstützt und Nachweise liefert, dass ein KI‑Produkt regulatorische Anforderungen erfüllt. Es erleichtert Konformitätsprüfungen für den Markteintritt und wird derzeit für eine ISO-Standardisierung geprüft.

Vertrauenswürdigkeit für digitale Bildungsmedien

EduCheck

Digitale Bildungsmedien sind ein zentraler Schlüssel, um das hohe Bildungsniveau in Deutschland langfristig zu sichern. Um deren Vertrauenswürdigkeit zu gewährleisten, entwickelt das FWU – Medieninstitut der Länder mit dem Fraunhofer IAIS im Auftrag der Bundesländer ein Prüfsiegel für vertrauenswürdige KI im schulischen Bereich.

Das Siegel basiert auf unserem KI-Prüfkatalog, der klare und transparente Kriterien für die Zulassung von KI-Systemen definiert. 

Zustandsüberwachung von Maschinen

AInomaly

Durch die Zustandsüberwachung von Maschinen können ungeplante Ausfallzeiten um bis zu 45 % reduziert und die Produktionsleistung um bis zu 25 % gesteigert werden. Der Einsatz von KI zur Anomaliedetektion kann helfen, stößt in der Praxis jedoch auf Herausforderungen wie Domain Shifts, Qualitätssicherung der Continous Training Prozesse und Ausführung auf Edge Devices.

Im Projekt AInomaly wird ein KI-System zur on-the-edge deploybaren Anomaliedetektion entwickelt, das kontinuierlich auf die Konformität mit rechtlichen und technischen Anforderungen geprüft wird. Dazu sollen Prüfwerkzeuge in (teil-)automatisierte Pipelines integriert werden, um diese im Rahmen der ML-Pipelines ausführen zu können.

Nachweis von Manipulationen an KI-Modellen

Forensik intelligenter Systeme (FiS)

In Rahmen des Projekts Forensik intelligenter Systeme (FiS), das von der Cyberagentur finanziert wird, entsteht eine Simulationsumgebung, in der prototypische forensische Methoden und Tools entwickelt und getestet werden, die adversarielle Attacken nachweisbar machen sollen.

Kontinuierlich lernende KI-Modelle werden dafür gezielten, simulierten Angriffen ausgesetzt, juristisch verwertbare Spuren gesichert und Algorithmen für einen möglichst gerichtsfesten Nachweis entwickelt.

Unser Ziel: Stärkung der digitalen Sicherheit beim Einsatz kontinuierlich lernender KI-Systeme.

Ausgewählte abgeschlossene Projekte

 

KI-Prüfung und -Zertifizierung

MISSION KI

Als wissenschaftlicher Partner im Rahmen der MISSION KI haben wir gemeinsam mit PwC Deutschland, TÜV AI.Lab, VDE, AI Quality & Testing Hub und CertifAI einen freiwilligen KI-Mindestqualitätsstandard zur Absicherung von KI-Systemen entwickelt. 

Wie autonomes Fahren sicherer wird

KI-Absicherung

Unter der Leitung der Volkswagen AG und Fraunhofer IAIS entwickelten 25 Partner aus Industrie und Forschung eine Methodik zur Absicherung von KI-basierten Fahrfunktionen im hochautomatisierten Fahren.

KI-Sicherheit im fahrerlosen Schienenverkehr

safe.trAIn

Das Vorhaben safe.trAIn erarbeitete Grundlagen für den sicheren KI-Einsatz in fahrerlosen Schienenfahrzeugen. Basierend auf den Anforderungen an die Sicherheitsnachweisführung wurden Prüfmethoden und Werkzeuge entwickelt.

Weiterführende Informationen

 

Whitepaper (2024)

Vertrauenswürdige KI-Anwendungen mit Foundation Modellen entwickeln

 

Kostenfreier Leitfaden (2022)

KI-Prüfkatalog

Der KI-Prüfkatalog gibt zum einen Entwicklerinnen und Entwickler eine Richtschnur an die Hand, um neue KI-Anwendungen systematisch vertrauenswürdig zu gestalten. Zum anderen leitet er Prüferinnen und Prüfer dazu an, KI-Anwendungen strukturiert auf Vertrauenswürdigkeit zu untersuchen.

Der Leitfaden basiert auf grundlegenden Arbeiten der EU Kommission zu »Ethikleitlinien für vertrauenswürdige KI« und den Hochrisikoanforderungen in der KI-VO.

Er ordnet vertrauenswürdige KI in sechs Dimensionen ein, entlang derer die Risiken eines KI-Systems abgeschätzt werden:

  1. Autonomie und Kontrolle: Ist eine selbstbestimmte, effektive Nutzung der KI möglich?
  2. Fairness: Behandelt die KI alle Betroffenen gerecht?
  3. Transparenz: Sind Funktionsweise und Entscheidungen der KI nachvollziehbar?
  4. Verlässlichkeit: Funktioniert die KI wie erwartet und ist sie robust?
  5. Sicherheit: Ist die KI sicher in Hinblick auf Unfälle, Fehler und Angriffe von außen?
  6. Datenschutz: Schützt die KI die Privatsphäre und sonstige sensible Informationen?

Kontakt

 

Dr. Maximilian Poretschkin

Abteilungsleiter
AI Assurance and Assessments