Projektstart: Forensik intelligenter Systeme – Gerichtsfester Nachweis von Manipulationen an kontinuierlich lernenden KI-Systemen

News /

KI-Systeme werden zunehmend in kritischen Infrastrukturen eingesetzt und lernen dort teilweise kontinuierlich im laufenden Betrieb. Diese Eigenschaft macht sie zu einem attraktiven Ziel für Cyberangriffe – nicht nur durch klassische Hacker, sondern auch durch Data-Poisoning-Attacken oder korrumpierte Trainingsdaten, die den Output eines Modells gezielt manipulieren. Solche Angriffe gerichtsfest nachzuweisen, ist eine große Herausforderung.

Gruppenfoto mit etwa 30 Personen – Vertreterinnen und Vertreter der drei ausgewählten FIS-Projektteams stehen und sitzen gemeinsam auf einer kleinen Bühne vor hellem Hintergrund. Alle tragen Veranstaltungsausweise mit lila Bändern. Links und rechts im Bild sind Roll-ups mit dem Logo und den Schwerpunkten der Cyberagentur zu sehen. In der ersten Reihe stehen überwiegend Männer in Anzügen und Frauen in Businesskleidung, in der hinteren Reihe auch jüngere Forschende. Alle blicken freundlich in die Kamera.
© Cyberagentur
Projektstart für das Forschungsprogramm „Forensik intelligenter Systeme“ (FIS) mit den drei Projektteams, die sich mit ihren Forschungsansätzen im Feld von neun Kurzkonzepten durchsetzen konnten.

Gemeinsam mit Fraunhofer AISEC, Atos, dem Institut für Internet-Sicherheit der Westfälischen Hochschule und der Universität zu Köln hat das Fraunhofer IAIS seit 2023 ein Konzept zur Erarbeitung forensischer Nachweise für diese Manipulationen entwickelt. Heute wurde zusammen mit der Agentur für Innovation in der Cybersicherheit GmbH der Start des Forschungsprojekts »Forensik intelligenter Systeme« verkündet.

Im Projekt entsteht eine Simulationsumgebung, in der prototypische forensische Methoden und Tools entwickelt und getestet werden, um adversarielle Attacken nachweisbar zu machen. Kontinuierlich lernende KI-Modelle werden gezielten, simulierten Angriffen ausgesetzt, juristisch verwertbare Spuren gesichert und Algorithmen für einen möglichst gerichtsfesten Nachweis entwickelt. Ziel ist es, die digitale Sicherheit beim Einsatz kontinuierlich lernender KI-Systeme zu stärken, die strafrechtliche Verfolgung von KI-Manipulation zu unterstützen und die Vertrauenswürdigkeit solcher Systeme zu erhöhen. »Mit dem Projekt ›Forensik intelligenter Systeme‹ entwickeln wir prototypische Methoden und Tools, um Manipulationen an kontinuierlich lernenden KI-Systemen gerichtsfest nachzuweisen. Das ist ein wichtiger Baustein zur Stärkung der digitalen Sicherheit solcher Systeme, der strafrechtlichen Verfolgung von KI-Manipulation und der Vertrauenswürdigkeit von KI-Systemen«, so Dr. Maximilian Poretschkin, Abteilungsleiter AI Assurance and Assessments.