Mit dem EU AI Act werden unabhängige Prüfungen für Hochrisiko-KI-Systeme regulatorische Realität. Zwei bislang oft übersehene Fragen rücken damit in den Fokus: Welche Anforderungen gelten eigentlich für die Prüfwerkzeuge selbst? Und woher wissen wir, dass die Testdaten, auf denen eine Bewertung beruht, dafür geeignet sind? Genau hier setzen die beiden neuen DIN SPEC an, die im Projekt »Zertifizierte KI« entstanden sind. Die beiden Vornormen adressieren zwei zentrale Bausteine jeder KI-Prüfung: die eingesetzten Werkzeuge und die zugrundeliegenden Testdaten.

DIN SPEC 92006: Anforderungen an KI-Prüfwerkzeuge

Die DIN SPEC 92006 definiert erstmals den Begriff »KI-Prüfwerkzeuge« und legt konkrete Anforderungen an solche Werkzeuge fest. Geprüft wird mit diesen Prüfwerkezeugen unterschiedliche Eigenschaften an KI-Systemen wie Robustheit, Zuverlässigkeit oder Diskriminierungsfreiheit – also zentrale Dimensionen vertrauenswürdiger KI. Aber woher wissen wir, dass diese Prüfwerkzeuge dann auch richtig funktionieren?

Die DIN SPEC formuliert zehn verbindliche Anforderungen, darunter Korrektheit, Schutz gegen Manipulation und Verlust, Nachvollziehbarkeit, Reproduzierbarkeit und eine umfassende Dokumentation entlang definierter Testziele und -kriterien. Entscheidend ist dabei der systemische Ansatz: Die DIN SPEC betrachtet nicht nur einzelne Tests, sondern die gesamte Prüfarchitektur – also das Zusammenspiel von Testverfahren, Testumgebung und Prüfwerkzeug sowie die Rollentrennung zwischen Entwicklungs- und Review-Prozess. Ein besonderes Element sind die neu eingeführten »AI Testing Tool Cards«, eine strukturierte Dokumentationsform. Sie kategorisieren ein Prüfwerkzeug entlang von Attributen wie Testobjekt, Teststufe, Modellzugang oder Lebenszyklusphase und sorgen so für Transparenz und Vergleichbarkeit.

So entsteht eine technische Grundlage für Prüfwerkezuge, um belastbare Konformitätsbewertungen mit anschlussfähig an die europäische Regulierung und zugleich praktikabel für Prüf- und Zertifizierungsstellen, Behörden, Unternehmen und Auditoren ist.

»KI-Prüfwerkzeuge spielen eine Schlüsselrolle, um KI-Systeme zuverlässig, fair und sicher zu gestalten. Doch ihre Wirksamkeit steht und fällt mit der Qualität und Transparenz der Tools selbst. Die Standardisierung von Prüfwerkzeugen wie sie mit der DIN SPEC 92006 angestoßen wurde, ist daher ein notwendiger Schritt, um Vertrauen in die KI-Technologie als Ganzes zu fördern«, sagt Fabian Malms, Projektleiter »Zertifizierte KI« am Fraunhofer IAIS, der die Erarbeitung dieses DIN SPEC Dokuments koordiniert und geleitet hat.

DIN SPEC 92007: Allgemeine Anforderungen an Testdatensätze

Jede KI-Bewertung ist nur so aussagekräftig wie die Daten, auf denen sie beruht. Die DIN SPEC 92007 legt daher allgemeine Anforderungen an Testdatensätze fest, die zur Validierung und systematischen Prüfung von KI-Systemen dienen.

Im Zentrum stehen Qualitätskriterien wie Relevanz, Repräsentativität sowie Fehlerfreiheit und Vollständigkeit – jeweils im Bezug zur sogenannten Operational Design Domain (ODD), die die vorgesehenen Betriebsbedingungen eines KI-Systems beschreibt. Ergänzt werden diese inhaltlichen Vorgaben um technische Anforderungen an maschinenlesbare Datenstrukturen sowie um Vorgaben zu Qualitätsmanagement und Data Governance. Besonders betont wird die strikte Trennung von Test-, Trainings- und Validierungsdaten, um verzerrte Bewertungen und sogenanntes »Data Leakage« zu vermeiden. Auch diese Vornorm operationalisiert zentrale Anforderungen des EU AI Act.

Eine gemeinsame Grundlage für die Zertifizierung

Wenn KI in regulierten Märkten skalieren soll, braucht es standardisierte, interoperable und verlässliche Prüfprozesse. Gemeinsam schaffen die beiden Standardisierungsentwürfe genau dafür eine wichtige Grundlage und unterstützen Unternehmen, Prüfstellen und Behörden dabei, die Konformität von KI-Systemen nachvollziehbar zu belegen.

Im Projekt »Zertifizierte KI« – einem Flagship-Projekt der KI-Kompetenzplattform KI.NRW – entwickelt das Fraunhofer IAIS gemeinsam mit dem Bundesamt für Sicherheit in der Informationstechnik (BSI) und dem Deutschen Institut für Normung (DIN) sowie weiteren Forschungspartnern Prüfverfahren für die Zertifizierung von Systemen der Künstlichen Intelligenz (KI).

Erarbeitet wurden die beiden neuen Standardisierungsentwürfe von einem interdisziplinären Konsortium aus Wirtschaft, Wissenschaft, Prüforganisationen und öffentlicher Verwaltung: adesso SE, Bundesnetzagentur, Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI), eCH (eGovernment Standards), Fraunhofer HHI, Fraunhofer IBP, Fraunhofer IPA, FSD Fahrzeugsystemdaten, IABG, Intertek, Otto-von-Guericke-Universität Magdeburg, Pharmatronic AG, Physikalisch-Technische Bundesanstalt (PTB), QuantPi, RWTH Aachen, Schwarz Dienstleistung KG, Technische Hochschule Brandenburg, Technische Hochschule Nürnberg Georg-Simon-Ohm, Tensor AI Solutions, TraCIM e. V., TÜV AI.LAB, TÜV SÜD und der VDI-Bezirksverein Bayern Nordost.

Beide DIN SPEC stehen über die Website des DIN als kostenloser Download zur Verfügung.