Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS
Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS

Projekt »KI-Absicherung«

Wie autonomes Fahren sicherer wird

Ein autonomes Fahrzeug verfügt über eine Umfelderkennung, mit der es seine Umwelt wahrnimmt und auf diese reagiert. Diese muss die Bewegungen anderer Verkehrsteilnehmender, etwa von Fußgängern, interpretieren und daraus Intentionen für deren weiteres Verhalten ableiten können. Diese Aufgabe wird in hochautomatisierten Fahrzeugen zunehmend von Künstlicher Intelligenz (KI) in sogenannten KI-Funktionsmodulen übernommen.

KI-Funktionsmodule beobachten, prüfen und zuverlässig absichern

Eine große Herausforderungen bei der Integration der KI-Technologien in hochautomatisiert fahrende Autos ist es, die gewohnte funktionale Sicherheit aller Systeme zu gewährleisten – und diese Sicherheit auch transparent nachweisen zu können.

Um diese Herausforderung zu lösen, wurde das vom BMWi geförderte Forschungsprojekt »KI-Absicherung« ins Leben gerufen. Unter der Leitung der Volkswagen AG und des Fraunhofer IAIS arbeiten 25 Partnerunternehmen und -institutionen in dem Projekt daran, einen Industriekonsens zur Absicherung der KI-Funktionsmodule zu schaffen. Führende Expert*innen aus Industrie und Wissenschaft aus bisher weitgehend unabhängig voneinander agierenden Fachrichtungen der KI-Algorithmen, der 3D-Visualisierung und Animation sowie der funktionalen Sicherheit arbeiten in dem Projekt zusammen. Sie möchten gemeinsam Lösungen erarbeiten, um KI-Funktionsmodule gezielter beobachten, bewerten, prüfen und entsprechend zuverlässig und transparent absichern zu können.

Das Projekt wird im Rahmen der Leitinitiative »Autonomes und vernetztes Fahren« des Verbandes der Deutschen Automobilindustrie (VDA) durchgeführt und ist Teil der KI-Strategie der Bundesregierung. Neben der Beteiligung im Projekt als stellvertretender Konsortialleiter ist das Fraunhofer IAIS der größte Forschungspartner.

Zur Projektwebsite

Forschungsschwerpunkte des Fraunhofer IAIS

Alle ausklappen Alle einklappen

© Fraunhofer IAIS
Die Konfidenz der neuronalen Netzwerks muss sich realistisch den Eingaben anpassen.

Tiefe neuronale Netzwerke können eine hervorragende Prädiktionsgüte auf einer breiten Palette von Aufgaben erreichen, hierbei überschätzen sie allerdings in der Regel ihre Konfidenz. Auch in Situationen, in denen die Ausgaben tendenziell falsch sind, geben die Modelle eine hohe Sicherheit zurück.

Für den Einsatz im autonomen Fahren und insbesondere für eine Sicherheitsargumentation ist es aber nötig, dass das Fahrzeug Situationen erkennt, die es nicht behandeln kann oder in denen Vorhersagen nicht sicher möglich sind (bspw. die Erkennung eines Fußgängers in der Dämmerung). Das Fraunhofer IAIS forscht daher an Verfahren, die neuronalen Netzwerken eine realistischere Unsicherheitsschätzung ermöglichen. Hierbei wird das Training der Netzwerke so verändert, dass die Konfidenz korrekt vorhergesagt werden soll. Eine weitere Möglichkeiten ist die Nutzung impliziter Ensembles, also einer teilweise unabhängigen Menge von Netzwerken, die auf denselben Eingaben unterschiedliche Ausgaben erzeugen können.

Fachpublikationen zur Unsicherheitsschätzung:

Sicking, J., Akila, M., Wirtz, T., Houben, S., Fischer, A., »Characteristics of Monte Carlo Dropout in Wide Neural Networks«, International Conference on Machine Learning, Workshop for Uncertainty and Robustness in Deep Learning, 2020.

Sicking, J., Kister, A., Fahrland, M., Eickeler, S., Hueger, F., Rueping, S., Schlicht, P., Wirtz, T., »Towards More Realistic Neural Network Uncertainties«, Neural Information Processing Systems, Workshop Machine Learning for Autonomous Driving ML4AD, 2019.

© Fraunhofer IAIS
Ein leicht interpretierbares Machinenlernmodell (Student) imitiert ein komplexeres (Teacher) und erlaubt so, Erkenntnisse über dessen Arbeitsweise abzuleiten.

Tiefe neuronale Netzwerke haben eine mit anderen Methoden unerreichte Güte bei der Bilderkennung ermöglicht und sind daher für die Umgebungswahrnehmung eines autonomen Fahrzeugs die erste Wahl. Allerdings ist die Entscheidungsfindung innerhalb eines neuronalen Netzwerks nicht gut nachvollziehbar, so dass Situationen, in denen sie versagen, kaum vorhergesagt werden können. Am Fraunhofer IAIS werden Methoden zur Interpretierbarkeit neuronaler Modelle entwickelt, mit denen Regeln, die zu einer bestimmten Entscheidung geführt haben, aus dem neuronalen Netzwerk abgeleitet werden.

Hierzu werden Student-Teacher-Ansätze verwendet, bei denen ein leicht interpretierbares Modell an den Prädiktionen des zu untersuchenden neuronalen Netzwerks trainiert wird. Die Arbeiten am Fraunhofer IAIS befassen sich mit der automatischen Detektion von semantischen Schwachstellen, d.h. der Identifikation von Objekten in Bildern, die das neuronale Netzwerk verwirren aber nicht mit der eigentlichen Aufgabe zusammenhängen.

© Mackevision Medien Design GmbH
Angepasste Tools ermöglichen eine schnelle Erfassung möglicher Schwächen von Maschinenlernmodellen, z.B. bei einer semantischen Segmentierung.

Um robustere und genauere Vorhersagen, beispielsweise bei der Detektion von Fußgängern, treffen zu können, werden verschiedene neuronale Netzwerke miteinander kombiniert. Hierfür dürfen die Modelle allerdings nicht in den gleichen Situationen Schwächen zeigen, da sich diese im Zusammenspiel sonst verstärken. Die Erkennung solcher ähnlicher Situationen, in Kombination mit einer automatischen Analyse und unter geschickter Einbindung eines Experten wird im Forschungsgebiet »Visual Analytics« untersucht.

Am Fraunhofer IAIS werden Softwaremodule zum einfachen Vergleich einzelner oder mehrerer neuronaler Netze, die auf Bilddaten arbeiten, entwickelt. Ziel ist es, bestimmte semantische Situationen beim autonomen Fahren schnell zu erfassen und untersuchen zu können (z.B. alle Szenen, in denen Fußgänger mit grauer Kleidung zu sehen sind), sowie die statistische Unabhängigkeit dieser Situationen nachzuweisen.

© Fraunhofer IAIS
Fehler von Maschinenlernmodellen sollten sich nicht für eine bestimmte semantische Dimension häufen (bspw. dürfen Fußgänger mit Hut nicht systematisch schlechter erkannt werden als Fußgänger ohne Hut)

Auch wenn neuronale Netze im Mittel eine hervorragende Prädiktionsgüte erreicht haben, ist es wichtig sicherzustellen, dass sie nicht in bestimmten Situationen systematisch versagen. Beispielsweise könnte ein KI-System Personen mit einem Hut tendenziell schlechter erkennen. Obwohl dies selten Auftritt und daher nicht in der Gesamtstatistik erkennbar ist, stellt es ein Sicherheitsrisiko dar.

Das Fraunhofer IAIS entwickelt systematische Tests neuronaler Modelle anhand von akribisch annotierten Bilddaten, mit denen sich Performance-Indikatoren in Beziehung zu diesen semantischen Merkmalen (wie etwa Hut / kein Hut) ganz automatisch untersuchen lassen. Die Entdeckung solcher Schwachstellen kann zu einer nachträglichen Änderung der KI-Funktion verwendet werden. Finden sich solche Probleme nicht, ist dies ein wichtiger Baustein einer Sicherheitsargumentation.