Projekt »KI Absicherung«

Tiefe neuronale Netzwerke können eine hervorragende Prädiktionsgüte auf einer breiten Palette von Aufgaben erreichen, hierbei überschätzen sie allerdings in der Regel ihre Konfidenz. Auch in Situationen, in denen die Ausgaben tendenziell falsch sind, geben die Modelle eine hohe Sicherheit zurück.

Für den Einsatz im autonomen Fahren und insbesondere für eine Sicherheitsargumentation ist es aber nötig, dass das Fahrzeug Situationen erkennt, die es nicht behandeln kann oder in denen Vorhersagen nicht sicher möglich sind (bspw. die Erkennung eines Fußgängers in der Dämmerung). Das Fraunhofer IAIS forscht daher an Verfahren, die neuronalen Netzwerken eine realistischere Unsicherheitsschätzung ermöglichen. Hierbei wird das Training der Netzwerke so verändert, dass die Konfidenz korrekt vorhergesagt werden soll. Eine weitere Möglichkeiten ist die Nutzung impliziter Ensembles, also einer teilweise unabhängigen Menge von Netzwerken, die auf denselben Eingaben unterschiedliche Ausgaben erzeugen können.

Fachpublikationen zur Unsicherheitsschätzung:

Sicking, J., Akila, M., Wirtz, T., Houben, S., Fischer, A., »Characteristics of Monte Carlo Dropout in Wide Neural Networks«, International Conference on Machine Learning, Workshop for Uncertainty and Robustness in Deep Learning, 2020.

Sicking, J., Kister, A., Fahrland, M., Eickeler, S., Hueger, F., Rueping, S., Schlicht, P., Wirtz, T., »Towards More Realistic Neural Network Uncertainties«, Neural Information Processing Systems, Workshop Machine Learning for Autonomous Driving ML4AD, 2019.

Tiefe neuronale Netzwerke haben eine mit anderen Methoden unerreichte Güte bei der Bilderkennung ermöglicht und sind daher für die Umgebungswahrnehmung eines autonomen Fahrzeugs die erste Wahl. Allerdings ist die Entscheidungsfindung innerhalb eines neuronalen Netzwerks nicht gut nachvollziehbar, so dass Situationen, in denen sie versagen, kaum vorhergesagt werden können. Am Fraunhofer IAIS werden Methoden zur Interpretierbarkeit neuronaler Modelle entwickelt, mit denen Regeln, die zu einer bestimmten Entscheidung geführt haben, aus dem neuronalen Netzwerk abgeleitet werden.

Hierzu werden Student-Teacher-Ansätze verwendet, bei denen ein leicht interpretierbares Modell an den Prädiktionen des zu untersuchenden neuronalen Netzwerks trainiert wird. Die Arbeiten am Fraunhofer IAIS befassen sich mit der automatischen Detektion von semantischen Schwachstellen, d.h. der Identifikation von Objekten in Bildern, die das neuronale Netzwerk verwirren aber nicht mit der eigentlichen Aufgabe zusammenhängen.

Auch wenn neuronale Netze im Mittel eine hervorragende Prädiktionsgüte erreicht haben, ist es wichtig sicherzustellen, dass sie nicht in bestimmten Situationen systematisch versagen. Beispielsweise könnte ein KI-System Personen mit einem Hut tendenziell schlechter erkennen. Obwohl dies selten Auftritt und daher nicht in der Gesamtstatistik erkennbar ist, stellt es ein Sicherheitsrisiko dar.

Das Fraunhofer IAIS entwickelt systematische Tests neuronaler Modelle anhand von akribisch annotierten Bilddaten, mit denen sich Performance-Indikatoren in Beziehung zu diesen semantischen Merkmalen (wie etwa Hut / kein Hut) ganz automatisch untersuchen lassen. Die Entdeckung solcher Schwachstellen kann zu einer nachträglichen Änderung der KI-Funktion verwendet werden. Finden sich solche Probleme nicht, ist dies ein wichtiger Baustein einer Sicherheitsargumentation.

Fachpublikationen zum semantischen Testen:

Abrecht, S., Akila, M., Gannamaneni, S. S., Groh, K., Heinzemann, C., Houben, S., Woehrle, M. , »Revisiting Neuron Coverage and Its Application to Test Generation«. International Conference on Computer Safety, Reliability, and Security (pp. 289-301). Springer, Cham, 2020. (Best Paper Award)