Informed Machine Learning

Hohe Dateneffizienz und verbesserte Modell-Performance

Von außen betrachtet, können die Themen Künstliche Intelligenz (KI) und Maschinelles Lernen (ML) abstrakt wirken. Ein grundlegendes Verständnis, wie diese Technologie unser tägliches Leben beeinflussen und welche Chancen und Möglichkeiten durch sie entstehen, hat jedoch an Relevanz gewonnen. Inzwischen ist man sich nicht nur der Grenzen des Maschinellen Lernens (engl. Machine Learning) bewusst, wir forschen bereits an der Weiterentwicklung des Konzeptes ML, um die Schwächen zu beheben und neuen Chancen und Entwicklungen die Türe zu öffnen.

ML ist eine Methode der KI, die sich auf datenbasiertes Lernen durch Algorithmen und statistische Modelle konzentriert, um Muster zu entdecken und basierend darauf Vorhersagen und Entscheidungen zu treffen. Informed Machine Learning (IML) ist eine Weiterentwicklung des MLs. Dabei wird der ursprüngliche Vorgang des datenbasierten Lernens durch die Integration von bereits bestehendem, validem Wissen ergänzt. Ein Modell lernt nun nicht mehr rein auf Basis der Trainingsdaten, es verfügt zudem über thematisches Vorwissen, welches an unterschiedlichen Stellen der Modell-Entstehung eingebracht wurde.

Herausforderungen im Machine Learning: Warum es noch Verbesserungsbedarf gibt

Beim ML lernen KI-Modelle auf Grundlage von Trainingsdaten, um später den gewünschten Output zu generieren. Dabei hängt die spätere Qualität eines Modells besonders von der Qualität der zur Verfügung stehenden Trainingsdaten ab. Je hochwertiger die Daten, desto zuverlässiger das Modell. Dieser Umstand ist dem Prozess des ML geschuldet: Beim ML beginnt man mit einem Problem, welches man mittels KI lösen möchte. Man ermittelt Daten, die das Modell braucht, um eine Problemlösung zu erlernen. Mit diesen Daten wird anschließend das Modell trainiert, bis man zur Lösung gelangt. Abschließend erhält man ein KI-Modell, welches eigenständig Problemlösungen nach den erlernten Mustern generieren kann. Bei einer tiefergehenden Betrachtung dieses Konzeptes offenbaren sich Schwächen. Ein großes Problem stellen in der Regel die Trainingsdaten selbst dar. In vielen Branchen und Bereichen unseres Lebens ist es schwer qualitativ hochwertige und mengenmäßig ausreichende Daten zu erhalten. Das kann diverse Gründe haben; beispielsweise ist es sehr kostenintensiv, Geodaten durch Drohnenaufnahmen zu gewinnen, da dafür teures Equipment notwendig ist.

Weitere Beispiele sind Daten, die nur durch komplexe Experimente entstehen oder historische Daten, die nicht mehr verfügbar sind. Wenn es um die Arbeit mit vertraulichen Daten geht, die personenbezogene Informationen oder Unternehmensgeheimnisse enthalten, unterliegen diese in der Regel besonderen Auflagen und Bedingungen. Ein KI-Modell, dass auf ML basiert, steht und fällt mit seinen Daten. Durch sie lernt das Modell –man könnte sie auch als Wissensgrundlage eines Modells betrachten. Unzureichend vorliegende Daten haben negative Folgen auf die Genauigkeit eines Modells. Die Genauigkeit bezieht sich dabei auf die eigentliche Performance eines Modells. Wie akkurat werden die späteren Aufgaben erfüllt? Neben der Frage nach Dateneffizienz und Genauigkeit offenbaren sich Schwächen des ML auch bei Themen wie Wissenskonformität und Interpretierbarkeit.

Der Ansatz der Wissenskonformität bewegt sich thematisch in die Richtung einer vertrauenswürdigen KI. KI-Modelle können im Laufe ihres Trainings unterschiedliche Formen von Verzerrungen, auch Bias genannt, entwickeln. Ein Bias kann zum Beispiel durch die Vorauswahl der Trainingsdaten entstehen, durch die Programmierung des Algorithmus, oder durch Zweckentfremdung eines Modells auf Grund des Einsatzes in einem neuen Kontext. Modelle, die einer oder mehreren Formen eines Bias unterliegen, sind nicht mehr vertrauenswürdig, da sie verzerrte Ergebnisse generieren. Das Problem ist jedoch nicht nur die eigentliche Verzerrung an sich, sondern auch deren Detektion. KI-Modelle werden immer größer und komplexer, dass macht die Interpretation der Modelle stetig schwieriger. Es ist von außen immer weniger nachzuvollziehen, wie ein Modell zu welchem Ergebnis kommt.

Mit Wissen zum Erfolg: Der Lösungsansatz Informed ML

Die Forschung am Fraunhofer IAIS verfolgt unter anderem vier konkrete Ziele mit der Implementierung von Vorwissen in ML-Prozessen. IML kann eine bessere Dateneffizienz, eine erhöhte Modell-Performance, eine validere Wissenskonformität sowie ggf. eine erleichterte Interpretierbarkeit eines KI-Modells ermöglichen.

Welches Vorwissen zur Anwendung kommt, hängt von der späteren Lösungsaufgabe des jeweiligen Modells ab und muss individuell ausgewählt werden. Wichtig ist, dass das gewählte Wissen an sich die Anforderung der Validität erfüllt. Implementiert wird, was sich bereits lange bewährt hat und immer wieder unabhängig überprüft und in Frage gestellt wurde. Durch dieses Kriterium eignet sich besonders Wissen, welches naturwissenschaftlichen Gesetzmäßigkeiten folgt. Das können zum Beispiel algebraische und Differenzialgleichungen oder auch die Regeln der Logik sein. Ebenfalls eignen sich Simulationsergebnisse und Wissensgraphen. In dieser Form kann beispielsweise auch fachspezifisches und unternehmensabhängiges Vorwissen integriert werden.

Mögliche Einsatzbereiche des Informed Machine Learning

Physik

Medizin- und Umwelttechnologie, Informationstechnologie, Education, Forschung und Entwicklung
 

Astronomie

Luft- und Raumfahrttechnologie, Education, Forschung und Entwicklung

Biologie

Pharma- und Biotechnologieindustrie, Gesundheitswesen, Agrarwissenschaft und Umweltschutz
 

Geologie

Erdöl-, Bau-, Gas-, Bergbau-, Umwelt-, Geotechnikindustrie

Chemie

Pharma-, Lebensmittel- und Chemieindustrie, Materialforschung und -entwicklung, Umwelt- und Energieindustrie

Erfolgreiche Anwendungsbeispiele: Informed ML in der Praxis

  • Autonomes Fahren von Kraftfahrzeugen


    Ausgangslage

    Modelle für autonomes Fahren, z. B. zur Verkehrsszenen-Segmentierung und Fußgängererkennung, müssen extrem sicher sein und werden daher gründlichen überprüft. Für diese Überprüfungen sind Ground Truth* Trainings- & Test-Daten notwendig. Diese sind sehr teuer und in ihrer Verfügbarkeit limitiert. Die Fragestellung in diesem Projekt ist, ob Trainingsdaten durch Vorwissen ergänzt oder ersetzt werden können.

    * Dieser Datentyp ermöglicht eine Überprüfung der Qualität von ML-Modellen. Sie wurden zum Beispiel vorher händisch von einem Menschen ausgewertet, sodass man das Ergebnis des Modells abgleichen kann.


    Lösung durch IML
    Bei diesem Ansatz kommt das Vorwissen unter anderem in Form von Straßenkarten und physikalischen Gesetzen, z. B. Optik der Kamera und Raumperspektive. Aufgabe ist die Überprüfung von ML-Modellen auf Qualität und Validität. Durch die Integration von Vorwissen erhält man eine Alternative zu Ground Truth Daten und kann besonders dateneffizient arbeiten.
     

    Konferenzbeitrag ICPR 2020
    Street-Map Based Validation of Semantic Segmentation in Autonomous Driving

    © Fraunhofer IAIS
  • Magnetfeld-basierte Qualitätskontrolle

    Ausgangslage
    Zur Qualitätskontrolle erfolgt ein „Scan“ von Gegenständen in einem veränderlichem elektro-magnetischen Feld; die Frequenzantwort verrät Materialeigenschaften und Menge der Gegenstände. Bei der Auswertung der Messergebnisse versagen bisherige ML-Methoden bei vielen verschiedenen Objekten in der „Objektdatenbank“. Nah beieinander liegende Objekte können dann nicht mehr klar detektiert und identifiziert werden.


    Lösung durch IML

    Die Messergebnisse werden in Form von I/Q-Daten (Format aus der digitalen Signalverarbeitung) ausgegeben. IML ermöglicht eine Übertragung in die physikalischen Größen Amplitude und Phase. Zusätzlich wird Vorwissen in die Modell-Architektur eingebracht. Dabei bekommt man einen Aufbau der Netzwerk -Architektur* in physikalisch sinnvollen Schichten. Die Integration von physikalischen Gesetzmäßigkeiten in den Entstehungsprozess des KI-Modells ermöglicht eine gleichzeitige magnetfeldbasierte Qualitätskontrolle bei einer Vielzahl an kleinen Gegenständen in einem Transportbehältnis oder ähnlichem. Durch IML müssen kleine Objekte, wie zum Beispiel Schrauben, nicht mehr einzeln auf ihre Qualität kontrolliert werden.

    * Dieses KI-Modell arbeitet mit der Struktur von Künstlichen Neuronalen Netzwerken (KNN), diese entstehen im Modelltraining und ihre Entwicklung basiert im klassischen ML in der Regel auf den Trainingsdaten.
     

    © Fraunhofer IIS
  • Krankheitsmodellierung

    Ausgangslage
    Wie kann man Pflanzenkrankheiten im Feld effizient und punktuell bekämpfen?
    In der Landwirtschaft ist man oft mit massiven Preisunterschieden bei Datensätzen konfrontiert. Auf der einen Seite gibt es sehr "teure" Daten, zum Beispiel Einzelannotation, Bonitur, evtl. Drohnenflüge usw. und auf der anderen Seite "billige" und besser zugängliche Daten, wie Wetterinformationen und einfache Sensorik. Bei der Lösung der Fragestellung, wäre also ein Einsatz, der mit den günstigeren Daten zu einem qualitativen Ergebnis kommt, besonders effizient bzw. von der anderen Seite aus betrachtet, sind viele hochwertige Daten, auf Grund der hohen Kosten, mit denen sie verbunden sind, nicht verfügbar.

    Lösung durch IML
    Bei der Krankheitsmodellierung findet ein Vortraining von ML-Modellen anhand von Experteninformationen statt. Man arbeitet mit einem digitalen Zwilling des Feldes und einem agentenbasierten Simulationsansatz. Dieser enthält Expertenmodelle über Krankheits- und Wachstumsentwicklung der Pflanzen. So können komplexe Teile des Gesamtmodells (ohne Experteninformationen) modular mithilfe von ML-Methoden ergänzt werden und gleichzeitig Teile mit verfügbarem Expertenwissen genutzt werden.
     

    © Fraunhofer IAIS
  • Modellierung von Umweltstress

    Ausgangslage
    Wie kann man den Einfluss von Hitze- und Trockenstress auf verschiedene Saatguthybride im Hinblick auf Ertragsoptimierung modellieren?
    Ähnlich wie bei der Krankheitsmodellierung im vorherigen Beispiel, gibt es für diese Untersuchungen eine unzureichende Ausgangslage bei den notwendigen Daten.  

    Lösung durch IML
    In diesem Beispiel erfolgt die Wissensintegration als Einbindung agronomischer Variablen und Parameter durch das Erstellen neuer Features mithilfe von Expertenwissen. IML ermöglicht eine bessere Dateneffizienz und eine gesteigerte Genauigkeit in der Auswertung vorhandener Informationen.
     

  • Forschungsprojekt

    Ausgangslage
    Wie kann bei einer nur geringen Menge an Trainingsdaten die Modell-Performance verbessert werden? Dieses Forschungsprojekt zielt konkret auf eine allgemeine Steigerung der Dateneffizienz von ML-Modellen ab und dient der Vertiefung unterschiedlicher IML-Ansätze.

    Lösung durch IML
    Initialisierung im Trainingsverfahren durch ein Modell, das durch Wissen vortrainiert worden ist. Das integrierte Vorwissen sind z. B. Strukturgraphen, Templates, Physikalische Gleichungen usw. (beliebig Wissensarten möglich). Das Pre-Training* erfolgt auf Wissensprototypen. Dadurch gibt es Transfer-Lernen von semantischem Wissen in ein Künstliches Neuronales Netzwerk.  Durch das IML erhält man eine bessere Performance, insb. bei wenig Trainingsdaten und allgemein eine bessere Robustheit bei Unterschieden zwischen Trainings- und Testdaten (Out-of-Distribution Generalization).

    * Als Pre-Training bezeichnet man das erste Vortrainieren eines KI-Modells, hin zu einer vorläufigen Modell-Architektur. Danach erfolgt ein Feintraining, in dem ein Modell entsprechend seiner finalen Aufgabe hin optimiert wird.