Generative KI

Kern von Generativer KI sind große Sprachmodelle (Large Language Models, LLMs) mit leistungsfähigen Transformer-Architekturen. Diese Modelle werden auf Hochleistungsrechnern mit umfangreichen Datenmengen trainiert und bilden den Motor moderner KI-Systeme, von Retrieval-Augmented-Generation-Ansätzen (RAG) bis hin zu agentischen Systemen.

Die Forschung am Fraunhofer IAIS konzentriert sich auf die Weiterentwicklung grundlegender KI-Technologien und die verantwortungsvolle Gestaltung großer Sprachmodelle. 

• KI-basierte Kuration und Synthese hochwertiger Trainingsdaten: Wir erforschen neue Methoden, bei denen (domänenspezifische) Trainingsdaten KI-gestützt ausgewählt und erzeugt werden. Mit diesen Daten kann das Training effizienter durchgeführt und es können leistungsstärkere Modelle entwickelt werden.
  
• Verbesserte Schlussfolgerungsfähigkeiten: Wir erforschen Reasoning-Modelle, die komplexe Aufgaben zunächst in verständliche Teilschritte zerlegen und diese dann kohärent und Schritt für Schritt lösen.
• Wissensdestillation: Wir erforschen neue Ansätze, um ausgesuchte Fähigkeiten großer Modelle gezielt in kompakte, energieeffiziente Modelle zu übertragen, die lokal betrieben werden können.
• Domänenspezifische Anpassung: Wir erforschen Methoden zur Optimierung schlanker, spezialisierter Modelle, um domänenspezifische Aufgaben präziser und ressourceneffizienter zu lösen.
• Multiagenten-Systeme: Wir erforschen modulare Agentensysteme, die sich je nach Aufgabenstellung dynamisch aus verschiedenen Modellen zusammensetzen und kooperativ komplexe Problemstellungen lösen.
• Multimodalität: Wir forschen an multimodalen Foundation-Modellen, die Text, Bilder, Audio, Video und strukturierte Daten in unterschiedlichen Kombinationen verarbeiten können. Unser Schwerpunkt liegt dabei auf neuen Methoden, die das multimodale Schlussfolgern über mehrere Modalitäten hinweg verbessern.

Die Forschungsarbeiten zur Generativen KI sind eng mit der Foundation Model Gruppe des Lamarr-Instituts verzahnt. Ein wichtiger Meilenstein ist die Entwicklung der Teuken-Modelle im Rahmen des Forschungsprojekts OpenGPT-X, die durch innovative Tokenisierung und mehrsprachige Trainingsdaten neue Maßstäbe gesetzt haben.

Unsere Forschung zielt darauf ab, die nächste Generation von KI-Systemen zu entwickeln, die leistungsstärker, effizienter und anpassungsfähiger sind. In den Bereichen Datenkuration und -synthese, Reasoning, Wissensdestillation, domänenspezifische Modellanpassung und dynamisch zusammensetzbare Multiagenten-Systeme machen wir große Fortschritte. Dadurch ermöglichen wir Unternehmen, KI-Lösungen einzusetzen, die optimal auf ihre individuellen Anforderungen abgestimmt sind und sich nahtlos in bestehende Prozesse integrieren lassen.