LLM Explore Hub

© krungchingpixs - stock.adobe.com

Das richtige Sprachmodell finden: LLM-Evaluations- und Implementierungsplattform für Unternehmen

Verträge, Rechnungen, Berichte, E-Mails – täglich laufen Unmengen an Dokumenten aus unstrukturierten Datenquellen in Unternehmen ein. Die gezielte Weiterverarbeitung kostet Zeit und Ressourcen. Mit KI-gestützten großen Sprachmodellen (engl. »Large Language Models« oder »LLMs«), haben Unternehmen jetzt die Chance, diese bislang aufwändigen Prozesse zu revolutionieren und darüber hinaus neue Anwendungsgebiete zu erschließen.  

Aber wie können Betriebe die Chancen von LLMs für ihr Geschäft voll ausschöpfen? Wo liegen die Risiken? Und welches KI-Sprachmodell eignet sich für welche Anwendung?

Mit dem LLM Explore Hub hat das Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS eine innovative Lösung entwickelt, mit der Unternehmen Potenziale von Open-Source-Sprachmodellen individuell identifizieren und unterschiedliche Verwendungsmöglichkeiten ermitteln können. Innerhalb einer gesicherten Umgebung ermöglicht der LLM Explore Hub die umfassende Analyse und Anwendung verschiedener Sprachmodelle, um Prozesse und Dienstleistungen zu optimieren.

Mehr als ein Sprachmodell

© Fraunhofer IAIS
  • Evaluieren und Testen: Wählen Sie aus einer Vielzahl von Open-Source-Sprachmodellen und bewerten Sie diese basierend auf Ihren spezifischen Anforderungen.
  • Sichere Infrastruktur: Nutzen Sie den LLM Explore Hub als On-Premises-Lösung, um Datenschutz und Sicherheit Ihrer sensiblen Informationen zu gewährleisten.
  • Mehr als ein Sprachmodell: Verbessern Sie die Effizienz Ihrer Prozesse durch spezialisierte Retrieval- und Generierungsfunktionen, um relevante Informationen in großen Datenbanken zu finden und im gewünschten Format auszugeben und weiterzuverarbeiten.
  • Integration und Optimierung: Implementieren Sie das passende Sprachmodell nahtlos in Ihre IT-Infrastruktur. Der LLM Explore Hub bildet die Basis für eine eigene KI-Lösung.

Die Herausforderung – Datenschutz- und Sicherheitsbedenken

Große Sprachmodelle sind bei KI-Tools, die Sprache verarbeiten, oftmals eine Kernkomponente. Wer KI erfolgreich im eigenen Unternehmen umsetzen möchte, muss sich früher oder später die Frage stellen: Welches Sprachmodell ist am besten für den angestrebten Anwendungsfall geeignet? Bei der Vielzahl verschiedener KI-Systeme können die Ergebnisse sich von Modell zu Modell erheblich unterscheiden. Der Grund dafür sind die unterschiedlichen Trainingsdaten der Sprachmodelle, so sind manche LLMs in bestimmten Fachsprachen gut geschult, während andere Allrounder mit breitem Allgemeinwissen sind. Die Auswahl des bestgeeigneten Sprachmodells hängt also von den jeweiligen Dokumenten und den individuellen Anwendungsfällen ab.

Sprachmodelle in gesicherter Umgebung testen

Der LLM Explore Hub ermöglicht es Unternehmen, unterschiedliche Open-Source-Sprachmodelle, wie zum Beispiel verschiedene Llama-Modelle oder Mixtral, mit eigenen ggf. sensiblen Dokumenten in einer gesicherten Umgebung zu testen (On-Premises, bei Ihnen vor Ort, oder in einer eigenen Cloud-Umgebung). Erkunden Sie neue Potenziale, optimieren Sie Prozesse und finden Sie neue Lösungen für Ihre Dokumentenverarbeitung.

 

Success Story: Luther.AI – Pionierarbeit in der juristischen KI-Anwendung

In einer Zeit, in der die Digitalisierung und der Einsatz von Künstlicher Intelligenz in zahlreichen Branchen voranschreiten, steht die juristische Welt oft vor besonderen Herausforderungen. Datenschutzbedenken und standesrechtliche Vorschriften erschweren die Nutzung cloudbasierter generativer Sprachmodelle erheblich. Die Wirtschaftskanzlei Luther und das Fraunhofer IAIS haben gemeinsam eine innovative Lösung entwickelt, die diesen Herausforderungen gerecht wird: Luther.AI.

Die Herausforderung – Datenschutz- und Sicherheitsbedenken

Juristische Arbeit erfordert den Umgang mit äußerst sensiblen Daten und Dokumenten. Cloudbasierte Lösungen, die in anderen Branchen weit verbreitet sind, sind aufgrund von Datenschutz- und Sicherheitsbedenken im juristischen Umfeld oft keine Option. Luther stand vor der Aufgabe, die Effizienz ihrer Mandatsarbeit zu steigern, ohne die Sicherheit der Mandantendaten zu gefährden.

Die Lösung – Architektur für Jurist*innen mit höchster Sicherheit 

Durch die enge Zusammenarbeit entstand Luther.AI, ein vortrainiertes Sprachmodell in einer flexiblen Architektur, das speziell auf die Bedürfnisse von Jurist*innen zugeschnitten ist. Diese flexible Lösung wird vollständig in der Unternehmensumgebung von Luther betrieben und garantiert somit höchste Sicherheit für sensible Daten.

Luther.AI bietet eine Vielzahl von Funktionen, welche die Effizienz und Qualität der juristischen Arbeit erheblich verbessern:

  • Analyse von Mandatsunterlagen: Das Sprachmodell kann große Mengen an Dokumenten schnell und präzise analysieren.
  • Erstellung von Zusammenfassungen: Zeitaufwändige Aufgaben wie die Erstellung von Dokumentzusammenfassungen werden automatisiert und beschleunigt.
  • Vorbereitung juristischer Einschätzungen: Das Modell unterstützt Jurist*innen bei der Vorbereitung fundierter rechtlicher Einschätzungen.

Der Erfolg

Luther.AI befindet sich derzeit im erweiterten Testbetrieb und wird bereits erfolgreich in ersten Teams eingesetzt. Die positiven Rückmeldungen und die hohe Akzeptanz bei den Nutzenden haben dazu geführt, dass die Lösung auf immer mehr Arbeitsgruppen ausgeweitet wird.

Forschungsarbeit

T. Deußer, M. Pielka, et al., Contradiction Detection in Financial Reports, in Proc. Northern Lights Deep Learning Workshop 2023

M. Pielka, S. Schmidt, et al., Generating Prototypes for Contradiction Detection Using Large Language Models and Linguistic Rules, in Proc. IEEE 2023

T. Deußer, D. Leonhard, et al., Uncovering Inconsistencies and Contradictions in Financial Reports using Large Language Models, in Proc. IEEE 2023

L. Hillebrand, T. Deußer, et al., KPI-BERT: A Joint Named Entity Recognition and Relation Extraction Model for Financial Reports, in Proc. IEEE ICPR, 2022