OpenGPT-X: Teuken-7B

Teuken-7B steht in zwei Lizenz-Versionen kostenfrei zur Verfügung: »Teuken-7B-instruct-research-v0.4« kann von Wissenschaftscommunity und Unternehmen für Forschungszwecke verwendet werden, »Teuken-7B-instruct-commercial-v0.4« steht Unternehmen für kommerzielle Zwecke unter der Lizenz »Apache 2.0« zur Verfügung. 

Teuken-7B-instruct-commercial-v.04 ist in seiner Leistungsfähigkeit vergleichbar mit der Forschungsversion, wobei die Forschungsversion bei den Benchmarks um ein bis zwei Prozent bessere Ergebnisse erzielt. Der Grund dafür ist, dass einige in der Forschungsversion verwendeten Datensätze eine kommerzielle Nutzung ausschließen und daher in der Version für Unternehmen nicht verwendet wurden. 

Teuken-7B steht kostenfrei und Open Source auf Hugging Face zum Download zur Verfügung.

Speziell für Unternehmen besteht die Möglichkeit an kostenfreien Demoterminen teilzunehmen, in denen Fraunhofer-Wissenschaftler*innen erläutern, welche Anwendungen mit entsprechender Weiterverarbeitung auf Basis von Teuken-7B realisiert werden können.

• jetzt vormerken

Teuken-7B ist multilingual und wurde durch ein »Instruction Tuning« für den Chat optimiert, ist also als mehrsprachiger Chatbot einsetzbar, z. B. im internationalen Kundenservice oder um Mitarbeitenden Unternehmenswissen zugänglich zu machen. 

Folgende weitere Anwendungen können mit Teuken-7B umgesetzt werden:

Einsatzbereiche:

• Dokumente zusammenfassen
• Texte generieren
• Informationen aus Texten extrahieren

Um das Modell auf die eigenen Unternehmenszwecke anzupassen, kann Teuken-7B durch Continued Pretraining, Finetuning, Instruction Tuning, Model Merging etc. weiterverarbeitet werden. So entsteht ein Modell, das für die individuellen Anwendungsfälle im Unternehmen optimiert ist.  

Um das Modell auf die eigenen Unternehmenszwecke anzupassen, kann Teuken-7B-instruct-commercial zusätzlich mit eigenen Daten durch Continued Pretraining, Finetuning, Instruction Tuning, Model Merging etc. weiterverarbeitet werden.

Das Modell schneidet im Leistungsvergleich mit anderen Open Source-Modellen gut ab, hat aber noch Entwicklungspotenzial in den Bereichen logisches Denken, Codieren und Mathematik. Zudem kann Teuken-7B, wie andere große Sprachmodelle auch, Inhalte generieren, die unangemessen, beleidigend oder schädlich sind. 

Teuken-7B-instruct ist ein Chatbot, der vor allem für Unternehmensanwendungen und Forschungsvorhaben gedacht ist. Entwickler*innen aus Unternehmen und der Wissenschaftscommunity können damit ihre individuellen Chatanwendungen entwickeln. Um das Modell auf die eigenen Unternehmenszwecke anzupassen, kann Teuken-7B-instruct-commercial zusätzlich mit eigenen Daten durch Continued Pretraining, Finetuning, Instruction Tuning, Model Merging etc. weiterverarbeitet werden.

Ja. Unternehmen können Teuken-7B-instruct-commercial-v0.4 unter der Lizenz Apache 2.0 für ihre KI-Anwendungen kommerziell verwenden.

Basismodelle sind besonders anfällig für das Generieren von unangemessen, beleidigenden oder schädlichen Inhalten. Zugleich bieten Basismodelle den Vorteil, dass sich diese bei einem fachlich richtigen und verantwortungsvollen Einsatz durch Finetuning und Instruction Tuning zu leistungsfähigen Spezialmodellen entwickeln lassen.

Daher wird das Basismodell Teuken-7B-base-v0.4 zwar nicht veröffentlicht, Unternehmen und andere Akteure können bei Interesse am Basismodell aber Kontakt mit dem Fraunhofer IAIS aufnehmen, sodass die Verwendung des Basismodells abgestimmt und begleitet werden kann.

Anfragen per Mail an: contact@opengpt-x.de

Aktuell nein. Der EU AI Act findet erst ab August 2025 Anwendung. KI-Modelle, die vor diesem Zeitpunkt in Verkehr gebracht wurden, müssen den Anforderungen des EU AI Act erst ab August 2027 entsprechen (Bestandsschutz).

Das Forschungsprojekt OpenGPT-X steht mit der Veröffentlichung von Teuken-7B-instruct-v0.4 vor dem Abschluss und läuft noch bis zum 31. März 2025. Bis dahin werden wir das Modell weiter optimieren und evaluieren. Entwicklungspotential für das Modell besteht für relevante Tasks wie logisches Denken, Coding und Mathematik sowie Bias und Toxicity. Weiterhin können wir durch eine Fortsetzung des Modelltrainings die Anzahl der gleichzeitig durch das Modell verarbeitenden Token (Context Window) vergrößern.

Da es sich um ein Open-Source-Projekt handelt, gehen wir zugleich davon aus, dass für unterschiedliche Anwendungszwecke angepasste oder spezialisierte Versionen des Modells aus der Wissenschaftscommunity oder auch aus Unternehmen heraus entstehen.

Alle Evaluierungsergebnisse sind über unser European LLM Leaderboard einsehbar:

• zum Leaderboard

Technische Infos zum Modell und zur Anwendung stehen in unserer Model Card:

• zur Model Card

Die zentralen Evaluierungsergebnisse haben wir aufbereitet:

• zu den Benchmarkgrafiken

Eine ausführliche Besprechung des Modells gibt es hier:

• zur OpenGPT-X Projektwebsite

Unsere Wissenschaftler*innen stehen mit der LLM-Community über den OpenGPT-X-Discord-Server in Kontakt. Hier ist auch der Ort für Fragen und Feedback rund um das Modell.

• mitdiskutieren
  
  
• zum Kontaktformular