OpenGPT-X: Teuken-7B

»Teuken 7B« steht in zwei Lizenz-Versionen kostenfrei zur Verfügung: »Teuken 7B-instruct-research-v0.4« kann von Wissenschaftscommunity und Unternehmen für Forschungszwecke verwendet werden, »Teuken 7B-instruct-commercial-v0.4« steht Unternehmen für kommerzielle Zwecke unter der Lizenz »Apache 2.0« zur Verfügung. 

»Teuken 7B-instruct-commercial-v.04« ist in seiner Leistungsfähigkeit vergleichbar mit der Forschungsversion, wobei die Forschungsversion bei den Benchmarks um ein bis zwei Prozent bessere Ergebnisse erzielt. Der Grund dafür ist, dass einige in der Forschungsversion verwendeten Datensätze eine kommerzielle Nutzung ausschließen und daher in der Version für Unternehmen nicht verwendet wurden. 

»Teuken 7B« steht kostenfrei und Open Source auf Hugging Face zum Download zur Verfügung.

Speziell für Unternehmen besteht die Möglichkeit an einem kostenfreien Webinar teilzunehmen, in denen Fraunhofer-Wissenschaftler*innen erläutern, welche Anwendungen mit entsprechender Weiterverarbeitung auf Basis von »Teuken 7B« realisiert werden können.

• Anmeldung: Webinar auf Deutsch
• Anmeldung: Webinar auf Englisch

»Teuken 7B« ist multilingual und wurde durch ein »Instruction Tuning« für den Chat optimiert, ist also als mehrsprachiger Chatbot einsetzbar, z. B. im internationalen Kundenservice oder um Mitarbeitenden Unternehmenswissen zugänglich zu machen. 

Folgende weitere Anwendungen können mit »Teuken-7B« umgesetzt werden:

Einsatzbereiche:

• Dokumente zusammenfassen
• Texte generieren
• Informationen aus Texten extrahieren

Um das Modell auf die eigenen Unternehmenszwecke anzupassen, kann »Teuken 7B« durch Continued Pretraining, Finetuning, Instruction Tuning, Model Merging etc. weiterverarbeitet werden. So entsteht ein Modell, das für die individuellen Anwendungsfälle im Unternehmen optimiert ist.  

Um das Modell auf die eigenen Unternehmenszwecke anzupassen, kann »Teuken 7B-instruct-commercial« zusätzlich mit eigenen Daten durch Continued Pretraining, Finetuning, Instruction Tuning, Model Merging etc. weiterverarbeitet werden.

Das Modell schneidet im Leistungsvergleich mit anderen Open Source-Modellen gut ab, hat aber noch Entwicklungspotenzial in den Bereichen logisches Denken, Codieren und Mathematik. Zudem kann »Teuken 7B«, wie andere große Sprachmodelle auch, Inhalte generieren, die unangemessen, beleidigend oder schädlich sind. 

»Teuken 7B-instruct« ist ein Chatbot, der vor allem für Unternehmensanwendungen und Forschungsvorhaben gedacht ist. Entwicklerinnen und Entwickler aus Unternehmen und der Wissenschaftscommunity können damit ihre individuellen Chatanwendungen entwickeln. Um das Modell auf die eigenen Unternehmenszwecke anzupassen, kann »Teuken 7B-instruct-commercial« zusätzlich mit eigenen Daten durch Continued Pretraining, Finetuning, Instruction Tuning, Model Merging etc. weiterverarbeitet werden.

Ja. Unternehmen können »Teuken 7B-instruct-commercial-v0.4« unter der Lizenz »Apache 2.0« für ihre KI-Anwendungen kommerziell verwenden.

Basismodelle sind besonders anfällig für das Generieren von unangemessen, beleidigenden oder schädlichen Inhalten. Zugleich bieten Basismodelle den Vorteil, dass sich diese bei einem fachlich richtigen und verantwortungsvollen Einsatz durch Finetuning und Instruction Tuning zu leistungsfähigen Spezialmodellen entwickeln lassen.

Daher wird das Basismodell »Teuken 7B-base-v0.4« zwar nicht veröffentlicht, Unternehmen und andere Akteure können bei Interesse am Basismodell aber Kontakt mit dem Fraunhofer IAIS aufnehmen, sodass die Verwendung des Basismodells abgestimmt und begleitet werden kann.

Anfragen per Mail an: contact@opengpt-x.de

Aktuell nein. Der EU AI Act findet erst ab August 2025 Anwendung. KI-Modelle, die vor diesem Zeitpunkt in Verkehr gebracht wurden, müssen den Anforderungen des EU AI Act erst ab August 2027 entsprechen (Bestandsschutz).

Das Forschungsprojekt OpenGPT-X steht mit der Veröffentlichung von »Teuken 7B-instruct-v0.4« vor dem Abschluss und läuft noch bis zum 31. März 2025. Bis dahin werden wir das Modell weiter optimieren und evaluieren. Entwicklungspotential für das Modell besteht für relevante Tasks wie logisches Denken, Coding und Mathematik sowie Bias und Toxicity. Weiterhin können wir durch eine Fortsetzung des Modelltrainings die Anzahl der gleichzeitig durch das Modell verarbeitenden Token (Context Window) vergrößern.

Da es sich um ein Open-Source-Projekt handelt, gehen wir zugleich davon aus, dass für unterschiedliche Anwendungszwecke angepasste oder spezialisierte Versionen des Modells aus der Wissenschaftscommunity oder auch aus Unternehmen heraus entstehen.

Alle Evaluierungsergebnisse sind über unser European LLM Leaderboard einsehbar:

• zum Leaderboard

Technische Infos zum Modell und zur Anwendung stehen in unserer Model Card:

• zur Model Card

Die zentralen Evaluierungsergebnisse haben wir aufbereitet:

• zu den Benchmarkgrafiken

Eine ausführliche Besprechung des Modells gibt es hier:

• zur OpenGPT-X Projektwebsite

Unsere Wissenschaftlerinnen und Wissenschaftler stehen mit der LLM-Community über den OpenGPT-X-Discord-Server in Kontakt. Hier ist auch der Ort für Fragen und Feedback rund um das Modell.

• mitdiskutieren