Sind vortrainierte KI-Modelle bereits einsetzbar?

Umfangreiche Sprachmodelle, die mit sehr grossen Textdatensätzen trainiert werden, könnten einer Vielzahl von Unternehmen jeder Grösse schon bald neue Möglichkeiten für ein breites Spektrum an KI-Anwendungen eröffnen. Sind vortrainierte KI-Modelle wie GPT-3 mit Milliarden von Parametern für den Einsatz in Unternehmen geeignet? Unit8 gibt dazu Antworten.

Das bekannteste vortrainierte Modell für maschinelles Lernen ist „Generative Pre-trained Transformer Version 3“ (GPT-3) von OpenAI. GPT-3 ist ein KI-Modell, welches für die Generierung von Text trainiert wurde.

Im Gegensatz zu KI-Systemen, die für konkrete Anwendungsfälle entwickelt werden, verfügt GPT-3 über sehr umfangreiche Fähigkeiten zur Ein- und Ausgabe von Text und lässt sich für ein breites Spektrum von Aufgaben und zur Verarbeitung von natürlicher Sprache und sogar für Programmiersprachen einsetzen. GPT-3 erregte viel Aufsehen, als OpenAI im Jahr 2020 Betatests des neuen Modells bekannt gab.

In Anbetracht der beeindruckenden Praxisdemos von GPT-3 war dieser Hype gerechtfertigt. Das Modell verfasste Artikel und Gedichte, beantwortete Fragen, übersetzte Text, fasste Dokumente zusammen und schrieb sogar Programmcode. Sechs Monate, nachdem OpenAI die GPT-3-API für den Einsatz durch Dritte freigegeben hatte, waren bereits 300 Apps auf dem Markt, die GPT-3 nutzten und täglich insgesamt 4,5 Milliarden Wörter generierten.

Deep Learning setzt grosse Mengen an Trainingsdaten und viel Rechenleistung voraus. Beides war bis vor Kurzem nicht einfach so verfügbar. Begrenzte Zeit und Rechenkraft machen vortrainierte Modelle notwendig, da es für Unternehmen schlicht unmöglich ist, Deep-Learning-Modelle vollständig selbst zu entwickeln. Aus diesem Grund sind viele Branchenspezialisten der Ansicht, dass der Einsatz von PTMs wie GPT-3 der nächste grosse KI-Trend in der Wirtschaft sein könnte.

Wie funktioniert die Technologie, auf der GPT-3 basiert?
Bei vortrainierten Modellen (Pre-Trained Models, PTMs) handelt es sich um gespeicherte neuronale Netze, deren Parameter bereits durch selbstüberwachtes Lernen trainiert wurden. Zum Beispiel können diese Modelle angefangene Sätze vervollständigen oder den weiteren Inhalt von Texten voraussagen. Aufgrund dieser Fähigkeiten können KI-Entwickler auf ein vorgefertigtes PTM aufbauen, anstatt KI-Modelle zur Lösung ähnlicher Probleme komplett neu entwickeln zu müssen.

Es gibt bereits verschiedene Typen vortrainierter Sprachmodelle, beispielsweise CodeBERT, OpenNMT und RoBERTa, die für unterschiedliche NLP-Aufgaben trainiert sind. Die KI-Community ist sich einig, dass PTMs für die Weiterentwicklung von Deep-Learning-Anwendungen in der Zukunft eine wichtige Rolle spielen werden.

Sprachmodelle wie GPT-3 funktionieren folgendermassen: Anhand einer Texteingabe wird der nachfolgende Text vorhergesagt. Dabei kommen „Transformers“, eine Art neuronales Netzwerk mit einer spezifischen Architektur, die es ermöglicht, Wörter in einer Sequenz simultan zu betrachten, zum Einsatz. Ein weiteres zentrales Merkmal von GPT-3 ist die schiere Grösse des Modells. Während GPT-2 noch 1,5 Milliarden Parameter hatte, sind es bei GPT-3 bereits 175 Milliarden, was die Genauigkeit der Vorhersagen und die Fähigkeit zur Mustererkennung erheblich verbessert.

OpenAI hat 4,5 Millionen USD investiert, um GPT-3 mit mehr als einer halben Billion Wörtern zu trainieren, die mit Crawlern aus Internetquellen gewonnen wurden und unter anderem die gesamte Wikipedia einschliessen. Diese modernen „Megamodelle“ machen neue Hochleistungsanwendungen möglich, da sie durch selbstüberwachtes Lernen trainiert werden. Diese Fähigkeit, ohne ständige externe Überwachung zu lernen, ermöglicht es, Modelle mit enormen Textdatenmengen zu trainieren ohne dafür explizite Trainings-Anweisungen zu benötigen.

In Kombination mit den unbegrenzten Möglichkeiten von Cloud Computing sind Megamodelle für Sprachanwendungen auf der Grundlage von Transformern sehr gut darin, anhand einer kleinen Textmenge die daran anschliessenden Wörter oder Sätze vorherzusagen. Hochskalierte Megamodelle sind in der Lage, Aufgaben anhand nur weniger Beispiele richtig zu lösen („Few Shot“) – oder sogar als „One Shot“ oder „Zero Shot“.

Wird GPT-3 die Zukunft der Wirtschaft verändern?
GPT-3-Anwendungen beeindrucken auch, weil sie unter anderem von KI-/ML-Laien entwickelt werden. Die NLP-Technologie gibt es zwar schon seit Jahrzehnten, aber dank der neuen vortrainierten Megamodelle hat ihre Beliebtheit einen explosionsartigen Schub erfahren.

Mithilfe dieser Megamodelle mit Milliarden Parametern als Basis und ihrer Feinjustierung für spezifische Aufgaben, kann künstliche Intelligenz mit PTMs nun nachgelagerte sprachbezogene Aufgaben wie Textübersetzung, Vorhersage fehlender Satzteile und sogar die Generierung neuer Sätze ausführen.

Mit PTMs wie GPT-3 sind Maschinen in der Lage, beim Erledigen dieser Aufgaben ein Qualitätsniveau zu erreichen, das in vielen Fällen kaum von durch Menschen produzierte Ergebnisse zu unterscheiden ist. Bei einigen Versuchen konnten nur 12 % der Befragten feststellen, dass der Verfasser GPT-3-generierter Zeitungsartikel kein Mensch war.

Branchen wie das Bank- und Versicherungswesen, in denen strenge Vorschriften gelten, werden in der Qualitätssicherung vielleicht nie ganz auf den Menschen verzichten wollen. Aufgaben, die mit einer spezifischen Sprachstruktur verbunden sind, lassen sich jedoch durchaus mit vortrainierten Sprachmodellen automatisieren. GPT-3 ist bereits für Aufgaben in der Kundenbetreuung, bei der Informationssuche und bei der Erstellung von Zusammenfassungen im Einsatz.

Gennarro Cuofano, der Kopf hinter dem „FourWeek MBA“, nennt eine Reihe von Beispielen für kommerzielle Anwendungen, bei denen das Potenzial von PTMs wie GPT-3 zur Automatisierung von Routineaufgaben genutzt werden kann:

• Automatische Übersetzung: GPT-3 hat bereits Ergebnisse mit derselben Genauigkeit wie die DeepMind-KI von Google geliefert, die speziell zu Übersetzungszwecken trainiert wurde.
  
  

• Programmieren ohne Code: Mit Sprachmodellen zur Erzeugung von Computercode können Entwickler simplen Code automatisch generieren und sich auf wichtigere Bereiche konzentrieren. Ein Beispiel dafür ist die Umwandlung von Abfragen in natürlicher Sprache in SQL auf der Grundlage von GPT-3.
  
  

• Marketinginhalte: Bei der Persado-Umfrage zu Kreativ-KI 2021 gaben rund 40 % der Befragten an, KI zur Generierung kreativer Marketinginhalte zu nutzen. Content Marketing und SEO-Optimierung sind erst der Anfang. Zu den zukünftigen Einsatzbereichen zählen die App-Entwicklung, das Klonen von Websites und die Erstellung von Fragebögen, Tests und sogar Animationen.
  
  

• Automatisierte Dokumentation: Die Generierung von Finanzberichten und anderen standardisierten Dokumenten wie Produkthandbüchern, Konformitätsberichten usw., für die Zusammenfassungen erstellt und Informationen extrahiert werden müssen. OthersideAI entwickelt derzeit ein System, das Antwort-E-Mails auf der Grundlage von Nutzereingaben im Bullet-Point-Format generiert.
  
  

Die Zukunft vortrainierter Modelle für maschinelles Lernen
Um abzuschätzen, ob PTM-basierte Dienste für den Einsatz in Ihrem Unternehmen geeignet sind, müssen einige ihrer Schwachstellen berücksichtigt werden. Mehrere Experten haben darauf hingewiesen, dass Megamodelle wie GPT-3 keine „universelle“ künstliche Intelligenz darstellen. Das Modell verfügt über sehr wenige kontextuelle Informationen zur Realität.

PTMs wie GPT-3 haben folglich Grenzen, die sich aus der Qualität des eingegebenen Prompt-Textes ergeben. Durch „Prompt Engineering“ können Benutzer die Fähigkeiten von GPT-3 jedoch verbessern. Darüber hinaus lassen sich Megamodelle mit neuen Datensätzen feinjustieren. Das eigentliche Potenzial vortrainierter Modelle liegt aber in ihrer Funktion als technologische Grundlage für Produkte, die diese Modelle mithilfe sogenannter Transfer-Learning-Verfahren anpassen.

Die nächste grosse Herausforderung für die NLP-Community besteht darin, bessere Mechanismen zum Verstehen menschlicher Absichten zu entwickeln. InstructGPT, die neueste von OpenAI veröffentlichte Version, soll laut Aussagen bereits besser auf menschliche Absichten abgestimmt sein, da sie auf das Befolgen von Anweisungen statt auf die Vorhersage des wahrscheinlichsten Wortes optimiert sei. InstructGPT wird ausserdem voraussichtlich 500-mal grösser als GPT-3 sein.

Eines ist sicher: Die Technologie wird mit der Zeit immer leistungsfähiger werden. Es liegt an uns zu entscheiden, wie gut wir ihren potenziellen Ge- und Missbrauch gestalten und regulieren.