Der KI-Pionier Cortical.io stellt mit „Semantic Folding“ eine neuartige Implementierung seiner Text-Intelligence-Technologie vor, die große Mengen unstrukturierter Texte effizienter und genauer klassifiziert und dabei noch einen geringeren CO2-Fußabdruck aufweist.
Die neue Implementierung liefert eine 2.800-mal schnellere und 4.300-mal energieeffizientere Textklassifizierung als das maschinelle Lernmodell Bidirectional Encoder Representations from Transformers (BERT) von Google – die Technologie hinter der Google-Suche.
Bei der Implementierung von Cortical.io wird der bewährte, auf den Erkenntnissen der Neurowissenschaft basierende Ansatz zum Verstehen natürlicher Sprache, das sogenannte „Semantic Folding“, genutzt, um bestehende Machine Learning-Modelle zu verbessern und neue Maßstäbe für Effizienz und Leistung von künstlicher Intelligenz zu setzen.
Sie basiert auf einer nahtlosen Integration von Semantic Folding mit hocheffizienter Hardware. Es nutzt die Parallelität, die durch handelsübliche Field Programmable Gate Array (FPGA)-Hardware von Xilinx ermöglicht wird.
Die Testergebnisse zeigen, dass der Semantic Folding-Ansatz zu einem schnelleren und energieeffizienteren Klassifizierungssystem führt. Dies wirkt sich entsprechend auf die Kosten aus: Mit einer Reduzierung von mehreren Euro pro Klassifizierungssystem auf den Bruchteil eines Cents, ist dieser Ansatz zur Textklassifizierung somit wirtschaftlich attraktiver.
Übersetzt in reale Arbeitslasten wäre dieses System in der Lage:
- eine Erkennung von Hassreden für fast drei Milliarden Facebook-User durchzuführen
- den Twitter-Firehose in Echtzeit für Hunderte von Millionen von Nutzenden zu filtern
- oder Zehntausende von Kundenanfragen in Kundendienstzentren zu analysieren und weiterzuleiten.
Die potenziellen Auswirkungen von Semantic Folding auf die CO2-Bilanz von KI lassen sich anhand des folgenden Beispiels veranschaulichen: Ein Unternehmen mit 5000 Mitarbeitern könnte das Äquivalent der Treibhausgasemissionen von 12 Autos pro Jahr einsparen, wenn es Semantic Folding in Kombination mit beschleunigter Hardware zur Klassifizierung der Hunderttausenden von E-Mails, die täglich eingehen, einsetzen würde (im Gegensatz zur Verwendung von BERT).
„KI wurde nie mit dem Gedanken an Energieeffizienz erfunden, daher ist die Konzentration darauf jetzt der entscheidende nächste Schritt in der Entwicklung dieser Technologie”, sagte Francisco Webber, CEO von Cortical.io.
„Große Industrien sind entschlossen, weniger Energie zu verbrauchen, mit Ausnahme der KI- und Machine Learning-Industrie, die sich in die entgegengesetzte Richtung bewegt: Ihr Kohlenstoff-Fußabdruck wächst exponentiell. Es zeigt sich, dass die Zukunft des Green Computing am seidenen Faden hocheffizienter KI-Funktionen hängt.”
Benchmark-Ergebnisse
Der Leistungsvergleich wurde auf zwei ähnlichen Systemkonfigurationen durchgeführt, die dieselbe handelsübliche Dual-AMD-Epyc-Serverhardware verwendeten. Das Modell von Google BERT wurde durch eine NVidia GPU ergänzt. Beim Semantic Folding-Ansatz wurde eine vergleichbare Anzahl von Xilinx Alveo FPGA-Beschleunigerkarten verwendet.
Ziel des Tests war es, die Durchsatzleistung der Klassifikations-Inferenz-Engine der beiden Systeme zu vergleichen. Um die Leistung zu messen, klassifizierte Cortical.io sechzehn verschiedene Datensätze, darunter bekannte Datensätze wie Enron (Kaminski, Farmer und Lokay), DBPedia, IMDb, PubMed, Reuters (R8, R52), Ohsumed, Web of Science, BBC News Text und andere.