RHEL AI 1.3 umfasst die neuesten Erweiterungen der LLM-Familie (Large Language Model) Granite und integriert Open-Source-Tools zur Datenaufbereitung. Gleichzeitig bleibt die Flexibilität für hybride Cloud-Bereitstellungen erhalten, einschließlich einer optimierten Unterstützung für beschleunigte Computing-Architekturen.
Laut einer Studie des Marktforschungsunternehmens IDC planen 61 Prozent der Befragten den Einsatz von Open-Source-Foundation-Modellen für GenAI-Anwendungsfälle, während mehr als 56 Prozent der eingesetzten Foundation-Modelle bereits Open Source sind. Red Hat sieht in diesem Trend eine Bestätigung seiner Vision, wie Unternehmen zukünftig GenAI-Lösungen einsetzen werden:
- Kleinere Modelle mit Open-Source-Lizenz, die überall in der Hybrid Cloud zum Einsatz kommen
- Funktionen für das Fine-Tuning, die Unternehmen in die Lage versetzen, LLMs einfacher an private Daten und spezifische Anwendungsfälle anzupassen
- Optimierte und effizientere KI-Modelle, die auf der Inferenzleistungsexpertise basieren
- Die Unterstützung durch ein starkes Partner- und Open-Source-Ökosystem für eine breitere Auswahl an Kunden.
RHEL AI ist ein zentraler Baustein der KI-Strategie von Red Hat. Die Plattform kombiniert die Open-Source-basierte Granite-Modellfamilie mit den InstructLab-Tools, die auf der LAB-Methodik (Large-Scale Alignment for chatBots) beruhen. Diese Komponenten werden in einem optimierten, bootfähigem Image von Red Hat Enterprise Linux bereitgestellt, das flexibel auf individuellen Servern in jeder Hybrid-Cloud-Umgebung einsetzbar ist.
Support für Granite 3.0 LLMs
RHEL AI 1.3 stärkt Red Hats Unterstützung von Granite-LLMs durch die Integration von Granite 3.0 8b, das speziell für englischsprachige Anwendungsfälle konzipiert ist. Granite 3.0 8b ist ein vielseitiges Modell, das neben Englisch auch ein Dutzend weiterer Sprachen, Codegenerierung und Funktionsaufrufe unterstützt.
Nicht-englischsprachige Anwendungen, Code und Funktionen stehen in RHEL AI 1.3 als Developer Preview zur Verfügung und sollen in zukünftigen Versionen vollständig unterstützt werden.
Vereinfachte Datenaufbereitung mit Docling
Docling ist ein kürzlich von IBM Research veröffentlichtes Community-Projekt, das dabei hilft, gängige Dokumentenformate zu analysieren und in Formate wie Markdown oder JSON zu konvertieren, um sie für KI-Anwendungen und das Training vorzubereiten.
In RHEL AI 1.3 hilft diese ab sofort unterstützte Funktion Nutzern dabei, PDFs in Markdown zu konvertieren und damit die Datenaufbereitung für das Modell-Tuning mit InstructLab zu vereinfachen.
Mit Docling umfasst RHEL AI 1.3 jetzt auch kontextbezogenes Chunking, das die Struktur und semantischen Elemente der für das GenAI-Training verwendeten Dokumente berücksichtigt. Dadurch erhalten GenAI-Anwendungen ein höheres Maß an Kohärenz und liefern kontextgerechte Antworten auf Fragen und Aufgaben, die andernfalls weiteres Tuning und Anpassen erfordert hätten.
In zukünftigen Versionen von RHEL AI wird die Unterstützung für Docling weiter ausgebaut und verfeinert, einschließlich zusätzlicher Dokumentenformate sowie der Integration von RAG-Pipelines (Retrieval-Augmented Generation) zusätzlich zum InstructLab-Knowledge-Tuning.
Erweiterung des GenAI-Ökosystems
Wahlmöglichkeiten sind ein wesentlicher Bestandteil der hybriden Cloud. Mit GenAI als zunehmend zentraler Workload für hybride Umgebungen muss diese Flexibilität auch bei den zugrunde liegenden Chip-Architekturen gewährleistet sein. RHEL AI unterstützt bereits führende Technologien von NVIDIA und AMD, mit der Version 1.3 kommt nun Intel Gaudi 3 als Technology Preview hinzu.
Über die Chip-Architektur hinaus unterstützen auch große Cloud-Anbieter RHEL AI, darunter AWS, Google Cloud und Microsoft Azure, als BYOS-Angebot (Bring Your Own Subscription). In Kürze wird die Plattform auch als optimierte und validierte Lösung auf dem Azure Marketplace und dem AWS Marketplace verfügbar sein.
RHEL AI ist die bevorzugte Foundation-Model-Plattform auf beschleunigten Hardware-Angeboten von Red Hat-Partnern, darunter Dell PowerEdge R760xa Server und Lenovo ThinkSystem SR675 V3 Server.
Verbesserungen beim Model Serving mit Red Hat OpenShift AI
Red Hat OpenShift AI ermöglicht jetzt die Parallelisierung des Model Serving über mehrere Nodes mit vLLM-Laufzeiten, wodurch mehrere Anfragen in Echtzeit bearbeitet werden können. Zusätzlich können Anwender die Parameter eines LLM dynamisch anpassen, um etwa das Modell auf mehrere GPUs aufzuteilen oder es für einen kleineren Footprint zu quantisieren. Diese Verbesserungen sollen die Reaktionszeiten verkürzen, die Kundenzufriedenheit steigern und die Abwanderung verringern.
Unterstützung für Red Hat AI
RHEL AI bildet zusammen mit Red Hat OpenShift AI die Grundlage für Red Hat AI, dem Lösungsportfolio von Red Hat, das Markteinführungen beschleunigt und die Betriebskosten für die Bereitstellung von KI-Lösungen in der Hybrid Cloud reduziert.
RHEL AI unterstützt einzelne Linux-Serverumgebungen, während Red Hat OpenShift AI verteilte Kubernetes-Plattformumgebungen betreibt und integrierte MLOps-Funktionen bietet. Beide Lösungen sind miteinander kompatibel, wobei Red Hat OpenShift AI alle Funktionen von RHEL AI beinhaltet, um in großem Umfang bereitgestellt werden zu können.