NTT und Red Hat treiben KI-Analysen am Edge voran​

NTT und Red Hat haben in Zusammenarbeit mit NVIDIA und Fujitsu gemeinsam eine Lösung entwickelt, die das Potenzial von Echtzeit-Datenanalysen mit KI am Edge erweitert. Unter Verwendung von Technologien, die vom IOWN (Innovative Optical and Wireless Network) Global Forum entwickelt wurden und aufbauend auf Red Hat OpenShift wurde die Lösung aufgrund ihrer Praxistauglichkeit als IOWN Global Forum Proof of Concept (PoC) 1,2 anerkannt.

Da KI, Sensortechnologie und Netzwerkinnovationen weiter an Bedeutung gewinnen, sind KI-Analysen am Rand des Netzwerks, dem Edge, extrem wichtig – insbesondere, weil fast täglich neue Datenquellen hinzukommen. Die Nutzung von KI-Analysen kann allerdings komplex sein und schleppend verlaufen und durch die Einführung neuer KI-Modelle und zusätzlicher Hardware zu höheren Wartungskosten für Software und Hardware führen. Mit der voranschreitenden Entwicklung von Edge-Computing-Fähigkeiten an entfernteren Standorten lassen sich die KI-Analysen näher an den Sensoren durchführen, was die Latenz verringert und die Bandbreite erhöht.

Die Lösung besteht aus dem IOWN All-Photonics Network (APN) und Technologien zur Beschleunigung der Datenpipeline in der IOWN Data-Centric Infrastructure (DCI). NTTs beschleunigte Datenpipeline für KI nutzt Remote Direct Memory Access (RDMA) over APN, um große Mengen Sensordaten effizient zu sammeln und zu verarbeiten.

Die Container-Orchestrierungstechnologie von Red Hat OpenShift3 bietet große Flexibilität bei der Verwaltung von Workloads in der beschleunigten Datenpipeline über entfernte und geografisch verteilte Rechenzentren hinweg. NTT und Red Hat haben erfolgreich demonstriert, dass die Lösung den Stromverbrauch effektiv senken kann und zugleich eine niedrige Latenz für Echtzeitanalysen mit KI am Edge bietet.

Für den Proof of Concept wurde die Echtzeit-KI-Analyse-Plattform4 mit Yokosuka City als Basis für die installierten Sensoren und Musashino City als entferntes Rechenzentrum evaluiert – beide verbunden via APN. Das Ergebnis: Selbst bei einer großen Anzahl von Kameras konnte die Latenz, die für die Aggregation der Sensordaten für KI-Analysen erforderlich ist, im Vergleich zu klassischen KI-Inferencing-Workloads um 60 Prozent reduziert werden.

Darüber hinaus ergaben die PoC-Tests, dass der Stromverbrauch der KI-Analysen für jede Kamera am Edge um 40 Prozent gegenüber klassischen Technologien reduziert werden konnte. Die Echtzeit-KI-Analyse-Plattform ermöglicht ein Scale-up von GPUs, sodass eine größere Zahl von Kameras eingesetzt werden kann, ohne dass die CPU zum Flaschenhals wird.

Laut einer Versuchsberechnung, die von 1.000 Kameras ausgeht, ist zu erwarten, dass der Stromverbrauch um weitere 60 Prozent reduziert werden kann.

Die Highlights des Proof of Concept der Lösung sind:

• eine beschleunigte Datenpipeline für KI-Inferencing, die von NTT bereitgestellt wird und RDMA over APN nutzt, um große Mengen Sensordaten von lokalen Standorten in den Speicher eines Beschleunigers in einem entfernten Rechenzentrum zu übertragen, wodurch der Protokoll-Overhead im normalen Netzwerk verringert wird. Anschließend wird die Datenverarbeitung im Beschleuniger mit weniger CPU-Overhead durchgeführt, sodass sich die Energieeffizienz des KI-Inferencing verbessert.
  
  
• groß angelegte KI-Datenanalysen in Echtzeit auf Basis von Red Hat OpenShift, die Kubernetes-Operatoren5 unterstützen können, um die Komplexität bei der Einführung Hardware-basierter Beschleuniger – etwa GPUs und DPUs – zu minimieren. Das erhöht die Flexibilität und vereinfacht die Bereitstellung über verteilte Standorte hinweg, darunter auch entfernte Rechenzentren.
  
  
• die im PoC für das KI-Inferencing genutzten NVIDIA A100 Tensor Core GPUs und NVIDIA ConnectX-6 NICs.
  
  

Die Lösung schafft die Voraussetzungen für intelligente KI-gestützte Technologien, die Unternehmen helfen, nachhaltig zu skalieren.

Unternehmen profitieren von:

• einem reduzierten Overhead bei der Sammlung großer Datenmengen;
  
  
• einer verbesserten Datensammlung, die sich über Ballungsräume und entfernte Rechenzentren erstreckt und schnellere KI-Analysen ermöglicht;
  
  
• der Möglichkeit, lokal verfügbare und potenziell erneuerbare Energien wie Solar- oder Windenergie zu nutzen;
  
  
• einer höheren Sicherheit beim Gebietsmanagement durch die Nutzung von Videokameras als Sensoren.