Elastic hat mit Search AI Lake die weltweit erste cloudnative Architektur zur Beschleunigung von Echtzeitanwendungen, wie Search, RAG (Retrieval Augmented Generation), Observability und Security, angekündigt. Search AI Lake bildet die Grundlage für das neue Elastic Cloud Serverless, das Workloads automatisch skaliert, verwaltet und so sämtliche operativen Aufwendungen aus dem Weg räumt.
Damit kombiniert Elastic die massive Speicherkapazität eines Data Lakes mit leistungsfähigen Search- und KI-Relevanz-Funktionen von Elasticsearch. Dies lässt sich eine hohe Abfrage-Performance realisieren, ohne den Verlust von Skalierbarkeit, Relevanz oder Erschwinglichkeit zu riskieren.
Search AI Lake bietet unter anderem folgende Vorteile:
- Grenzenlose Skalierbarkeit und Entkopplung von Rechenleistung und Speicherung
Die komplette Entkopplung von Speicherung und Rechenleistung bei Nutzung von Objektspeichern ermöglicht problemfreie Skalierbarkeit und Zuverlässigkeit. Das dynamische Caching unterstützt hohe Durchsatzraten, häufige Aktualisierungen und das interaktive Suchen in großen Datenbeständen. Damit entfällt die Notwendigkeit, Indexierungsoperationen über mehrere Server hinweg zu replizieren, was Kosten spart und die Menge an doppelten Daten reduziert. - Echtzeit-Performance mit geringer Latenz
Eine Reihe von Verbesserungen sorgt für exzellente Abfrage-Performance, selbst dann, wenn die Daten in sicheren Objektspeichern platziert sind. Dazu gehört die Einführung von Smart Caching und die Abfrageparallelisierung auf Segmentebene. Dies reduziert die Latenz durch einen schnelleren Datenabruf und die rasche Verarbeitung von mehr Anfragen. - Unabhängige Skalierung von Indexierung und Abfragebearbeitung
Dadurch, dass Indexierung und Low-Level Suche voneinander getrennt werden, ist die Plattform in der Lage, unabhängig und automatisch zu skalieren. Dadurch wird sie den verschiedensten Anforderungen von Workloads gerecht. - Native Inferenz- und Vektorsuche, optimiert durch generative KI
Nutzer:innen steht eine native Suite leistungsfähiger KI-gestützter Relevanz-, Abruf- und Reranking-Funktionen zur Verfügung. Dazu gehören eine vollständig in Lucene integrierte, native Vektordatenbank, offene Inferenz-APIs, semantische Suche sowie Erst- und Drittanbieter-Transformator-Modelle, die nahtlos mit allen Suchfunktionen zusammenarbeiten. - Leistungsstarke Abfragesprache und Analytics-Funktionen
Die Integration der leistungsstarken Abfragesprache ES|QL von Elasticsearch kommt mit effektiven, aussagekräftigen und effizienten Analysen, unabhängig von Datenquelle und ‑struktur. Die uneingeschränkte Unterstützung für präzise und effiziente Volltextsuchen und Zeitreihenanalysen ermöglicht es zudem, Muster in raumbezogenen Analysen zu identifizieren. - Natives Machine Learning
Für bessere Prognosen haben Nutzer:innen die Möglichkeit, Machine-Learning-Funktionen zu erstellen, einzusetzen und zu optimieren, die dann auf alle Daten angewendet werden können. Vordefinierte Threat-Detection-Regeln können problemlos auf historische Informationen angewendet werden, die viele Jahre alt sein können, und Security-Analyst:innen so bei der Arbeit unterstützen. Hinzu kommt die in beinahe Echtzeit durchgeführte Anomalieerkennung durch nicht überwachte Modelle, mit der Daten aus viel längeren Zeiträumen überwacht werden können, als bei anderen SIEM-Plattformen. - Echt verteilt – regionsübergreifend, cloudbasiert oder hybrid
Daten können von einer zentralen Benutzeroberfläche aus in der Region oder in dem Rechenzentrum abgefragt werden, in dem sie generiert wurden. Durch die clusterübergreifende Suche (CCS) entfällt die Notwendigkeit, die Daten zu zentralisieren oder zu synchronisieren. Das bedeutet, dass Daten jeden Formats unmittelbar nach dem Hinzufügen normalisiert, indexiert und optimiert werden. Dies sorgt für extrem schnelle Abfrage- und Analyseergebnisse – und das alles bei geringeren Kosten für die Übertragung und Speicherung von Daten.
Search AI Lake bildet die Grundlage für das neue Elastic Cloud Serverless: Dank der Geschwindigkeit und Skalierbarkeit der innovativen Architektur wird operativer Overhead entfernt, damit Nutzer:innen schnell und nahtlos Workloads starten und skalieren können. Alle Operationen, vom Monitoring und Backup bis zur Konfiguration und zum Sizing, werden von Elastic verwaltet – die Nutzer:innen brauchen nur ihre Daten beizusteuern und sich für Elasticsearch, Elastic Observability oder Elastic Security auf Serverless zu entscheiden.
„Es ist klar, dass für die Anforderungen von immer mehr KI- und Echtzeit-Workloads eine neue Architektur gebraucht wird, die sowohl dem Rechenleistungs- als auch dem Speicherplatzbedarf gewachsen ist und dies in Enterprise-fähiger Geschwindigkeit und Größe“, so Ken Exner, Chief Product Officer bei Elastic.
„Anbieter traditioneller Data Lakes haben immer wieder behauptet, diese Anforderungen zu erfüllen, scheitern aber regelmäßig bei Echtzeitanwendungen – Search AI Lake zeigt nun, wie es geht. Diese neue Architektur und die Serverless-Projekte, die auf ihr aufbauen, sind genau das, was für die Search-, Observability- und Security-Workloads von morgen gebraucht wird.“