Qlik Open Lakehouse ist ein vollständig verwalteter Apache Iceberg-Dienst eingebettet in die Qlik Talend Cloud, der Echtzeit-Pipelines, automatisierte Iceberg-Optimierung und echten Multi-Engine-Zugriff ohne Lock-in bietet. Im Ergebnis steht eine KI-fähige Datenbasis, die Zeit und Kosten zwischen der Erfassung von Daten und deren praktischer Nutzung reduziert.

Qlik Open Lakehouse wird im eigenen Cloud-Konto des Kunden mit Bring-Your-Own-Compute bereitgestellt und vereint die Erfassung von Änderungsdaten (CDC) mit automatischer Iceberg-Optimierung und Multi-Engine-Zugriff. Teams können dabei die Tools nutzen, die sie unter Umständen bereits verwenden: Amazon Athena, Snowflake, Spark, Trino und Amazon SageMaker für Machine Learning (ML).

Bereits in ersten Testläufen berichteten Kunden von schnelleren Abfragen und deutlich geringeren Infrastrukturkosten, da sie Workloads von proprietären Data-Warehouses auf offene, optimierte Iceberg-Tabellen verlagert haben.

„KI kann sein Potenzial nur unzureichend entfalten, wenn Daten langsam, fragmentiert und teuer sind. Qlik Open Lakehouse behebt dieses Problem, indem es Teams eine Echtzeit-Lösung auf Iceberg-Basis bietet, die sie unternehmensweit in ihrer eigenen Cloud betreiben und mit den bereits genutzten Engines abfragen können“, sagte Mike Capone, CEO von Qlik.

Alle Neuheiten zusammengefasst:

  • Qlik Open Lakehouse wird als Teil der Qlik Talend Cloud in den VPC des Kunden bereitgestellt – mit Bring-Your-Own-Compute für vollständige Sicherheit, Leistung und Kostenkontrolle.

  • Multi-Engine-Zugriff ab dem ersten Tag, einschließlich Amazon Athena-Unterstützung, so dass Teams Iceberg-Tabellen serverlos neben Qlik Analytics und anderen Engines abfragen können.

  • SageMaker-fähige Daten, die in kontrollierten Iceberg-Tabellen auf Amazon Simple Storage Service (Amazon S3) gespeichert sind, erleichtern ML-Teams Zugriff, Vorbereitung und Training von Modellen, ohne zusätzliche Datenkopien.

  • Automatische Iceberg-Optimierung für Komprimierung, Partitionierung und Metadatenpflege zur Verbesserung der Abfrageleistung und Reduzierung des Speicherplatzbedarfs

  • Pipelines mit geringer Latenz aus Hunderten von Quellen mittels CDC, mit integrierter Datenqualität, Herkunftsnachverfolgung, Katalogisierung und FinOps-Beobachtbarkeit

  • Qlik Analytics und KI auf Basis der Qlik-Engine sowie Workflow-Automatisierung sorgen dafür, dass Insights automatisch Maßnahmen in Geschäftssystemen auslösen können

Die Vorteile
Der Wert von KI hängt maßgeblich von der Qualität der zugrunde liegenden Daten ab. Qlik Open Lakehouse schafft hier Abhilfe, indem es Unternehmen eine solide Daten- und Analysebasis für KI bereitstellt: vertrauenswürdige, nachvollziehbare und aktuelle Daten in einem offenen Format, das von jeder Engine abgefragt werden kann.

Das Ergebnis sind schnellere Entscheidungen, geringere Gesamtkosten und Wahlfreiheit bei Analysen und ML. In der Vorschau konnten Kunden eine bis zu fünfmal schnellere Abfrageleistung und bis zu 50 Prozent niedrigere Infrastrukturkosten feststellen, da unnötige Kopien entfernt und Iceberg-Tabellen großflächig optimiert wurden.

So funktioniert Qlik Open Lakehouse

  • Offene Architektur: Die Daten werden in Apache Iceberg im Kundenspeicher abgelegt. Die gleichen Tabellen können über Qlik, Amazon Athena, Snowflake, Spark, Trino und ML-Dienste wie Amazon SageMaker abgefragt werden.

  • Standardmäßig in Echtzeit: CDC hält die Tabellen auf dem neuesten Stand. Die automatische Optimierung sorgt für eine konstante Leistung auch bei wachsenden Datenmengen.

  • Kontrolliert und vertrauenswürdig: Integrierte Datenqualitätsregeln, Herkunftsnachweis, Katalogisierung und Zugriffskontrollen bieten die Sicherheit, die KI und regulierte Workloads erfordern.

  • Built for Action: Die Qlik-Engine und die Automatisierung verbinden Erkenntnisse mit dem Workflow, sodass Teams nicht bei Dashboards Halt machen.

Weitere Beiträge....