Delta Engine ist eine leistungsstarke Abfrage-Engine für Cloud Data Lakes. Redash ist ein Open-Source Dashboarding- und Visualisierungsservice der Data Scientists und Data Analysts zur Datenexploration dient. Die neuen Funktionalitäten erleichtern den Data Teams die Nutzung der Unified Data Analytics-Plattform für Data Science, Machine Learning und eine breite Palette von Anwendungsfällen der Datenanalyse.
Delta Engine ist auf die Nutzung mit Delta Lake zugeschnitten, der beliebten strukturierten Transaktionsebene auf Open-Source-Basis, die Qualität und Zuverlässigkeit in Data Lakes bringt. Organisationen können nun kuratierte Data Lakes erstellen, die strukturierte und halbstrukturierte Daten enthalten, und alle ihre Analysen auf qualitativ hochwertigen, aktuellen Daten in der Cloud ausführen.
Databricks übernimmt Redash, das Unternehmen hinter dem erfolgreichen Open-Source-Projekt Redash, um benutzerfreundliche Dashboarding- und Visualisierungsfunktionen für diese kuratierten Data Lakes bereitzustellen. Mit Redash können Data Scientists und SQL-Analysten die Komplexität des Transfers von Daten zur Analyse in andere Systeme reduzieren.
Zusammen ermöglichen diese Verbesserungen Unternehmen die Einführung einer einzigen, vereinfachten Cloud-Architektur für das Datenmanagement, wodurch sie Kosten und Komplexität erheblich reduzieren und die Produktivität ihrer Data Teams optimieren können.
Sie sind auch eine Antwort auf das aufkommende „Lakehouse"-Designmuster, das viele Unternehmen übernommen haben, um strukturierte Transaktionen, Qualität und Leistung in ihre Cloud Data Lakes zu bringen. Die Ankündigungen wurden heute auf dem Spark + AI Summit bekannt gegeben, der diese Woche virtuell mit über 50.000 Teilnehmern der Daten-Community aus über 100 Ländern stattfindet.
Delta Engine ermöglicht schnelle Abfrage-Performance auf Delta Lake
Herkömmliche Datenanalysen bei strukturierten und halbstrukturierten Daten erfordern eine sehr schnelle Performance, um mit dem Betriebstempo Schritt zu halten. In der Vergangenheit haben Organisationen die Daten in ihren Data Lakes über eine Vielzahl von Data Warehouses und Betriebssystemen dupliziert, da die Tools zur Abfrage und Analyse von Daten für eine schnelle Abfrageausführung nicht gut geeignet sind.
Die Bewältigung dieser Komplexität in der Architektur bringt jedoch Herausforderungen mit sich, wie beispielsweise fragmentierte und inkonsistente Datensilos und erheblich höhere Kosten.
Databricks neue Delta Engine für Delta Lake ermöglicht eine schnelle Abfrageausführung für Datenanalyse und Data Science, ohne die Daten aus dem Data Lake zu verschieben. Die Abfrage-Engine mit niedriger Latenz wurde von Grund auf neu entwickelt, um die Vorteile moderner Cloud-Hardware für eine beschleunigte Abfrageleistung zu nutzen.
Mit dieser Leistung sind Databricks-Kunden in der Lage, auf eine einheitliche Datenanalyse-Plattform umzusteigen, die jeden Daten-Anwendungsfall unterstützt, die Betriebseffizienz steigert und Kosten spart.
Delta Lake wurde 2017 von Databricks veröffentlicht und 2019 an die Linux Foundation gespendet. Seit seiner Einführung wurde Delta Lake von Comcast, Condé Nast, Nielsen, FINRA, Shell und Tausenden von anderen Organisationen eingesetzt. Die heutigen Ankündigungen bauen auf dem Erfolg des Delta Lake-Projekts auf und gehen über das Speichern und Verwalten von Daten hinaus, um die Nutzung und den Einsatz von Daten miteinzubeziehen.
Redash macht es Data Scientists und Data Analysts leicht, Daten zu verarbeiten
Das Open-Source-Projekt Redash wurde ins Leben gerufen, um Data Teams dabei zu unterstützen, ihre Daten sinnvoll zu nutzen. Data Scientists und SQL-Analysten können problemlos eine Vielzahl von Datenquellen, einschließlich operativer Datenbanken, Data Lakes und Delta Lake, in thematischen Dashboards zusammenführen.
Die Ergebnisse können in einer Vielzahl von Formaten wie Diagrammen, Kohorten und Funnels visualisiert werden und sind leicht zugänglich, sowohl innerhalb einer Organisation als auch für externe Benutzer.
Millionen von Anwendern in Tausenden von Organisationen nutzen Redash bereits, um Erkenntnisse zu gewinnen und Daten verwertbar zu machen. Das Open-Source-Projekt wurde von einer leidenschaftlichen Gemeinschaft von Entwicklern ins Leben gerufen und seit dem Start des Projekts im Jahr 2013 von über 300 Mitwirkenden aus der ganzen Welt aufgebaut.
Das Open-Source-Projekt Redash kann heute mit Databricks über einen kostenlosen Konnektor verwendet werden. Redash wird in den kommenden Monaten vollständig in die Unified Data Analytics-Plattform und den Databricks-Workspace integriert werden und Funktionen wie Delta Engine nutzen.