Databricks startet eines neuen Open-Source-Projekts namens Delta Sharing. Dabei handelt es sich um das weltweit erste offene Protokoll für den sicheren Austausch von Daten zwischen Unternehmen in Echtzeit, völlig unabhängig von der Plattform, auf der sich die Daten befinden. Delta Sharing ist Teil des Open-Source-Delta Lake Projekts und ist das fünfte große Open-Source-Projekt von Databricks.
Die gemeinsame Nutzung von Daten ist für die digitale Wirtschaft von entscheidender Bedeutung geworden. Unternehmen möchten Daten einfach und sicher mit ihren Kunden, Partnern und Lieferanten austauschen - wie z. B. ein Einzelhändler, der zeitnahe Bestandsdaten mit jeder der von ihm geführten Marken teilt.
In der Vergangenheit waren Lösungen für den Datenaustausch jedoch an einen einzigen Anbieter oder ein kommerzielles Produkt gebunden, wodurch der Datenzugriff an proprietäre Systeme gebunden war und die Zusammenarbeit zwischen Unternehmen, die unterschiedliche Plattformen nutzen, eingeschränkt wurde.
Delta Sharing hebt die Bindung an einen bestimmten Anbieter auf und ermöglicht eine viel breitere und vielfältigere Palette von Anwendungsfällen. Beispielsweise eine akademische Einrichtung und ein Krankenhaussystem, die gemeinsam an der Erforschung von Impfstoffen arbeiten, hätten zum Beispiel eine standardisierte, einfache Möglichkeit, Forschungsdaten sicher auszutauschen und gemeinsam an ihren Ergebnissen zu arbeiten.
Sie wären nicht durch proprietäre Datenformate oder unterschiedliche Anwendungen und Tools eingeschränkt und es wäre nicht erforderlich eine komplexe Einrichtung wie die Installation der gleichen Data-Warehouse-Software in beiden Organisationen vorzunehmen.
Oder ein Hersteller von Triebwerken für Flugzeuge hätte einen Standardweg, um auf Triebwerksleistungsdaten der verschiedenen Fluggesellschaften zuzugreifen, die er beliefert, selbst wenn jede Fluggesellschaft einen anderen Satz von Systemen zur Speicherung und Verwaltung dieser Daten verwendet.
Delta Sharing erweitert die Anwendbarkeit der Lakehouse-Architektur, die heute von Unternehmen schnell adaptiert wird, da sie einen offenen, einfachen, kollaborativen Ansatz für Daten und KI innerhalb und nun auch zwischen Unternehmen ermöglicht.
Ein neuer offener Standard für die sichere gemeinsame Nutzung von Daten in Unternehmen
Delta Sharing basiert auf Delta Lake 1.0 und profitiert von einem herstellerneutralen Governance-Modell, das von der Linux Foundation unterstützt wird. Delta Sharing etabliert einen gemeinsamen Standard für die gemeinsame Nutzung aller Datentypen mit einem offenen Protokoll, das in SQL, Visual-Analytics-Tools und Programmiersprachen wie Python und R verwendet werden kann.
Delta Sharing ermöglicht es Unternehmen außerdem, bestehende große Datensätze in den Formaten Apache Parquet und Delta Lake nahtlos und in Echtzeit zu teilen, ohne sie zu kopieren, und kann einfach in bestehende Software implementiert werden, die Parquet unterstützt.
Durch die Erkenntnis, dass Innovation durch Zusammenarbeit und nicht durch Isolation gedeiht, baut Delta Sharing auf dem langjährigen Engagement des Anbieters für die Open-Source-Gemeinschaft auf und ergänzt einen langjährigen Katalog von Open-Source-Projekten, darunter die weit verbreiteten Delta Lake, Apache Spark™, MLflow und Koalas - Projekte, die von Data Teams auf der ganzen Welt mehr als 15 Millionen Mal pro Monat heruntergeladen werden.
Herstellerneutrale Flexibilität, um gemeinsam genutzte Daten mit Tools der Wahl zu nutzen, zu analysieren und zu visualisieren
Delta Sharing bietet integrierte Sicherheitskontrollen und einfach zu verwaltende Berechtigungen, die sicherstellen, dass Datenschutz- und Compliance-Anforderungen bei der sicheren gemeinsamen Nutzung von Datenbeständen in Unternehmen erfüllt werden.
Delta Sharing ermöglicht es Unternehmen außerdem, Daten vertrauensvoll mit Zulieferern und Partnern zu teilen und gleichzeitig jedem dieser Data Teams die Flexibilität zu geben, diese gemeinsamen Daten mit den Tools ihrer Wahl abzufragen, zu visualisieren und anzureichern, einschließlich Azure Data Share, Azure Purview, GCP Big Query, AtScale, Collibra, Dremio, Immuta, Looker, Privacera, Qlik, Power BI und Tableau.
Als offenes Protokoll für den sicheren Austausch von Daten zwischen Unternehmen, unterstützt durch das Delta Lake Open-Source-Projekt, Databricks und kommerzielle Partner.