MLflow, die von Databricks entwickelte Open-Source-Plattform für Machine Learning (ML), tritt der non-profit Organisation Linux Foundation bei. Seit seiner Einführung auf dem Spark + AI Summit vor zwei Jahren verzeichne MLflow mit mehr als 2 Millionen Downloads pro Monat und über 200 Mitwirkende ein beeindruckendes Engagement der Community.
Databricks schuf MLflow als Antwort auf den komplizierten Prozess der ML-Modellentwicklung. Traditionell war der Prozess der Erstellung, Feinabstimmung, Bereitstellung, Schulung und Verwaltung von ML-Modellen für Data Scientists und Entwickler äußerst schwierig. Im Gegensatz zur traditionellen Software-Entwicklung, bei der es nur um Codeversionen geht, müssen ML-Modelle auch Versionen von Datensätzen, Modellparametern und Algorithmen berücksichtigen.
Dadurch entsteht ein exponentiell größerer Satz von Variablen zur Erfassung und Verwaltung. Darüber hinaus ist ML ein sehr iterativer Prozess und stützt sich auf eine enge Zusammenarbeit zwischen Data- und Anwendungsteams. MLflow sorgt dafür, dass dieser Prozess gut zu bewältigen ist, indem es eine Plattform für die Verwaltung des gesamten Entwicklungszyklus von ML von der Datenvorbereitung bis zum Produktionseinsatz bietet, einschließlich der Verfolgung von Experimenten (Versuchsprojekten), der Verpackung von Code in reproduzierbare Abläufe und der gemeinsamen Nutzung und Zusammenarbeit von Modellen.
Matei Zaharia, der Schöpfer von Apache Spark und MLflow, teilte heute die Neuigkeiten mit der Daten-Community während seiner Keynote-Präsentation auf dem Spark + AI Summit. „MLflow ist zum Open-Source-Standard für Machine-Learning-Plattformen geworden, dank der Community der Mitwirkenden, die aus Hunderten von Ingenieuren aus über hundert Unternehmen besteht.“
„Machine Learning verändert alle wichtigen Branchen und beeinflusst Milliarden von Entscheidungen im Einzelhandel, im Finanzwesen und im Gesundheitswesen. Unser Schritt, MLflow in die Linux Foundation einzubringen, ist eine Einladung an die Machine Learning Community, die besten Praktiken für ML-Engineering in eine Standardplattform zu integrieren, die offen, kooperativ und durchgängig ist.“
Auf dem Spark+ AI Summit präsentieren Unternehmen ihre Erfahrungen mit MLflow, darunter Starbucks, Exxonmobil, T-Mobile und Accenture. Neue Funktionen, die MLflow und den ML-Lebenszyklus weiter vereinfachen, werden heute ebenfalls angekündigt, darunter Autologging für Experimente sowie eine verbesserte Modellverwaltung und -bereitstellung im MLflow-Modellregister.
Der Spark + AI Summit findet diese Woche erstmals virtuell statt und bietet Zugang zu Keynotes, Sessions und Branchenforen auf Anfrage.