Databricks tilt databeheer en machine learning naar hoger niveau

Amsterdam, 28 mei 2021 – Databricks lanceert vier nieuwe productinnovaties die zijn Lakehouse-platform en mogelijkheden voor machine learning (ML) verbeteren. De eerste vernieuwing, Delta Live Tables, versimpelt de ontwikkeling en het beheer van betrouwbare data pipelines met Delta Lake. De tweede, Unity Catalog, is een nieuwe, verenigde datacatalogus die het makkelijk maakt om alle data assets van een organisatie te beheren en biedt een compleet overzicht van alle data binnen de verschillende clouds en bestaande catalogi in gebruik. De Unity Catalog wordt ondersteund door Delta Sharing, een nieuw open source-protocol van Databricks. Tenslotte lanceert het bedrijf Databricks Machine Learning, een nieuw, data-native platform dat is gebouwd op een open lakehouse-architectuur. Dit platform biedt ML-engineers alles wat ze nodig hebben om de volledige ML-levenscyclus te beheren, en komt met twee gloednieuwe features: AutoML, dat veel van het handwerk in de opzet van ML-modellen automatiseert zonder in te boeten op controle en transparantie, en Feature Store, die verbeterde vindbaarheid, governance en betrouwbaarheid van model-features biedt.

Delta Live Tables: bouw de fundering van een lakehouse met betrouwbare data pipelines
Delta Live Tables is een cloudservice die ETL-werk (Extract, Transform en Load) simpeler en betrouwbaarder maakt binnen Delta Lake om ervoor te zorgen dat gegevens opgeschoond en consistent zijn wanneer ze worden gebruikt voor analytics en ML. Dit gebeurt bijvoorbeeld door veel handwerk in de opzet en het beheer van pipelines te automatiseren.

Delta Live Tables is als preview beschikbaar voor Databricks-klanten.

Unity Catalog: versimpeld beheer van data en AI in meerdere cloudplatforms 
Unity Catalog verbetert data governance in multi-cloud- en multi-format-omgevingen door één interface te bieden voor governance van alle data assets, zowel gestructureerd als ongestructureerd en in alle gebruikte cloud data lakes. Dit maakt het voor ondernemingen eenvoudiger om hun data te verenigen op het Lakehouse-platform. Unity Catalog integreert ook met bestaande catalogi, zodat organisaties kunnen voortbouwen op wat er al staat en een toekomstbestendig en gecentraliseerd governancemodel kunnen opzetten zonder dure migratiekosten.

Klik hier voor meer informatie over Delta Live Tables, klik hier voor meer informatie over Databricks Unity Catalog en lees hier het volledige Engelse persbericht.

Databricks Machine Learning: een nieuw dataplatform
Databricks Machine Learning biedt datateams alle benodigde tools binnen één omgeving, waarin ze kunnen schakelen tussen functies voor data science/engineering, SQL Analytics en gloednieuwe ML-functies. Databricks Machine Learning is gebouwd op de open lakehouse-architectuur en zorgt ervoor dat klanten eenvoudig ML-werk kunnen uitvoeren met ieder type data en op elke schaal. Databricks Machine Learning lanceert daarnaast met twee nieuwe functionaliteiten die ML-werk verbeteren, Databricks AutoML en Databricks Feature Store.

Databricks AutoML: start snel nieuwe ML-projecten en automatiseer ML-taken
Nieuwe AutoML-mogelijkheden in Databricks ML stellen datateams niet alleen in staat om snel modellen te trainen via een UI of API, maar ook de onderliggende experimenten en notebooks te delen, zodat data scientists gemakkelijk een onbekende dataset kunnen valideren of een nieuw ML-project kunnen toetsen. Databricks’ focus op transparantie voor AutoML geeft unieke inzichten in hoe een model werkt en biedt gebruikers te allen tijde volledige controle.

Bovendien zijn alle AutoML-experimenten geïntegreerd met de rest van Databricks’ Lakehouse-platform, zodat onder meer alle gerelateerde parameters, statistieken, modellen die aan elke proefrun zijn gekoppeld kunnen worden bijgehouden. Hierdoor zijn modellen eenvoudig te vergelijken en kunnen ze eenvoudig in productie worden genomen.

Databricks Feature Store: Gestroomlijnde ML op schaal met vereenvoudigd delen en vinden van features
Features zijn de attributen die door ML-modellen worden gebruikt om beslissingen te nemen. Om zo efficiënt mogelijk te kunnen werken, moeten data scientists features binnen de organisatie in kaart brengen, weten hoe ze zijn opgebouwd en waar ze worden gebruikt. Feature Store van Databricks is de eerste feature store die binnen een data- en MLOps-platform is ontworpen. Feature Store stelt datateams in staat om eenvoudig features te hergebruiken in verschillende modellen om herbewerking en duplicatie van features te voorkomen, wat datateams maanden kan besparen bij het ontwikkelen van nieuwe modellen. Features worden opgeslagen in Delta Lake’s open bestandsformaat en kunnen worden benaderd via de native API’s van Delta Lake. Feature Store biedt daarnaast zowel real-time- als batch-toegang tot features voor bijvoorbeeld ML-training en streaming. En dankzij een integratie met MLflow zijn feature-referenties ingebed in het model zelf, zodat gebruikers features kunnen bijwerken zonder dat het applicatieteam wijzigingen hoeft aan te brengen in de applicatiecode.

Databricks Machine Learning is als preview beschikbaar voor alle Databricks-klanten. Klik hier voor meer informatie en lees hier het volledige Engelse persbericht.

Over Databricks
Databricks is hét data- en AI-bedrijf. Meer dan 5.000 organisaties, waaronder Comcast, Condé Nast, H&M en ruim 40% van de Fortune 500, vertrouwen op het open en geïntegreerde platform van Databricks voor data engineering, machine learning en analytics. Het hoofdkantoor is gevestigd in San Francisco, met locaties over de hele wereld – waaronder in Amsterdam. Databricks is opgericht door de initiatiefnemers van Apache Spark, Delta Lake en MLflow met de missie om datateams te helpen de meest complexe problemen op te lossen. Volg Databricks op Twitter, LinkedIn en Facebook voor meer informatie.

Voor meer informatie: www.databricks.com.