Sneller inzichten in gegevens met Warp Speed – verbeter de prestaties, verlaag de kosten en stroomlijn analyses met Dell Data Lakehouse
Amsterdam, 24 juli 2024 – Dell Technologies introduceert Warp Speed in het Dell Data Lakehouse. In maart 2024 werd Dell Data Lakehouse geïntroduceerd, een oplossing met een krachtige query-engine aangedreven door Starburst. Deze engine biedt snelle toegang tot gedistribueerde data, ongeacht de gegevensbron. De nieuwe feature leert autonoom querypatronen en identificeert data die vaak wordt gebruikt om optimale indexen en caches te creëren, terwijl data die minder vaak wordt gebruikt op de oorspronkelijke locatie blijft.
In onze snelle wereld moeten IT-leiders analytics en AI versnellen en tegelijkertijd de kosten onder controle houden. De balans tussen snelheid en kosten kan duur uitvallen. Het data lakehouse biedt prestatievoordelen tegen lagere kosten, maar data engineering- en IT-teams vinden het lastig om te bepalen welke data ze moeten optimaliseren en cachen en welke ze ongewijzigd in het data lake moeten laten. Warp Speed biedt hiervoor de oplossing.
Wat doet Wrap Speed?
Het stelt organisaties in staat om sneller en efficiënter dan ooit inzichten uit hun data te halen. Met Warp Speed kan hetzelfde cluster data lake query’s drie tot vijf keer sneller uitvoeren zonder dat de eindgebruiker de query hoeft aan te passen. Bovendien helpt het om clusters tot 40% kleiner te maken. Eenvoudig gezegd kunnen organisaties meer query’s uitvoeren op grote clusters of hetzelfde volume query’s uitvoeren op kleinere clusters.
- Data lakes versnellen: autonoom het data lake indexeren en on-demand verkennende datasets versnellen zonder tussenkomst van data engineering.
- Krachtige dashboards bouwen: sneller drill-downs uitvoeren op TB’s tot PB’s aan data, zonder enige verandering aan de eindgebruikerservaring. Dezelfde query’s worden nu sneller uitgevoerd.
Hoe werkt Wrap Speed?
Warp Speed maakt gebruik van een combinatie van twee versnellingstechnologieën om queryprestaties te verbeteren en de kosten te beheersen. Ten eerste maakt autonome indexering de juiste index types (bitmap, woordenboek, tree) voor elk datablok, waardoor bewerkingen zoals joins, filters en zoekopdrachten worden versneld. Deze indexen worden opgeslagen op een SSD in de compute nodes voor snelle toegang. Ten tweede gebruikt het Smart Caching, een eigen SSD columnar block caching die de prestaties optimaliseert op basis van de frequentie van het gegevensgebruik. Dankzij deze caching is het niet langer nodig om tabellen te scannen, wat zorgt voor meer hergebruik van data tussen queries en daarmee lagere compute kosten.
Beschikbaarheid
Warp Speed is vanaf 17 juli beschikbaar voor alle Dell Data Lakehouse-klanten en wordt ondersteund voor diegenen die Dell S3-compatibele storage gebruiken als hun data lake. De softwarelicentie is ongewijzigd en nu ingebouwd. De configuratie van de compute nodes wordt aangepast voor SSD’s die volledig zijn getest en gebenchmarkt door Dell om de Warp Speed index en -cache te ondersteunen.
Ga voor een volledige, hands-on ervaring naar het Dell Demo Center en verken het Dell Data Lakehouse met labs die speciaal geselecteerd zijn door de experts van Dell Technologies.
Opmerking over prestatiebenchmarking:
Deze prestatiebenchmarks zijn gebaseerd op tests die Dell in juli 2024 heeft uitgevoerd met TPC-DS-datasets van 1 TB en 10 TB die zijn opgeslagen op Dell ECS S3-Compatible Object Storage voor verschillende Dell Data Lakehouse-clustergroottes (6 workers, 11 workers en 16 worker nodes) waarbij elke worker node is geconfigureerd met 64 vCPU’s en 256 GB RAM. De TPC-DS benchmark queries omvatten een breed scala aan query scenario’s, waaronder rapportage, ad hoc en interactief.
-
Onze resultaten laten zien dat Warp Speed over het algemeen een prestatieverbetering biedt in dergelijke scenario’s, en tussen 3x en 5x voor de top 20% van query’s.
-
De compute besparingen worden geschat door de totale query’s die per 10 minuten worden uitgevoerd door een 6-werker node met Warp Speed te vergelijken met die van een 11-werker node zonder Warp Speed en te extrapoleren hoeveel nodes met Warp Speed hetzelfde prestatieniveau kunnen leveren als een 11-werker node cluster zonder Warp Speed. We hebben deze test herhaald voor datasets van 1 TB en 10 TB.
