Snowflake werkt samen met Meta aan het hosten en optimaliseren van de nieuwe flagship model-familie in Snowflake Cortex AI

Snowflake (NYSE: SNOW), het AI Data Cloud-bedrijf, heeft vandaag aangekondigd dat het de Llama 3.1-collectie van meertalige open source Large Language Models  (LLM’s) zal hosten in Snowflake Cortex AI voor enterprises om eenvoudig krachtige AI-toepassingen op schaal te benutten en bouwen. Dit aanbod omvat Meta’s grootste en krachtigste open source LLM, Llama 3.1 405B, waarbij Snowflake de inferentiesysteem-stack ontwikkelt en open source maakt om real-time, high-throughput inferentie mogelijk te maken en krachtige applicaties voor het verwerken en genereren van natuurlijke taal verder te democratiseren. Het toonaangevende AI-onderzoeksteam van Snowflake heeft Llama 3.1 405B geoptimaliseerd voor zowel inferentie als fine-tuning. Het ondersteunt vanaf dag één een enorm 128Kcontextvenster en maakt  real-time inferentie mogelijk met tot 3x lagere end-to-end latentie en 1,4x hogere doorvoer dan bij bestaande open source-oplossingen. Bovendien is fine-tuning op het massieve model mogelijk met slechts één GPU-node – waardoor kosten en complexiteit voor ontwikkelaars en gebruikers worden geëlimineerd – en dat alles binnen Cortex AI.

Door samen te werken met Meta biedt Snowflake klanten eenvoudige, efficiënte en vertrouwde manieren om naadloos toegang te krijgen tot de nieuwste modellen van Meta, deze te verfijnen en in te zetten in de AI Data Cloud. Dit  met een allesomvattende benadering van vertrouwen en veiligheid ingebouwd op het basisniveau.

“Snowflake’s AI Research Team laat zien hoe bedrijven en de open source-gemeenschap gebruik kunnen maken van state-of-the-art open modellen zoals Llama 3.1 405B voor inferentie en fine-tuning op een manier die de efficiëntie maximaliseert”, zegt Vivek Raghunathan, VP AI Engineering, Snowflake. “We brengen de geavanceerde modellen van Meta niet alleen rechtstreeks naar onze klanten via Snowflake Cortex AI. We wapenen bedrijven en de AI-gemeenschap met nieuw onderzoek en open source code die 128K onder meer contextvensters, multi-node inferentie, pipeline-parallellismeen 8-bit floating point quantizationondersteunt om AI voor het bredere ecosysteem te bevorderen.”

Het AI-onderzoeksteam van Snowflake blijft de grenzen van open source-innovaties verleggen door middel van regelmatige bijdragen aan de AI-gemeenschap en transparantie over hoe het innovatieve LLM-technologieën bouwt. Tegelijk met de lancering van Llama 3.1 405B is het AI-onderzoeksteam van Snowflake nu bezig met het open source maken van zijn Massive LLM Inference and Fine-Tuning System Optimization Stack in samenwerking met DeepSpeed, Hugging Face, vLLM en de bredere AI-gemeenschap. Deze doorbraak creëert een nieuwe state-of-the-art voor open source-inferentie- en afstemsystemen voor modellen met meerdere honderden miljarden parameters.

De enorme schaal van het model en de geheugenvereisten vormen aanzienlijke uitdagingen voor gebruikers die streven naar inferentie met lage latentie voor realtime gebruikssituaties, een hoge verwerkingscapaciteit voor kosteneffectiviteit en ondersteuning van lange contexten voor verschillende generatieve AI-use cases op enterprise-niveau. De geheugenvereisten voor het opslaan van model- en activeringstoestanden maken fine-tuning ook extreem uitdagend, waarbij de grote GPU-clusters die nodig zijn om de modeltoestanden in te passen voor training vaak onbereikbaar zijn voor datawetenschappers.

Snowflake’s Massive LLM Inference and Fine-Tuning System Optimization Stack pakt deze uitdagingen aan. Door gebruik te maken van geavanceerde parallelliteitstechnieken en geheugenoptimalisaties maakt Snowflake snelle en efficiënte AI-verwerking mogelijk, zonder complexe en dure infrastructuur. Voor Llama 3.1 405B levert Snowflake’s systeemstack realtime, hoge doorvoerprestaties op slechts één GPU-node en ondersteunt het enorme 128k contextvensters in multi-node setups. Deze flexibiliteit geldt zowel voor next-generation als legacy hardware, waardoor het toegankelijk is voor een breder scala aan bedrijven. Bovendien kunnen datawetenschappers Llama 3.1 405B verfijnen met gemengde precisietechnieken op minder GPU’s, waardoor er geen grote GPU-clusters nodig zijn. Als gevolg hiervan kunnen organisaties krachtige generatieve AI-toepassingen op bedrijfsniveau eenvoudig, efficiënt en veilig aanpassen en implementeren.

Het AI-onderzoeksteam van Snowflake heeft ook een geoptimaliseerde infrastructuur ontwikkeld voor fine-tuninginclusief modeldistillatie, veiligheidsrails, retrieval augmented generation (RAG) en synthetische datageneratie, zodat bedrijven eenvoudig aan de slag kunnen met deze use cases binnen Cortex AI.

AI-veiligheid is van het grootste belang voor Snowflake en haar klanten. Als gevolg hiervan maakt Snowflake Snowflake Cortex Guard algemeen beschikbaar om verdere bescherming te bieden tegen schadelijke inhoud voor elke LLM-applicatie of -asset die is gebouwd in Cortex AI – met behulp van de nieuwste modellen van Meta of de LLM’s die beschikbaar zijn van andere toonaangevende leveranciers, waaronder AI21 Labs, Google, Mistral AI, Reka en Snowflake zelf. Cortex Guard maakt gebruik van Meta’s Llama Guard 2, waarmee vertrouwde AI verder wordt ontsloten voor bedrijven, zodat ze er zeker van kunnen zijn dat de modellen die ze gebruiken veilig zijn.

“Als leider in de horeca vertrouwen we op generatieve AI om belangrijke onderwerpen binnen ons Voice of the Customer-platform diepgaand te begrijpen en te kwantificeren. Toegang krijgen tot Meta’s toonaangevende Llama-modellen binnen Snowflake Cortex AI stelt ons in staat om verder te praten met onze data en de inzichten te vergaren die we nodig hebben om de naald te verplaatsen voor ons bedrijf,” zegt Dave Lindley, Sr. Director of Data Products, E15 Group. “We kijken ernaar uit om Llama verder af te stemmen en te testen om realtime actie te ondernemen op basis van live feedback van onze gasten.”

“Veiligheid en vertrouwen zijn een zakelijke vereiste als het gaat om het inzetten van generatieve AI, en Snowflake biedt ons de zekerheid die we nodig hebben om te innoveren en toonaangevende Large Language Models op schaal te gebruiken,” zegt Ryan Klapper, een AI-leider bij Hakkoda. “De krachtige combinatie van Meta’s Llama-modellen binnen Snowflake Cortex AI ontsluit nog meer mogelijkheden voor ons om interne RAG-gebaseerde applicaties te bedienen. Deze toepassingen stellen onze stakeholders in staat om naadloos te communiceren met uitgebreide interne kennisbanken, zodat ze altijd toegang hebben tot accurate en relevante informatie.”

“Door gebruik te maken van Meta’s Llama-modellen binnen Snowflake Cortex AI, geven we onze klanten toegang tot de nieuwste open source LLM’s,” zegt Matthew Scullion, CEO en medeoprichter van Matillion. “De aanstaande toevoeging van Llama 3.1 geeft ons team en gebruikers nog meer keuze en flexibiliteit om toegang te krijgen tot de grote taalmodellen die het beste passen bij use cases, en om op het snijvlak van AI-innovatie te blijven. Llama 3.1 binnen Snowflake Cortex AI zal direct beschikbaar zijn met Matillion op de lanceringsdag van Snowflake.”

“Als leider in de customer engagement en customer data platform-industrie, hebben de klanten van Twilio toegang nodig tot de juiste data om de juiste boodschap te creëren voor het juiste publiek op het juiste moment,” zegt Kevin Niparko VP, Product and Technology Strategy, Twilio Segment. “De mogelijkheid om het juiste model voor hun use case te kiezen binnen Snowflake Cortex AI stelt onze gezamenlijke klanten in staat om AI-gedreven, intelligente inzichten te genereren en deze eenvoudig te activeren in downstream tools. In een tijdperk van snelle evolutie moeten bedrijven snel itereren op verenigde datasets om de beste resultaten te behalen.”

This press release contains express and implied forward-looking statements, including statements regarding (i) Snowflake’s business strategy, (ii) Snowflake’s products, services, and technology offerings, including those that are under development or not generally available, (iii) market growth, trends, and competitive considerations, and (iv) the integration, interoperability, and availability of Snowflake’s products with and on third-party platforms. These forward-looking statements are subject to a number of risks, uncertainties and assumptions, including those described under the heading “Risk Factors” and elsewhere in the Quarterly Reports on Form 10-Q and the Annual Reports on Form 10-K that Snowflake files with the Securities and Exchange Commission. In light of these risks, uncertainties, and assumptions, actual results could differ materially and adversely from those anticipated or implied in the forward-looking statements.  As a result, you should not rely on any forward-looking statements as predictions of future events.

© 2024 Snowflake Inc. Alle rechten voorbehouden. Snowflake, het Snowflake logo en alle andere Snowflake product-, functie- en servicenamen die hierin worden genoemd, zijn geregistreerde handelsmerken of handelsmerken van Snowflake Inc. in de Verenigde Staten en andere landen. Alle andere merknamen of logo’s die hierin worden genoemd of gebruikt, dienen alleen ter identificatie en kunnen de handelsmerken zijn van hun respectieve houder(s). Snowflake mag niet worden geassocieerd met, of worden gesponsord of onderschreven door deze houder(s).

Snowflake maakt AI voor bedrijven eenvoudig, efficiënt en vertrouwd. Duizenden bedrijven over de hele wereld, waaronder honderden van ’s werelds grootste, gebruiken Snowflake’s AI Data Cloud om gegevens te delen, toepassingen te bouwen en hun bedrijf van AI te voorzien. Het tijdperk van ondernemings-AI is aangebroken. Meer informatie op snowflake.com (NYSE: SNOW).