-

Machine Learning Ops: van experimenteren naar implementeren

Organisaties en bedrijven wenden zich steeds vaker tot Machine Learning (ML) voor een betere bedrijfsvoering en om een strategisch voordeel te behalen op de concurrentie. Maar vaak blijkt de overgang van testfase naar implementatie te lastig.

Onderzoeks- en adviesbureau Gartner schat dat in 2020 tot wel tachtig procent van alle projecten rondom Artifical Intelligence uiteindelijk niet van de grond komt. ML Ops is een set van ‘best practices’ die daar verandering in brengt. 

Verkeerde focus

Eliyahu M. Goldratt, schrijver en bedenker van onder meer de managementstrategie Theory of Constraints, schreef: “Automation is good, so long as you know exactly where to put the machine”. Dit geldt tot op zekere hoogte ook voor ML. Een van de redenen waarom dit soort projecten mislukt, is omdat de focus aanvankelijk te veel ligt op het bewijzen dat ML een toegevoegde waarde heeft binnen de organisatie, terwijl praktische vragen over de implementatie van ML over het hoofd worden gezien. Daar komt Goldratt om de hoek kijken: we kunnen bewijzen dat een ML-project rendabel is, alleen weten we nu niet hoe we het kunnen implementeren.   

Waar het fout gaat

Er zijn verschillende redenen waarom ML-projecten mislukken. Een van de meest voor de hand liggende, is dat de daadwerkelijke implementatie van ML meer vraagt van de gehele organisatie dan wanneer het project zich nog in de testfase bevindt: meer en een betere infrastructuur, meer samenwerking tussen verschillende teams, meer stakeholders om rekening mee te houden enzovoort. Wat kleinschalig begon moet nu in de hele organisatie worden uitgerold en dat brengt vraagstukken en problemen met zich mee waar aanvankelijk geen rekening mee werd gehouden. 

Daarbovenop komt het feit dat veel ML-initiatieven in het begin geïsoleerd zijn. Deze projecten staan op zichzelf binnen de organisatie, wat leidt tot inefficiëntie. Ook verhindert dit het delen van ‘best practices’ tussen verschillende teams. 

Black-box decisions

Nog een probleem is het risico op zogeheten ‘black-box decisions’, waarbij de besluitvorming van ML-applicaties ondoorzichtig is. Echter, wanneer zo’n applicatie live gaat ben je als organisatie verplicht om deze beslissingen uit te kunnen leggen aan bijvoorbeeld klanten en stakeholders. 

Tot slot vergt ML veel up-to-date data van hoge kwaliteit, evenals veel kwaliteitsmonitoring, wat allebei kostbaar is. Wanneer hier na de implementatie niet in voorzien kan worden, leidt dat mogelijk tot een zogeheten ‘performance drift’ waarbij het gebruik van een ML-applicatie vaker kan leiden tot foute beslissingen.

ML Ops in het kort

Na een forse investering in de testfase van een ML-project wil niemand dat deze in de implementatie fase strandt. Om te zorgen dat de overgang van test naar implementatie goed verloopt, is daarom een set van ‘best practices’ ontwikkeld: ML Ops. 

ML Ops is van cruciaal belang in het ontwikkelen van ML-pipelines, welke worden gebruikt om de workflows van ML-applicaties te automatiseren. Door een zoveel mogelijk geautomatiseerde ML-pipeline wordt de uiteindelijke implementatie makkelijker, consistenter en is de kans op menselijke foute kleiner.

Naast automatisering zijn enkele andere best practices: manageability (opleggen van beheer van het ML-model en het bijhouden van veranderingen in modellen en code gedurende modelontwikkeling), reusability (zorg dragen voor consistente oplevering en dat configuraties opnieuw kunnen worden gebruikt) en reproducibility (zorgen dat code, modellen, SDK’s, etc. onderhouden worden zodat deze gereproduceerd kan worden). 

Standaardoplossingen

ML Ops helpt bedrijven met het effectief en efficiënt implementeren van ML-applicaties om er zo daadwerkelijk vruchten van te plukken. Soms hebben ML Ops-dienstverleners al technische templates van ML pipelines op de plank liggen, waardoor het hele implementatie proces nog sneller verloopt. Vaak lukt het om dit aan te laten sluiten op een technologisch platform naar keuze, zoals Microsoft Azure of Google Cloud. 

Gestandaardiseerde end-to-end ML pipelines hebben als voordeel dat er snel geëxperimenteerd kan worden met nieuwe ideeën en relatief makkelijk schaalbaar zijn om bijvoorbeeld grotere groepen van gebruikers te voorzien.   

Uiteindelijk geldt bij de overweging om een ML-applicatie te bouwen het oude advies: bezint eer ge begint. Neem vanaf nu wel in overweging mee hoe een applicatie geïmplementeerd gaat worden, en weet dat ML Ops genoeg handvatten biedt om ML-projecten succesvol van de grond te krijgen. 

Over de auteur: Moustapha el Marini is manager data science bij VIQTOR DAVIS.

Deel dit bericht

Plaats een reactie

Uw e-mailadres wordt niet op de site getoond