Veiligheid van algoritmes in de praktijk: Harver

Onlangs schreef ik een artikel waarin ik inging op de manieren om veiligheid van AI toepassingen te waarborgen. Ik was nieuwsgierig naar hoe bedrijven hiermee in de praktijk omgaan. Daarom ging ik op bezoek bij Harver, een aanbieder van AI recruitment software en onlangs door WIRED magazine verkozen als één van Europa’s ‘hottest startups’.

Harvers software brengt de competenties en persoonlijkheid van een sollicitant in kaart. Daarna filtert een algoritme met behulp van machine learning en data-analyse de meest geschikte kandidaten uit de inzendingen voor de desbetreffende functie. Op het hoofdkantoor van Harver aan het IJ in Amsterdam, vroeg ik CEO Barend Raaff hoe zij omgaan met de vraagstukken omtrent de veiligheid van systemen, algoritmen en AI.

In een recent brancheonderzoek van Tata Consultancy Services geven de auteurs aan dat bedrijven voornamelijk de volgende twee maatregelen zouden moeten nemen om kunstmatige intelligentie (AI) ook in toekomst duurzaam en consistent succesvol in te kunnen zetten:

– Beveilig het systeem tegen hacken;

– Ontwikkel een systeem dat goede, betrouwbare en veilige beslissingen neemt.

Hoe gaan jullie bij Harver om met deze twee punten?

“Het eerste punt dat je aanhaalt, het beveiligen van systemen tegen hacken, is wat ons betreft niet enkel een AI of machine learning topic maar dient z’n weerslag hebben op de gehele organisatie. Wat hier van belang is, is dat je de juiste certificeringen nastreeft en cybersecurity een prioriteit binnen de hele organisatie maakt. En dat geldt dan voor iedere afdeling en bij alles wat we doen.

Dan heb je het dus over policy omtrent het opslaan van data, het delen van informatie tussen collega’s onderling tot zelfs de indeling van het kantoor. Overal moet over nagedacht zijn om het vanuit een cybersecurity oogpunt zo veilig mogelijk te maken. Daarbij zien wij security niet als een incidenteel iets, maar als een doorlopend proces. We zijn continu bezig om niet alleen onze software, maar ook onze processen, communicatie en policy op het gebied van security aan te scherpen. Het is een apart agendapunt waar we constant aan werken. Ontwikkelingen op het gebied van cybersecurity gaan razendsnel, het is dan ook van belang dat de gehele organisatie up to date blijft en voldoet aan de laatste standaarden op dit gebied.

Het tweede punt dat je aanhaalt is zeer interessant. Het ontwikkelen van een systeem dat betrouwbare data presenteert is vooral binnen de recruitmentsector van het grootste belang. Het begint met de manier waarop we kandidaatdata verzamelen. Met behulp van deze data gaat een recruiter in de nabije toekomst een besluit nemen. Het is dus van het grootste belang dat de data valide is. Bij Harver gebruiken we daarom alleen wetenschappelijk gevalideerde assessments om kandidaat data te verzamelen. Zo weten we zeker dat de input betrouwbaar is. In recruitment hoor je steeds meer over het scrapen van data van social media, of het automatisch scannen van CV’s op zoek naar bepaalde keywords die het potentieel van een kandidaat moeten voorspellen. Daar geloven wij niet in. Je hebt in dat geval geen enkele context en raakt de controle over de validiteit van de data kwijt.

Vervolgens, wanneer we de data hebben, vinden we het belangrijk dat de data initieel enkel gebruikt wordt als ‘decision support’. Wat dit betekent: de data helpt de recruiter puur om keuzes te maken, het systeem werkt niet autonoom. Bij Harver is het dus niet zo dat wij het definitieve besluit nemen, we geven een advies. Op basis daarvan kan een recruiter zelf nog besluiten; ik volg het advies wel of ik doe het niet.

Een derde element is wat wij ‘performance feedback’ noemen. Met andere woorden: om een systeem slimmer te maken, moet je weten of de besluiten die je geadviseerd hebt kloppen of niet. Als een sollicitant door onze systemen gaat, geven we onze klanten de mogelijkheid om deze mensen te volgen gedurende hun arbeidstijd bij die werkgever. Dus elke drie, zes, negen maanden krijgen we data terug over hoe een sollicitant het doet en op basis van die data gaan we kijken of het besluitadvies wat we hebben gegeven juist is of niet. Met die informatie maken we het systeem steeds slimmer en worden we continu beter in het geven van advies.

Het vierde element is gericht op het beschermen van kwetsbare groepen en ervoor te zorgen dat verhoudingen niet uit de pas gaan lopen. We monitoren daarom de verhoudingen man/vrouw, leeftijd, en andere zaken die aan kunnen geven of er een onbalans ontstaat en kunnen het systeem bijsturen als dit nodig blijkt.”

AI Now, een non-profit organisatie, die voor algoritmevrijheid pleit, werkt met een simpel principe: als de designers/ontwikkelaars van een algoritme een beslissing niet kunnen verklaren, zou je de applicatie niet mogen gebruiken. Welke visie heeft Harver hierop? 

“De uitkomst van een algoritme wordt onvoorspelbaar, als je niet meer weet op basis van welke data je traint. Een mooi voorbeeld uit onze wereld: je hebt partijen, die zeggen: ons algoritme kopieert het besluit van een recruiter. Maar als deze recruiter van de duizend mensen er vijfhonderd afwijst omwille van ‘unconscious biases’ dan zullen deze biases ook in het algoritme opgenomen worden. De naam zegt het al, unconscious biases komen vanuit het onderbewuste en zijn onmogelijk te identificeren. Op zo’n moment wordt het verklaren van een algoritme een lastig verhaal.

Wij bepalen daarom zelf welke assessments wel en niet opgenomen worden in het uiteindelijke advies dat we presenteren aan de recruiter. Het systeem kan niet naar data kijken, waarvan we niet zelf van tevoren hebben vastgesteld dat het relevant is. We kijken niet naar namen of adressen of zelfs cv’s. Het is enkel gevalideerde assessment data in combinatie met het oordeel van de recruiter.”

Hoe ontwerpen jullie algoritmes? Wie werkt daaraan?

“Het team dat bij ons aan de algoritmen en assessment benchmarks werkt, bestaat uit mensen die allen een achtergrond hebben in arbeidspsychologie en/of datawetenschap. Daarbij wordt altijd een manuele toets toegevoegd. Dat kunnen we bij Harver nog goed zelf managen omdat de dataset waar we mee werken nog te overzien is.

Wanneer we een nieuw traject ingaan met een klant combineren we onze eigen expertise met de kennis van de klant, dat is tweeledig. Soms is dat op basis van data uit het verleden. In de callcenterindustrie bijvoorbeeld, hebben we zoveel klanten dat we bepaalde dingen uit het verleden kunnen leren. Verschillende industrieën en organisaties zijn natuurlijk zeer divers, daarom is het altijd goed om zoveel mogelijk de klant bij het proces te betrekken. Zo krijg je een systeem dat customized is naar wat de klant nodig heeft.”

Jullie werken met verschillende grote klanten. Zien jullie een effect met betrekking tot het opstapelen van data?

“Wat spannend is bij Harver is de ‘performance feedback loop’. Binnen de low-entry-jobs bijvoorbeeld (volumebanen) is vroegtijdig verloop een groot probleem. Mensen worden aangenomen en vertrekken weer na twaalf weken. Bij Harver kunnen we na één jaar inzien hoeveel van deze mensen nu succesvol zijn en nog steeds in dienst zijn. Op basis van deze feedbackdata kunnen we bepalen welke van de datapunten die we aan de voorkant hebben verzameld, het beste toekomstig succes voorspellen. Op basis hiervan kan het systeem aangepast worden en kun je uiteindelijk het recruitmentproces optimaliseren. Deze eigenschap is uniek binnen de recruitmentindustrie. Dat lerende element, dat in de online marketing al heel normaal is, is binnen recruitment echt iets nieuws. Het draait allemaal om testen en experimenteren: wat werkt goed, wat werkt niet goed. En op basis van wat werkt, verbeter je.”

Waar zie je Harver in de toekomst? Wat is je visie?

“Wat we willen, is twee dingen bereiken. Enerzijds, als een sollicitant aan een werkgever gekoppeld wordt, willen we met de hoogst mogelijke zekerheid kunnen vertellen of het een goede match gaat worden. Anderzijds, als die match er niet is, willen we de sollicitant inzicht kunnen geven in een mogelijk alternatief. Dus stel, je solliciteert bij een klant van ons en je wordt daar niet aangenomen, dan willen we functies aanbieden waar de kans op een baan voor iemand met jouw profiel een stuk hoger is.

Wat je vaak ziet is dat, wanneer je ergens niet wordt aangenomen, het sollicitatieproces een doodlopende weg is, met veel frustratie tot gevolg. Hier willen wij verandering in brengen, maar dit gaat stapsgewijs. Vijf jaar geleden kreeg de sollicitant een mailtje: “Helaas, je bent het niet geworden”. De eerste versie van ons systeem voegde hier een persoonlijk scorerapport aan toe. Wat we nu al doen is aangeven wat de goede kwaliteiten van een kandidaat zijn zodat ze hier iets mee kunnen bij hun volgende sollicitatie. De volgende stap is dat we daarmee iemand echt verder op weg kunnen helpen en meerdere opties kunnen geven. “Je bent het hier niet geworden, maar kijk nou eens naar dit alternatief.” Als dat allebei lukt, hebben we echt een groot probleem opgelost.”