Google leert AI telefoonschermen lezen

Onderzoekers van Google tonen in een nieuw onderzoek aan, dat ze een slimme computer zo kunnen instrueren dat deze de grafische interface van een smartphone kan lezen.

Meer specifiek onderzochten de googlers hoe ze een taalmodel, een zogeheten LLM, daarvoor kunnen inzetten. Het lastige hieraan is, dat een taalmodel geen grafische elementen op een telefoonscherm snapt. Toch slaagde het team erin om de computer gericht taken te laten uitvoeren.