AI-hulpje Gemini staakt schaakwedstrijd met Atari

Googles AI hulpje Gemini heeft geweigerd een potje schaak te spelen tegen een Atari 2600. Vooraf was het AI-model verteld dat andere modellen al van deze tegenstander hadden verloren. Aanvankelijk toonde Gemini veel zelfvertrouwen, maar dat verdween direct naar nul.

Een ontwikkelaar had al eerder ChatGPT en Copilot laten schaken tegen de Atari 2600. Laatstgenoemde (de console) won. Robert Caruso noemde de prestaties van beide chatbots ‘ondermaats’. Hoewel ze in het begin de spelregels nog correct konden uitleggen, faalden ze compleet tijdens het daadwerkelijke spel. Noch ChatGPT, noch Copilot kon zetten onthouden, laat staan dat ze wisten waar hun stukken stonden of welke zetten toegestaan waren. Zelfs op het absolute beginnersniveau won de oude spelcomputer met gemak.

Er werd gespeeld via een emulator met Video Chess, een spel uit 1979. Volgens Caruso verklaarde ChatGPT sommige fouten door te zeggen dat de stukken niet goed zichtbaar waren. In de test werd de standaardversie van ChatGPT gebruikt – een zogeheten foundationmodel, gespecialiseerd in taal, maar niet getraind voor schaak. Op LinkedIn gaf Caruso aan dat de chatbot essentiële context gewoon vergeet – iets wat zowel in gesprekken als bij een schaakpartij problemen oplevert. Nieuwere AI-modellen, bijvoorbeeld die gespecialiseerd zijn in logisch redeneren, zouden mogelijk beter presteren, omdat ze dieper nadenken en meer context kunnen vasthouden.