Rotterdamse gamemaker innoveert met AI game voor het prestigieuze Monterey Bay Aquarium Institute (MBARI)

FathomVerse combineert meeslepende beelden, boeiende gameplay en wetenschappelijke innovatie om artificial intelligence tools te verbeteren die nodig zijn om zeeleven te bestuderen en de gezondheid van de oceaan in kaart te brengen.

Rotterdam, 2 mei 2024 | Welkom bij FathomVerse: een nieuwe mobiele casual game, gelanceerd op 1 mei. Deze game, ontwikkeld door het Rotterdamse &ranj Serious Games, stelt iedereen met een smartphone of tablet in staat om deel te nemen aan het ontdekken en exploreren van het onderwaterleven in onze oceanen. De app stelt FathomVerse spelers in staat om echte onderwaterbeelden te onderzoeken om zo de kunstmatige intelligentie te trainen die onderzoekers helpt bij het bestuderen van het zeeleven.

De game combineert unieke beelden, innovatieve gameplay en wetenschappelijk onderzoek om zo een nieuwe generatie oceaanverkenners te inspireren.

Wetenschappers verzamelen enorme hoeveelheden afbeeldingen en video’s om zo het zeeleven te bestuderen en de gezondheid van de oceaan in kaart te brengen. Artificiële intelligentie (AI) kan onderzoekers helpen deze stortvloed aan visuele gegevens efficiënter te analyseren. Voordat AI kan worden gebruikt voor oceaanverkenning, moeten machine learning-modellen worden getraind in het herkennen en identificeren van zeedieren. FathomVerse, een nieuwe mobiele game, wil deze uitdaging aangaan door mensen over de hele wereld te betrekken bij het beoordelen en labelen van afbeeldingen om AI algoritmes hierin beter te laten worden.

Kakani Katija, Principal Engineer bij MBARI: “Met deze enorme uitdaging komt een enorme kans: Hoe kunnen we onze capaciteit voor het analyseren van waardevolle gegevens over de oceaan opschalen, terwijl we een nieuwe en meer inclusieve visie op oceaanverkenning en -ontdekking realiseren? Door expertise in oceaanwetenschap, mens-AI-interactie en gaming te combineren, biedt FathomVerse een oplossing.”

Om FathomVerse te ontwikkelen, werkten Katija en MBARI-software-developers samen met de experts van &ranj Serious Games – een in Rotterdam gevestigde gameontwikkelingsstudio gericht op positieve gedragsverandering door spel – en Internet of Elephants – een “nature tech enterprise” gevestigd in Kenia gericht op het herstellen van relaties tussen mensen en wilde dieren.

Gaf van Baalen, Game Director bij &ranj: “Met meer dan 3 miljard mensen die wereldwijd videogames spelen, vroegen we ons af of we een breder publiek konden betrekken bij oceaanverkenning via hun mobiele devices. We weten dat games creatieve en verrassende oplossingen voor echte problemen kunnen bieden. Met FathomVerse hebben we wetenschap gecombineerd met een innovatieve game-ervaring, die is gericht op het aanwakkeren van nieuwsgierigheid, het bevorderen van leren en het bijdragen aan oceaanverkenning”.

Camera’s op de geavanceerde onderwaterrobots hebben wetenschappers in staat gesteld om opmerkelijke nieuwe soorten te ontdekken, unieke diepzee omgeving te observeren en de gezondheid van de oceaan te monitoren. MBARI heeft een enorm archief van diepzeevideo’s verzameld. Om al deze video’s te analyseren, kammen onderzoekers in het MBARI Video Lab duizenden uren aan beeldmateriaal door om dieren en objecten te identificeren en te labelen. Deze schatkamer aan visuele gegevens bevat meer dan 10 miljoen waarnemingen van dieren, gedragingen, interacties, geologische kenmerken, zeeafval en meer.

Het handmatig verwerken van deze enorme hoeveelheden visuele data die onderzoekers hebben verzameld, en nog steeds verzamelen, is een ontzagwekkende taak die een grote investering van tijd en middelen vereist. AI kan onderzoekers helpen om gegevens efficiënter te analyseren en mee te schalen met de steeds groter wordende hoeveelheid visuele data.

MBARI ondersteunt deze inspanning door expertise en middelen in te zetten om zo de ontwikkeling van AI-tools voor de analyse van deze visuele data te versnellen.

Voordat kunstmatige intelligentie kan worden gebruikt om de oceaanbeelden te analyseren, moet het worden getraind om zeeleven te identificeren. MBARI draagt bij middels de inhoud van haar archief van deskundig gelabelde diepzeebeelden aan een open-source database genaamd FathomNet. Deze database is ontwikkeld in samenwerking met software-engineers van MBARI en werd gevoed met bijna 100.000 gelabelde afbeeldingen verzameld door verschillende onderzoeksteams van MBARI gedurende de afgelopen 35 jaar. Deze inspanning leidde tot vragen over hoe we een breder publiek kunnen betrekken bij het verifiëren van de gelabelde beeldgegevens die nodig zijn voor het trainen van machine learning-modellen.

“Geïnspireerd door andere community science-apps zoals iNaturalist en eBird, wilde ons team een manier vinden om te profiteren van de intrinsieke nieuwsgierigheid naar (diepzee) oceaandieren, terwijl we tegelijkertijd een breder publiek wilden uitnodigen om deel te nemen aan de verkenning en ontdekking van de oceaan”, aldus Katija.

Het team heeft 18 maanden besteed aan de ontwikkeling van FathomVerse. “Het FathomVerse-team werkte nauw samen met bètatesters, die werden geworven met behulp van MBARI en het Monterey Bay Aquarium, om de game te testen en ontwikkelen. Na een succesvolle bètalancering in 2023, waarbij bijna 1.400 spelers uit 65 landen betrokken waren en er meer dan 650.00 annotaties werden gegenereerd, is de FathomVerse-app op 1 mei 2024 wereldwijd gelanceerd in de App Store en Google Play.

“We hebben een abstracte onderwaterwereld gecreëerd waar casual gamers deze onderwaterwereld kunnen verkennen, spelen en leren. Omdat de game als pick-up-and-play is ontworpen, kun je van deze onderwaterwereld genieten tijdens je ochtendkoffie of terwijl je op de bus wacht”, aldus Lilli Carlsen, Engagement Coordinator van Ocean Vision AI.

De game biedt innovatieve gameplay en is ontworpen voor een breed publiek, variërend van oceaanliefhebbers tot casual gamers. Enkele van de belangrijkste kenmerken van de game zijn:

Verkenningsmissies: de speler traint identificatie skills voordat hij aan een echte expeditie begint. Er kunnen meer dan 50 diergroepen uit de uitgebreide bibliotheek ontgrendelt en geïdentificeerd worden.

Innovatieve minigames voor diepzeeverkenning: de speler komt in aanraking met een grote hoeveelheid aan echte diepzeebeelden. Nu is het de opdracht om tijdens de missies oceaandieren te vinden, te identificeren en te labelen.

Gepersonaliseerde gameplay: de speler kiest een minigame die past bij zijn speelstijl. Dit kan een rustgevende ‘Pulse’ game zijn of juist de snelle en efficiënte ‘Illuminate’ game. Het innovatieve ‘community consensus system’ biedt feedback op beelden van dieren, waarvan de identiteit nog onbekend is.

Ontdek en draag bij: iedere speler maakt kans om nooit eerder getoonde afbeeldingen te bekijken en misschien zelfs wel een nieuwe soort te ontdekken.

Rewards: hoe actiever en accurater een speler is hoe meer rewards worden unlocked. Hiermee kan de speler dieper in de wereld van AI en machine learning duiken.

Persoonlijke galerij: FathomVerse de mogelijkheid om favoriete afbeeldingen te bewaren en beheren in een persoonlijke galerij.

In de nabije toekomst volgen nieuwe minigames en wetenschappelijke doelen.

FathomVerse is een van de drie softwaretools die zijn ontwikkeld als onderdeel van het Ocean Vision AI-programma onder leiding van Katija. Ocean Vision AI is een innovatief samenwerkingsproject dat tot doel heeft AI en oceaanonderzoek toegankelijker en impactvoller te maken. Naast FathomVerse heeft Ocean Vision AI FathomNet uitgebracht, een database van deskundig gelabelde afbeeldingen en machine learning-modellen die kunnen worden gebruikt om oceaandieren te identificeren. In de zomer van 2024 zal Ocean Vision AI de Portal introduceren, een online, samenwerkend instrument voor end-to-end AI-ondersteunde verwerking van oceaanbeelden.

“Met de dreiging van klimaatverandering, vervuiling en overbevissing is het belangrijker dan ooit om onze veranderende oceanen te begrijpen. We hebben alle hens aan dek hiervoor nodig. Door in te spelen op onze collectieve nieuwsgierigheid, wil FathomVerse oceaanverkenning transformeren door een gemeenschap van oceaanliefhebbers te benutten die samenwerken met onderzoekers,” zegt Katija.

De financiering voor FathomVerse kwam van de Convergence Accelerator van de National Science Foundation, de David en Lucile Packard Foundation, en de Schmidt Marine Technology Partners, een programma van de Schmidt Family Foundation.

Over MBARI
MBARI (Monterey Bay Aquarium Research Institute) is een non-profit oceanografisch onderzoekscentrum opgericht in 1987 door de wijlen Silicon Valley-innovator en filantroop David Packard. Onze missie is om de mariene wetenschap en technologie te bevorderen om een veranderende oceaan te begrijpen. Bezoek mbari.org om meer te weten te komen.

Over &ranj Serious Games
&ranj, onderdeel van de &samhoud groep, internationaal opererende serious games studio uit Rotterdam, Nederland. Onze missie is om positieve gedragsverandering te bereiken door middel van spel. We creëren en ontwikkelen serious games over complexe onderwerpen en streven naar meetbare impact op de levens van miljoenen mensen. Bezoek www.ranj.com.

Over Ocean Vision AI
Ocean Vision AI is een samenwerkingsprogramma voor onderzoek en ontwikkeling onder leiding van MBARI, CVision AI, Ocean Discovery League, Purdue University en CenCOOS. Ocean Vision AI streeft ernaar om de toegang tot kunstmatige intelligentie en machine learning-tools te stroomlijnen om de analyse van oceanische visuele gegevens te versnellen. Bezoek oceanvisionai.org om meer te weten te komen.