Augmented Reality, van gimmick naar onmisbaar

Wat is augmented reality eigenlijk? Van visueel niet al te aantrekkelijke markers in drukwerk. Snorren, hoedjes en make-up in je Instagram of Snapchat, naar een functionele en structurele verrijking van het leven. 

Wat is Augmented Reality?

Augmented reality is een parapluterm voor alle technieken die camerabeelden real-time combineren met CGI (Computer-generated imagery). Dit houdt simpelweg in dat je het camerabeeld van je device ziet, met erbovenop virtuele niet bestaande objecten. Dit kunnen simpele tekst-overlays zijn met additionele informatie of volledige virtuele objecten die lijken deel uit te maken van hetgeen je op dat moment aan het filmen bent.  Deze techniek wordt op dit moment vooral gebruikt op smartphones.

Magisch begin

De eerste massa-toepassing van Augmented Reality kwam in 2009. Toen het internet voor de helft uit Adobe Flash websites bestond; weet je nog? Voor het Flash-platform was een softwarepakket met de naam “FLARToolkit” ontwikkeld. Dit platform maakte het mogelijk om via de webcam van je pc een “marker” te herkennen en hier virtuele objecten rond te plaatsen. Dit was voor techies, zoals ik, revolutionair. De combinatie van virtuele en real-life videobeelden was ongekend. Direct na de introductie van deze techniek kwam een waterval van campagnewerk; markers in tijdschriften, visitekaartjes, flyers en boekjes. 

Praktisch was het natuurlijk niet. Deze techniek, die zich vooral leent voor mobiel gebruik was alleen te gebruiken met vrij krachtige en logge computers. Daarnaast moest je naast de marker ook de url communiceren. Dus drempel op drempel op drempel.

Tegelijkertijd werd door een aantal Nederlanders de Augmented Reality browser “Layar” ontwikkeld. Deze AR-browser gebruikte technologie als GPS, kompas en accelerometer om lagen met informatie over het camerabeeld te plaatsen. Een van de launch-partners was Funda, een logische en relevante partner. Je kon via de camera van je mobiel zien waar welke huizen in je omgeving te koop stonden en voor hoeveel. Het was echter nog te vroeg; de meeste mobiele devices konden dit op dat moment nog niet aan. Door een gebrek aan devices met deze mogelijkheden en een gebrek aan begrip van de toegevoegde waarde werd dit niet het killer-platform wat het had kunnen worden.

Tipping Point

Vanaf de introductie in 2009 zijn er veel kleine initiatieven op het gebied van Augmented Reality, maar niets heeft de benodigde impact. Langzamerhand worden de desktops als primaire devices vervangen door mobiele telefoons. Deze telefoons krijgen meer geheugen, meer rekenkracht en krachtige videochips. Aan alle randvoorwaarden voor een hernieuwde introductie is voldaan.

In 2017 lanceert Apple ARKit. Een gestandaardiseerd platform voor alle iOS Devices, zoals met veel innovaties neemt Apple het voortouw en volgt Google snel met een eigen platform met de naam ARCore. Facebook en Snapchat lanceren hun eigen AR-platformen, Spark AR en Lens, en doen daarmee ook een duit in het AR-zakje. Met kwaliteit als nooit tevoren, toegankelijkheid en relevantie is de structurele vestiging van deze techniek een feit. 

In het begin waren het vooral gimmicks, vaak in de vorm van portals. Stap door een portal in een andere wereld, zoals de AR-adaptie van de “Take on me” clip van a-ha.

Op den duur waren kwamen functionele tools als Air Measure: om voorwerpen/ ruimtes te meten. Google Lens, Ikea Place: waarmee je Ikea-meubels in je kamers kan passen. YouCam Makeup: om make-up te testen en niet te vergeten games als “Pokémon GO”. Misschien heb je er weleens van gehoord…

AR brillen

Dan zijn er ook nog de Augmented Reality brillen. Het eerste serieuze experiment was de Google Glass in 2014. Omdat de mobiele processoren in die tijd nog niet snel genoeg waren en ARCore nog niet ontwikkeld was, is dit platform ondanks zijn enorme potentie na de eerste beta-release gestaakt. Er zijn sindsdien wat interessante producten op de markt gekomen, zoals de Vuzix Blade en North Focals. Het grote verschil van dit type brillen in vergelijking met hun voorganger is dat ze eruit zien als normale brillen. Nadelen als gelimiteerde beschikbaarheid, ingewikkelde aanmeet-trajecten en gesloten app-ecosystemen maakt dat deze producten nog weinig succes in de markt hebben.

Dan zijn er nog de specifieke AR-Powered brillen, zoals de Hololens en Magic Leap. Deze devices zijn niet gericht op consumenten, alhoewel de learnings van dit soort platformen AR in z’n geheel natuurlijk wel verder brengt. 

Huidige stand

Het is natuurlijk leuk; al die Instagram filmpjes, TikToks en Snaps, maar ik zie vooral de enorme sprongen in techniek die er nodig zijn voor die tien seconden vermaak. Om stickers op je gezicht te kunnen plaatsen maakt Spark AR (Het platform van Facebook/ Instagram) een 3D-model van je gezicht, waar het vervolgens weer beeld van je gezicht op plakt. Door onderwerp-herkeningtechnieken kunnen ze real-time achtergronden verwijderen vanuit 2D camerabeeld. De kwaliteit van tracking van al deze platformen is fantastisch. Allemaal technieken waar ik vijftien jaar geleden alleen maar van kon dromen. Dit soort sprongen hebben ook veel te danken aan de evolutie van Deep Learning, AI, Sensoren, etcetera. AR lijkt een van die platformen die profijt heeft van technische innovaties op alle vlakken.

Geavanceerde toevoegingen

Ook hebben we sinds kort de mogelijkheid tot occlusion en collision. Een issue met AR was dat additionele virtuele voorwerpen, die werden toegevoegd aan het camerabeeld altijd boven de camerabeelden moesten staan en dat naast de grond en wanden, deze virtuele objecten ook niet konden reageren op de werkelijke objecten in het camerabeeld. Door geavanceerde toevoegingen aan ARKit en ARCore hebben deze platformen nu ook diepte-informatie. Dit geeft de mogelijkheid virtuele objecten achter/ op werkelijke objecten te plaatsen en te laten reageren op de werkelijke wereld. Dit maakt het volledige AR-platform meteen zo veel meer immersive.

De drempel bij het gebruik van AR in campagnes is dat dit een app vereist. Dit is niet zo’n issue wanneer een app per definitie een core-onderdeel van je campagne is, maar wanneer de app slechts het vehikel is voor je kekke effectje kan dit mogelijk een issue zijn. Gelukkig is het sinds kort cross-platform mogelijk de camera te gebruiken in mobiele browsers. Dit zet de deur open voor allerlei Augmented Reality oplossingen op het web. Natuurlijk zal dit nooit de mogelijkheden en kwaliteit hebben die native apps bieden, maar het komt dichtbij en deze toegankelijkheid is ook wat waard. Een van de eerste (zeer indrukwekkende) platformen die WebAR oplossingen bieden is 8th Wall. Dit product biedt een redelijk volledige feature-set en prima kwaliteit.

De toekomst

De techniek wordt de komende jaren steeds beter. Apple heeft in zijn laatste iPad bijvoorbeeld een Lidar sensor toegevoegd. Dit type sensor meet middels een laser hele nauwkeurige afstanden. Hierdoor is het mogelijk veel betere diepte-informatie te verkrijgen. Deze sensor zal in ieder geval standaard worden op alle Apple-devices in de toekomst.

Remote assistance wordt via een gedeelde multi-user augmented ervaring de standaard. Voor alle kleine reparaties of andere fysieke supportzaken kunnen experts gebruikers met veel detail door de stappen lopen om het probleem op te lossen.

Ondertussen lijkt een van de grootste remmende factoren niet de hardware en software in de telefoon, maar de ervaring die de telefoon biedt. Om de volgende stap moeten wij weg van het device in onze hand.

Dit is ook de mening van Apple. Daarom zijn ze al een aantal jaar bezig met de Apple Glass. Volgens Jon Prosser, een van de meest betrouwbare en gerespecteerde tech leakers komt deze bril eind 2021, begin 2022 op de markt voor 500 euro. Door het trackrecord van Apple op het gebied van dit soort world-changing tech in combinatie met de jarenlange ervaring in Augmented Reality met het ARKit platform maakt het succes van dit product zeer waarschijnlijk. 

Eindeloze mogelijkheden

De praktische mogelijkheden zijn eindeloos. Denk aan naar de inhoud van je koelkast kijken en producten bestellen. Navigatieroutes zien, additionele informatie ontvangen over producten en of mensen die je ziet. Dit kan misschien vermoeiend klinken en hoe we dit exact gaan gebruiken blijft koffiedikkijken, maar als je mij vijftien jaar geleden had verteld dat we in deze tijd gemiddeld drie uur per dag naar onze mobiele telefoon zouden kijken had ik je ook voor gek verklaard. Ik voorspel echter dat er na de Apple Glass andere partijen gaan volgen en we over een aantal jaren onze bril meer gaan gebruiken dan onze telefoon.

Onderdeel van ons leven

Augmented reality is wat mij betreft één van die magische innovaties die jong genoeg is om indruk te maken en ruimte te bieden voor vernieuwende creatieve concepten, en volwassen genoeg om breed toegepast te kunnen worden. Het is vooral aan ons om out of the box te denken en producten of toepassingen te bedenken die deze techniek tot z’n volste benut. Hoe dan ook zal AR in de toekomst structureel onderdeel uit gaan maken van ons leven.

Over de auteur: Tijmen Mulder is co-founder van Robot Kittens.