Next: de belofte van mobiele AR

VR is uit, AR is in, zo stellen diverse experts. Mede doordat er geen head-up display voor nodig is. En enkel een smartphone al voldoende is om realtime voorwerpen in de omgeving te tonen. Is het inderdaad al een gelopen race of zijn de kaarten nog lang niet geschud?

Sprekers op het onlangs in Amsterdam gehouden congres VR Days moesten het volmondig toegeven: er is een gure winter aangebroken voor virtual reality. Na de hype zien fabrikanten zich geconfronteerd met tegenvallende verkopen van premium VR-brillen. Philip Rosedale, oprichter van Second Life, denkt dat het iPhone-moment voor VR zeker nog vijf jaar verwijderd is. De huidige generatie VR-brillen verkeert volgens hem als het ware in een pre-smartphonestadium.

Daar staat tegenover dat augmented reality (AR) of mixed reality (MR) – de combinatie van de virtuele en fysieke wereld – zich in een enorme belangstelling mag verheugen. Om over extended reality (XR), de mens-machine-interactie, nog maar te zwijgen. In het afgelopen jaar werd zo’n 1,8 miljard dollar in AR en VR geïnvesteerd, volgens cijfers van Digi-Capital. In het derde kwartaal verschoof de aandacht echter duidelijk naar AR. De blues rond VR zou je er bijna door vergeten.

Bij augmented reality wordt virtuele informatie als het ware over de werkelijkheid heen gelegd. Dit bestaat al heel lang en wordt bijvoorbeeld sinds de jaren negentig al gebruikt in gevechtsvliegtuigen. Een andere bekende toepassing zijn head-up displays in auto’s. Bij de eerste smartphonetoepassingen werd er informatie gezocht bij de omgeving die de telefooncamera waarnam. Dat was tevens het idee achter de Nederlandse app Layar, die zo rond 2010 furore maakte. De toepassing werd miljoenen keren gedownload, maar de doorbraak bleef uit. Waarna het bedrijf zich richtte op de traditionele gedrukte media, om digitale content aan drukwerk te koppelen zonder QR-codes.

Het grote AR-succes was natuurlijk het virtuele spel Pokémon GO. Pokémon vangen in het park, de duinen, op het strand of in je eigen straat met je smartphone werd in de zomer van 2016 een megahype. Opvallend genoeg heeft het spel maar weinig navolging gekregen en technisch viel er wel wat op af te dingen. Zo zijn er snellere processoren nodig om virtuele objecten ook echt realistisch in een omgeving te plaatsen.

Investeren
In 2015 realiseerde Microsoft voor het eerst het huwelijk tussen AR en VR, beter bekend als mixed reality, met behulp van de HoloLens. Deze helm beschikt, net als de slimme camera Kinect, over een camerasysteem dat naast lengte en breedte ook diepte in beeld waarneemt. De HoloLens reageert op gebaren, gesproken commando’s en oogbewegingen. De toepassing nadert de beleving van traditionele hologrammen, waarbij je om objecten heen kunt lopen. Hoewel de demo’s alom werden geprezen, had Microsoft lange tijd geen haast met het op de markt brengen van het toestel. Alleen ontwikkelaars konden een vroege versie aanschaffen voor zo’n drieduizend dollar.

Sinds dit najaar is de bril dan ook eindelijk in de Benelux te koop. Waarbij voor de consument inmiddels goedkopere mixed reality-toestellen beschikbaar zijn. Die werken – anders dan de HoloLens – echter alleen in combinatie met een pc die voor mixed reality geschikt is. Omdat Microsoft de slag om de mobiele markt heeft verloren, blijft mixed reality dan ook grotendeels beperkt tot de desktop.

Het verklaart wellicht ook waarom er voor de HoloLens nog niet heel veel geprogrammeerd wordt. Automerken als Volkswagen, Volvo, Renault en Audi hebben ermee geëxperimenteerd. En Ford gebruikt de HoloLens voor het bekijken van prototypes, maar het moet allemaal eigenlijk nog van de grond komen. Microsoft blijft overigens wel flink investeren in deze technologie. Zo heeft het in San Francisco The Mixed Reality Capture Studio geopend, evenals de San Francisco Mixed Reality Academy. Die laatste organiseert allerlei workshops voor ontwikkelaars.

Verkeerde afslag
De belangrijkste slag wordt momenteel geleverd door Apple en Google, die zich grotendeels bewegen op het terrein van mobiele AR. Daarbij worden geen brillen gebruikt, maar kijk je door de lens van de smartphone. De voor iOS benodigde ontwikkelomgeving ARKit is sinds iOS 11 beschikbaar voor de iPhone en iPad. Voor die tijd was het al wel mogelijk om AR te ontwikkelen voor iOS, maar dankzij ARKit is dat een stuk eenvoudiger geworden.

Apple zet onder meer een techniek, genaamd Visual Inertial Odometry (VIO), in om de directe omgeving in kaart te brengen. VIO wordt weer gecombineerd met Core Motion, dat gegevens van sensoren analyseert. Hierdoor weet de smartphone of tablet hoe hij door een ruimte beweegt en is er geen kalibratie vereist. ARKit kan ook de optimale belichting berekenen. Voor deze AR-functie is wel een iOS-toestel met minimaal een A9-processor vereist.

Inmiddels zijn er al aardig wat AR-apps voor de iPhone beschikbaar. Quartz laat je bijvoorbeeld het nieuws in augmented reality beleven. En een app van een Amerikaanse autohandelaar laat zien of de auto van je dromen in je garage past. Daarnaast zijn er ook flink wat games in omloop.

Apple-topman Tim Cook heeft al aangegeven dat augmented reality een toekomstige kerntechnologie voor Apple wordt. Vooral omdat AR overal kan worden toegepast. Bij VR sluit de gebruiker zich af van de omgeving, een argument dat vaker wordt gebruikt om het verschil met AR aan te geven. Een eigen HoloLens ligt voor Apple echter niet in het verschiet.

Google was Apple eigenlijk voor met Project Tango, maar heeft een verkeerde afslag genomen. De technologie maakte gebruik van sensoren die niet standaard aanwezig zijn in smartphones en daarom werd het platform amper gebruikt. Sinds enkele maanden heeft de zoekgigant echter een opvolger: ARCore. Eigenlijk het antwoord op Apples ARKit. Er zijn geen speciale eisen meer voor diepteherkennende camerahardware, en programmeurs kunnen aan de slag met verschillende talen of speciale bouwapps. Daarbij is er onlangs ook een nieuw platform gelanceerd, Poly, een soort virtuele kunstuitleen voor 3D-objecten die je voor AR-toepassingen kunt gebruiken.

Het belangrijkste punt waarop ARCore nog achterloopt op iOS is de beschikbaarheid. ARCore is op dit moment bruikbaar op de Google Pixel-smartphones en op de Samsung Galaxy S8. Met Samsung is wel een nauwe samenwerking afgesproken.

Ondanks de achterstand van Google vindt Roel Pollen van 3DIMERCE, een Nederlandse specialist op het gebied van complexe ‘visuele configuratoren’ in de meubelbranche, de mobiele standaarden van groot belang voor de verdere ontwikkeling. “Doordat ARKit en ARCore augmented reality softwarematig toepassen op alle nieuwe en een groot deel van de bestaande toestellen, heb je opeens een bereik van honderden miljoenen apparaten. Dat opgeteld bij de technische mogelijkheden en de eenvoud, maakt AR toepasbaar voor een grote groep consumenten.”

Een derde standaard komt van Mozilla, het bedrijf achter de browser Firefox. Die heeft inmiddels een ontwikkelraamwerk voorgesteld voor webtoepassingen voor zowel VR als AR. Met Google werkte Mozilla in het verleden aan WebVR, waarvan WebXR de opvolger moet worden. En tracht het de werelden van VR, MR en AR nader tot elkaar te brengen.

Breininterfaces
De verwachting is dat consumenten voorlopig de voorkeur hebben voor mobiele toepassingen zonder bril. Zij zijn namelijk niet bereid om veel geld uit te geven voor headsets. In 2016 werden slechts twee miljoen VR-headsets verscheept en ongeveer vierhonderdduizend waren voor rekening van Facebook-dochter Oculus. Sony claimt 1,2 miljoen PlayStation VR-headsets te hebben verkocht, maar dat stelt op de totale hoeveelheid PlayStation-computers nog altijd niet veel voor. Fabrikanten als Oculus en HTC hebben de prijzen van hun headsets al diverse keren moeten verlagen. Nokia stopte onlangs zelfs met de ontwikkeling van zijn OZO VR-camera, wegens een ‘trager dan verwachte VR-markt’.

Marktvorser Digi-Capital maakt zich dan ook geen illusies: voor een massamarkt voor AR en VR moeten we waarschijnlijk nog vele jaren wachten, wellicht tot het volgende decennium. Premium VR komt niet eerder van de grond dan wanneer ergens in 2019 sterk verbeterde headsets beschikbaar zijn. Anderen zien juist wel omzet: 2,2 miljard dollar dit jaar, oplopend naar 28,5 miljard in 2020, mede dankzij mobiele VR-oplossingen als Google Daydream en Samsung Gear VR.

En dan is er nog de vraag wat consumenten aan bijvoorbeeld AR-technologie hebben. Games liggen als toepassing uiteraard voor de hand, maar de gimmick van meedraaiende virtuele voorwerpen in een echte omgeving gaat snel vervelen. Apps van IKEA, Amazon of het Amerikaanse Target, waarmee je virtuele meubels in je woonkamer kunt plaatsen, zul je niet dagelijks gaan gebruiken, omdat je niet vaak een stoel of bank koopt. Wel keren langzamerhand weer toepassingen terug die eerder mislukten. Albert Heijn lanceerde onlangs de AH Productscanner. Dat is een app die klanten met behulp van augmented reality informatie geeft over ingrediënten, voedingswaarden, allergenen, recepten en herkomst van eigen merkproducten.

Als gezegd staat de technologie nog in de kinderschoenen. Een aspect dat daarbij een rol speelt, stelt de Brabantse Ontwikkelings Maatschappij (BOM) die daar onderzoek naar heeft gedaan, is dat de markt lijdt aan het zogenaamde ‘horseless carriage-syndroom’. Men grijpt bij de introductie van nieuwe technologieën vaak terug op bekende toepassingen. Voorbeelden zijn de eerste auto’s die eruitzagen als koetsen, en de eerste websites die leken op papieren brochures.

VR/AR-toepassingen kunnen in diverse branches echter van toegevoegde waarde zijn. Respondenten uit het BOM-onderzoek die aangeven VR/AR te willen gebruiken, verwachten de technologie vooral in te gaan zetten bij training en simulatie.

Michael J. Gourlay, Principal Development Lead van de Environment Understanding group of Analog R&D van Microsoft, en onlangs in Nederland voor VR Days, ziet de huidige technische ontwikkelingen als onderdeel van een evolutie. “We zijn ons er zeer goed van bewust dat brillen als de HoloLens beperkingen hebben, al was het maar omdat je elkaar niet in de ogen kunt kijken.” Gourley is ervan overtuigd dat in een verre toekomst geavanceerde breininterfaces ontstaan die beelden direct in de hersenen zelf kunnen projecteren. Op dit gebied zijn al wat onderzoeken gaande.

Daarnaast ziet hij ook mogelijkheden voor kunstmatige intelligentie. Slimme hulpjes als Cortana of Siri kijken straks met ons mee via het oog van de mixed reality-camera en zullen de reële omgeving nog beter begrijpen om ons advies te kunnen geven.

Goedkope AR-bril
Studenten Industrial Design Engineering van de Universiteit Twente hebben onlangs een augmented reality-bril op de markt gebracht voor 29 euro. Door de Aryzon zo goedkoop op de markt te zetten, hopen de studenten op een wijdverspreid gebruik van AR. De bril is qua functionaliteit grotendeels vergelijkbaar met Microsofts HoloLens. Net als de VR-bril van Google ontvangen bestellers de Aryzon als kartonnen bouwpakketje. Waardoor hij zelfs door de brievenbus past. Voor gebruik is een smartphoneapp nodig.

Diminished reality
Augmented reality voegt virtuele elementen toe aan een bestaande omgeving, maar diminished reality (DR) haalt juist informatie weg. Denk aan een lelijk uitzicht via het raam of een kronkelend snoer op de vloer. DR is een soort realtime Photoshop, waarbij de software een kleur of patroon uit de omgeving als ‘vulling’ gebruikt. De technologie komt van pas bij AR-apps van Wayfair of IKEA, bijvoorbeeld om je woonkamer anders in te richten. De verwachting is dat DR standaard onderdeel wordt van veel AR-apps.

Te weinig ambities
De Brabantse Ontwikkelings Maatschappij (BOM) waarschuwde al eens dat ontwikkelaars van VR en AR meer focus en ambitie moeten laten zien om het groeikapitaal aan te trekken. Waarbij er een groot verschil blijkt te zijn tussen de inkomensambities en de financieringsbehoeften van VR-developers en aanverwante technieken. Dat verschil moet worden aangepakt, anders zal de ontwikkeling er onder lijden, denkt BOM. Uit eigen marktonderzoek blijkt dat er naast de hype in elk geval serieuze kansen zijn. Bedrijven geven nu al gemiddeld 41.250 euro per jaar uit aan VR/AR, en denken dat dit verder stijgt naar 67.400 euro. Ontwikkelaars verwachten een verdubbeling van de omzet in 2020.

* Dit artikel verscheen eerder in het decembernummer van Emerce magazine (#163).