Het project Mixed Reality voor erfgoed onderzoekt hoe Mixed Reality kan bijdragen aan het ervaren van een erfgoedlocatie. Op dit moment bevindt het project zich in een fase waarin Waag speelt met de techniek. Daarbij proberen we vormen te vinden om een verhaal te vertellen en het (digitale) archiefmateriaal dat we hebben toegankelijk te maken.
Het erfgoed in kwestie is de vorig jaar gesloopte parkeergarage Kempering in Amsterdam-Zuidoost, middenin een wijk die de afgelopen jaren op veel plaatsen vernieuwd is. Er stonden kolossale flats, die met enige controverse ook erfgoed genoemd kunnen worden. We proberen zowel de kleine verhalen rond de garage als het grotere verhaal van de architectuur van de Bijlmer te vangen in Mixed Reality.
AR in het groot
Mixed Reality is het resultaat dat je krijgt wanneer je de fysieke (echte) wereld mengt met de digitale door de computer gegenereerde (virtuele) wereld. Waag verwijst graag naar de term 'reality-virtuality continuum' die impliceert dat Mixed Reality een schaal is, die het hele spectrum omvat van realiteit naar virtualiteit en alles wat er tussen zit. Een toepassing die door middel van een headset virtuele elementen toevoegt aan de echte wereld, valt binnen dit spectrum (Augmented Reality), maar een virtuele wereld met daarin echte mensen ook (Augmented Virtuality).
Maar vaak verrijken Mixed Reality- en AR-ervaringen de wereld alleen in het klein. En meestal ook zonder de context van die wereld. Een universeel bureaublad wordt bijvoorbeeld gebruikt als ondergrond voor een AR-wereld, of de vloer of de straat wordt gebruikt om een Pokémon voor je voeten te laten lopen. Hier zijn in elk geval twee technische redenen voor.
Ten eerste is er het probleem van ‘tracking’. Het apparaat (je telefoon of VR-bril) moet te allen tijde goed kunnen bijhouden waar het zich in de wereld bevindt, of tenminste, waar het zich ten opzichte van een referentiepunt bevindt. Ten tweede moet de applicatie een model hebben van de omgeving om daar nieuwe elementen aan toe te kunnen voegen. Om een voorbeeld te geven: de app moet weten dat ergens een muur staat, zodat de Pokémon er niet dwars doorheen kan lopen.
Welkom LIDAR
Door de mogelijkheden die Mixed Reality biedt, lijkt het op dit moment wel alsof dit één van de heilige gralen is voor de big tech-telefoonfabrikanten. ARKit (Apple) en ARCore (Android) worden steeds beter, niet in de laatste plaats omdat fabrikanten meer sensoren toevoegen, om fotografie en AR beter te laten werken. De nieuwste iPhone- en iPad pro-apparaten hebben een LIDAR (LIght Detection And Ranging)-sensor ingebouwd. Dit is een soort dieptecamera waarmee in realtime 3D-modellen van de omgeving gemaakt kunnen worden. Je kunt je telefoon daarmee gebruiken als 3D-scanner, maar het komt ook de eerdergenoemde tracking enorm ten goede, omdat de telefoon de omgeving beter kan zien en herkennen.
Een betere tracking komt er in de praktijk op neer dat een ervaring groter gemaakt kan worden. Je kunt verder weglopen van een referentiepunt, terwijl de virtuele objecten netjes op hun plaats in de echte wereld blijven staan. Daarnaast kan deze technologie ook helpen om virtuele objecten beter in de omgeving te plaatsen, omdat de echte objecten en muren in deze omgeving in realtime in kaart gebracht kunnen worden. Er is echter wel één kanttekening: de LIDAR-scanner kan slechts een paar meter ver kijken. Dat kan dus een probleem opleveren als je Pokémon te ver van je wegloopt.
Een drietal conceptrichtingen
Met bovenstaande uitgangspunten gingen we in het project aan de slag. Benieuwd naar de mogelijkheden van de laatste technologie en geïnspireerd door de verhalen en het archiefmateriaal, zijn we in eerste instantie tot een drietal conceptrichtingen gekomen. Het zijn nog geen complete AR-ervaringen, maar eerder studies naar vorm, interactie en technologie. Om praktische reden en vanwege corona zijn de onderstaande tests allemaal in mijn eigen buurt in Utrecht uitgevoerd en niet op de oorspronkelijke plek van de garage in Amsterdam Zuid-Oost, waar de uiteindelijke ervaring zal plaatsvinden.
Collage Kempering
Door foto’s als AR-billboards te plaatsen op de plekken waar ze zijn genomen, kunnen we verschillende tijdlijnen en verhalen naast elkaar laten zien. De foto’s komen uit verschillende archieven, zoals die van het Bijlmermuseum en Imagine IC. Het lijkt ons interessant om de foto’s te koppelen aan persoonlijke verhalen, waar we audiofragmenten van hebben verzameld.
Het plaatsen van een dergelijk groot gebouw (afmeting ongeveer 30 x 90 meter) heeft ruimte nodig. De tracking op een voetbalveld met weinig geometrische herkenningspunten werkt verrassend goed. We spelen met de grootte van de foto’s.
Lijnenspel
Met behulp van een oude kaart uit het stadsarchief konden we een 3D-model maken van de inmiddels verdwenen flats en loopbruggen. We spelen met het idee om deze verdwenen kolossen als draadmodel (een vereenvoudigde weergave van een object) terug te plaatsen in de echte wereld. Hier zien we vooral de mogelijkheid om het grotere verhaal van de Bijlmer over architectuur en stadsvernieuwing te vertellen.
Hierboven kun je goed zien dat de AR-objecten (de garage, de flats en de loopbruggen) dwars door andere gebouwen heen gaan, waardoor het perspectief verwarrend wordt en dus de ervaring niet goed overkomt.
Een model van de bestaande omgeving zou kunnen helpen om de delen van gebouwen, die uit het zicht zouden moeten zijn omdat ze achter andere gebouwen staan, te verstoppen. Je zou in theorie de bestaande bebouwing in kunnen scannen met de telefoon. In deze test kijken we in hoeverre een 3D-model van de bestaande bebouwing, gegenereerd met behulp van data van Open Street Map, samenvalt met de bebouwing zelf.
We gebruiken het gegenereerde model van de bestaande omgeving om de uit het zicht geblokkeerde delen van de draadmodellen te verstoppen.
Forced perspective
‘Forced perspective’ is een idee vanuit de schilderkunst en de fotografie, waarbij wordt gespeeld met perspectief. Wat groot en ver weg is, lijkt klein en dichtbij te zijn en andersom. Een vorm van deze kunst zijn de grafische werken die alleen lijken te kloppen vanuit één bepaald oogpunt. Met dit idee gingen we aan de slag door een foto op het 3D-model van het skelet van de garage te projecteren alsof iemand er met een grote beamer op schijnt.
Omdat de projectie valt op delen van de garage die niet allemaal onderdeel zijn van één vlak (zoals bij een projectiescherm), valt de afbeelding in stukken uit elkaar als de toeschouwer niet op het ‘juiste’ punt staat. We willen uitzoeken of we deze techniek kunnen gebruiken als interactieprincipe of spelvorm bijvoorbeeld door de gebruiker te belonen wanneer deze de puzzel heeft opgelost.
Vervolg
De komende tijd gaan we verder met het doorontwikkelen van deze concepten, van technische demo tot een gelaagde ervaring. Het zal een uitdaging worden om de juiste verhalen op een dusdanige manier te vertellen, zodat vorm en inhoud mooi samenkomen.
