Voor het Mixed Reality @ Oude Kerk project onderzoeken we onder andere hoe we virtuele objecten kunnen toevoegen aan de realiteit. In de Oude Kerk in Amsterdam experimenteren we met virtuele apostelbeelden. Deze beelden zijn ooit verloren gegaan tijdens de beeldenstorm. We gebruiken hiervoor een Hololens, een mixed reality-bril waarmee je objecten in 3D kunt zien. Anders dan bij virtual reality voegt de Hololens de virtuele objecten toe aan de echte ruimte. Door ruimtelijke herkenning van de bril blijven de objecten netjes op hun plek en in perspectief als de gebruiker van de bril zich verplaatst.
Hoe werkt deze ruimtelijke herkenning?
Omdat we de virtuele objecten een precieze plaats in de kerk willen geven, moeten we het stuk van de kerk dat we willen inrichten eerst inscannen. De daarvoor gebruikte techniek, 'spatial mapping', is onderdeel van de MixedRealityToolkit (een open-source framework voor de ontwikkeling van MR-applicaties). Terwijl de drager van de Hololens rondkijkt, bouwt de bril een 3D-model op van de ruimte. Daarbij meet de ruimtelijke sensor in de bril afstanden tot muren, vloeren en objecten. Om het model completer te krijgen helpt het om dichter bij oppervlakten van de te 'scannen' ruimte te komen. Voor de hoge pilaren hadden we bijvoorbeeld een trap nodig om dichtbij genoeg te komen voor het scannen.
Met de bril op kan de gebruiker 'live' de totstandkoming van het geconstrueerde model van de ruimte zien als een soort deken over de echte ruimte. Het model wordt steeds aangepast naarmate er meer in kaart gebracht is. Door deze directe terugkoppeling is voor de gebruiker direct te zien waar 'gaten' in het model zitten. Deze kunnen worden opgevuld door nog een keer beter of vanuit een andere hoek naar de plek te kijken die nog niet goed ingescand was.
Het plaatsen van objecten
Wanneer de Hololens een goed model van de ruimte heeft kan deze o.a. aan de hand van geometrische data zijn eigen locatie ook weer herkennen. Daardoor kun je virtuele objecten 'verankeren' in de ruimte zodat deze steeds op dezelfde plek kunnen worden weergegeven. Zo’n 'spatial anchor' is eigenlijk een set aan herkenningspunten in het model.
Voor het plaatsen van een object met een anker maakt de Hololens gebruik van de kijkrichting van de brildrager. De drager ziet een cursor geprojecteerd op een object als dat in een rechte lijn voor hem staat. Vervolgens kan hij met een 'airtap', een handgebaar, het object waar de cursor op staat selecteren. In het geval van onze applicatie maken we het object met die handeling verplaatsbaar en kan het op dezelfde manier verplaatst worden als de cursor, namelijk door de kijkrichting te veranderen. Tot slot wordt deze 3D-variant van een 'drag and drop' handeling beëindigd met een tweede 'airtap'.
Binnenkort organiseren we een demonstratie voor bezoekers van de Oude Kerk. Hier kunnen zij voor het eerst ervaren hoe het is om verloren objecten in het hoogkoor terug te zien. Bezoekers krijgen een Hololens op en kunnen rondlopen en om zich heen kijken in de ruimte om de 3D-modellen van de apostelbeelden en het altaarstuk te zien. De ervaringen over de interactie nemen we mee om de modellen te verbeteren en de verweving van realiteit met virtual reality te optimaliseren.
