Mixed reality (MR) is een vaak terugkerende term in technologieblogs en bij trendwatchers. Heeft deze technologie ook meerwaarde in de erfgoedsector? En hoe ziet dat er dan praktisch uit? Dick van Dijk, creative director bij Waag, vertelt over het gebruik van MR in de Oude Kerk in Amsterdam.
Met een Hololens in de Oude Kerk in Amsterdam de beeldenstorm beleven. Op je smartphone de bouwgeschiedenis van de Oude Kerk volgen vanaf 1300 tot 2019 met een simpele 'swipe'. De mogelijkheden van mixed reality lijken grenzeloos. Maar wat voegt het toe aan de beleving van een locatie? Welke lessen moeten we trekken? En hoe gaat de erfgoedsector om met deze nieuwe technologie?
Mixed reality krijgt al sinds 2008 veel aandacht. Aanvankelijk vanwege de beloftes, maar inmiddels is de techniek volwassener en ontstaan er concrete toepassingen, vooral in de detailhandel, de zorgsector en de industrie. Ook in de erfgoedsector worden augmented, mixed en virtual reality vaak genoemd als interessante technologieën.
Dankzij een financiële bijdrage van het Amsterdams Fonds voor de Kunst (AFK) konden de Oude Kerk en Waag in 2018 een praktisch onderzoek doen naar mixed reality. Het doel van het onderzoek was om bij bezoekers een ervaring met cultureel erfgoed teweeg te brengen, waarbij deze technologie ze anders of 'beter' naar de werkelijkheid zou laten kijken. Daarbij stelden we onszelf vragen als: Wat zien we nu (niet)? Waar kunnen we nu (niet) bij zijn? Waar zijn we ons nu (niet) bewust van? Kan ik sensitiever worden ten opzichte van bepaalde onderwerpen? Kan de interface (en/of de content) mij als bezoeker in een actieve, onderzoekende of makende houding zetten, zodat wij zelf kennis construeren? Kortom: we wilden de eigen verbeelding prikkelen, zichtbaar maken wat onzichtbaar is, uitnodigen om beter te gaan kijken en het er met elkaar over te hebben.
Digitale werkelijkheid
De projectpartners hebben gezamenlijk de keuze gemaakt voor mixed reality (en niet virtual reality), omdat we hier een groot potentieel in zagen: de Oude Kerk is een rijke, prikkelende omgeving. Die werkelijkheid wil je zichtbaar houden en verbinden aan digitale mogelijkheden, maar niet vervangen door een digitale werkelijkheid.
Een digitaal medium, zoals een bril of een tablet, kan een laag tussen het publiek en het erfgoed plaatsen, daarom moesten wij juist op zoek naar een manier om vanuit MR opnieuw een verbinding te leggen met wat er fysiek en analoog is. Wat maakt MR anders in het beleven van erfgoed?
- Media gaan een actieve relatie aan met de fysieke omgeving
- Interactie vindt plaats vanuit het hele lichaam
- Bezoeker wordt deelnemer, doorloopt een reis
- Multi-modaal (meerdere zintuigen) en multi-mediaal (meerdere media)
Wat ons als projectpartners met name inspireerde is het feit dat de kerk er niet altijd zo uit heeft gezien. Veel van de dingen die hier in het verleden ooit stonden of hingen, zijn nu niet meer zichtbaar. Het gebouw geeft fragmenten prijs van momenten in haar gelaagde en eeuwenlange geschiedenis: markeringen van schilderingen, beelden en decoraties die in de beeldenstorm verwijderd of verdwenen zijn en architecturale elementen die een hint geven hoe de vorm van het gebouw door de jaren heen aangepast is aan het gebruik. Die markeringen kun je gebruiken om de werkelijkheid van toen letterlijk te reconstrueren, maar dat is niet wat ons voor ogen stond. We weten vrij weinig van hoe het interieur er met name in de Middeleeuwen uitzag. We wilden bezoekers beter laten kijken naar het gebouw, ze attenderen op die markeringen, laten zien wat deze mogelijk betekenen en hen vervolgens zelf ook beter te laten kijken naar de rest van het interieur zodra ze de mixed reality-bril afzetten. Met de 'virtuele blik' wijzen we naar de negatieve ruimte. De ruimte is als het ware aanwezig door de opvallende afwezigheid van een object in die ruimte.
Experimenteren met technieken en devices
Deze afbakening op het gebouw gaf daarmee al sterk richting aan de drie experimenten die we ontwikkeld hebben. Daarbij wilden we ook twee heel verschillende technieken en devices onderzoeken, zowel MR op gangbare devices, zoals telefoon en tablet, als een dedicated device als de Microsoft Hololens.
Zoals voor Waag gebruikelijk is, hebben we de ambities vertaald in (technische) ontwikkel-sprints. Iedere sprint bestaat uit vier stappen, waarbij het team (bestaande uit verschillende disciplines binnen Waag en Oude Kerk) in iedere stap in grotere of kleinere samenstelling bij elkaar komt:
- Voorbereiding;
- Ontwikkeling (techniek, interactie en inhoud);
- Publieksdemo;
- Blog en evaluatie.
De teamsamenstelling was: projectmanager (Waag), conceptontwikkelaar (Waag), developer (Waag), 3D-modeler (Waag /HKU), projectleider collectie (OK) en educatief medewerker (OK).
In iedere sprint zijn de ontwikkelde ervaringen geëvalueerd met bezoekers van de Oude Kerk. Veel bezoekers waren enthousiast over de mogelijkheden van MR. Dat bleek uit reacties als: "Het legt een andere laag over de werkelijkheid", "de beelden zijn een aanvulling op de ruimte en laten een stuk van het verleden zien", "de mix tussen realiteit en virtueel is leuk omdat je contact blijft houden met de werkelijkheid" en "de hololens is de device van de toekomst, het is de mobiele telefoon van dit decennium".
De mix tussen realiteit en virtueel is leuk omdat je contact blijft houden met de werkelijkheid.
Littekens in het gebouw
In de eerste sprint hebben we het Hoog Koor als context genomen. Het interessante gegeven hier is dat de afwezigheid van de 12 apostelbeelden, het niet bewaard gebleven altaarstuk van Jan van Scorel (1495-1562) (middenpaneel) en het kerkinterieur van voor de reformatie via mixed reality voor bezoekers zichtbaar gemaakt konden worden. Op basis van tijdelijke bruiklenen en onderzoek naar vergelijkbare interieurelementen en schilderijen werden schetsmatige realtime 3D-modellen gemaakt. De ontwerpinsteek was sterk associatief, geen poging een reconstructie van het koor te maken en ver wegblijvend bij het sturende van de gemiddelde audiotour. In deze sprint maakten we gebruik van de Hololens en nodigden we bezoekers uit de bril op te zetten en rond te kijken en rond te lopen in het Hoog Koor. Door in te zoomen op de 'littekens' in een deel van het gebouw en die niet volledig in te vullen, hoopten we dat bezoekers vervolgens ook bewuster zouden gaan kijken naar andere delen van het gebouw en hier zelf conclusies aan zouden verbinden: heeft hier ook een beeld gestaan? Wat heeft hier gehangen? Is deze hoek in de architectuur ontstaan door latere aanpassingen?
We merkten meteen dat deze sprints goed zijn voor een beter begrip en meer impact van nieuwe technologie op locatie. Deze onderzoeksfase valt er in commerciële trajecten vaak uit. Vanuit Oude Kerk was het leerzaam te zien hoezeer het zo direct samen kunnen werken (inhoud en techniek) en zelf maken leidt tot scherpere keuzes en het verder ontwikkelen van de uitwerking van eigen ideeën en strategieën richting publiek.
Dramaturgie en enscenering
Het verhaal van de beeldenstorm kracht bijzetten vroeg bijvoorbeeld meer dramaturgie dan aanvankelijk gedacht. Het geven van een suggestie van beelden bleek niet genoeg. Juist het creëren van een duidelijke verhaallijn en enscenering was belangrijk. Bij de tweede sprint is dan ook meer ingezet op het in scene zetten van dat ene specifiek moment: de dag dat de Beeldenstormers de Oude Kerk binnenkwamen. De interactie werd speelser, de rol van de bezoeker actiever.
Met een slider door de eeuwen heen
Om ook MR op generieke devices te kunnen testen, hebben we in de derde sprint ingezoomd op een 3D-projectie van de bouwfases van de kerk op een (gelaserprinte) plattegrond. Bezoekers zagen op een tablet of smartphone een 3D-versie van (de contouren van) het gebouw door de eeuwen heen. De meerwaarde van MR hier is de andere interactie: bezoekers liepen met de telefoon of tablet in de hand intuïtief om de plattegrond heen om de projectie vanuit verschillende hoeken en verschillende afstanden te bekijken. Afhankelijk van de kijkrichting werden verschillende delen van de architectuur uitgelicht en toegelicht. Met een slider op het scherm konden zij actief door de tijd heen scrollen. Gebruikers van de applicatie liepen om de plattegrond heen voor een beter begrip van het gebouw, daarnaast keken ze heen en weer tussen de 3D-projectie en het echte gebouw om te zien of ze bouwfases konden herkennen. Ook deze applicatie werd goed gewaardeerd.
Zoals we hadden verwacht is de bril voor bezoekers meer immersief dan de telefoon, maar sluit deze de bezoeker ook meer af qua sociale interactie. De applicatie op de telefoon lokt meer een gesprek uit en bezoekers laten elkaar de content op de telefoon zien. Bij de Hololens bestaat meer angst het 'fout' te doen. Daarnaast sluit de bril af en voelt deze daardoor niet voor iedereen veilig, wat het fysieke gedrag beïnvloedt. Bezoekers zijn met name onwennig omdat we nog geen referentie voor deze interactie hebben, zoals we dat inmiddels wel hebben voor smartphone-apps.
(Dit artikel werd eerder geplaatst op de website van DEN, Digitaal Erfgoed Nederland.)