PROBLEEMSTELLING
De huidige AI-revolutie markeert een nieuw tijdperk in immersive storytelling binnen Extended Reality (XR). AI speelt een belangrijke rol bij de creatie van interactieve verhalen, waarbij de virtuele wereld of de verhaallijn zich aanpast aan de keuzes van de gebruiker. Hierbij wordt de cruciale stap van storytelling naar "storyliving" gezet, waarbij gebruikers actief deel uitmaken van het verhaal, wat voor meer sense of agency en immersie zal zorgen. Maar de ontwikkeling van adaptieve XR-ervaringen brengt creatieve, technische en user experience (UX)-uitdagingen met zich mee.
Ondanks dat de game-industrie al sterk inzet op adaptieve content kunnen we deze technieken niet direct overnemen voor Virtual Reality vanwege verschillen in UX-vereisten, zoals het presence en a sense of agency. Het is belangrijk om te onderzoeken hoe deze factoren de ervaring van de gebruiker beïnvloeden en welke UX-parameters cruciaal zijn voor een optimale beleving. Daarom is het essentieel om nieuwe en bestaande storytellingtechnieken in kaart te brengen, zodat storytellers effectief begeleid kunnen worden in deze nieuwe vertelvormen. Een belangrijk onderdeel van dit onderzoek is het personaliseren van XR-ervaringen op basis van persoonlijke input, bijvoorbeeld door gebruik te maken van fysiologische gegevens zoals hartslag. Dit kan helpen om een diepere immersie te creëren. Hoewel nieuwe generatieve AI-modellen veelbelovende mogelijkheden bieden, blijven hardware- en softwarebeperkingen een uitdaging voor het realiseren van volledig adaptieve XR-ervaringen.
Dit onderzoek richt zich daarom op de ontwikkeling van een framework voor storyliving in XR, met aandacht voor personalisatie en de meting van de effectiviteit. Dit framework is waardevol voor producenten in de entertainment, technologie, en klinische sectoren. De resultaten worden aan het eind van het project gebundeld in een handleiding voor het werkveld.
ONDERZOEKSVRAGEN
- Welke nieuwe en bestaande storytellingtechnieken zijn essentieel voor de ontwikkeling van een adaptieve XR-ervaring om zo de parameters (bv. narratieve immersie) van storyliving in kaart te brengen?
- Hoe kunnen we op basis van persoonlijke input, zoals vragenlijsten, gedragsobservaties en psychofysiologische metingen (bv. galvanic skin response, heart rate en eye movements) een XR-ervaring aanpassen?
- Welke invloed heeft adaptieve XR-content op de gebruiker en welke UX-parameters (bv. sense of presence, sense of embodiment) hebben het meeste invloed op hun ervaring?
- Welke optimalisatietechnieken (bv. culling, DOTS, LODS, ...) zijn nodig om een real-time adaptieve XR-ervaring mogelijk te maken op de huidige hardware?
METHODE
De deskresearch richt zich op de verzameling van best practices, in kaart brengen van meetinstrumenten voor user research, onderzoek naar parameters binnen storyliving, en de vergelijking van de voor- en nadelen van tools voor adaptieve ervaringen.
We ontwikkelen drie proof-of-concepts, telkens gericht op het beantwoorden van meerdere onderzoeksvragen. We onderzoeken hoe we adaptieve XR-ervaringen eenvoudig en laagdrempelig kunnen implementeren en hoe we AI hierbij kunnen betrekken.
Via een experiment worden één of meerdere eigenschappen (bv verhaal, omgeving, interacties met objecten) van de XR-ervaring aangepast op basis van de gebruikersinput. Tijdens het experiment meten en evalueren we de invloed van de ervaring via zowel psychofysiologische maten (aandacht meten via eye tracking, hartslag meten via hardware) als zelfrapportering (vragenlijsten met gevalideerde meetschalen).
Verwachte resultaten
- Overzicht van parameters en best practices voor bestaande storytellingtechnieken, voor adaptieve content in XR en van storyliving.
- Drie proof-of-concepts, waarvan één getest via een experiment
- Handleiding voor ontwikkeling van adaptieve XR-ervaringen.
- Een technische workflow die toelaat om op een optimale manier een real-time adaptieve XR-wereld te laten functioneren.