Na een jaar van intensief werk, presenteren we graag al enkele resultaten van het lopend onderzoeksproject "Environmental Immersion", met verschillende residentieweken en diverse studentenprojecten als resultaat. Tijdens het onderzoek bekeken we hoe natuurbelevingen in VR realistischer kunnen maken. In de realiteit blijken natuurbelevingen in VR vaak teleurstellend te zijn, omdat technologische uitdagingen de creatie van overtuigende virtuele natuurlijke omgevingen bemoeilijken. De modellering van natuurwerelden in 3D vergt vaak aanzienlijke tijd en inspanning, terwijl 360°-video niet het gevoel van diepte geeft en beperkte mogelijkheden biedt om door de virtuele wereld te navigeren. Om deze problemen aan te pakken, werden vier mogelijke oplossingen onderzocht: NeRFs, procedurele 3D, multisensoriële ervaringen en generatieve AI.
IMMERSIEVE NATUURBELEVENIS MET NEURAL RADIANCE FIELDS (NERF)
Om natuurscènes in VR of AR immersiever te maken, is het essentieel dat de kijker de scène vanuit elk denkbaar perspectief kan bekijken. Aangezien het onmogelijk is om een scène op te nemen vanuit oneindig veel standpunten, is het genereren van nieuwe perspectieven, Novel View Synthesis (NVS), noodzakelijk. Er is een waaier aan verschillende technieken om aan NVS te doen. Studenten Nick Hellemans, Niels Van de Poel en Stijn Willems van de opleiding Elektronica-ICT voerder er onderzoek naar.
NeRFs maken gebruik van een neuraal netwerk dat wordt getraind op basis van bestaande afbeeldingen. Als output geven NeRFs een 3D-gerenderde ruimte waarin de opgenomen scene vanuit nieuwe standpunten bekeken kan worden. Deze techniek heeft als voordeel dat er zeer mooie scenes gegenereerd kunnen worden op basis van relatief weinig afbeeldingen. Ook kunnen NeRFs beter omgaan met reflecties, haar en randen van oppervlakken, iets waar andere bestaande technieken zoals fotogrammetrie vaak problemen mee hebben. Dynamische scenes opnemen en verwerken vergt op dit moment nog meer onderzoek om een geloofwaardige belevenis te maken, maar de deelresultaten zien er alvast veelbelovend uit.
“Ons onderzoek richtte zich met name op de rig zelf," aldus Nick, Niels en Stijn, “Alle verschillende parameters zijn onderzocht zoals: hoeveel camera's er nodig zijn, in welke positie deze moeten staan welk soort camera's er nodig zijn en of het gebruik van een diepte-sensor (LiDAR) de resultaten kan verbeteren. Uit onze resultaten kunnen we afleiden dat er met een zeer klein aantal camera's gewerkt kan worden (20) en de opstelling rechtstreeks invloed heeft op de hoeveelheid bewegingsruimte binnen de gerenderde scene in Virtual Reality. Het soort camera's maakt niet zozeer uit voor de kwaliteit maar wel voor het vergroten van de opgenomen beelden per foto. Voor dynamische scènes, waar we scènes met verandering in belichting bij rekenen, is er gebleken dat de verwerking ervan enorm veel computationele kracht vergt.”
Nick, Niels en Stijn hebben de afgelopen maanden een zeer mooi onderzoekstraject afgelegd dat de komende maanden als basis zal dienen voor verder onderzoek naar NeRFs in het Immersive Lab.
SNEL UNIEKE 3D-CONTENT GENEREREN DOORMIDDEL VAN PROCEDURELE 3D
Florian Stigter Van Thillo, onze 3D-researcher, onderzocht hoe je op een minder tijdsintensieve manier unieke 3D-content kan generen. Grote natuurlandschappen modelleren in 3D is tot nu toe een zeer grote uitdaging en hanteert vaak een destructieve werkwijze, waar er technieken zijn om dit ook node-based uit te voeren. Om deze zo realistisch mogelijk te maken is het daarnaast ook nog zeer belangrijk dat elk natuurelement uniek is. Met behulp van Houdini kunnen realistische en gedetailleerde natuurlijke omgevingen worden gegenereerd zonder dat de handmatige modellering van elk object vereist is. Dit wordt uitgebouwd in een nodenetwerk. Door gebruik te maken van wiskundige algoritmen en regels kunnen landschappen, flora en fauna dynamisch worden gegenereerd, waardoor een breed scala aan variaties en realistische ecosystemen mogelijk is.
Deze benadering stelt gebruikers in staat om een meeslepende en interactieve ervaring te hebben waarbij ze vrij door de virtuele natuurwereld kunnen bewegen en verkennen. Procedurele 3D-software biedt daarmee een veelbelovende mogelijkheid om boeiende en overtuigende natuurbelevingen te creëren in VR. Met behulp van SideFX Houdini en Quixel Megascans bouwde Florian procedurele systemen waardoor het mogelijk is om met een klik op de knop nieuwe variaties te bekomen van vegetatie en landschappen. Deze manier van procedureel te werk te gaan zorgt ervoor dat elke stap in het proces aanpasbaar is en elke uitkomst uniek is.
VOEL DE NATUUR AAN DE HAND VAN MULTISENSORIËLE VR-ERVARINGEN
Het EPS-team Hyper Reality, ging dit jaar ook aan de slag rond Environmental Immersion. EPS (European Project Semester) is een internationaal programma dat door 18 Europese instellingen voor hoger onderwijs in 13 landen in heel Europa wordt aangeboden aan studenten. Deze studenten werken gedurende een semester samen in een internationaal team aan een echt project dat aansluit bij hun studiegebied en interesses.
Het EPS-team benaderde het onderzoeksproject vanuit een ander perspectief. Kan een natuurervaring in VR realistischer aanvoelen als we multisensoriële elementen toevoegen? De aflopen maanden zette de EPS-studenten verschillende experimenten op rond de invloed van verschillende zintuiglijke prikkels. Uit hun user tests bleek dat de toevoeging van extra prikkels wel degelijk de immersie verhoogt. Als eindresultaat ontwikkelden ze een VR-case waarbij de gebruiker kon ontsnappen in een prachtige natuuromgeving. De gebruiker moest over verschillende stenen paden lopen om zo uiteindelijk een prachtige zonsopgang te zien. Om dit zo realistisch mogelijk te maken, bouwden ze een fysiek pad in het lab. Zo kon de gebruiker echte stenen voelen terwijl ze door het bos wandelde, vergezeld van een windbries.
Dit onderzoeksproject toont de mogelijke meerwaarde van embodiment tijdens VR-ervaringen. Volgende academiejaar onderzoekt het Immersive Lab verder deze piste tijdens de PWO “Embodiment in XR: enhancing the illusion of the virtual body by multisensorial stimuli”. Externe partners voor dit onderzoek zijn nog steeds welkom. Aanmelden kan via immersivelab@ap.be.
CREËER UNIEKE CONTENT DOOR MIDDEL VAN GENERATIEVE AI-MODELLEN
Als laatste piste onderzocht het Immersive Lab hoe je diffusiemodellen, zoals Stable Diffusion en Midjourney, kan inzetten om unieke content te genereren. Onderzoeker Jeroen Cluckers trainde zijn eigen Stable Diffusion-model om op accurate en overtuigende wijze Juliet Roses te genereren, een zeldzame rozensoort. De resultaten zijn alvast veelbelovend. Een volgende stap is nu het creëren van unieke 3D-content aan de hand van generatieve AI. Dit onderzoek wordt verdergezet in het TETRA-project “Creative AI”, waarin we onderzoeken hoe je generatieve AI kan inzetten de creatieve sector. Aansluiten bij het project kan via immersivelab@ap.be.
