Tijdens het FTI Festival verandert de gevel van Hangar K in Kortrijk ’s avonds in een speelplein van 90 meter breed. Wandel voorbij en het gebouw reageert op jou. De installatie is de eerste bedrijfscase van SAIAR, een VLAIO TETRA-onderzoeksproject van Howest. Onze onderzoekers werkten daarvoor samen met projection-mappingstudio Urban Mapping.Ga op een herfstavond voor Hangar K staan en binnen een paar tellen verschijnt er een lichtend silhouet van jou op de bakstenen. Steek een arm op en het silhouet doet hetzelfde. Stap naar links en er beweegt iets op het gebouw met je mee. Tot 8 november kan je het zelf uitproberen, elke avond van 18 uur tot middernacht. Het is gratis, je hoeft niets te downloaden en inschrijven is niet nodig. Wat je op het gebouw te zien krijgt De projectie wisselt af tussen zes scènes, en in elke scène speel je een andere rol.In Computer vision wordt je silhouet getekend met letters en tekens. Elke beweging stuurt sonarpulsen over de gevel die de randen van het gebouw doen oplichten, en je hoort ze ook pingen uit de luidsprekers.Digital twin laat je door de muur kijken. Waar je ook staat, gaat het metselwerk open en zie je een draadmodel van de binnenkant van het gebouw.Muziektechnologie laat harpsnaren langs de voorgevel naar beneden hangen. Beweeg langs een snaar en ze speelt een noot. Een groepje vrienden dat voorbij wandelt, wordt zo een klein (en nogal chaotisch) orkest.In Datastroom stroomt een rivier van pixels van het ene uiteinde van het gebouw naar het andere. Wie in de weg staat, wordt gewoon omzeild.Pac-Man heeft weinig uitleg nodig. Het doolhof volgt de daklijn en de ramen van Hangar K, en een van de Pac-Mans bestuur je zelf.Dancehall zet een nachtclub binnen in het gebouw. Je silhouet blijft vooraan staan, terwijl achter de ramen lasers rondzwiepen die de mensen buiten volgen.We hebben het gebouw nooit als een plat scherm behandeld. Hangar K heeft een zaagtanddak en rijen hoge ramen, en elke scène maakt daar gebruik van: de harpsnaren hangen aan het dak, het doolhof van Pac-Man loopt over de puntgevels en de datastroom volgt de raamkaders. Er is ook één kleurregel die overal geldt. Wat limoengroen is, dat ben jij. Wie het maakte en waarom we samenwerkten SAIAR, het Spatial AI-Augmented Reality Lab, is een onderzoekslab binnen Devine, de opleiding Digital Design & Development van Howest. We onderzoeken hoe projection mapping, sensoren en generatieve AI ingezet kunnen worden voor interactieve belevingen, en hoe bedrijven en culturele organisaties daarmee aan de slag kunnen zonder de menselijke toets te verliezen.De projectie op Hangar K is de eerste case in het TETRA-project van SAIAR, gefinancierd door VLAIO, het Agentschap Innoveren & Ondernemen. VLAIO heeft als opdracht om innovatie en ondernemerschap in Vlaanderen te stimuleren en te ondersteunen. TETRA is een van de manieren waarop het dat doet: het financiert projecten die nieuwe kennis van hogescholen naar bedrijven brengen, en dan vooral naar kmo’s. VLAIO vraagt resultaten die bedrijven kort na afloop van het project al kunnen gebruiken, nauw contact met die bedrijven voor, tijdens en na het project, en kennis die terugvloeit naar het onderwijs.De samenwerking met Urban Mapping, een studio gespecialiseerd in projection mapping, was een goede manier om dat in de praktijk te testen. Wij bouwden de technische basis: de software die de camera uitleest, het systeem dat tussen de scènes wisselt en een manier om met AI te werken in TouchDesigner (daarover verderop meer). Urban Mapping zette de projectietoren op en werkte het project verder uit. Zij herwerkten en verfijnden de visuals tot de zes scènes die je nu ziet. De laatste aanpassingen gebeurden ter plaatse, zij aan zij, met het echte gebouw voor onze neus. Wat we hier geleerd hebben, nemen we mee naar volgende cases met andere bedrijven en naar onze lessen bij Devine. Hoe het gebouw je ziet Het begint bij een camera die het plein voor het gebouw in de gaten houdt. Software maakt beelden van wat die camera ziet, en de projectoren zetten die op de gevel.De camera is een Orbbec Femto, een zogenaamde dieptecamera. Een gewone camera registreert kleur. Een dieptecamera meet hoe ver alles weg is, en geeft de software zo een 3D-beeld van de vormen die ervoor bewegen. Meer heeft de installatie niet nodig. Ze herkent geen gezichten en neemt geen beelden op waarop iemand herkenbaar is. Het enige wat we bijhouden, is een anonieme telling van hoeveel mensen er voor het gebouw staan, zodat we achteraf kunnen zien hoe de installatie gebruikt werd.De camera goed afstellen was meer werk dan je zou denken. Hij hangt hoog en kijkt schuin naar beneden, dus vanuit zijn standpunt helt de grond en ziet iedereen er platgedrukt uit. Je kan dat met de hand corrigeren, maar een 3D-beeld draaien en verschuiven tot alles klopt, is heel wat manueel werk. En telkens de camera verplaatst wordt, mag je opnieuw beginnen. Daarom bouwden we een systeem dat zelf de grond vindt en daarna een virtuele camera plaatst die recht van voren naar de mensen kijkt. Het herberekent het dieptebeeld alsof het vanaf daar gemaakt was. Vergelijk het met een scheve foto rechtzetten, maar dan in drie dimensies. Zo wordt een lastige kalibratie iets wat je ter plaatse snel kan doen. De visuals worden gemaakt in TouchDesigner, software voor realtime graphics. Het werkt een beetje als een game-engine. In plaats van een video af te spelen, berekent het elk beeld ter plekke, 60 keer per seconde, op basis van wat de camera ziet.Als laatste in de rij is er MadMapper, dat de projection mapping verzorgt. Een gebouw zit vol ramen en rare hoeken, en MadMapper zorgt ervoor dat elke pixel precies op de juiste plek terechtkomt. Het beeld plooit zich rond de architectuur en de ramen blijven donker. Een AI-assistent in TouchDesigner Het camerasysteem bouwden we op de klassieke manier, met de hand. Eind september bracht Derivative (het bedrijf achter TouchDesigner) een bètaversie uit van TDMCP. Dat is een koppeling waarmee een AI-assistent in een TouchDesigner-project kan kijken en erin kan werken. De assistent ziet hoe een project in elkaar zit, kan instellingen aanpassen en nieuwe onderdelen toevoegen. Een week later begonnen we het te gebruiken met Claude Code, de AI-codeerassistent van Anthropic. Uiteindelijk speelde het een rol in een groot deel van de ontwikkeling van de scènes, zowel bij Howest als bij Urban Mapping.In de praktijk beschreef iemand van het team een idee in gewone taal. Meestal stelde de AI eerst een paar vragen (welke kleuren, of wat er moet gebeuren als er niemand staat) en bouwde daarna meteen een eerste versie in TouchDesigner. Wij bekeken het resultaat, gaven feedback en de AI paste het aan. De creatieve beslissingen bleven bij mensen. Omdat de AI veel van het bouwwerk overnam, hadden we meer tijd om ideeën uit te proberen en te schrappen wat niet werkte.De AI moest wel wat bijleren. Telkens we iets corrigeerden, bijvoorbeeld door te vragen om bij elke instelling die ze aanmaakte een korte uitleg te zetten, lieten we die correctie vastleggen als huisregel. Elke volgende sessie volgde die regels, ook de sessies die Urban Mapping op hun eigen computers draaide.Niet alles liep volgens plan. TouchDesigner crashte onderweg een paar keer en we verloren wat werk. En door de softwarelicentie op onze ontwikkelcomputers ontwierpen we wekenlang voor een gevel van 90 meter, terwijl we naar een voorbeeld keken van ongeveer 1.280 op 139 pixels, zowat de vorm van een boekenplank. De echte test kwam pas toen de projectoren aangingen. Bijsturen met de gsm Vanaf dat moment verhuisde het meeste werk naar buiten. Wat op een laptop goed lijkt, kan er op 90 meter baksteen helemaal anders uitzien, met straatverlichting rondom en mensen die voorbijlopen. Daarom bouwden we een kleine webpagina die op een gsm draait en met de installatie praat. Zo konden we van scène wisselen, schuifjes verzetten en kleuren uitproberen terwijl we voor het gebouw stonden, in plaats van na elke aanpassing terug naar de computer te lopen. Werkte een aanpassing niet, dan zette één tik alles terug zoals het was.Omdat de installatie elke avond op zichzelf draait, voorzien we ook een extra beveiliging: een klein programma dat de software herstart als die ooit vastloopt. Kom het zelf uitproberen De projectie op Hangar K loopt elke avond tot 8 november, van 18 uur tot middernacht. Bezoek je de FTI-expo, kijk dan uit naar onze eigen projectietoren. Die maakt deel uit van het mobiele lab van SAIAR, gebruikt dezelfde dieptecamera en staat in ongeveer een halfuur opgesteld. Ga ervoor staan en je ziet jezelf veranderen in een abstracte digitale figuur. Met SAIAR willen we dit soort belevingen binnen bereik brengen van meer dan alleen de grote producties. Interactieve projectie vraagt nog altijd gespecialiseerd materiaal en knowhow, en precies dat willen het lab en zijn partners toegankelijker maken voor Vlaamse kmo’s en culturele organisaties. Heb je een bedrijf, een museum of een evenement en vraag je je af wat dit voor jou kan betekenen? Neem dan contact op via saiar.be.SAIAR is een onderzoeksproject van Howest (Devine), met steun van VLAIO. Klaus Delanghe Contacteer Deel deze pagina Delen op Facebook Delen op LinkedIn Delen via mail