AUDIVI

De toegankelijkheid van videogames voor personen met een visuele beperking blijft een onderbelicht onderzoeksdomein. Hoewel audiodescriptie (AD) in lineaire media zoals film en televisie uitgebreid onderzocht en toegepast is, ontbreekt fundamenteel onderzoek naar AD in interactieve, niet-lineaire omgevingen zoals videogames. Bestaande game-toepassingen zijn schaars en beperken zich meestal tot cutscenes, waardoor essentiële gameplay-informatie ontoegankelijk blijft.

Het onderzoeksproject AUDIVI verkent de haalbaarheid van automatische, real-time audiodescriptie in videogames via de ontwikkeling van een technische proof-of-concept (tPOC). Centraal staat de vraag hoe visuele spelinformatie - zoals spelerstatus, objectinteracties en omgevingskenmerken - automatisch kan worden geïnterpreteerd en vertaald naar betekenisvolle auditieve beschrijvingen. Het project onderzoekt hoe back-end data uit game engines kan worden gekoppeld aan AI-modellen op basis van open large language models (LLM's) om dynamische en contextgevoelige AD te genereren tijdens gameplay.

De tPOC wordt ontwikkeld als engine-onafhankelijke plug-in en fungeert als experimenteel onderzoeksplatform. Via iteratieve ontwikkelingscycli worden technische haalbaarheid en descriptieve kwaliteit geëvalueerd, met studentengames als testbed. Parallel ontwikkelt UAntwerpen richtlijnen en evaluatiekaders voor audiodescriptie in interactieve media.

AUDIVI levert zowel technologische als wetenschappelijke inzichten op en draagt bij aan de theoretische onderbouwing van inclusieve gameontwikkeling, met toepassingsmogelijkheden in entertainment-, educatieve en VR-contexten.