AI in het KMSKA: een nieuwe uitdaging

Oorspronkelijk ontstond het idee vanuit de restauratoren en conservatoren die sinds het najaar van 2023 op zaal werken aan het restauratieproject Studio Rubens. Ze merkten op dat bezoekers hen vaak met veel praktische vragen benaderen over wegwijs of bepaalde faciliteiten in het museum. Om het team hierin te ondersteunen werd er al snel gedacht aan een chatbot. Initieel was deze enkel bedoeld als bijkomend infopunt voor bezoekers, maar al snel werd hij uitgebreid naar inhoudelijkere vragen over kunsthistorische onderwerpen. De afdeling ICT koos bewust om het project in-house te ontwikkelen, want zo blijft alle data binnen het museum én doet het team waardevolle inzichten op over de mogelijkheden van AI.

Na grondig onderzoek over de mogelijkheden, werd er gekozen om de chatbot te bouwen met open source-tools als Ollama, Whisper en Piper TTS. Het concept is simpel: bezoekers kunnen er bij Studio Rubens een vraag inspreken, waarna de software deze omzet naar tekst, verwerkt en vervolgens met een natuurlijke stem terug uitspreekt. Hoe dit proces juist verloopt?

Ollama is de zogenaamde serverapplicatie waarin een Large Language Model (LLM) geladen wordt zodat het bevraagd kan worden. Nadat een bezoeker hier een vraag stelt, wordt dit audiofragment omgezet naar een tekst met behulp van Whisper, een tool die de spraak moet herkennen. Hieruit komt dus een tekstuele vraag voort, die dan weer herenigd wordt met de gezochte informatie in Ollama. Het resultaat, en tevens antwoord op de initiële vraag van de bezoeker, is op dit punt een tekst. Met behulp van Piper TTS wordt deze op zijn beurt in audio gegenereerd, dat kan met een Nederlandse of Engelse stem. Deze geluidsfragmenten worden tot slot weer terug gestuurd naar waar de vraag origineel vandaan kwam: de AI-applicatie bij Studio Rubens.

De grootste uitdaging bleek de hardware: een Large Language Model vraagt veel geheugen en rekenkracht, terwijl er slechts consumentenapparatuur ter beschikking stond. Dat betekent dat er gekozen moest worden voor een kleiner model, en dus voor een compromis tussen snelheid en kwaliteit. Ook meertaligheid bracht hindernissen met zich mee. Hoewel modellen Engels wel zeer goed herkennen, waren er initieel problemen met spelling en grammatica in het Nederlands. Uiteindelijk werkt de combinatie van een Nederlandstalige invoer, inclusief de kennis waarin gezocht moet worden, gecombineerd met een Engels-Nederlandstalige mapping het best. 

Met dit eerste AI-project is het KMSKA erin geslaagd om een theoretisch idee om te zetten naar een werkend concept. Hoewel nog in zijn kinderschoenen, vormde het een buitenkans voor het ICT-team om het veld van AI te ontdekken én belooft het binnenkort de bezoekersbeleving nog te optimaliseren. Door dingen uit te proberen en uit fouten te leren, werd duidelijk welke keuzes werken, waar de beperkingen liggen en hoe aspecten zoals meertaligheid beter kunnen worden aangepakt. Het museum hoopt met zijn inzichten zo ook anderen te inspireren om technologie creatief en zinvol in te zetten.