AI en Magritte, of hoe het KMSKA de stem van de iconische schilder terug tot leven wekte

Nog tot en met 22 februari kunnen bezoekers zich in Magritte. La ligne de vie onderdompelen in de denkwereld van de moderne meester. De expo is gebaseerd op een unieke lezing die de schilder zelf in 1938 in het KMSKA gaf. De boeiende inkijk in Magrittes gedachten over zowel kunst als maatschappij wordt in de expo echter niet alleen geïllustreerd door een belangrijke selectie van zijn oeuvre. Ook citaties uit zijn lezing, verteld door de eigen, gereconstrueerde stem van de Belgische surrealist, begeleiden het bezoek. 

Hoe begin je aan zo een innovatief project?

Om de AI-stem te maken, hebben we gebruik gemaakt van ElevenLabs, een platform specifiek gericht op AI-audiotoepassingen. Met behulp van bestaande audiofragmenten wordt er een stemmodel gemaakt waarmee je vervolgens aan de slag kan om eigen teksten – in dit geval dus zijn lezing – naar audio om te zetten. Hoe beter het bronmateriaal, hoe beter het resultaat.

Wat betekende dit in het geval van Magritte?

Ons werd een bestaand interview uit 1965 van hem aangeleverd. De segmenten waarin Magritte sprak, hebben we uitgeknipt en vervolgens opgeladen op ElevenLabs. Eigenlijk was het eerste stemmodel al meteen bruikbaar omdat het bestaande interview kwalitatief voldoende helder was. 

Nieuwsgierig naar het originele interview? Je kan het hier herbeluisteren.

Duiken er tijdens zo’n proces ook onverwachte uitdagingen op? 

We hebben gemerkt dat in dit geval de meeste tijd is gekropen in de zogenaamde prosodische elementen van de spraak. Deze elementen omvatten zaken zoals ritme, intonatie en klemtonen. Ze werden doorheen heel de lezing gecontroleerd en aangepast waar nodig. Soms spreekt Magritte bijvoorbeeld over een werk, en dan is de uitspraak van pakweg: Il peint "Le Chant d'amour" anders dan Il peint le chant d'amour. 

En wat met de taal? Kan je AI hiervoor vertrouwen?

Met behulp van collega’s en gidsen beluisterden we de Franse AI-gegenereerde lezing en stelden we feedback op wanneer er een wijziging aan de spraak nodig was. Met de hulp van een stagiair hebben we ook manueel veel korte pauzes doorheen de lezing toegevoegd. Zo gaat het niet aan één stuk door, wat het voor de bezoeker begrijpelijker maakt. 

Dit is het tweede project van het KMSKA waarin er met AI en spraakherkenning wordt gewerkt. Eerder ontwikkelde men ook een slimme bezoekershulp aan het Studio Rubens restauratieatelier. Als je hier meer over wil weten, lees dan dit artikel.