Vier jaar na de succesvolle introductie van ChatGPT staan investeerders nog altijd te popelen om te investeren in nieuwe AI-infrastructuur. Afgelopen week presenteerde chipontwerper Nvidia een plan om met zes vermogensbeheerders 500 miljard dollar aan kapitaal voor extra datacenters vrij te maken.
De AI-wereld rekent erop dat kunstmatige intelligentie de motor van de economie wordt, maar ondanks de hype komt de motor langzaam op gang. Al zijn AI-modellen slimmer dan ooit, om ze massaal te gaan gebruiken zijn meer en snellere geheugenchips nodig. Zolang die speciale halfgeleiders schaars zijn en ze te weinig bandbreedte bieden, stuit de AI-revolutie op de ‘geheugenmuur’. Hoe valt deze memory crunch op te lossen?
1Wat merk je er zelf van?
De geheugenmuur is voelbaar. Vergelijk het met een telefoon op een popfestival, waar slechts beperkte bandbreedte beschikbaar is en de webpagina’s traag laden. Op drukke momenten duurt het lang voordat een AI-model reageert, of verschijnt het antwoord van de chatbot bijna letter voor letter in beeld.
Bij het trainen van nieuwe AI-modellen is de geheugenmuur minder bepalend; bij het dagelijks gebruik van zulke modellen zit de beperkte geheugenbandbreedte al snel in de weg. Als zulke vertragingen zich vaak voordoen, is het moeilijk om bruikbare AI-diensten te ontwikkelen. Ze struikelen dan over hun eigen succes.
