Het zal niemand ontgaan zijn dat AI (Artificial Intelligence) op dit moment een 'hot topic' is. Je ziet het overal, van ChatGPT tot Bing-zoeken, Google is er ook mee bezig, tot het maken van AI-schoolfoto's die het internet overspoelen. Naast de voordelen van AI, zijn er ook nadelen, zoals het vervangen van banen of het verspreiden van misinformatie. Maar een aspect dat hier meestal wordt vergeten, is het energieverbruik van deze modellen.

Een Nederlandse onderzoeker, Alex de Vries, aan de Vrije Universiteit in Amsterdam heeft hier onderzoek naar gedaan in zijn artikel "Growing Energy Footprint of Artificial Intelligence". Wat hieruit kwam, is dat grote taalmodellen veel energie verbruiken in de trainingsfase, terwijl er tot op heden weinig nadruk ligt op onderzoek in de inferentiefase. Dus hoeveel stroom gebruikt ChatGPT nu wanneer het verzoeken verwerkt, en hoe zit het met de levenscycluskosten van het model?

Volgens het onderzoeksbureau SemiAnalysis had OpenAI 3.617 Nvidia HGX A100-servers nodig, met in totaal 28.936 gpu's, om ChatGPT te draaien. Dit betekent dat dit systeem ongeveer 563 MWh per dag gebruikt. Ter vergelijking, een gemiddeld Nederlands gezin gebruikt 2,7 MWh per jaar. Toen ChatGPT nog in de trainingsmodus was, liep dit verbruik op tot 1.287 MWh per dag. Google, dat ook werkt aan AI-modellen voor hun zoekmachine, gaf aan dat tussen 2019 en 2021, 60% van het energieverbruik door AI-modellen plaatsvond in de inferentiemodus. Alphabet-voorzitter, John Hennessy, zei dat een op AI gebaseerde zoekopdracht bijna tien keer zoveel energie verbruikt als een normale zoekopdracht.

Verwachte energie verbruik op basis van AI modellen - bron: Joule Commentary

Stel dat Google AI toepast op elke zoekopdracht, dan betekent dit dat Google 512.821 A100 HGX-servers nodig heeft. Elke server gebruikt 6.5 kW, wat inhoudt dat dit systeem dagelijks 80 GWh verbruikt, met een jaarlijks energieverbruik van 29.2 TWh, ongeveer evenveel als het totale stroomverbruik van Ierland per jaar. Het enige probleem is dat Nvidia dit momenteel helemaal niet kan leveren.

Naar verwachting kan Nvidia dit jaar 100.000 AI-servers leveren. Deze zouden ongeveer 5,7-8,9 TWh per jaar verbruiken. Dat is nog niets vergeleken met het gemiddelde energieverbruik van alle datacenters, ongeveer 205 TWh per jaar. Maar als AI zich ontwikkelt zoals verwacht en Nvidia in 2027 1,5 miljoen AI-servers levert, komt het verbruik tussen 85,4 en 134 TWh per jaar te liggen. Dat is net zoveel stroom als heel Nederland in een jaar verbruikt.

De Vries gaf ook duidelijk advies dat het verstandig is voor ontwikkelaars om zich te richten op het optimaliseren van AI, zodat het efficiënter is, maar ook om te overwegen of het echt nodig is om AI voor die taak te gebruiken. Niet alle taken hebben evenveel baat bij het gebruik van AI, zeker in verhouding tot het energieverbruik en dus de kosten.

Bronnen: Techspot, CellPress