Er draait echter wel een stevige energiecentrale voor.
Met de toename van AI-gebruik, stijgen ook de zorgen over de impact op het klimaat. Rekenen kost nu eenmaal energie, en AI moet héél veel rekenen om tot een antwoord op je vraag te komen, om nog maar te zwijgen over de enorme hoeveelheid processortijd die nodig is voor de training van een AI-model. Het kostte bijna 1300 megawatt-uur, goed voor zo’n 550 ton CO2-uitstoot, om GPT-3 (het model achter ChatGPT) te trainen. Een vraag aan ChatGPT kost “slechts” 0,4 gram CO2, maar hij krijgt er dagelijks gemiddeld 10 miljoen te verwerken, goed voor bijna vier ton CO2-uitstoot per dag.
Er zijn inmiddels alternatieven voor de zware general purpose AI modellen als ChatGPT. Deze alternatieven kun je lokaal op je eigen machine laten draaien en zijn vaak getraind voor specifieke toepassingen of talen. Zo heb je bijvoorbeeld de Continue.dev extensie voor Visual Studio Code, die een flinke bibliotheek aan open-source AI modellen voor codegeneratie en -analyse beschikbaar stelt. LocalAI biedt een applicatie waarin je allerlei modellen voor verschillende doeleinden kunt downloaden en uitproberen.
Doordat deze modellen heel specifiek getraind zijn, draaien ze veel zuiniger. Bovendien is er geen dataoverdracht nodig tussen jouw machine en de cloud, waarmee je nog meer energie bespaart.
Wil je je eigen CO2 footprint beperken, geldt voor AI dus hetzelfde als met andere producten: shop local!
