Durante años, la conversación sobre la huella eléctrica de la inteligencia artificial giró en torno al entrenamiento de modelos gigantes. Un equipo de la Universidad de Michigan acaba de mover el foco con datos: el consumo energético de la IA se concentra en la inferencia y varía de forma brutal según la tarea.
La herramienta se llama ML.ENERGY, es de código abierto y publica un leaderboard que mide, GPU en mano, cuánta electricidad gasta cada modelo al responder.
TL;DR
Investigadores de la Universidad de Michigan liberaron ML.ENERGY, un benchmark y leaderboard que mide cuánta electricidad consume cada modelo de IA.
Entre tareas (chat, código, imágenes, razonamiento) el consumo varía hasta un factor de 300 en modelos de pesos abiertos.
