La ruée vers l’intelligence artificielle met les GPU sous tension, mais le problème ne se limite pas à la pénurie. Une partie importante des capacités déjà déployées resterait sous-utilisée, faute de pilotage fin des charges, de mutualisation et d’outils d’optimisation adaptés. Pour les DSI, l’enjeu devient autant économique qu’infrastructurel.
Dans une tribune publiée par LeMagIT, Laurent Gil, fondateur et président de Cast AI, estime que le taux d’utilisation des GPU en production dépasserait rarement 5 % dans certains benchmarks portant sur des dizaines de milliers de clusters. L’ordre de grandeur doit être pris comme une alerte plus que comme une moyenne universelle, mais il pointe un paradoxe bien connu des infrastructures IA : les ressources les plus coûteuses ne sont pas toujours les mieux exploitées.
Le piège du surprovisionnement
Pour beaucoup d’équipes techniques, le surprovisionnement reste une forme d’assurance. Il paraît souvent moins risqué de réserver trop de capacités que de manquer de puissance au moment d’un pic de charge, d’un entraînement critique ou d’un déploiement d’inférence. Cette logique, déjà observée dans le cloud, devient plus coûteuse encore avec les GPU.
Le problème n’est donc pas seulement matériel. Il tient aussi à la manière dont les charges sont planifiées, réparties et observées. En phase d’inférence, certaines capacités peuvent rester mobilisées alors qu’elles ne traitent que peu de requêtes. Dans d’autres cas, les équipes gardent des marges de sécurité importantes parce qu’elles manquent de visibilité sur les besoins réels, les cycles d’usage ou les possibilités de mutualisation.
Cette situation prend aussi une dimension environnementale. Au-delà de l’électricité consommée par les centres de données, la fabrication et le renouvellement rapide des GPU posent une question encore peu intégrée aux bilans de l’IA : celle du coût matériel de cette course à la puissance.
Vers un FinOps de l’IA
La question n’est pas de freiner les projets d’IA, mais de mieux piloter leur socle technique. Après le FinOps appliqué au cloud, les entreprises vont devoir regarder plus précisément l’économie de leurs infrastructures IA : taux d’utilisation, allocation dynamique des ressources, choix des instances, priorisation des charges, extinction des capacités inutilisées et arbitrage entre performance, coût et sobriété.
Le sujet est d’autant plus sensible que les directions financières commencent à demander des comptes. Les tokens, les GPU et les capacités d’inférence deviennent de nouvelles unités de dépense technologique. Dans ce contexte, acheter davantage de puissance ne suffira pas. Les entreprises devront aussi prouver qu’elles utilisent correctement celles qu’elles possèdent déjà.
