Avec le passage des projets d’IA générative de l’expérimentation à la production, la question des coûts devient un enjeu de gouvernance pour les entreprises. SAP estime que de nombreuses organisations continuent de consommer des ressources d’IA sans réelle visibilité sur les volumes de tokens utilisés, au risque de voir leurs dépenses augmenter rapidement.
Le coût de l’IA ne dépend pas uniquement du modèle choisi
Lorsqu’une entreprise déploie un assistant conversationnel, un système RAG ou un agent IA, l’attention se porte souvent sur les performances du modèle retenu. Pourtant, la facture finale dépend également d’un ensemble de paramètres techniques liés à la conception de l’application.
Selon SAP, la taille des prompts, le volume de données transmis au modèle, le nombre d’appels effectués ou encore la longueur des réponses générées influencent directement la consommation de tokens et donc les coûts associés. La documentation de SAP AI Core rappelle d’ailleurs que les usages sont facturés en fonction des volumes de tokens consommés, avec des mécanismes de conversion qui varient selon les modèles utilisés.
Cette problématique devient particulièrement visible dans les projets qui s’appuient sur plusieurs services d’IA ou sur des architectures intégrant de la génération augmentée par récupération (RAG). Les exemples publiés par SAP montrent qu’un simple système RAG peut rapidement accumuler des coûts liés aux requêtes, aux services de grounding, au filtrage de contenu ou encore à l’observabilité des inférences.
Les agents IA pourraient accentuer le phénomène
L’arrivée des agents autonomes ajoute une nouvelle dimension à cette question. Contrairement à un chatbot classique, un agent peut multiplier les appels à différents modèles, interroger plusieurs bases de connaissances, déclencher des actions ou solliciter des outils tiers pour accomplir une tâche. Bien évidemment, chaque étape génère de nouvelles consommations de ressources.
SAP souligne ainsi l’importance de disposer d’indicateurs permettant de suivre précisément les volumes consommés et d’identifier les opérations les plus coûteuses. Il ne s’agit pas seulement de réduire les dépenses, mais également de mieux arbitrer entre qualité des résultats et consommation de ressources.
Lors de son événement Sapphire 2026, SAP a présenté de nouveaux modèles de facturation liés aux agents IA, tandis que plusieurs analystes alertent déjà sur la nécessité de mieux anticiper les coûts réels des actions exécutées automatiquement par ces systèmes.
La généralisation de l’IA générative fait émerger une nouvelle catégorie de coûts variables directement liée aux usages. Deux applications reposant sur le même modèle peuvent afficher des dépenses très différentes selon leur conception, la fréquence des requêtes ou les volumes de données manipulés. Cette évolution pousse progressivement les entreprises à adopter des pratiques proches du FinOps dans le domaine de l’IA. L’enjeu consiste à mesurer, anticiper et optimiser la consommation dès la phase de conception plutôt qu’une fois les factures reçues.
