Le prix du token ne suffit pas à savoir combien coûtera réellement un modèle d’IA en production. BPCE en a fait l’expérience sur ses propres cas d’usage : un modèle affiché moins cher peut finalement coûter davantage à chaque requête. La banque a donc construit son propre benchmark, avec ses données, ses contraintes et ses métriques métier.
Un token moins cher, une requête plus chère
Mikaël Le Bars, responsable des expertises transverses IA au sein du centre d’expertise data science de BPCE, a présenté ce travail lors de Big Data & AI Paris 2026. Sur un cas de modération pour l’assistance client, le modèle le moins cher au token n’était pas le moins coûteux une fois la requête terminée.
Le tarif unitaire ne dit en effet rien du nombre de tokens nécessaires pour obtenir une réponse exploitable, ni de la longueur de cette réponse ou des traitements qu’il faudra éventuellement ajouter derrière. Deux modèles affichant des tarifs différents peuvent donc inverser leur position une fois placés dans une application réelle.
C’est ce que BPCE cherche à mesurer avec son benchmark maison, plutôt que de choisir ses modèles uniquement à partir de classements et de métriques généralistes.
Confondre 45 000 et 40 000 euros ne vaut pas une faute ordinaire
La difficulté ne tient pas seulement au coût. BPCE prend l’exemple de la transcription audio d’une instruction bancaire : « virer 45 000 € sur le compte 8837 ».
Un modèle peut oublier un mot secondaire. Un autre peut comprendre 40 000 euros au lieu de 45 000. Avec une métrique classique fondée sur le taux d’erreur sur les mots, les deux fautes peuvent pourtant peser presque autant. Pour une banque, évidemment, elles n’ont pas du tout la même portée. BPCE a donc ajouté ses propres critères, notamment pour donner davantage de poids aux montants, aux termes métier ou à certains éléments de ponctuation.
La banque teste aussi ce qui arrive lorsque les données deviennent moins propres. Bruit de fond, accents ou cas inhabituels peuvent suffire à modifier le classement obtenu entre plusieurs modèles dans des conditions idéales.
Parfois, changer l’OCR compte davantage que changer de modèle
L’écart est encore plus net sur l’extraction d’informations à partir de documents financiers. D’après les mesures présentées par BPCE, changer de modèle ne fait varier les performances que de 1 à 4 points de pourcentage. Le choix de l’embedding entraîne en revanche des écarts de 12 à 17 points. La stratégie utilisée pour découper et récupérer les documents joue sur 10 à 20 points, et l’OCR sur 14 à 21 points. Passer des semaines à départager deux grands modèles n’est pas toujours là que se joue la performance. Sur certains cas, la manière dont les documents sont lus, découpés et retrouvés compte beaucoup plus.
BPCE a dû investir dans la labellisation des données, le développement et le déploiement de son benchmark. Mais ce travail n’est pas à recommencer à chaque projet : environ 70 % du code peut être réutilisé pour un nouveau cas d’usage.
Le groupe envisage maintenant d’étendre ce dispositif aux agents IA. Il ne faudra alors plus seulement juger leur réponse finale, mais aussi regarder le chemin qu’ils ont emprunté pour y arriver.
