BNP Paribas indique avoir déployé une plateforme interne de LLM as a Service, conçue pour fournir aux entités du groupe un accès unifié et sécurisé à des modèles de langage à grande échelle.
Cette infrastructure mutualisée, opérée par les équipes IT du groupe, permet d’accélérer le développement de cas d’usage d’intelligence artificielle générative aussi bien pour les besoins des collaborateurs que des clients. Chaque entité peut accéder, via une interface standardisée et sécurisée, à une sélection de modèles de langage (LLM) adaptés à ses besoins. Ces modèles peuvent être directement intégrés dans des outils ou processus.
Une infrastructure mutualisée
La plateforme repose sur une infrastructure mutualisée hébergée dans les datacenters de la banque dotée de capacités de calcul spécialisées (GPU), notamment via un partenariat avec NVidia, précise BNP Paribas. Elle donne accès à une sélection de modèles open source, des modèles de Mistral AI, partenaire du groupe, et prochainement des modèles entraînés sur des corpus internes, selon les besoins spécifiques. Cette architecture permet de disposer d’une puissance de traitement élevée pour exécuter efficacement les modèles de langage, tout en mutualisant et limitant les coûts, selon le groupe.
Des cas d’usage déjà en production
Plusieurs cas d’usage d’IA générative sont déjà en production ou en expérimentation dans les métiers. BNP Paribas cite des assistants internes, de la génération de documents, ou encore de la recherche d’information dans des corpus de documents.
De plus, l’IA générative permet aux développeurs de créer du code et d’accéder facilement et de manière centralisée aux outils de développement, aux technologies d’IA et aux chaînes DevOps.
« Avec LLM as a Service, nous créons un socle technologique commun qui permet aux entités de se concentrer sur les cas d’usage métier, tout en s’appuyant sur une infrastructure mutualisée et sécurisée. C’est un levier commun pour innover et améliorer la performance de certains usages.» , explique Marc Camus, le DSI de BNP Paribas.
La plateforme .LLM as a service a été déployée dans une première phase de test dans différentes entités, comme Hello bank! ou l’inspection générale du groupe, et a vocation à être progressivement déployée plus largement selon une logique d’industrialisation.
