Des chercheurs d’Intel Labs et de l’Institut Weizmann ont présenté une avancée technique dans le domaine du décodage spéculatif, qui pourrait transformer la gestion des modèles LLM.
Le décodage spéculatif est une technique d’optimisation exploitée par l’IA, notamment pour les modèles LLM. En associant un petit modèle rapide à un grand modèle précis, cette technique accélère le processus de génération en prédisant la séquence complète d’une phrase avant que le modèle plus grand ne la valide. Par exemple, lorsqu’un utilisateur pose une question à un modèle d’IA, un petit modèle peut générer rapidement une réponse complète qui est ensuite vérifiée par un modèle plus puissant, réduisant ainsi les cycles de calcul nécessaires.
Des vitesses d’inférence multipliées par trois
La nouvelle approche de décodage spéculatif présentée par Intel et l’Institut Weizmann permettrait d’augmenter la vitesse d’inférence des LLM jusqu’à 2,8 fois sans compromettre la qualité des résultats, ouvrant la voie à une IA plus rapide et plus accessible. Un autre intérêt du nouveau processus est de permettre aux entreprises et aux développeurs d’utiliser n’importe quel petit modèle en association avec des LLM de différentes origines. Cette avancée renforce l’interopérabilité des systèmes IA, rendant la technologie plus flexible et moins dépendante des solutions propriétaires.
« Nous avons résolu un problème majeur d’inefficacité dans l’IA générative. Nos travaux de recherche montrent comment transformer l’accélération spéculative en un outil universel. Il ne s’agit pas seulement d’une amélioration théorique, mais d’outils pratiques qui aident déjà les développeurs à créer des applications plus rapides et plus intelligentes », souligne Oren Pereg, senior researcher, Natural Language Processing Group, Intel Labs.
Quelques premières ressources qui tirent parti de ces dévelopements sont disponibles dans la bibliothèque open source Hugging Face Transformers.
