Un modèle de langage entraîné exclusivement sur des données antérieures à 1931 propose une expérience radicale : observer une intelligence artificielle privée de tout savoir moderne. Une manière de tester les limites réelles des modèles et leur capacité à raisonner sans dépendance au web contemporain.
Une IA figée avant la Seconde Guerre mondiale
Le projet Talkie-1930 consiste à entraîner un modèle de langage uniquement à partir de textes publiés avant la fin de l’année 1930. Livres, journaux, revues scientifiques, brevets ou décisions de justice composent ce corpus, constitué à partir de documents numérisés, puisque l’édition n’était pas encore numérique à l’époque.
Le modèle, doté de 13 milliards de paramètres, est ainsi incapable de répondre à toute question liée à des événements ou innovations postérieurs. Impossible d’évoquer la Seconde Guerre mondiale, Franklin D. Roosevelt ou le fonctionnement d’un four à micro-ondes. En revanche, il excelle sur les sujets ancrés dans son époque : la crise économique du début des années 1930, les transformations sociales ou les objets culturels de l’entre-deux-guerres.
D’après The Register, ses concepteurs le présentent comme le plus grand modèle de langage “vintage” à ce jour, avec l’ambition de poursuivre son développement à une échelle encore plus importante.
Tester la capacité réelle des modèles à raisonner
L’intérêt de Talkie c’est de se poser la question : un modèle peut-il produire des connaissances ou des découvertes en se limitant aux informations disponibles à une époque donnée ?
Les chercheurs évoquent notamment un test théorique inspiré de Demis Hassabis : couper les données d’un modèle avant 1911 et lui demander de reconstruire la théorie de la relativité générale à partir des connaissances de l’époque. L’enjeu est de mesurer si une IA peut réellement raisonner ou si elle se contente de recombiner des informations déjà vues.
Dans les premiers tests, Talkie parvient à résoudre certains exercices de programmation, mais de manière très limitée. Les solutions correctes restent simples, souvent réduites à des opérations élémentaires ou à des variations d’exemples fournis. Les auteurs reconnaissent eux-mêmes que le chemin reste long avant d’atteindre un niveau significatif sur ce type de tâches.
Un laboratoire pour étudier biais, culture et identité des modèles
En étant privé de toute référence contemporaine, le modèle permet d’analyser la manière dont les systèmes d’IA construisent leur compréhension du monde à partir d’un contexte culturel donné.
L’un des objectifs est d’explorer l’évolution des interprétations sociales et juridiques. Un modèle comme Talkie peut, par exemple, éclairer la façon dont une loi était comprise à l’époque de sa rédaction, en intégrant les biais et les normes implicites de son temps.
Les chercheurs s’intéressent également à la manière dont un modèle se “perçoit”. Un système qui n’a aucune connaissance de l’existence des LLM offre un point de comparaison pour comprendre comment se forme le comportement d’une IA moderne, souvent influencée par les discours et les usages contemporains.
Des limites techniques révélatrices
Talkie reste toutefois loin des performances des modèles actuels. À architecture équivalente, il sous-performe globalement, malgré une quantité de calcul similaire. L’une des principales causes identifiées tient à la qualité des données : l’ensemble du corpus ayant été numérisé via OCR, il introduit un niveau de bruit absent des textes nativement numériques.
Les chercheurs estiment que cette contrainte réduit fortement les performances, même après nettoyage des données. Ils travaillent désormais à améliorer leurs outils de transcription pour limiter cet impact. Le modèle souffre aussi de “fuites temporelles”. Malgré un filtrage strict, il parvient parfois à produire des informations postérieures à 1930, signe que le corpus n’est pas parfaitement étanche.
