Les équipes de recherche du laboratoire MICS de CentraleSupélec ont développé avec Illuin Technology un nouveau modèle de langage (LLM) appelé CroissantLLM, dorénavant disponible sur la plateforme Hugging Face.

Cette brique technologique d’IA va permettre aux entreprises d’intégrer dans leurs processuss métiers une IA souveraine, frugale et de culture française.

Cette innovation est portée par les professeurs Céline Hudelot et Pierre Colombo dans le cadre des travaux de thèse de Manuel Faysse, en collaboration avec Nuno Miguel Guerreiro et Patrick Fernandes.

Elle sera présentée le 7 mars à Paris La Défense dans le cadre de l’événement « Les Ateliers de l’IA », édition spéciale coorganisée par Le Digital Lab de CentraleSupélec et Illuin Technology.

Cinq caractéristiques distinguent CroissantLLM des IA génératives actuellement proposés sur le marché, qui sont détaillés dans l’article scientifique publié :

• Il est souverain : c’est une équipe de recherche française qui l’a développée. Elle s’est appuyée sur le calculateur national Jean Zay au sein du GENCI ; les jeux de données sont également français et publics, donc connus et traçables.
• Il est ouvert et responsable : tout est en open source et donc accessible, des algorithmes aux modèles et jeux de données utilisés, pour une transparence totale.
• Il maîtrise la langue française : il a été entraîné sur autant de contenus en français que de contenus en anglais, ce qui lui permet d’intégrer et de maîtriser les spécificités de la langue et de la culture françaises.
• Il est éthique : l’équipe de recherche a veillé au respect des règles fixées par le récent AI Act.
• Il est frugal sans pour autant faire de concessions sur la vitesse : il compte seulement 1.3B de paramètre (contre +180 pour ChatGPT 3.5 par exemple). Il n’a donc pas besoin d’importantes puissances de calcul pour s’exécuter, ce qui lui permet de tourner sur des smartphones et ordinateurs personnels et pas uniquement en sollicitant plusieurs GPU. Par voie de conséquence, son fonctionnement consomme peu d’énergie. Pour autant, les benchmarks réalisés montrent qu’il est le modèle francophone le plus performant pour sa taille.   

« Ce travail est le fruit d'une collaboration étroite entre académie et industrie, illustrant l'importance de la synergie dans l'avancée de la recherche en IA. CroissantLLM résulte en effet des travaux menés par CentraleSupélec en collaboration avec plusieurs partenaires académiques de renom tels que Sorbonne Université, INESC-ID, Instituto Superior Técnico, Carnegie Mellon University et Institut DATAIA. Elle a aussi pu voir le jour grâce au soutien précieux de partenaires industriels : ILLUIN Technology ainsi que Unbabel, Diabolocom, et EqualAI », commente Céline Hudelot, professeure, directrice du laboratoire MICS.