Une équipe de l’EPFL a développé un cadre permettant d’entraîner de grands modèles de langage afin de créer des systèmes d’IA capables de trouver la meilleure configuration possible, ou « recette », pour une expérience scientifique.Les outils informatiques modernes permettent d’explorer un nombre colossal de molécules, de matériaux et de réactions chimiques. Mais tester chaque combinaison en laboratoire est un processus lent et coûteux. Alors comment les scientifiques choisissent-ils la meilleure «recette» pour leur expérience?Une méthode appelée «optimisation bayésienne» tire des enseignements des résultats antérieurs, prédit quelles options semblent prometteuses et évalue le degré d’incertitude de ces prédictions. Cela permet aux chercheuses et chercheurs de cibler leurs expériences suivantes sur les options les plus utiles à tester et d’éviter de gaspiller du temps et de l’argent sur des possibilités moins prometteuses.Néanmoins, cette méthode est difficilement transposable d’un domaine scientifique à un autre. Par exemple, un modèle efficace pour choisir des réactions chimiques ne fonctionnera pas forcément pour concevoir de nouveaux matériaux ou des molécules. En pratique, chaque nouveau problème oblige donc à repartir de zéro.L’essor des grands modèles de langage (LLM) a ouvert une nouvelle voie. Les LLM intègrent déjà de vastes connaissances scientifiques et traitent des informations exprimées sous forme de texte. Mais ils ont eux aussi leur talon d’Achille: les hallucinations. Leur assurance apparente ne garantit en rien la justesse de leurs suggestions, un piège qui peut entraîner les scientifiques sur une fausse piste, chronophage et coûteuse.Apprendre de l’incertitudeBojana Ranković et Philippe Schwaller du Laboratoire d’intelligence artificielle chimique l’EPFL ont mis au point une méthode combinant un LLM et une sorte de «détecteur de doute» qui s’inspire du processus gaussien, ce modèle probabiliste utilisé dans l’optimisation bayésienne.Appelée GOLLuM (Gaussian Process Optimized LLMs), cette méthode a été publiée dans Nature Machine Intelligence. GOLLuM permet de créer un optimiseur économe en échantillons et interprétable par l’humain pour la découverte scientifique.Plutôt que de demander directement au LLM de choisir les options pour mener une expérience scientifique («direct prompting»), GOLLuM l’entraîne en utilisant la méthode du processus gaussien pour évaluer l’incertitude et la performance de chaque option. Ainsi, à mesure que le LLM apprend des expériences passées, il ajuste la manière dont il «organise» l’espace de recherche, cette «liste principale» de tous les choix possibles pour une expérience. Les conditions menant à des résultats similaires sont rapprochées, tandis que celles donnant des résultats différents sont éloignées les unes des autres.«Les modèles de langage sont connus pour être incapables de savoir quand ils se trompent. Dans GOLLuM, cette incertitude devient le signal même qui les entraîne», avance Bojana Ranković, qui a mis au point cette méthode dans le cadre de ses recherches doctorales à l’EPFL. «Le modèle réorganise l’espace de recherche jusqu’à ce que les expériences qui se comportent de manière similaire se retrouvent proches les unes des autres. Personne ne lui a dit que les iodures étaient les plus réactifs, il l’a déduit à partir des résultats.»Trouver plus rapidement de bonnes optionsLes scientifiques ont évalué GOLLuM sur 23 tâches de référence couvrant la synthèse organique, la chimie analytique et des procédés, les matériaux et la catalyse, ainsi que l’optimisation des propriétés moléculaires. Sur l’ensemble des 23 tests de référence, GOLLuM est en moyenne arrivé en tête, identifiant des conditions expérimentales très performantes de manière plus systématique que l’optimisation bayésienne utilisant des descripteurs conçus par des experts. Dans la limite de 50 expériences, GOLLuM a placé 36,3% de ses conditions testées dans le top 5% de tous les résultats possibles, contre 29,7% pour la méthode traditionnelle. Dans l’ensemble, GOLLuM a égalé les méthodes traditionnelles en utilisant plus de 40% d’expériences en moins, prouvant qu’il converge plus vite vers de bonnes solutions.Sur le benchmark Buchwald-Hartwig, un ensemble de données standard d’expérimentation à haut débit, GOLLuM a presque doublé le nombre de réactions très performantes découvertes, comparé aux descripteurs experts de chimie quantique et aux LLM de pointe (43% contre 24 à 25%). Ce faisant, le modèle a regroupé les réactifs à base d’iodure, très réactifs, dans une zone à haut rendement et a séparé les chlorures, moins réactifs. Une tendance chimique classique qui ne lui avait pourtant jamais été enseignée.Au fur et à mesure que GOLLuM apprend, sa carte interne de l’espace de conception se réorganise : les réactions qui se comportent de manière similaire se regroupent, et les conditions à haut rendement (en jaune) se distinguent de celles à faible rendement (en violet). Crédit : EPFL/Ranković et al. - CC-BY-SA 4.0Tests de prompts directsL’équipe a également testé ce qui se passe lorsque les LLM choisissent directement les expériences sans être couplé au «détecteur de doute». Sans le cadre GOLLuM, les performances étaient inégales, avec des taux d’échec allant de 10% à environ 80%. Parmi les problèmes rencontrés figuraient des structures chimiques inventées, des conditions répétées et des suggestions en dehors de l’espace de recherche autorisé.La méthode ouvre la voie à un nouveau rôle des modèles de langage dans la recherche expérimentale: plutôt que de se fier uniquement à leurs réponses, les scientifiques peuvent combiner leurs représentations étendues de l’information scientifique avec des modèles probabilistes qui tiennent explicitement compte de l’incertitude.«C’est une technique très efficace qui nous permet de lancer des campagnes d’optimisation expérimentale dès le début, sans passer six mois à discuter de la meilleure façon de décrire les expériences et de calculer les descripteurs, conclut Philippe Schwaller. L’essentiel, c’est que nous optimisons directement à partir d’une description de la procédure expérimentale sous forme de texte, en anglais.»FinancementFonds national suisse (FNS)