Tout comme un chien mal dressé ne répond pas aux ordres et se comporte de manière imprévisible, un modèle d’intelligence artificielle (IA) mal entraîné peut fournir des résultats erronés. Cependant, contrairement au dressage canin, identifier les lacunes dans la formation d’une IA n’est pas toujours évident.

À l’échelle mondiale, des chercheurs exploitent divers modèles d’IA alimentés par des données expérimentales et théoriques. Leur objectif : prédire les propriétés des matériaux avant d’investir du temps et des ressources considérables dans leur création et leur test. L’IA est ainsi utilisée pour concevoir des médicaments et des produits chimiques industriels plus performants en une fraction du temps nécessaire aux essais traditionnels.

Comment faire confiance aux prédictions de l’IA ?

La fiabilité des prédictions des modèles d’IA est une question fondamentale, dépassant le simple intérêt académique. Des millions de dollars d’investissement peuvent dépendre de la justesse de ces prédictions.

Face à cet enjeu, une équipe de recherche du Pacific Northwest National Laboratory (PNNL) du Département de l’Énergie américain a mis au point une méthode novatrice pour évaluer la qualité de l’entraînement d’une catégorie de modèles d’IA appelés potentiels de réseaux neuronaux. Cette méthode permet non seulement de déterminer la fiabilité d’une prédiction, mais aussi d’identifier les domaines où le modèle manque de données d’entraînement et où un apprentissage actif est nécessaire pour améliorer sa précision.

Les travaux de l’équipe, dirigée par les scientifiques des données du PNNL Jenna Bilbrey Pope et Sutanay Choudhury, détaillent le fonctionnement de cette nouvelle méthode de quantification de l’incertitude dans un article de recherche publié dans la revue NPJ Computational Materials.

Soucieuse de faciliter l’adoption de cette avancée, l’équipe a rendu la méthode accessible au public sur GitHub, au sein de son dépôt plus vaste appelé Scalable Neural network Atomic Potentials (SNAP). Ainsi, tout chercheur peut l’appliquer à ses propres travaux.

« Nous avons remarqué que certains modèles d’incertitude ont tendance à être trop confiants, même lorsque l’erreur de prédiction réelle est élevée », explique Jenna Bilbrey Pope. « C’est un problème courant pour la plupart des réseaux neuronaux profonds. Mais un modèle entraîné avec SNAP fournit une métrique qui atténue cette surconfiance. Idéalement, il faudrait examiner à la fois l’incertitude de la prédiction et l’incertitude des données d’entraînement pour évaluer la performance globale du modèle. »

Instaurer la confiance dans l’IA pour accélérer la découverte

Les scientifiques aspirent à exploiter la rapidité des prédictions de l’IA, mais un compromis entre vitesse et précision existe actuellement. Bien qu’un modèle d’IA puisse effectuer des prédictions en quelques secondes, une tâche similaire pourrait nécessiter 12 heures de calcul sur un supercalculateur en utilisant des méthodes traditionnelles intensives. Pourtant, les chimistes et les spécialistes des matériaux perçoivent encore l’IA comme une « boîte noire ».

La mesure d’incertitude développée par l’équipe de science des données du PNNL offre un moyen de comprendre le niveau de confiance à accorder à une prédiction de l’IA.

« L’IA devrait être capable de détecter avec précision les limites de ses connaissances », affirme Sutanay Choudhury. « Nous voulons que nos modèles d’IA soient accompagnés d’une garantie de confiance. Nous voulons pouvoir faire des déclarations telles que ‘Cette prédiction offre une confiance de 85% que le catalyseur A est meilleur que le catalyseur B, en fonction de vos exigences.' »

Validation rigoureuse sur un modèle fondamental avancé

Dans leur étude publiée, les chercheurs ont choisi de comparer leur méthode d’incertitude avec l’un des modèles fondamentaux les plus avancés pour la chimie des matériaux atomistiques, appelé MACE. Ils ont calculé la précision avec laquelle le modèle est entraîné pour déterminer l’énergie de familles de matériaux spécifiques. Ces calculs sont essentiels pour évaluer la capacité du modèle d’IA à approximer les méthodes plus coûteuses en temps et en énergie exécutées sur des supercalculateurs. Les résultats obtenus indiquent les types de simulations qui peuvent être effectués avec une forte confiance dans l’exactitude des réponses.

Les chercheurs soulignent que cette confiance dans les prédictions est cruciale pour concrétiser le potentiel de l’intégration des flux de travail d’IA dans le travail quotidien des laboratoires et pour la création de laboratoires autonomes où l’IA devient un assistant de laboratoire fiable.

« Nous avons travaillé pour rendre possible l’intégration de tout potentiel de réseau neuronal pour la chimie dans notre cadre », explique Sutanay Choudhury. « En un instant (SNAP), ils acquièrent soudainement la capacité d’être conscients de leur incertitude. »

Reste à espérer que le dressage des chiots devienne aussi rapide !

Outre Jenna Bilbrey Pope et Sutanay Choudhury, les scientifiques des données du PNNL Jesun S. Firoz et Mal-Soon Lee ont également contribué à cette étude. Ces travaux ont été soutenus par le projet « Transferring exascale computational chemistry to cloud computing environment and emerging hardware technologies » (TEC4), financé par le Bureau des Sciences de l’Énergie Fondamentale du Bureau des Sciences du DOE.