J’ai demandé à une IA de mener une expérience scientifique

Une IA peut produire une hypothèse en quelques secondes. Mais peut-elle la tester, reconnaître qu'elle a tort et distinguer un résultat solide d'une histoire séduisante ? Pour le savoir, on va lui donner un petit problème scientifique calculable, construire un protocole reproductible et évaluer les prédictions sur des données gardées à l'écart.

Ce Lab est une expérience de méthode, pas une annonce de découverte révolutionnaire. Nous allons générer des observations synthétiques bruitées, comparer plusieurs modèles et vérifier lequel prédit le mieux les points qu'il n'a pas vus pendant l'ajustement.

1. Pourquoi une hypothèse ne suffit pas

La démarche scientifique ne s'arrête pas à une explication plausible. Une hypothèse doit conduire à des prédictions, celles-ci doivent être confrontées à des observations, et les résultats doivent pouvoir être vérifiés indépendamment. Une IA peut aider à explorer des idées ou écrire le code d'analyse, mais le texte convaincant qu'elle produit n'est pas une preuve.

Votre navigateur ne prend pas en charge la vidéo.

Animation 1, observer, proposer une hypothèse, tester, mesurer et réviser.

2. Notre expérience : retrouver une loi dans des données bruitées

Nous allons simuler un phénomène de croissance, puis cacher la loi qui a produit les données pendant l'étape d'ajustement. Trois familles de modèles seront comparées : linéaire, exponentielle et logistique. Les premiers points servent à ajuster les modèles ; les derniers sont gardés à part pour mesurer leur capacité à prédire des observations nouvelles.

Le choix des modèles et le générateur des données sont définis par le code du Lab. Cela signifie que l'expérience teste une procédure connue, et non la capacité d'une IA à découvrir librement une loi inconnue dans la nature. Cette limite est importante : elle rend le démonstrateur honnête et reproductible.

3. Installer et lancer le prototype

Il faut Python 3.10 ou plus récent. Décompresse l'archive, ouvre un terminal dans le dossier app, puis exécute :

Le script crée un fichier de scores JSON et une figure comparant les modèles. Tu peux modifier l'intensité du bruit pour voir si les conclusions changent :

Le programme fixe une graine aléatoire afin que l'exécution soit reproductible. Les métriques sont l'erreur quadratique moyenne racine (RMSE) sur les données d'entraînement et sur les points de test. Une erreur plus faible signifie une meilleure prédiction sur cet échantillon, pas une vérité universelle.

4. Pourquoi séparer les données de test ?

Votre navigateur ne prend pas en charge la vidéo.

Animation 2, ajuster sur les données d'entraînement, vérifier sur des données indépendantes.

Si un modèle est ajusté sur toutes les observations, puis évalué sur ces mêmes observations, son score peut donner une image trop optimiste de ses capacités. Un jeu de test tenu à l'écart aide à estimer la généralisation. Pour une étude sérieuse, il faudrait répéter l'expérience avec plusieurs graines, plusieurs niveaux de bruit et des données issues de sources indépendantes.

5. Où intervient l'IA ?

Tu peux demander à un modèle de proposer des hypothèses, d'expliquer les trois familles de modèles, de générer une analyse supplémentaire ou de critiquer le protocole. Mais il faut verrouiller la séparation entre les données d'ajustement et les données de test : si le modèle utilise le test pour choisir ou modifier son modèle, celui-ci n'est plus réellement indépendant.

Pour aller plus loin, demande au modèle d'écrire une quatrième hypothèse avant de lui montrer les scores, conserve sa prédiction, puis évalue-la avec exactement la même procédure. Archive le prompt, le code, la version du modèle et les résultats. Cela ne garantit pas une découverte, mais rend l'expérience auditable.

6. Résultats et limites

Le script révèle la loi génératrice uniquement pour contrôler l'expérience après l'ajustement. Le modèle logistique est ajusté par recherche sur grille, et le choix des familles de modèles est humain. Un seul jeu synthétique ne permet donc pas de conclure que l'IA sait mener des recherches scientifiques de façon autonome.

La recherche sur les systèmes d'IA pour la science progresse : des travaux publiés dans Nature décrivent des systèmes multi-agents qui génèrent des hypothèses, proposent des expériences et analysent des résultats en biologie expérimentale. Google Research décrit également des outils qui aident à produire et améliorer du code pour des expériences computationnelles. Ces travaux sont des systèmes de recherche spécialisés, pas la preuve que n'importe quel chatbot peut remplacer un laboratoire.

Conclusion : la preuve est dans le test

Le bon réflexe n'est pas de demander seulement « quelle hypothèse l'IA a-t-elle trouvée ? », mais « quelle prédiction risquée a-t-elle faite, comment l'a-t-on testée, et quelles observations pourraient montrer qu'elle a tort ? ». C'est cette discipline qui transforme une démonstration spectaculaire en expérience vérifiable.

Sources et ressources

1. Nature, A multi-agent system for automating scientific discovery (2026).
2. Google Research, Empirical Research Assistance.
3. OpenAI, Évaluer les capacités des IA en recherche scientifique.
4. Documentation scikit-learn, évaluation des modèles.