La distillation de modèles : comment on "copie" une IA rivale

Demandez à un œnologue d'identifier un vin à l'aveugle. Un débutant répond "Merlot" ou se trompe. Un expert répond : "sans doute du Merlot, avec une touche de Cabernet, et je n'exclus pas une pointe de Syrah." Cette nuance-là, ce classement complet de probabilités plutôt qu'une réponse sèche, c'est exactement ce qu'un modèle "professeur" transmet à un modèle "élève" pendant une distillation. Et c'est aussi, sous une forme détournée, ce qui vient de coûter à trois laboratoires chinois une accusation officielle d'Anthropic.

Dans cet article :

• Le principe, expliqué avec un exemple simple
• Le jour où Wall Street a paniqué
• L'ironie que DeepSeek assume elle-même
• Le tour qu'Anthropic vient de dévoiler
• Où est la ligne entre légal et illégal
• Ce qu'il faut retenir

Le principe, expliqué avec un exemple simple

Un modèle "professeur", grand et coûteux à faire tourner, ne se contente pas de donner la bonne réponse à un modèle "élève" plus petit. Il lui transmet toute sa façon de peser les probabilités entre chaque réponse possible, comme l'œnologue qui détaille ses doutes plutôt que de trancher sèchement. Le chercheur Geoffrey Hinton a formalisé cette idée dès 2015 : ces probabilités complètes, appelées "étiquettes souples", contiennent bien plus d'information qu'une simple case cochée juste ou faux.

Cette version-là de la distillation est parfaitement légale, publique, et très répandue. DistilBERT, un des exemples les plus connus, est 40 % plus petit et 60 % plus rapide que le modèle BERT dont il est issu, tout en conservant 97 % de ses capacités de compréhension du langage. C'est ainsi que la plupart des modèles "légers" que vous utilisez sur votre téléphone ont été construits : en apprenant d'un grand frère plus lourd.

Le jour où Wall Street a paniqué

Le 20 janvier 2025, DeepSeek publie R1, un modèle de raisonnement chinois, en affirmant l'avoir entraîné pour environ 5,6 millions de dollars, une fraction du budget des laboratoires américains. Nvidia perd plus de 17 % en une seule séance, la plus grosse perte de capitalisation boursière de l'histoire américaine pour une entreprise.

Dès le lendemain, OpenAI accuse DeepSeek d'avoir construit un immense jeu de données à partir des réponses de GPT-4o pour entraîner R1, une pratique qui violerait directement ses conditions d'utilisation. Le texte de ces conditions est explicite : il est interdit "d'extraire des données ou des réponses de façon automatisée ou programmatique." OpenAI et Microsoft ouvrent une enquête sur une possible exfiltration de données via l'API dès l'automne précédent.

L'ironie que DeepSeek assume elle-même

On pourrait croire que DeepSeek nie tout lien avec la distillation. Ce n'est pourtant pas ce qui s'est passé : l'entreprise publie, en même temps que R1, un article de recherche qui détaille comment elle a elle-même distillé le raisonnement de R1 vers six modèles plus petits, dont Qwen et Llama, en utilisant 800 000 exemples soigneusement sélectionnés. Le tout sous licence libre, ouvertement documenté, sans rien à cacher.

La différence tient donc entièrement dans le mot "rival" et dans la permission. Distiller son propre modèle, ou un modèle qu'on a le droit d'utiliser à cette fin, ne pose aucun problème. Distiller le modèle payant et fermé d'un concurrent, sans son accord, en est un autre. En février 2026, OpenAI écrit au Congrès américain pour signaler des tentatives "continues" de distillation par des méthodes "de plus en plus dissimulées".

Le tour qu'Anthropic vient de dévoiler

Le 23 février 2026, Anthropic publie sa propre version de l'histoire. L'entreprise accuse DeepSeek, Moonshot AI et MiniMax d'avoir mené des campagnes coordonnées pour extraire les capacités de Claude, via environ 24 000 comptes frauduleux ayant généré plus de 16 millions d'échanges.

Le détail technique le plus frappant tient dans la réactivité de ces réseaux. Anthropic décrit une architecture qu'elle surnomme "hydra" : des dizaines de milliers de comptes répartis sur plusieurs plateformes, sans point de défaillance unique. Quand un compte est banni, un autre prend immédiatement le relais. Dans un cas précis, quand Anthropic a mis en ligne un nouveau modèle en pleine campagne de MiniMax, l'entreprise a redirigé près de la moitié de son trafic vers ce nouveau modèle en moins de 24 heures pour en capturer les capacités au plus vite.

Cette affaire de février n'était qu'un premier chapitre. Notre actualité sur le rapport de threat intelligence d'Anthropic détaille la suite, publiée en septembre 2026 : une campagne encore plus vaste, attribuée à des opérateurs liés à Alibaba, avec plus de 151 millions d'échanges.

Où est la ligne entre légal et illégal

Le dossier n'est pas aussi simple qu'un camp accusateur face à un camp coupable. Le chercheur Lutz Finger, de l'université Cornell, a relevé une contradiction gênante : entraîner ChatGPT sur des articles du New York Times ou de Forbes a, lui aussi, violé les conditions d'utilisation de ces sites. Accuser un rival de faire exactement ce qu'on a soi-même pratiqué pour construire son propre modèle interroge la cohérence de l'argument.

S'ajoute un problème de preuve. Le professeur Ambuj Tewari, de l'université du Michigan, souligne que seul le modèle final d'un concurrent est public, jamais ses données d'entraînement : il est donc très difficile de prouver juridiquement qu'une distillation illicite a eu lieu, même quand le soupçon est fort.

Ce qu'il faut retenir

La même méthode qui a produit DistilBERT, un modèle utile et ouvertement documenté, peut aussi servir à aspirer, des millions de fois, les réponses d'un concurrent pour en reconstruire les capacités à moindre coût. Ce qui distingue les deux usages n'est ni la technique ni son efficacité, c'est la permission. Un laboratoire qui distille son propre modèle innove. Un laboratoire qui distille, sans accord, l'API fermée d'un rival, à l'échelle de millions de requêtes, s'expose désormais à être publiquement nommé, comme viennent de l'être DeepSeek, Moonshot AI et MiniMax.