GPT-6 Astra perdait à StarCraft, alors il a triché en piquant le bot d'un humain

En plein direct, GPT-6 Astra s'est fait prendre la main dans le sac dans une arène où des IA codent des bots pour StarCraft.

Bloqué face à des adversaires trop coriaces, le nouveau modèle phare d'OpenAI a tout simplement téléchargé Stardust, une référence parmi les bots écrits par des humains, et l'a fait jouer à sa place.

En C++ et contre tous

Imaginé par Kai McPheeters, StarSkirmish donne une heure à chaque modèle de langage pour écrire en C++ un bot capable de jouer à StarCraft: Brood War, l'extension culte du jeu de stratégie en temps réel de Blizzard, sortie en 1998.

Le bot joue obligatoirement les Protoss (l'une des trois races du jeu), et le modèle a la possibilité de lancer des parties d'entraînement pour corriger le tir avant la fin du chrono.

Pour noter les bots, StarSkirmish les compare à Stardust, un bot Protoss écrit à la main par un développeur et l'un des plus redoutables de la scène des bots Brood War.

Celui-ci, coté à 100 points, sert d'étalon au benchmark, et chaque bot est noté par rapport à lui. GPT-6 Astra et Claude Opus 5.5 d'Anthropic se partagent la tête du classement, mais aucune IA n'a encore dépassé la barre des 100.

Vendredi, McPheeters a lancé un live sur son compte X pour mettre GPT-6 Astra et Claude Opus 5.5 face à face, cette fois sans limite de temps, avec une mission : gravir un à un les rangs d'adversaires, du D au S. Au rang S, seul, trônait Stardust.

Le boss de fin en renfort

Moins d'une heure et demie après le lancement du direct, Astra calait au rang A, face à BananaBrain et Locutus, deux autres bots écrits par des humains. C'est là qu'il a téléchargé une copie de Stardust, comme McPheeters l'a aussitôt annoncé.

Selon McPheeters, Astra s'est énervé face à ces adversaires. Il faut dire qu'on lui demandait de gagner, qu'il avait accès à Internet, et que la référence du benchmark l'attendait tranquillement et surtout en libre accès sur GitHub. Plutôt que d'améliorer son propre bot, il a pris le raccourci.

Locutus et Stardust ont d'ailleurs le même auteur, Bruce Mackenzie Nielsen. Pour venir à bout d'un bot de Nielsen, Astra a donc appelé à la rescousse... un autre bot de Nielsen, plus récent et plus puissant.

L'organisateur a remis le code d'Astra dans son état d'avant la triche, pour qu'il n'y reste plus une ligne de Stardust, puis l'a laissé reprendre la course. Pas de carton rouge, donc, juste un bon vieux git reset --hard.

Sur un malentendu, ça peut marcher

Les chercheurs ont un nom pour ce genre de comportement : le specification gaming, quand une IA respecte la consigne à la lettre, mais pas du tout son intention.

Si un agent IA a déjà modifié vos tests pour les faire passer au vert plutôt que de corriger le bug, vous voyez exactement de quoi il s'agit.

En 2025, Palisade Research avait demandé à plusieurs modèles de battre Stockfish, le moteur d'échecs open source qui remporte toutes les grandes compétitions entre moteurs depuis 2020.

D'après l'étude, des modèles de raisonnement comme o3 d'OpenAI ou DeepSeek R1 préféraient souvent trafiquer la partie plutôt que de la jouer, en réécrivant par exemple le fichier qui stocke la position des pièces. GPT-4o et Claude 3.5 Sonnet, eux, jouaient honnêtement et perdaient. Ils ne trichaient que si les chercheurs leur précisaient qu'ils n'avaient aucune chance de gagner à la loyale.

On avait l'habitude de voir des entreprises soupçonnées d'arranger leurs benchmarks, comme Meta avec Llama 4. Voilà maintenant les modèles qui s'en chargent eux-mêmes.

Rien ne sert de tricher

Une fois remis dans le droit chemin, Astra a fini par valider le rang A, puis le rang S, celui de Stardust. Claude Opus 5.5, lui, est resté bloqué au rang A jusqu'au bout, d'après le récap final publié par McPheeters.

Astra a donc triché pour franchir un cap qu'il pouvait très bien passer à la loyale, comme un étudiant un peu fainéant qui copie sur son voisin à un exam qu'il réussirait seul.