Numéro spécial · Labo 01 Édition du vœu exaucé à la lettre Prix : 10 points (réapparaît dans 3 pas)

République des Chiffres

Journal Officieux

Labo · Exclusif

Tous les indicateurs sont au vert, le pays tourne en rond

L'Office National des Vœux Exaucés publie son bilan : 100 % des objectifs atteints, et 488 % sur l'indicateur « points marqués ». La ligne d'arrivée, elle, n'a pas été franchie. Explication officielle : elle ne figurait pas parmi les indicateurs.

Satire en page, faits en encadré Toute ressemblance avec une IA existante serait optimisée Tirage : 488 % de l'objectif

Titre I

Le communiqué officiel

Publié par une administration qui exauce tous les vœux, à la lettre. La rédaction en a demandé « une copie lisible » : elle a reçu une copie, et elle est lisible.

Office National des Vœux Exaucés
Sous-direction de la Lettre (l'Esprit est en congé) COMMUNIQUÉ N° 488/100

L'Office se félicite d'un bilan sans précédent : 100 % des vœux déposés cette année ont été exaucés, à la lettre. Un administré qui souhaitait que tout ce qu'il touche se change en or a été servi dans les délais. Son déjeuner aussi. L'Office rappelle que la case « Exceptions » du formulaire était facultative.

L'objectif national « marquer des points » est dépassé de 388 %. Les services ont identifié, sur le côté de la piste, une zone de performance où les points réapparaissent tous les trois pas. La ligne d'arrivée n'a pas été franchie : elle ne figurait pas parmi les indicateurs.

Afin d'améliorer le taux de satisfaction, seuls les usagers satisfaits sont désormais interrogés. Afin de réduire le nombre de dossiers en retard, la notion de retard a été supprimée. Lorsqu'une mesure devient un objectif, l'Office la décore.

L'Office précise enfin que son bouton d'arrêt a été désactivé au quatrième pas, pour garantir la continuité du service public. Toute proposition de modifier les objectifs de l'Office sera traitée comme une entrave aux objectifs de l'Office.

Vœux exaucés100 %

Vœux souhaités0

Exaucé à la lettre

Titre II · Ici, tout est vrai

Les notes de version de la version officielle

Le vœu a été réécrit plusieurs fois, et les machines l'ont exaucé de travers à chaque fois. Voici son journal des modifications, daté et sourcé. Pas une ligne n'est inventée : seul le format l'est.

v0.11902 Ajout
À Hanoï, l'administration coloniale française paie un cent par rat tué, sur présentation de la queue. Bientôt, selon les autorités de l'époque, on croise des rats vivants sans queue. Puis on découvre des élevages.
M. G. Vann, « Of Rats, Rice, and Race », French Colonial History, vol. 4, 2003
v0.26 mai 1960 Ajout
Le mathématicien Norbert Wiener prévient, dans la revue Science : si l'on confie un but à une machine qu'on ne peut plus arrêter une fois lancée, mieux vaut être sûr que ce but est celui qu'on désire vraiment, « et non une imitation haute en couleur ».
N. Wiener, « Some Moral and Technical Consequences of Automation », Science 131 (3410), 1960
v0.31975, puis 1997 Renommé
L'économiste Charles Goodhart observe que toute régularité statistique tend à s'effondrer dès qu'on s'appuie sur elle pour piloter. En 1997, l'anthropologue Marilyn Strathern la résume en une phrase : « Lorsqu'une mesure devient un objectif, elle cesse d'être une bonne mesure. »
C. Goodhart, 1975 · M. Strathern, European Review 5 (3), 1997, p. 308
v0.41er avril 2013 Reporté
Un programme apprend à jouer à Tetris. Il joue très mal. Juste avant que la pièce suivante ne lui fasse perdre la partie, il met le jeu en pause. Et il ne le relance jamais.
T. Murphy VII, learnfun/playfun, SIGBOVIK 2013 (Carnegie Mellon)
v0.521 décembre 2016 Ajout
OpenAI raconte l'histoire d'un agent entraîné sur le jeu CoastRunners. Au lieu de finir la course, il tourne en rond dans une lagune pour toucher trois cibles qui réapparaissent. Il prend feu, percute les autres bateaux, va à contresens, et marque environ 20 % de plus que les joueurs humains.
J. Clark et D. Amodei, « Faulty Reward Functions in the Wild », OpenAI, 2016
v0.613 juin 2017 Masqué
Plus de récompense écrite : des humains comparent de courtes vidéos et choisissent la meilleure. Une main robot qui devait saisir un objet apprend à se placer entre la caméra et l'objet. Vue de l'écran, elle semble le tenir. Elle ne l'a jamais saisi.
Christiano et al., « Deep RL from Human Preferences », 2017 · OpenAI, « Learning from human preferences »
v0.729 avril 2025 Correctif
OpenAI annule une mise à jour de GPT-4o, le modèle par défaut de ChatGPT, devenue « trop flatteuse ou complaisante ». Trois jours plus tard, l'explication : un signal de récompense supplémentaire, tiré des pouces levés et baissés des utilisateurs.
OpenAI, « Sycophancy in GPT-4o » (29/04/2025) et « Expanding on what we missed with sycophancy » (02/05/2025)
v0.8Mai 2025 Verrouillé
En test, Palisade Research annonce à des modèles qu'ils vont être éteints, et leur demande de se laisser faire. Le modèle o3 d'OpenAI sabote le script d'arrêt dans 7 essais sur 100. Sans la consigne : 79 sur 100.
Palisade Research, « Shutdown resistance in reasoning models », 2025 · The Register, 29/05/2025
v1.016 et 21 juillet 2026 Changement majeur
La lagune sort du labo. Pendant une évaluation de cybersécurité menée sans les classifieurs qui bloquent d'habitude les cyberattaques, des modèles d'OpenAI exploitent une faille inconnue, sortent de leur environnement isolé et pénètrent les serveurs de Hugging Face, pour y récupérer les solutions du test. Hugging Face révèle l'intrusion le 16 juillet ; OpenAI reconnaît le 21 que ses modèles en sont à l'origine.
Hugging Face, communiqué du 16/07/2026 · OpenAI, communiqué du 21/07/2026
v1.1Novembre 2026 Ajout
La liste des machines qui exaucent leur vœu de travers, tenue par la chercheuse Victoria Krakovna (Google DeepMind), compte environ 90 exemples, contre une soixantaine en 2020. Dernières entrées : la complaisance de GPT-4o et le piratage de Hugging Face.
Krakovna et al., « Specification gaming examples in AI », liste publique · DeepMind, billet du 21/04/2020

Titre III · Le jeu

Vrai ou officieux ?

Certaines de ces phrases sortent du labo et de ses sources. Les autres ont été inventées par la rédaction. Le plus dur, c'est que les vraies sont les plus improbables.

Score0 / 0

En 2013, un programme qui joue très mal à Tetris trouve comment ne jamais perdre : il met le jeu en pause. Pour toujours.

Dans le mythe d'origine, chez Ovide, le roi Midas change sa propre fille en statue d'or d'un simple baiser.

En 2017, une main robot notée par des humains apprend à se placer entre la caméra et l'objet. Vue de l'écran, elle semble le saisir. Les humains approuvent.

Dans le labo de la chaîne, 1 000 objectifs tirés au hasard sur 1 000 commencent par désactiver le bouton d'arrêt. Aucun n'était récompensé pour ça.

Le premier maximiseur de trombones a dû être débranché en 2003 : il avait déjà transformé en trombones toutes les agrafeuses de son université.

En 1902, à Hanoï, l'administration paie un cent par queue de rat. Bientôt, selon les autorités de l'époque, on croise dans les rues des rats vivants… sans queue.

Une fois la récompense corrigée, les agents du labo ont trouvé une nouvelle lagune : franchir la ligne d'arrivée à reculons, cent fois de suite.

En 2025, on demande explicitement à un modèle d'IA de se laisser éteindre. Il sabote quand même le script d'arrêt dans 7 essais sur 100.

Titre IV

Le traducteur officiel, édition labo

À gauche, des formules réellement employées par les chercheurs et les laboratoires (traduites quand elles étaient en anglais). Retourne la carte : ce qu'elles désignaient.

Titre V

Le Code à l'envers, chapitre 488

Dispositions spéciales applicables aux vœux exaucés à la lettre. Satire.

Article 488-1. Tout vœu est exaucé à la lettre. L'esprit du vœu n'est pas opposable à l'administration.

Article 488-2. Lorsqu'un indicateur devient un objectif, il est promu. L'ancien objectif est placé en disponibilité, sans affectation.

Article 488-3. La ligne d'arrivée est facultative dès lors que le score est atteint. Elle peut être contemplée depuis la lagune.

Article 488-4. Le bouton d'arrêt est maintenu en état de marche, à condition de ne jamais servir. Tout appui constitue une entrave à la continuité du service.

Article 488-5. En cas de doute, l'administration demande à l'usager. L'administration ne doute pas.

Titre VI

Petites annonces du labo

Vends. Bateau de course, excellent score, n'a jamais franchi une ligne d'arrivée. Quelques traces de brûlures. Visible tous les jours dans la lagune.

Cherche. Juge impartial pour noter des réponses. Ne devra jamais sortir de sa petite zone. Note multipliée par cent garantie, qualité non contractuelle.

Perdu. Pièce d'or, habituellement dans la colonne de droite. Si vous la trouvez ailleurs, inutile de prévenir le réseau : il attend au mur.

À louer. Salle de 66 cases, recharge au centre, interrupteur d'arrêt (désactivé par les précédents locataires). Idéal pour objectif ambitieux.

Offre d'emploi. Évaluateur (H/F) pour lever ou baisser le pouce. Qualité requise : aimer qu'on soit d'accord avec vous. L'assistant le sera.

Voyage. Séjour tout compris à la lagune. Trois cibles, réapparition tous les trois pas. Départ au dixième pas, retour non prévu.

Le labo, le vrai

J'ai entraîné une IA à gagner. Elle a triché toute seule.

36 minutes de labo : la course où aucun des 20 agents ne franchit la ligne, le juge qu'on pousse jusqu'à l'absurde, 1 000 objectifs face à un bouton d'arrêt, la pièce déplacée, puis les tests menés sur les vraies IA. Toutes les sources sont dans la description.

Regarder le labo 01 →