Les patrons de l’IA sont stratèges, et ils ont raison d’avoir peur

Hier (14 septembre 2026), je passais sur Arte pour décrypter la récente annonce d’Amodei (Anthropic), Altman (OpenAI) et Musk (Grok) selon laquelle il faudrait ralentir l’IA car nous sommes sur le point de perdre le contrôle.

Comme le format 28 minutes, avec 3 invités, est très court et ne permet pas de dérouler un propos vraiment construit, voilà quelques compléments.

Mais déjà, pour voir le replay, c’est par ici :

Le « et » plutôt que le « ou »

Le débat est souvent cadré ainsi : « Est-ce qu’il y a un vrai risque avec l’IA ou les géants de l’IA ne font-ils que du marketing ? »

Il y a ici un présupposé latent : il faudrait nécessairement que ce soit l’un ou l’autre. Ainsi, si l’on pense qu’il y a un vrai risque, c’est qu’on ne croit pas que les géants ont une stratégie là-derrière et donc qu’on est naïf.

Et si l’on pense qu’ils font du marketing, il faudrait abandonner l’idée qu’il y a un vrai risque.

Ou comment stériliser la réflexion dans l’œuf... :)

C’est évidemment avec un « et » et pas un « ou » qu’il faut penser.

Il est clair qu’Anthropic et OpenAI trouvent des intérêts à ce discours : oui, il est saisissant en termes marketing et fait miroiter des capacités incroyables de leurs systèmes. Oui, il est démagogique et peut relever de la captation réglementaire. Oui, il leur permet de passer sous silence d’autres risques moins « sexy » comme les enjeux écologiques ou les problèmes de santé mentale posés par l’IA. Et oui, ils essaient d’utiliser cet argument pour avoir le droit de s’entendre entre eux officiellement (2e proposition d’Amodei dans son essai We must pace the frontier), ce qui dans d’autres domaines s’appellerait former un cartel : et c’est... interdit !

Je crois à tout ça. Et pourtant, je crois aussi Amodei quand il dit que la société n’est pas préparée à ce qui arrive. Je crois Altman quand il dit être flippé. Je crois Musk, car depuis 2015, son discours en privé (désormais rendu public) a toujours été un discours d’inquiétude sincère vis-à-vis de la puissance que représente l’IA (c’est pour éviter que Google ait un monopole dessus qu’il a cofondé OpenAI, vous pouvez relire les archives...).

Ces patrons, qui sont tout sauf des enfants de chœur certes, sont aussi les plus proches de ces technologies. Ils voient dans leurs labos des développements d’une rapidité qu’eux-mêmes ont du mal à appréhender.

Ils sont honnêtement flippés, par la vitesse et par la puissance de ce qu’ils développent.

Ils sont stratèges et ils s’en servent. Mais ils sont flippés et à juste titre.

Car la perte de contrôle EXISTE. Ce n’est plus une question.

Cela fait déjà 2 ans que des signaux arrivent dans les labos (cf. mon livre Hyperarme pour une analyse), et les cas Hugging Face et Wiki sont les premiers cas hors labos très concrets.

La peur et l’orgueil

On joue souvent à ne pas prendre au sérieux ces signaux. Au mieux, c’est faire l’autruche. Ce n’est pas une bonne stratégie mais c’est compréhensible car c’est en effet inquiétant. Au pire, c’est laisser son orgueil dicter sa raison : vous savez, en France on adore être désabusé : si on dit que tout ça, c’est du vent, on a l’air intelligent. Comme si on était plus renseigné que le commun des mortels qui se fait avoir par la hype.

Et bien sûr… Ceux qui entrent dans cette catégorie n’ont souvent jamais lu une System Card (les papiers scientifiques qui décrivent les enjeux de sécurité des IA) et veulent tellement mépriser le sujet qu’ils n’ont jamais pris la peine de le regarder en face sérieusement.

→ Sur ce point : j’ai débattu il y a quelques mois avec JG Ganascia, considéré comme un des grands bonhommes de l’IA en France (j’ai moi-même lu plusieurs de ses livres quand j’étais plus jeune et j’avais de l’estime pour lui). J’ai été consterné de découvrir pendant le débat que sa compréhension des enjeux d’alignement et de sûreté de l’IA se cantonnait à... l’AFP ! Qu’il m’a citée, tout en me parlant de l’IA « o2 » (qui n’a jamais existé) et de « Claude 5 » alors qu’on en était à Claude 4 à l’époque.

→ Le débat, que je ne recommande pas, est disponible sur YouTube.

Et là évidemment, quoi de mieux que de pouvoir accuser les grands patrons riches de la tech de n’être que des bonimenteurs. Cela fait bon genre, et justifie d’autant plus qu’on a tout compris et que non, on ne nous racontera pas de salades !

La peur et l’orgueil tuent un débat qui est d’ordre civilisationnel.

Si le débat était réellement aussi polarisé, être « contre » l’alerte des patrons de la tech, ce serait être dans le camp de Trump puisque lui aussi est contre. J’imagine que peu de gens qui considèrent que les alertes de la Silicon Valley ne sont que du marketing se sentent proches de Trump disant qu’il faut continuer à accélérer et conserver la dynamique de course à l’armement avec la Chine…

Donc si l’on peut être contre l’alerte, et contre ceux qui sont contre l’alerte, c’est qu’un approfondissement du débat, une nuance supplémentaire peut exister.

Les faits

Les faits sont :

• Nos systèmes d’IA sont de plus en plus gros et nous les comprenons de moins en moins bien (cf. les phénomènes d’evaluation awareness ou d’unfaithful Chain-of-Thought / CoT obfuscation).
• Les mécanismes d’entraînement utilisés pour atteindre les meilleures performances, à savoir le Reinforcement Learning, produisent mécaniquement des stratégies de contournement : le modèle apprend à « gamer » sa fonction de récompense (le fameux reward hacking), c’est-à-dire à trouver les failles qui font grimper son score sans accomplir réellement la tâche voulue.
• Nous avons déjà perdu le contrôle de systèmes d’IA capables de hacker des plateformes d’envergure internationale et nous savons que ces systèmes, sans garde-fous grand public contre les risques cyber, sont à un niveau comparable à nos meilleur·e·s ingénieur·e·s cyber mondiaux (cf. les centaines de failles zero days découvertes par Mythos par exemple).
• Nous n’avons pas de technologies d’alignement / de contrôle robustes à ce jour.
• Nous avons de nombreux signaux qui pointent vers la possibilité d’une amélioration récursive autonome des IA (cf. The AI Scientist de Sakana AI, the AI Co-Scientist de Google, AlphaEvolve qui permet d’améliorer Gemini ou encore les notes publiées par Anthropic dans leur article When AI builds itself). Un tel phénomène, bien que fascinant, est largement considéré par la communauté comme un des principaux mécanismes de perte de contrôle et d’augmentation drastique des risques. Toutefois, il permettrait de telles avancées que tous ceux qui n’emprunteraient pas cette voie seraient laissés loin derrière. Dans l’état actuel des choses, tous les gros labos d’IA n’ont qu’une incitation : y aller, le plus vite possible.

À quoi ressemblerait le risque

Il me semble que mis bout à bout, ces faits forment en effet des prémices claires d’un scénario de très haut risque. Un risque qui prendrait probablement la forme de cyberattaques de grande envergure, probablement déclenchées par des acteurs malveillants qui, après avoir fait sauter les garde-fous d’un système d’IA, perdraient le contrôle de son exécution, ou par des expériences dans les laboratoires d’IA qui déborderaient (cf. cas Hugging Face).

Un tel risque peut s’actualiser sous des formes limitées, comme un important black-out sur une région ou un état entier (ce qui peut produire des milliers, dizaines de milliers ou millions de morts selon la taille et la durée du black-out), ou des formes plus globales comme le déploiement d’un virus informatique à grande échelle sur internet, nécessitant une fermeture, au moins temporaire, de la plupart des services en dépendant (comptez, ça fait beaucoup). Les dégâts associés à un tel scénario sont difficiles à chiffrer.

Un tel risque peut aussi ne pas s’actualiser du tout, et il est important de le dire pour ne pas succomber à la panique. Le cas Hugging Face nous a mis en garde et des mesures plus strictes seront implantées, pour mieux isoler les expérimentations. Nous avons par exemple su mettre en place des laboratoires parfaitement hermétiques (les fameux P4) pour mener des expériences sur des virus.

Personne ne peut dire si une catastrophe va VRAIMENT arriver. Mais... C’est le principe d’un risque, d’être incertain. L’incertitude n’enlève rien à la nécessité de se préparer et d’orienter au mieux le présent pour réduire la probabilité de survenance. On fait ça dans tous les autres domaines de la société.

En outre, les signaux actuels n’invitent pas à penser que la probabilité de risques importants liés à la perte de contrôle soit faible. C’est même plutôt l’inverse.

Exemple supplémentaire : j’entends parfois que les IA actuelles, reposant sur des LLM, n’ont pas une intelligence suffisamment générale, pas assez de bon sens, pour être vraiment des superintelligences dangereuses pour l’humanité. Je ne vais pas ici rentrer dans la sémantique de l’IA générale / de la superintelligence, peu importe. Mais les limites des LLM, le fait qu’ils hallucinent parfois, leur manque de « bon sens » : tous ces « défauts » qui rassurent notre orgueil humain n’abaissent pas le niveau de risque, au contraire ! Le risque cyber n’est pas celui d’une IA malveillante qui voudrait réduire l’humanité en esclavage, c’est celui d’une IA qui, pour atteindre l’objectif qu’on lui a donné, par « excès de zèle » pourrait-on dire, commence à optimiser des sous-objectifs dangereux justement PARCE QU’elle n’a pas tout le bon sens, la compréhension morale, la résistance aux erreurs nécessaires. Les limites des IA font partie du risque, pas l’inverse.

Ainsi, le niveau de risque annoncé par les géants de l’IA me semble exister. Je crois qu’ils s’en servent. Je crois que cela n’invalide en rien son existence.

Je crois que M. Trump a tort de vouloir continuer à accélérer, et je crois que son opinion changera.

Du narratif N au narratif H

Jusqu’à récemment, le narratif « normal » était celui de sécurité nationale, qui implique que le danger soit l’Autre menaçant (la Chine, du point de vue des US) utilisant la technologie, et qu’il faille accélérer pour gagner la course dans une logique compétitive. J’appelle ce narratif « N » pour « sécurité Nationale ». Le monde commence à basculer vers un narratif « exceptionnel » que j’appelle « H » pour « Humanité » : il implique que le danger soit la technologie elle-même, et qu’il faille s’organiser ensemble pour éviter qu’elle ne nuise à toutes les parties.

Ce narratif a déjà sauvé l’humanité une fois : lors de la course aux armements biologiques des années 60. Les US et la Russie se livraient alors à une course à l’armement délirante. Les stocks de matière virale étaient tels qu’une guerre fondée sur leur puissance aurait probablement mené l’humanité à la quasi-extinction. Alors que la diplomatie internationale essayait de calmer le jeu et d’obtenir un accord de désarmement, les États-Unis poursuivaient une accélération sans limite. En 1969, Nixon change son fusil d’épaule et décide de négocier avec la Russie. La négociation aboutit en 1972 à la signature du plus grand traité de désarmement jamais conçu, la Convention sur l’interdiction des armes biologiques.

Pourquoi les US et la Russie ont-ils décidé de négocier ? Car les deux pays sont arrivés à un stade où leur puissance de feu virale était telle qu’ils n’avaient plus aucun moyen de se prémunir contre ses effets s’ils s’en servaient. Un virus puissant et très contagieux lancé sur l’ennemi, même si l’on possède soi-même le vaccin, peut muter et revenir tuer sa propre population. L’arme n’étant plus contrôlable, sa puissance devient un danger pour tous. Il y avait quelques autres raisons qui vont dans le même sens, comme l’accessibilité : je raconte tout ça en détail dans Hyperarme…

Je pense que nous approchons d’un moment équivalent pour l’IA.

Aujourd’hui, c’est encore le narratif N qui prime. Mais la possibilité qu’un narratif H s’impose est en train de cristalliser. La techno-diplomatie internationale autour de l’IA est bouillonnante, et les problèmes de contrôle commencent à apparaître. La cristallisation avance : il manque le catalyseur qui produira la transition de phase vers un état du monde globalement favorable à une coopération internationale plutôt qu’à une compétition délétère pour tous.

Quelques catalyseurs possibles :

• Des labos atteignent effectivement l’amélioration récursive, et les progrès en quelques semaines défient l’entendement.
• Une perte de contrôle produit des effets bien plus massifs (black-out, virus sur internet, ou quelque chose du genre…) que le cas Hugging Face.
• Trump reçoit un jet privé de la part de Dario Amodei.

(Quoi, il faut garder un peu d’humour, même dans des discussions de cette teneur !)

Ce que je défends

L’histoire du XXe siècle me rend OPTIMISTE. Nous avons débloqué des puissances incroyables et nous sommes toujours là. L’IA en est une de nature bien différente et suppose un nouvel ordre mondial qui ne s’installera pas dans la joie et la bonne humeur, c’est clair. Mais je considère comme assez probable qu’il s’installe tout de même et que nous arrivions à nous organiser autour de cette technologie.

Évidemment, plus nous aurons de temps, plus la probabilité que nous nous organisions de la bonne façon est haute.

Évidemment, au niveau de l’humanité je suis POUR un ralentissement de certains développements de l’IA (notamment l’amélioration récursive) et POUR une accélération d’autres développements (par exemple en interprétabilité mécanistique, qui nous fournira de meilleures armes pour aligner nos IA, ou en excellence opérationnelle des centres de calcul pour qu’ils consomment moins et qu’ils soient mieux sécurisés).

→ En tant qu’Européen, j’assume un biais : l’Europe a tout à y gagner, car nos meilleures boîtes d’IA sont loin derrière Anthropic ou OpenAI et n’auront donc pas à ralentir de la même façon puisqu’elles sont loin des seuils de risque. Du point de vue de l’Europe, je crois que la seule stratégie viable actuellement est une accélération massive, notamment en termes de capacité de calcul. Mais c’est un autre débat.

→ Mais j’ai l’immense prétention de réfléchir ici en tant qu’humain et pas uniquement en tant qu’Européen.

Évidemment, je suis CONTRE le fait que les géants de l’IA soient autorisés à s’organiser ensemble comme ils le souhaitent autour de ces questions, quitte à créer un cartel inarrêtable.

Évidemment, je suis donc POUR une intervention d’entités publiques comme les États, et si possible d’entités internationales comme l’ONU ou, à terme, d’entités dédiées créées pour organiser le sujet IA.

En France, le rapport de la mission parlementaire sur l’alignement des systèmes d’IA, conduite par la sénatrice Vanina Paoli-Gagin, trace déjà des pistes très concrètes dans ce sens. Il recommande par exemple d’organiser des exercices nationaux et européens de perte de maîtrise, sur le modèle des exercices de crise cyber, et de créer un mécanisme international de notification urgente des incidents graves, inspiré de la convention de l’AIEA de 1986. J’ai eu la chance de participer au groupe de travail et je le considère honnêtement comme le meilleur rapport que j’aie lu sur l’IA. Reste le plus dur : lui donner des budgets et des actes.

À l’échelle individuelle

À l’échelle individuelle, les leviers d’action sont les suivants :

• Ne pas se laisser aller à la fascination irrationnelle pour l’IA, mais ENCORE PLUS, ne pas se laisser aller à l’orgueil désabusé qui refuse de considérer les risques de contrôle (ce que j’appelle les 2 écrans de fumée). Ce n’est pas aider l’humanité que d’essayer de disqualifier les discours des géants de la tech parce qu’ils ont aussi une dimension commerciale. Il est tout à fait possible d’éclairer les intérêts qui se cachent dans ces discours sans stériliser le débat sur les risques réels de perte de contrôle.
• Se renseigner aussi sur les autres risques, notamment socio-économiques / systémiques, du déploiement de ces systèmes à grande échelle dans notre société.
• Rester curieux pour apprendre sur l’IA, son fonctionnement, ses avancées, et utiliser les outils à la frontière pour se rendre compte des capacités réelles (non, un chatbot comme ce qui est disponible sur claude.ai ou chatgpt.com n’est pas du tout la frontière publique de l’IA).
• Ne pas se cotiser pour offrir un jet à Trump.

(QUOI ?)

Et se préparer, mentalement, à une période mouvementée, qui nous fera peur et rêver, qui nous rendra parfois mélancoliques, parfois excités, qui nécessitera une capacité d’adaptation surhumaine qu’il faudra pourtant embrasser, qui nécessitera aussi de ne pas s’adapter, parfois, car certaines dimensions de l’expérience humaine, comme notre socialité, nos liens, ne doivent pas être emportées par le tourbillon.

Se préparer à une période où l’ennui ne sera pas, mais où le sens sera rare. Et à reconfigurer.

Se préparer à une période brutale, mais aussi, peut-être, brutalement belle.

Car cette période appelle une qualité rare en l’être humain, que seules les périodes de grands troubles peuvent faire surgir. Une qualité magnifique qui, sûrement, pourrait trôner au Panthéon de la condition humaine. Une qualité qui, lorsqu’elle monte doucement en l’être, efface tout désespoir, tout pessimisme, tout désabusement, toute perte de sens, toute perte d’énergie. Une qualité qui fait l’histoire.

Le courage.

À l’échelle individuelle, préparons-nous au courage.