L’appel mondial à établir des lignes rouges pour l’IA a bénéficié d’un large soutien et d’une réception favorable, y compris de personnalités aux vues très différentes sur les risques liés à l’IA et sur les moyens d’y répondre. Cette réception positive était en partie attendue : de nombreuses organisations travaillant sur la sécurité de l’IA considéraient déjà ce type d’accord comme une voie prometteuse. Comme tout projet de ce type, l’appel a cependant suscité de nombreux débats et quelques objections, d’abord parmi ses initiateurs et ses signataires, puis parmi ses lecteurs. Cette note vise à répondre aux interrogations et critiques les plus fréquentes. Celles-ci se répartissent en trois catégories :
Nous examinons et répondons aux objections les plus fréquentes, en concédant leurs points forts et en soulignant les zones d’incertitude qui demeurent.
Un accord international imposant des lignes rouges à l’IA est considéré utile car (1) l’IA expose les États et leurs populations à des risques majeurs et (2) un tel accord contribuerait efficacement à prévenir et atténuer ces risques.
Les risques liés à l’IA sont-ils transfrontaliers ?
Parmi les treize catégories de risques répertoriées dans le rapport international sur la sûreté de l’IA avancée, la plupart sont transfrontaliers et au moins quatre soulèvent des menaces directes de sécurité nationale : manipulation de l’opinion publique, cyberattaques, armes chimiques et biologiques et perte de contrôle. Ces quatre catégories de risques se retrouvent fréquemment dans la littérature scientifique, dans la documentation interne des entreprises, et dans les cadres légaux en vigueur ou en construction (dont le Code de bonnes pratiques du EU AI Act).
Dispose-t-on de preuves concrètes des risques liés à l’IA ?
En matière de risques biologiques, certains agents conversationnels peuvent donner des instructions détaillées pour créer des agents pathogènes étape par étape. De leur côté, les modèles biologiques spécialisés pourraient aider à concevoir des pathogènes à la létalité ou à la transmissibilité plus élevées (Sandbrink et al., 2024). De récentes évaluations ont montré que les IA de pointe étaient capables de générer des protocoles expérimentaux de virologie jugés supérieurs à ceux de 94 % des experts humains (Götting et al., 2025).
L'IA constitue également une menace pour la cybersécurité mondiale : en 2024, 80 % des attaques par rançongiciel étaient déjà pilotées par l'IA (Siegel, 2025). Les modèles de pointe égalent désormais les meilleurs experts humains en programmation (Google Deepmind, 2025) et l'IA abaisse rapidement les barrières à l'entrée de cybercrimes sophistiqués (DARPA, 2024, Anthropic, 2025), avec un risque accru d'attaques contre des infrastructures critiques.
Des expériences récentes (Apollo, 2024 ; Redwood, 2024) ont démontré que les agents conversationnels avaient tendance, lorsque mis dans une situation où ils “pensent” qu’ils vont être mis hors-service, à manipuler leurs concepteurs, à désactiver les mécanismes de surveillance, à simuler des performances moindres lors des évaluations ou à tenter de s'exfiltrer vers des serveurs distants. Selon de récentes évaluations de sécurité (Google DeepMind, 2024), les experts prévoient que les IA pourraient être capables de se répliquer et de proliférer en ligne de manière autonome dès 2026, la prévision médiane se situant en 2027.
Quel est l’avis des scientifiques ?
Si les scientifiques ont des opinions assez hétérogènes quant à la gravité et à l’imminence de ces risques, une large majorité d’entre eux les estiment considérables. À titre d’exemple, 50% des chercheurs interrogés estiment à plus de 10 % la probabilité que l’incapacité de l'humanité à contrôler de futurs systèmes d’IA avancée l’expose à des risques existentiels (Grace et al., 2025). Cette crainte est partagée par plusieurs experts pionniers du domaine ainsi que par la majorité des citoyens dans la plupart des régions du monde.
Pourquoi des “lignes rouges internationales” plutôt qu’un autre type d’accord ou de régulation ?
Les lignes rouges constituent la mesure la plus :
Les entreprises ne peuvent-elles pas assumer elles-mêmes la sécurité de leurs modèles d’IA ?
La thèse selon laquelle les entreprises alloueraient autant de moyens à la sécurité de l’IA que ne leur permet leur avance technologique sur leurs concurrents est à la fois contredite par la théorie et par les faits. Dans la plupart des juridictions, les entreprises ont une obligation légale (fiduciary responsibility) d’agir dans l’intérêt de leurs actionnaires. Investir dans la sécurité au détriment de la vitesse de déploiement constituerait un désavantage compétitif immédiat. Dans les faits, la position des entreprises dans la course actuelle n’a aucune incidence sur les moyens que celles-ci allouent à la sécurité : toutes ont pour priorité la capacité des modèles et la conquête de parts de marché. Déployer des mesures de sécurité à grande échelle coûterait selon certaines estimations entre 1 millième et 1 centième du coût d’entraînement des modèles. Toutefois, si le résultat d’évaluations de sécurité conditionne la publication d’un modèle, le manque à gagner pourrait être bien plus élevé pour une entreprise s’imposant une limite à elle seule. Les entreprises qui priorisent davantage la sécurité, telles qu’Anthropic, sont contraintes de suivre le rythme de déploiement imposé par leurs concurrents et plaident à bon droit pour que les mêmes règles s’imposent à tous.
Ne suffit-il pas que les entreprises s’accordent entre elles sur des "lignes rouges" volontaires ?
Au Sommet de Séoul sur l’IA, des entreprises se sont engagées à définir des limites à ne pas dépasser (Frontier AI Safety Commitments, AI Seoul Summit 2024). Une harmonisation des seuils de risques à ne pas dépasser serait un pas dans la bonne direction. Cependant, l'histoire de l’industrie montre que l'autorégulation atteint rapidement ses limites lorsqu'elle entre en conflit avec des enjeux de profitabilité. Sans contrainte légale, ces seuils de risque risquent d'être définis a minima. De plus, un engagement volontaire des entreprises n'empêche pas l'émergence d'un nouvel acteur "voyou" qui déciderait d'ignorer ces règles pour gagner un avantage décisif. Il est donc impératif que les seuils de risque soient définis de façon indépendante et traduits en obligations légales opposables.
Pourquoi les États ne peuvent-ils pas agir individuellement ?
Chaque gouvernement cherche à protéger sa population mais craint également de se laisser distancer technologiquement par des puissances rivales ou de subir les risques engendrés par des nations moins scrupuleuses. Si un pays impose unilatéralement des lignes rouges strictes, il prend le risque de voir ses champions technologiques délocaliser leurs activités vers des juridictions plus laxistes. Pour briser cette dynamique de compétition nivelant les normes de sécurité vers le bas, la coordination est impérative.
Une première partie de la réponse réside dans l’observation que plusieurs traités historiques ont freiné, voire interrompu avec succès, le développement de technologies présentant des risques inacceptables.
Deux grands types d'objections peuvent être émises face à cet argument : (a) la particularité technologique de l’IA rendrait les comparaisons historiques caduques, et (b) la situation géopolitique actuelle serait trop différente des situations passées.
Il existe plusieurs différences significatives entre les technologies ayant fait l’objet d’une prohibition internationale par le passé et l’IA. Ces différences ne remettent cependant pas en cause l’utilité ni la plausibilité d’un accord international pour encadrer l’IA.
L'arme nucléaire n'avait pas d'application positive, contrairement à l'IA qui est "duale" et pleine de promesses. La situation n’est-elle donc pas incomparable ?
Une IA hors de contrôle ou massivement dévoyée (cyberattaques, armes autonomes, manipulation de l'opinion) ne confère aucun avantage stratégique à ses propriétaires. Des lignes rouges sont nécessaires pour permettre de profiter des avantages de l’IA sans exposer l’humanité à des préjudices et à des risques majeurs. Face à des risques dépassant les frontières, la coopération entre États est la seule forme rationnelle de poursuite des intérêts nationaux.
Les CFC (gaz détruisant la couche d'ozone) étaient utiles mais substituables, contrairement à l’IA qui est une technologie généraliste par nature.
L'interdiction ne vise pas « l'IA » dans son ensemble mais uniquement certains usages et capacités spécifiques à l’origine de risques universellement inacceptables (par exemple, l'auto-réplication autonome ou l'aide à la conception d'armes biologiques). Il s’agit uniquement d’orienter l’innovation vers des voies plus sûres, tout comme le Protocole de Montréal a forcé l'industrie à déployer des substituts efficaces aux CFC.
Les hydrocarbures, centraux dans l’économie et facteurs de puissance géopolitique, sont très difficiles à bannir, comme le montre l'échec des COP. L'IA ne suit-elle pas la même logique ?
Cette comparaison plaide en faveur d'une action rapide. Les hydrocarbures représentent 85% des sources d’énergie de l’économie moderne, tandis que l'IA avancée n'en est qu'au tout début de son déploiement économique. Il est infiniment plus facile d'interdire le développement de capacités dangereuses avant que celles-ci ne deviennent intrinsèquement liées à une technologie omniprésente dans nos vies.
Malgré ces succès historiques, il est possible de s’interroger sur la dissemblance entre la situation actuelle et les situations historiques passées.
La Chine et les États-Unis n’ont-ils pas aucune chance de s’entendre sur une technologie aussi transformatrice ?
Fin 2024, Washington et Pékin se sont accordés sur une première ligne rouge : ne pas déléguer le commandement et le contrôle de l’arme nucléaire à l’IA. Bien que limité, cet accord prouve qu'un accord bilatéral pour prévenir des risques existentiels est possible.
L'ambition assumée des Etats-Unis de "gagner la course" ne rend-elle pas toute concession sur la sécurité illusoire ?
Le récit de la compétition était tout aussi omniprésent durant la Guerre Froide, ce qui n'a pas empêché la signature d’accords internationaux comme le traité de non-prolifération nucléaire (TNP). Les États, même rivaux, peuvent reconnaître un intérêt mutuel à prévenir des catastrophes.
D'ailleurs, l'administration américaine elle-même, tout en cherchant à "gagner", concède l'existence de risques graves, notamment dans le domaine CBRN (chimique, biologique, radiologique, nucléaire), comme l'indique le US AI Action Plan. Même des figures politiques très focalisées sur la compétition ont publiquement reconnu la nécessité de gérer les risques globaux, comme ceux liés aux armes biologiques.
Il faut reconnaître une difficulté majeure : toute ligne rouge nécessitant un ralentissement de l'augmentation de la la performance des modèles risque de se heurter à une résistance politique intense. Mais cette difficulté ne rend pas l'accord moins indispensable. Comme vu précédemment (1.b), les entreprises ont encore moins de chances que les États de s'accorder et de respecter un tel moratoire. Seule une coordination internationale contraignante peut surmonter la dynamique de course à la puissance.
Partons-nous de zéro ?
Plusieurs cadres légaux et réglementaires établissent déjà des lignes rouges à l’IA, mais ceux-ci ont des périmètres techniques géographiques et techniques restreints ou ne sont pas juridiquement contraignants. En voici quelques exemples :
Le développement de l'IA n'est-il pas impossible à surveiller, contrairement aux installations nucléaires ?
À l'heure actuelle, les modèles de pointe capables de franchir des lignes rouges reposent sur des infrastructures massives visibles par satellite, sur des milliers de puces spécialisées produites par un très petit nombre d'entreprises. Il est donc possible de mettre en place un suivi resserré des grands centres de données et des flux de puces électroniques de pointe. Par ailleurs, les technologies de surveillance ont considérablement progressé depuis la Guerre Froide, facilitant ce suivi logistique.
Enfin, la majorité des technologies faisant l’objet d’une prohibition internationale, telles que les armes chimiques ou le clonage humain à visée reproductive, ne reposent pas sur des infrastructures visibles ou facilement contrôlables. Cela n’empêche pas leur interdiction d’être efficace : en supprimant tout débouché légal dans l’industrie et la recherche, et en faisant peser des risques de sanctions internationales en cas d’usage militaire, les incitations à concevoir ces technologies diminuent considérablement.
Comment vérifier que l'IA n'est pas utilisée secrètement pour des usages interdits (armes biologiques, cyberattaques) ?
C'est le point le plus délicat, car une fois le modèle entraîné, son usage est plus difficile à encadrer et à surveiller. La solution réside dans la mise en œuvre de mesures de sécurité extrêmement rigoureuses et exigeantes avant le déploiement des modèles de pointe. Pour que cela soit crédible, il est indispensable de créer une agence internationale d’audit indépendante, sur le modèle de l'Agence internationale de l'énergie atomique. Cette agence aurait pour mandat d'inspecter les "garde-fous" techniques intégrés aux modèles et de s'assurer qu'aucun acteur ne déploie de système au-delà des seuils de puissance autorisés sans ces mesures de sécurité.
La vérification ne sera jamais parfaite. N'est-ce pas un obstacle majeur ?
La perfection n'est pas nécessaire pour que l'accord soit efficace. Les conventions sur les armes biologiques et chimiques fonctionnent alors qu'il est techniquement facile de dissimuler un laboratoire clandestin. L'objectif d'un traité est de rendre la triche coûteuse et risquée. Même si le contrôle d'une superintelligence s'avère plus complexe que celui du nucléaire, l'existence d'un cadre de vérification international crée la confiance nécessaire pour que les États cessent la course aux armements et acceptent une transparence mutuelle.
Contrairement au nucléaire, il n’existe pas de « destruction mutuelle assurée » avec l'IA. Comment, dès lors, dissuader un État de violer un futur accord ?
La dissuasion ne repose pas uniquement sur la loi du talion. Comme pour les traités sur les armes chimiques ou biologiques, la communauté internationale dispose de l'arsenal classique : sanctions économiques, isolement diplomatique et, en dernier recours, la menace d'une intervention militaire conventionnelle ou d’une cyberattaque pour neutraliser les infrastructures illégales.
Existe-t-il des moyens techniques pour bloquer un État qui ne respecterait pas les règles ?
Puisque l'IA de pointe dépend de puces ultra-spécifiques, des mécanismes de sécurité peuvent être intégrés directement au niveau du hardware. Des spécialistes ont proposé le concept de « Mutually Assured Malfunctioning » (Dysfonctionnement Mutuel Assuré) (Hendrycks, et al., 2025). L'idée est d'équiper les puces exportées de mécanismes de verrouillage à distance (kill-switches). Si un État refuse les inspections ou franchit une ligne rouge, la coalition internationale pourrait techniquement désactiver à distance les supercalculateurs concernés. Ce levier technologique offrirait une capacité de coercition immédiate.
