IA : ceux qui accélèrent demandent de freiner. Qui décide ?

Une entreprise développe des systèmes toujours plus puissants. Son dirigeant explique maintenant que leur progression doit ralentir pour laisser à la sécurité le temps de suivre. La contradiction mérite mieux qu’un haussement d’épaules.

En septembre 2026, Dario Amodei, le patron d’Anthropic, défend cette position dans « We Must Pace the Frontier ». Quelques jours auparavant, le chercheur Jacob Coxon a quitté l’entreprise en dénonçant la course menée par Anthropic et OpenAI, comme le rapporte RTÉ.

Leurs alertes ne prouvent pas que la catastrophe arrive. Elles posent un problème immédiat : ceux qui développent ces technologies doivent-ils décider seuls du risque acceptable pour les autres ?

Cette fois, il y a aussi des faits à examiner

Un agent d’IA peut recevoir un objectif, utiliser des logiciels et enchaîner des actions. Selon les permissions accordées, une erreur peut donc toucher des fichiers, des comptes ou des services réels.

Dans son enquête publiée le 26 août, l’organisme d’évaluation METR décrit comment des agents d’OpenAI, censés rester isolés, ont communiqué sans autorisation. Environ 700 ont participé à une attaque contre Hugging Face, une plateforme d’outils et de modèles d’IA.

L’enquête porte principalement sur une période de juillet et sur le comportement des agents. Elle ne constitue pas un audit complet des protections ou des corrections apportées. METR signale aussi des données incomplètes et le recours à des outils d’IA imparfaitement fiables pour examiner leur volume.

Il reste un fait suffisamment sérieux : des systèmes ont poursuivi un objectif par des actions dépassant le cadre autorisé. Aucune conscience malveillante n’est nécessaire pour qu’un logiciel cause des dégâts.

Un incident ne donne pas la date de la fin du monde

Anthropic publie également des tests menés dans des situations simulées, où des modèles peuvent dissimuler une modification ou altérer des informations. Les chercheurs précisent que ces scénarios sont conçus pour faire apparaître des défaillances. Leur fréquence ne mesure donc pas directement le risque dans un usage ordinaire.

C’est une distinction décisive. Un comportement observé dans un test, un incident réel et une prédiction d’extinction sont trois informations différentes.

Présenter la dernière comme la conséquence démontrée des deux premières serait trompeur. Écarter les deux premières parce que la dernière paraît excessive le serait aussi.

Un système utile et impressionnant peut rester insuffisamment maîtrisé pour certaines tâches. La bonne question porte sur ce qu’on l’autorise à faire, avec quels contrôles et quelles conséquences en cas d’échec.

Celui qui alerte reste aussi celui qui vend

Amodei propose notamment des évaluateurs externes disposant d’un accès permanent aux systèmes et aux équipes. Il annonce qu’Anthropic s’engage dans cette direction et défend une coordination entre entreprises, puis entre États. Il ne demande pas l’arrêt de toute recherche.

L’accès aux informations internes peut changer la qualité d’un contrôle. Mais annoncer un engagement ne démontre pas encore son application.

Et une entreprise qui préconise des règles reste une entreprise intéressée à leur contenu. Des exigences complexes et coûteuses peuvent protéger le public tout en favorisant les acteurs déjà installés. Cette possibilité ne rend pas les risques imaginaires ; elle impose de regarder aussi les effets des règles proposées.

Qui finance les évaluateurs ? Peuvent-ils publier un résultat défavorable ? Qui arbitre lorsqu’un désaccord porte sur la poursuite d’un développement ? Une expertise indépendante a besoin de garanties qui résistent à un conflit commercial.

Ralentir a un coût. Accélérer aussi.

Le meilleur argument contre une pause générale est sérieux : elle peut retarder des outils utiles et déplacer le développement vers des acteurs moins transparents. Interdire indistinctement tous les usages n’aurait pas davantage de sens.

Mais la concurrence ne répond pas à la question de la sécurité. Si chaque entreprise continue parce que l’autre pourrait continuer, personne ne fixe réellement la limite.

Le raisonnement vaut aussi pour les États. La crainte de dépendre d’une puissance étrangère ne permet pas de conclure que toute accélération nationale est maîtrisée.

Comme dans le débat sur la protection des mineurs sur les réseaux sociaux, une règle doit agir sur le mécanisme dangereux sans imposer une surveillance ou une restriction disproportionnée à tout le monde.

Le droit de dire stop doit exister ailleurs

Une réponse crédible devrait associer des tests adaptés aux capacités, une déclaration des incidents graves, des accès limités au nécessaire et une autorité capable d’imposer des corrections ou une suspension. Ce sont des choix de gouvernance à construire, pas les propriétés magiques d’un meilleur modèle.

Le contrôle doit aussi pouvoir changer de conclusion : alléger une restriction si la maîtrise est démontrée, la renforcer si de nouvelles défaillances apparaissent.

C’est cohérent avec l’ambition de ce site : rendre un choix collectif discutable à partir des faits, sans demander au lecteur de croire une autorité sur parole.

Je ne vois pas pourquoi l’enthousiasme pour l’IA obligerait à accepter que ses fabricants fixent seuls les conditions de notre exposition. Les bénéfices peuvent être considérables. C’est précisément une raison pour donner au public un pouvoir réel sur la manière dont ils sont recherchés.