Ce texte a été initialement publié par Aspen Strategy Group (ASG), un programme politique du Aspen Institute. Il fait partie d’une collection de documents intitulée Intelligent Defense: Navigating National Security in the Age of AI. Pour découvrir le reste de la collection, veuillez consulter la publication ici.
Comme souligné dans le Rapport scientifique international sur la sécurité de l’IA avancée, les capacités des systèmes d’IA à usage général n’ont cessé de croître au cours de la dernière décennie, et ont connu une accélération marquée au cours des dernières années. Si ces tendances se maintiennent, et conformément aux objectifs avoués des entreprises leaders dans le domaine de l’IA, il est probable que nous atteignions des capacités de niveau humain pour un large éventail de compétences cognitives, ce que l’on appelle communément l’intelligence générale artificielle (AGI en anglais). Il est remarquable que nous soyons déjà parvenus à un niveau humain de compétence en matière de langage naturel, c’est-à-dire à des systèmes capables de lire et de comprendre des textes et de répondre avec fluidité ou de générer de nouveaux contenus textuels, visuels, audio ou vidéo. Bien qu’il soit impossible de prédire avec précision les progrès scientifiques futurs, de nombreux chercheurs réputés estiment aujourd’hui que le délai avant d’atteindre le niveau AGI pourrait être aussi court que quelques années ou une décennie. Sur Metaculus (un marché de prédictions reconnu et considéré rigoureux) plus de 20 % prévoient l’AGI avant 2027. Cette observation est cohérente avec les progrès constants réalisés au cours de la dernière décennie grâce aux progrès algorithmiques et à l’augmentation de la quantité de ressources de calcul utilisées, ainsi qu’avec l’augmentation exponentielle des investissements mondiaux en R&D dans le domaine de l’IA, qui se chiffrent à plusieurs billions (1012) de dollars. Alors que l’absence de capacités de délibération interne, autrement dit le fait de penser, a longtemps été considérée comme l’une des principales lacunes de l’IA actuelle, une avancée récente basée sur une nouvelle forme d’IA avec une composante de délibération interne porte à croire que nous pourrions être sur le point de combler l’écart qui sépare l’IA d’un raisonnement de niveau humain. Il se peut aussi que des obstacles retardent cela de plusieurs années ou décennies, mais le principe de précaution nous demande de considérer ce qui est plausible et avec un potentiel catastrophique.
De plus, les entreprises d’IA les plus avancées cherchent à développer des IA dotées d’une compétence spécifique qui pourrait très bien débloquer toutes les autres et accélérer considérablement les progrès dans le secteur : des IA capables de faire avancer la recherche en IA. Un système d’IA qui serait aussi doué en matière de recherche en IA que les quelques chercheurs les plus compétents des plus grands laboratoires d’IA multiplierait par plusieurs ordres de grandeur la main-d’œuvre en recherche avancée. Bien qu’il faille des dizaines de milliers de processeurs graphiques (GPU en anglais) pour entraîner l’IA, une fois qu’elle est entraînée, elle peut être déployée en parallèle, ce qui équivaudrait à des centaines de milliers de chercheurs en IA automatisés. Une telle intensification pourrait très rapidement mener à l’atteinte de systèmes d’IA aux capacités supérieures à celles des humains. La matérialisation d’un tel scénario pourrait conduire à une transition rapide du niveau AGI au niveau de la super-intelligence artificielle (ou ASI pour Artificial Super-Intelligence en anglais) qui excèderait les compétences humaines sur plusieurs plans. Cela pourrait alors prendre entre quelques mois et quelques années d’après certains experts. Il peut être difficile d’imaginer de telles possibilités, et nous n’avons aucune garantie qu’elles se concrétiseront, car le rythme et la direction du développement futur de l’IA dépendent en grande partie des décisions politiques et des avancées scientifiques des mois et des années à venir. Toutefois, compte tenu des conséquences potentielles de certains des scénarios jugés comme étant plausibles par de nombreux experts, nous devons réfléchir sérieusement à la manière de les atténuer dès maintenant.
Si le niveau ASI est atteint, quelles pourraient en être les conséquences? Il est plausible que les bénéfices potentiels soient énormes et pourraient permettre une croissance économique significative ainsi qu’une amélioration considérable du bien-être des sociétés, notamment grâce à des progrès dans les domaines de la médecine, de l’éducation, de l’agriculture et de la lutte aux changements climatiques. Toutefois, ce niveau d’intelligence supérieur pourrait également procurer des avantages stratégiques inégalés à l’échelle mondiale et favoriser une minorité d’individus ou de groupes (que ce soient des entreprises ou des pays), tout en causant de graves préjudices à beaucoup d’autres. Ceci est particulièrement vrai dans les contextes géopolitique et économique actuels, au sein desquels le contrôle de ces technologies est extrêmement concentré. Les sociétés devront se poser plusieurs questions : qui contrôlera ce pouvoir considérable et à quelles fins? Une telle concentration de pouvoir peut-elle menacer la démocratie? Au-delà du danger que comporterait une utilisation malveillante, avons-nous les connaissances et les moyens nécessaires pour contrôler des machines plus intelligentes que les humains? L’ASI ouvrirait une véritable boîte de Pandore, avec certains effets bénéfiques et d’autres destructeurs, possiblement autant que les risques existentiels connus actuellement. Une part importante des chercheurs en IA reconnaissent la possibilité de tels risques : Une enquête récente menée auprès de près de 3 000 auteurs d’articles sur l’apprentissage automatique dans des revues scientifiques reconnues montre qu’ « entre 37,8 % et 51,4 % des répondants estiment qu’il y a au moins 10 % de chances que l’IA avancée aboutisse à des résultats aussi graves que l’extinction de l’humanité ».
Ces préoccupations reposent également sur des arguments scientifiques (voir aussi le rapport mentionné plus haut pour plus de références). Premièrement, il convient de rappeler les fondements de l’IA : la capacité de répondre correctement à des questions et d’atteindre des objectifs. Dans le cas d’un système ASI, quiconque dicte ces questions et ces objectifs pourrait donc exploiter ce pouvoir intellectuel pour acquérir des capacités scientifiques, psychologiques et de planification supérieures à celles d’autres organisations humaines, et pourrait utiliser ce pouvoir pour accroître sa puissance, possiblement au détriment de la collectivité. L’utilisation malveillante de l’IA pourrait progressivement mener à d’extrêmes concentrations de pouvoir, y compris à la domination économique, politique ou militaire, si aucun contre-pouvoir n’est en place pour empêcher les systèmes ASI et ceux qui les contrôlent d’acquérir un avantage stratégique décisif. Deuxièmement, un système ASI pourrait éventuellement être l’entité qui exerce le contrôle, s’il a pour objectif son autoconservation. Dans ce cas, il est fort probable qu’il exécuterait des sous-objectifs afin d’augmenter sa probabilité de survie. Un système ASI dont l’objectif principal est l’autoconservation pourrait notamment se copier dans des systèmes informatiques non sécurisés à l’échelle mondiale et s’exprimer avec fluidité et de manière extrêmement convaincante dans toutes les langues les plus communes. Si cela devait se produire avant que nous ne disposions d’un moyen de garantir que l’ASI soit aligné avec les intérêts humains ou assujetti à une surveillance et à un contrôle humains efficaces, cela pourrait conduire à des résultats catastrophiques et à des menaces majeures pour notre sécurité collective. En gardant à l’esprit que certains humains voudraient (à juste titre) éteindre une telle machine, précisément pour éviter tout préjudice, il serait dans l’intérêt de l’IA (1) de s’assurer qu’il soit difficile pour les humains de l’éteindre, par exemple en se copiant dans de nombreux endroits sur le web, (2) d’essayer d’influencer les humains à son avantage, par exemple par le biais de cyberattaques, de persuasion, de menaces, et (3) une fois qu’elle aurait réduit sa dépendance envers les humains (par exemple, en raison d’avancées en robotique), elle pourrait chercher à éliminer complètement les humains, par exemple en ayant recours à un nouveau virus létal et très contagieux.
De nombreuses trajectoires pourraient conduire à l’émergence d’une IA ayant un objectif d’autoconservation. Un opérateur humain pourrait spécifier cet objectif de manière explicite (tout comme nous tapons des requêtes dans ChatGPT), par exemple pour servir une idéologie (certains groupes ont pour objectif avoué de voir des systèmes ASI remplacer l’humanité en tant qu’entités dominantes). Mais il existe également des raisons mathématiques qui expliquent pourquoi l’autoconservation pourrait émerger de manière involontaire. Par définition, l’AGI atteindrait au moins une autonomie de niveau humain si on lui donnait simplement accès à une ligne de commande sur ses propres serveurs (voir les avancées permettant à l’IA de contrôler un ordinateur). Pour qu’un agent autonome ait le plus de chances possible d’atteindre presque n’importe quel objectif à long terme, y compris les objectifs fixés par des opérateurs humains, il devra veiller à sa conservation. Si nous manquons de prudence, cet objectif implicite d’autoconservation pourrait mener à des actions nuisibles au bien-être des sociétés, et il n’existe actuellement aucune technique très fiable permettant de concevoir une IA dont la sécurité est garantie. Il est aussi important de noter que le fait de permettre aux systèmes d’IA de pointe d’agir de manière autonome (c’est-à-dire de permettre à l’IA non seulement de répondre à des questions, mais aussi de planifier et d’agir de manière autonome) revêt une grande valeur commerciale et militaire et qu’il existe de puissants incitatifs pour investir des sommes considérables dans la recherche et le développement en ce sens. La méthode de pointe actuelle visant à transformer les IA en agents grâce à des techniques d’apprentissage par renforcement consiste à créer des systèmes qui tentent de maximiser les récompenses positives – ce qui ouvre la voie pour que l’IA prenne éventuellement le contrôle du système de récompenses lui-même.
Défis majeurs en matière de sécurité nationale posés par l’AGI et l’ASI
Si les systèmes d’IA parviennent à atteindre un niveau d’intelligence et d’autonomie égal ou supérieur à celui des humains, les risques pour la sécurité nationale et internationale atteindront un niveau sans précédent. Il est urgent de commencer à prendre des mesures pour atténuer ces menaces, à la fois en raison du délai incertain avant l’atteinte des niveaux AGI et ASI, et du fait que la mise en place de garde-fous, de contre-mesures et d’accords internationaux pourrait arriver beaucoup moins rapidement que le déploiement des prochains modèles d’IA les plus puissants, surtout dans le contexte réglementaire actuel, qui impose peu, voire pas du tout, de restrictions.
Il est utile de catégoriser les différents types de menaces, car les mesures de mitigation peuvent différer, et nous devons trouver des solutions à chacune d’entre elles qui n’aggravent pas les autres. De manière générale, il y aura de nombreux effets imprévus et un potentiel de résultats catastrophiques, ce qui incite à la prudence.
- Menaces pour la sécurité nationale dues à des opposants utilisant l’AGI/ASI : Même avant l’atteinte du niveau AGI, des individus ou groupes malveillants pourraient avoir recours à des systèmes d’IA avancés pour procéder à des destructions massives, que ce soit sous la forme de menaces NRBC (nucléaire, radiologique, biologique, chimique) ou de cyberattaques. Le modèle OpenAI o1 récemment lancé (septembre 2024) est le premier modèle à franchir la limite établie par l’entreprise entre « risque faible » et « risque moyen » pour les capacités NRBC – le niveau de risque maximal toléré par OpenAI avant que ses politiques n’interdisent le déploiement d’un modèle. De telles menaces ne seront que plus importantes à mesure que les capacités de l’IA continueront d’augmenter. Les progrès en matière d’autonomie et d’agentivité doivent être suivis de près, et il faut s’attendre à ce que les progrès d’o1 en matière de capacités de raisonnement et de résolution de problèmes de planification simples (de 35,5 % à 97,8 % sur test Blocksworld) ouvrent bientôt la voie à une meilleure capacité de planification à long terme (ce pour quoi o1 n’a pas encore été entraîné) et donc à une agentivité améliorée de l’IA. Cela pourrait générer une grande valeur économique et géopolitique, mais représenterait également une menace importante pour les humains et les infrastructures, à moins que des garde-fous et des contre-mesures politiques et techniques ne soient mis en place pour empêcher que des systèmes AGI ne tombent entre de mauvaises mains.
- Menaces pour les processus démocratiques dues à l’IA actuelle et future : Les hypertrucages sont déjà utilisés dans le cadre de campagnes politiques et pour promouvoir des théories conspirationnistes dangereuses. Les répercussions négatives des avancées futures de l’IA pourraient être beaucoup plus importantes, et l’AGI pourrait perturber de manière significative l’ordre social et l’équilibre du pouvoir. À court terme, nous ne sommes pas loin de l’utilisation de l’IA générative pour concevoir des campagnes de persuasion personnalisées. Une récente étude a comparé la capacité de GPT-4 et celle d’humains à convaincre un sujet (qui ne sait pas s’il interagit avec un humain ou une machine) à changer d’opinion par le biais d’un dialogue textuel. Lorsque GPT-4 a accès à la page Facebook du sujet, cette personnalisation permet une persuasion nettement supérieure à celle exercée par des humains. Nous ne sommes qu’à un petit pas d’augmenter considérablement cette capacité de persuasion en améliorant les compétences de persuasion des modèles génératifs grâce à un entraînement spécialisé supplémentaire (appelé peaufinage ou fine-tuning en anglais). Un modèle à code source ouvert de pointe tel que Llama-3.1 pourrait probablement être utilisé à cette fin par un individu ou un groupe malveillant. Il est probable que ce type de menace soit de plus en plus important à mesure que les capacités de persuasion des systèmes d’IA avancés augmenteront, et nous pourrions bientôt être confrontés à des capacités de persuasion surhumaines étant donné les compétences linguistiques élevées des grands modèles de langues (qui sont déjà supérieures à la moyenne humaine). Si ces capacités sont combinées à des progrès en matière de planification et d’agentivité (pour atteindre des objectifs très précis et personnalisés en matière de façonnement de l’opinion), l’effet pourrait être extrêmement déstabilisant pour les processus démocratiques et favoriser la montée des régimes totalitaires.
- Menaces pour l’État de droit : Quiconque contrôle la première technologie d’ASI pourrait acquérir suffisamment de pouvoir – par le biais de cyberattaques, en exerçant une influence politique ou en renforçant ses capacités militaires – pour empêcher d’autres acteurs d’atteindre le même objectif en matière d’ASI. Une telle centralisation du pouvoir pourrait se produire à l’intérieur ou à l’extérieur des frontières nationales et constituerait une menace majeure pour la souveraineté des États. La tentation d’utiliser l’ASI pour accroître son pouvoir sera forte pour certains, et pourrait être motivée par la crainte que des adversaires (y compris des opposants politiques ou commerciaux) ne le fassent en premier. La démocratie moderne est apparue grâce aux premières technologies de l’information et de la communication (que ce soit les systèmes postaux, les journaux ou les télécopieurs), où aucun humain ne pouvait facilement vaincre une majorité d’autres humains s’ils parvenaient à communiquer et à se coordonner au sein d’un groupe. Mais cet équilibre fondamental pourrait être rompu avec l’apparition d’une première ASI.
- Menaces pour l’humanité résultant de la perte de contrôle humain au profit d’IA malveillantes : Des IA malveillantes pourraient apparaître n’importe où (au niveau national ou international), soit par négligence (sous la pression d’une course aux armements militaires ou d’un équivalent commercial), soit intentionnellement (en raison de motivations idéologiques). Si leur intelligence et leur capacité à agir dans le monde sont suffisantes, elles pourraient progressivement contrôler une plus grande partie de leur environnement, d’abord pour se protéger immédiatement, puis pour s’assurer que les humains ne pourraient jamais les désactiver. Il est à noter que cette menace pourrait être renforcée par l’émergence de régimes plus totalitaires qui ne disposent pas de bons mécanismes autorégulateurs et qui pourraient involontairement permettre l’émergence d’une ASI malveillante.
Interventions des gouvernements pour atténuer les risques
Les risques mentionnés ci-dessus doivent être atténués simultanément : S’attaquer à l’un d’entre eux sans tenir compte des autres pourrait s’avérer être une erreur monumentale. En particulier, la course vers l’AGI pour arriver à la développer avant des adversaires pourrait augmenter considérablement les risques démocratiques (b,c) et ceux liés à une IA malveillante (d). Il sera difficile de trouver l’équilibre nécessaire, et les idées ci-dessous doivent être considérées comme le point de départ d’un effort mondial indispensable, qui nécessitera la mobilisation des meilleurs cerveaux et des investissements et des innovations considérables, tant dans le domaine scientifique que dans celui de la gouvernance.
- Des investissements importants et urgents en R&D sont nécessaires pour développer une IA avec des garanties de sécurité qui continueraient à être efficaces si les IA actuelles atteignaient les niveaux AGI et ASI, l’objectif étant de trouver des solutions avant que les laboratoires d’IA n’atteignent l’AGI. Une partie de cette R&D sur l’IA de pointe axée sur la sécurité peut être stimulée par des incitations réglementaires – telles que la clarification de la responsabilité civile des développeurs pour les systèmes susceptibles de causer des dommages importants – mais pourrait éventuellement être mieux assurée par des organisations à but non lucratif ayant pour mission la protection du public et des mécanismes de gouvernance robustes conçus pour éviter les conflits d’intérêts qui peuvent découler d’objectifs commerciaux. Cela est particulièrement important pour relever les défis (a), (b) et surtout (d), pour lesquels il n’existe actuellement aucune solution satisfaisante. Il est à noter que certains éléments de cette R&D, s’ils étaient partagés au niveau mondial, contribueraient à atténuer les risques (voir a, b, c, d), par exemple en identifiant les moyens généraux d’évaluer les risques et la manière de mettre en place des garde-fous techniques, tandis que d’autres éléments de cette R&D, s’ils étaient partagés au niveau mondial, augmenteraient tous ces risques, par exemple en renforçant les capacités (puisque l’amélioration de la prévision des dommages futurs, qui est utile pour mettre en place des garde-fous techniques, nécessite des progrès en matière de capacités).
- Les gouvernements doivent avoir une visibilité et un contrôle importants sur ces avancées technologiques afin d’éviter les scénarios mentionnés ci-dessus, par exemple pour réduire les risques qu’une ASI développée par un laboratoire d’IA soit déployée sans les protections nécessaires ou qu’un individu ou un groupe malveillant y accède. Étant donné que le développement de l’IA de pointe est actuellement entièrement entre les mains du secteur privé, une transition sera nécessaire pour s’assurer que l’AGI est développée en ayant la sécurité nationale et d’autres intérêts publics comme objectifs centraux, avant les rendements économiques. La réglementation peut fournir des moyens de contrôle nécessaires, mais des options plus strictes pourraient s’avérer cruciales. La nationalisation semble peu probable, du moins dans le contexte actuel, mais elle est tout de même proposée par certains. Une autre possibilité est celle des partenariats public-privé, les efforts de recherche de pointe étant principalement menés dans un cadre gouvernemental sécurisé, avec des retombées commerciales sécuritaires. Cela permettrait de relever les quatre défis (voir a, b, c, d) ci-dessus, notamment en sécurisant les modèles les plus avancés et en imposant des garde-fous appropriés.
- Ce contexte sans précédent requiert des innovations dans les mécanismes visant à assurer l’équilibre des pouvoirs et la gouvernance multilatérale, ainsi que des traités pour le développement de l’AGI. Pour s’assurer qu’aucun individu, entreprise ou gouvernement ne puisse utiliser le pouvoir de l’ASI à son avantage de manières contraires à l’éthique, qui pourraient aller jusqu’à l’auto-coup d’État, il faudra des changements institutionnels et juridiques dont l’élaboration, la négociation et la mise en œuvre pourraient prendre des années. Bien que les gouvernements puissent superviser et réglementer leurs laboratoires d’IA locaux, des accords internationaux pourraient réduire la possibilité qu’un pays crée une IA malveillante (voir (d) dans la section ci-dessus) ou utilise l’ASI contre des populations et des infrastructures d’un autre pays (a). Une telle gouvernance multilatérale et des traités internationaux pourrait rassurer des régimes autoritaires ayant l’arme nucléaire, craignant de perdre la course à l’ASI, et prêts à tout pour empêcher cela. Dans ce contexte, quel type d’organisation dotée d’une gouvernance multilatérale devrait développer l’AGI et l’ASI? Des organisations financées par les gouvernements, mais qui demeurent indépendantes pourraient jouer un rôle essentiel dans l’équilibre des intérêts, la lutte contre les conflits d’intérêts et la protection du public. Par exemple, l’Organisation européenne pour la recherche nucléaire (CERN) est une entité non gouvernementale créée par une convention internationale, soumise aux réglementations de ses pays d’accueil, qui sont à leur tour soumis à des obligations de gouvernance vis-à-vis de l’AIEA, une entité non gouvernementale distincte créée par un traité international distinct. Une conception robuste des mécanismes de gouvernance (à la fois en termes de règles et de soutien technologique) est cruciale, pour éviter les abus d’une ASI (voir c), ainsi que les compromis de sécurité découlant de la dynamique de course (entre les entreprises ou entre les pays), qui pourraient conduire à une IA malveillante (voir d). De plus, la création d’un réseau de laboratoires à but non lucratif et à gouvernance multilatérale, situés dans différents pays, permettrait de décentraliser davantage le pouvoir et de protéger la stabilité mondiale.
- Des technologies de vérification du respect des traités internationaux seront nécessaires tôt ou tard, mais il faudra du temps pour les mettre au point et les déployer. Les traités sur les armes nucléaires ont été rendus possibles par des procédures et des techniques de vérification du respect des traités. Un traité sur l’AGI ne serait efficace pour prévenir une dangereuse course aux armements (ou ne serait signé en premier lieu) que si nous développons d’abord des procédures et des technologies permettant de vérifier le respect des traités sur l’IA. Il n’existe actuellement aucun mécanisme de vérification fiable de ce type, ce qui signifie qu’il serait impossible d’évaluer le respect d’un accord international. À première vue, les logiciels peuvent sembler difficiles à réglementer de manière vérifiable. Toutefois, des mécanismes de gouvernance basés sur le matériel informatique, idéalement suffisamment flexibles pour s’adapter à l’évolution des règles de gouvernance et de la technologie, et l’existence de goulets d’étranglement importants dans la chaîne d’approvisionnement en matériel informatique pour l’IA, pourraient permettre de trouver des solutions technologiques à la vérification du respect des traités sur l’IA.
Compte tenu de l’ampleur des risques et des inconnues potentiellement catastrophiques, la prudence est de mise et des efforts importants doivent être déployés pour mieux comprendre et atténuer ces risques, même si nous estimons que la probabilité de catastrophes est faible. Il sera tentant d’accélérer pour gagner la course à l’AGI, mais il s’agit d’une course où tout le monde pourrait s’avérer perdant. Nous devrions plutôt agir pendant qu’il en est encore temps et mobiliser nos meilleurs cerveaux pour tenter de développer une compréhension et une gestion des risques suffisantes, avec une gouvernance multilatérale solide, afin d’éviter les écueils et de récolter les bénéfices de l’AGI pour l’ensemble de l’humanité.