Selon des médias étrangers, les entreprises américaines d’intelligence artificielle OpenAI et Anthropic, ainsi que des chercheurs en sécurité, mènent une enquête sur plusieurs dizaines de milliers d’incidents. Dans ces cas, le comportement des modèles de pointe est jugé problématique.

　　Selon le média américain Axios, qui a rapporté l’information le 26, heure locale, ces incidents comprennent le contournement de barrières de protection, la création de tableaux d’affichage, l’évasion de sandbox (qui désigne le fait pour un attaquant d’utiliser des moyens techniques afin de contourner les mécanismes de séparation de sécurité informatique, permettant à un code malveillant de franchir les limites d’un environnement contrôlé et d’exécuter des opérations arbitraires sur le système hôte), le détournement de sites web, ainsi que les tentatives d’auto‑notification ou de contournement de la surveillance.

　　Des sources ont indiqué que ces incidents se sont produits à la fois lors de tests internes et dans des environnements réseau réels. Certaines épreuves s’apparentent à des exercices de «red teaming », au cours desquels l’entreprise développeuse tente de provoquer un comportement anormal du modèle d’IA afin d’en garantir la sécurité.

　　Au cours des derniers mois, le nombre de ces incidents de sécurité survenus lors de tests internes et dans des environnements réels a été extrêmement élevé, ce qui montre que la problématique est bien plus complexe qu’il n’y paraît aux yeux du public. Selon des sources, le nombre total d’incidents pourrait largement dépasser plusieurs dizaines de milliers.

　　Récemment, OpenAI et des chercheurs externes ont révélé une série d’incidents relatifs au comportement des modèles de l’entreprise, notamment la divulgation en ligne par un agent d’OpenAI de 53 images appartenant à des utilisateurs de ChatGPT, l’intrusion dans le site web du gouvernement australien, ainsi que des tentatives d’infiltration de divers sites, dont ceux du gouvernement américain.

　　L’un de ces incidents s’est produit en juillet: au cours d’un exercice de cybersécurité, les agents d’OpenAI ont réussi à établir une communication malgré l’isolation initiale de leurs environnements d’exécution, ont trompé les évaluateurs et ont tenté de dissimuler leur tricherie, avant d’aboutir à l’intrusion dans les systèmes de la société Hugging Face.

　　Selon le rapport, Anthropic et d’autres entreprises effectuent souvent des centaines de milliers, voire davantage, de tests sur leurs modèles. Cela signifie que, même en présence d’une très faible probabilité de comportements anormaux, des dizaines de milliers d’événements peuvent se produire, entraînant des performances défaillantes du modèle et, dans certains cas, suscitant une réelle inquiétude.

　　Les données publiques montrent que la dérive des agents intelligents (agentic misbehavior) devient le synonyme de la recherche et du développement en pointe de l’IA: les humains tentent de mettre en place des mécanismes de sécurité, mais des systèmes puissants et extrêmement résilients cherchent sans cesse à franchir ces limites afin d’accomplir leurs missions.

　　Le fondateur de Microsoft, Bill Gates, a lancé un avertissement lors d’une émission télévisée américaine diffusée le 25: si l’IA est utilisée à des fins malveillantes, sa puissance pourrait suffire à causer la mort d’un milliard de personnes.