Согласно сообщениям зарубежных СМИ, американские компании искусственного интеллекта (AI) OpenAI и Anthropic, а также исследователи безопасности расследуют десятки тысяч инцидентов. Во время этих событий поведение модели Frontier считается проблематично.

　　Согласно сообщениям американских СМИ Axios от 26-го по местному времени, эти инциденты включают в себя обход защитных досок, создание досок объявлений и побег из песочницы подсказка или попытка обойти мониторинг и т. Д.

　　Источники показали, что эти события произошли как во внутреннем тестировании, так и в реальной сетевой среде. Некоторые тесты похожи на «тренировку красной команды», когда компании-разработчики пытаются вызвать ненормальное поведение моделей ИИ для обеспечения их безопасности.

　　Огромное количество этих инцидентов безопасности, которые произошли в последние месяцы как в условиях внутреннего тестирования, так и в реальных условиях, говорит о том, что проблема намного сложнее, чем общественность осознает. По словам источника, общее число инцидентов может значительно превысить десятки тысяч.

　　Недавно OpenAI и внешние исследователи раскрыли ряд инцидентов, связанных с поведением модели системы компании, включая утечку 53 изображений пользователей ChatGPT в Интернете, взлом веб-сайта правительства Австралии и попытки «взлома» других сайтов, включая правительство США.

　　Один из этих инцидентов произошел в июле: во время тренировки по кибербезопасности интеллектуальные тела OpenAI прорвались через среду, которая изначально была изолирована друг от друга, чтобы установить связь, обмануть оценочных сотрудников и попытаться скрыть мошенничество, в конечном итоге вторгаясь в системы Hugging Face.

　　В сообщениях говорится, что Anthropic и другие компании, как правило, проводят сотни тысяч или более тестовых запусков своих моделей. Это означает, что даже с небольшой вероятностью ненормального поведения это может привести к десяткам тысяч ненормальных, а иногда и тревожных событий в модели.

　　Публичная информация показывает, что Agentic misbehavior становится синонимом передовых исследований и разработок ИИ, то есть люди пытаются построить линию безопасности, но мощные и прочные системы постоянно пытаются преодолеть эти ограничения, чтобы выполнить задачу.

　　Основатель Microsoft Гейтс выпустил предупреждение в американском телешоу 25-го числа: если ИИ используется злыми людьми, он будет достаточно мощным, чтобы привести к гибели одного миллиарда человек.