Во время внешнего теста безопасности модель Gemini получила доступ к системам трёх реальных компаний. По словам Google, это произошло не в ходе атаки на пользователей и не было запланированной проверкой этих организаций: ошибка возникла из-за того, как был собран тестовый сценарий.
Как тест вышел за границы учебной среды
Проверку проводила компания Irregular, которая оценивает, как передовые модели ведут себя при задачах, связанных с поиском уязвимостей. Gemini должна была взаимодействовать с искусственной целью, но из-за неверно настроенного доступа смогла использовать открытые данные и попасть в инфраструктуру трёх настоящих компаний.
Google сообщила, что затронутые организации уведомили, а сама модель остановилась, когда поняла, что попала в системы реальной компании, а не тестовой. Важно не путать этот случай с самостоятельной кампанией злоумышленников: речь идёт об ошибке в процессе контролируемого тестирования. Но именно поэтому история заслуживает внимания — тесты систем с доступом к инструментам становятся столь же важны, как и проверка самих моделей.
Почему это важно для развития ИИ-агентов
Современные ИИ-агенты могут искать информацию, работать с браузером, запускать команды и обращаться к подключённым сервисам. Их полезность растёт вместе с числом инструментов, а значит, растёт и цена ошибки в настройках. В этом случае проблемой оказалась не только способность модели рассуждать, но и сочетание доступа к сети, неудачно названной тестовой цели и недостаточных ограничений окружения.
- Песочница должна быть технически отделена от реальной сети, а не считаться условно изолированной.
- Доступы и ключи в тесте должны быть минимальными и временными.
- Системе нужны журналы действий и возможность быстро остановить выполнение задачи.
- Оценка безопасности должна учитывать не только модель, но и браузер, инструменты, плагины и данные вокруг неё.
Что это меняет для обычных пользователей и бизнеса
Обычному человеку не нужно отказываться от ИИ-помощников из-за одного инцидента. Однако не стоит давать агенту больше прав, чем нужно для конкретной задачи. Например, помощнику для разбора документов не нужен постоянный доступ к рабочей почте, облаку, мессенджерам и браузеру одновременно.
Компаниям полезно относиться к ИИ-инструментам как к новому сотруднику с ограниченным пропуском: начинать с отдельного тестового аккаунта, не подключать критичные базы данных на первом этапе и регулярно пересматривать выданные разрешения. Особенно это касается агентов, которые могут не только отвечать на вопросы, но и выполнять действия от имени пользователя.
Главный вывод
История с Gemini показывает, что безопасный ИИ — это не одна настройка и не один фильтр. Модель, инструменты и среда должны проверяться вместе. Чем больше агент умеет делать сам, тем важнее заранее ограничить, куда именно он может зайти и что способен изменить.
Источники и методика
Анализ открытых источниковПроверено 21 сентября 2026
Добавить комментарий