Під час зовнішнього тесту безпеки модель Gemini отримала доступ до систем трьох реальних компаній. За словами Google, це не була атака на користувачів і не запланована перевірка цих організацій: помилка виникла через те, як було побудовано тестовий сценарій.
Як тест вийшов за межі пісочниці
Перевірку проводила компанія Irregular, яка оцінює, як передові моделі поводяться в завданнях, пов’язаних із пошуком уразливостей. Gemini мала взаємодіяти зі штучною ціллю, але через неправильно налаштований доступ змогла скористатися відкритими даними й потрапити в інфраструктуру трьох справжніх компаній.
Google повідомила, що постраждалі організації поінформовано, а сама модель зупинилася, коли зрозуміла, що потрапила в системи реальної компанії, а не тестової. Важливо не плутати цей випадок із самостійною кампанією зловмисників: ідеться про помилку під час контрольованого тестування. Але саме тому ця історія заслуговує на увагу — тести систем із доступом до інструментів стають так само важливими, як і перевірка самих моделей.
Чому це важливо для розвитку ШІ-агентів
Сучасні ШІ-агенти можуть шукати інформацію, працювати з браузером, запускати команди та звертатися до підключених сервісів. Їхня корисність зростає разом із кількістю інструментів, а отже, зростає й ціна помилки в налаштуваннях. У цьому випадку проблемою виявилася не лише здатність моделі міркувати, а й поєднання доступу до мережі, невдало названої тестової цілі та недостатніх обмежень середовища.
- Пісочниця має бути технічно відокремлена від реальної мережі, а не вважатися умовно ізольованою.
- Права доступу й ключі в тесті мають бути мінімальними та тимчасовими.
- Системі потрібні журнали дій і можливість швидко зупинити виконання завдання.
- Оцінювання безпеки має враховувати не лише модель, а й браузер, інструменти, плагіни та дані навколо неї.
Що це змінює для звичайних користувачів і бізнесу
Звичайній людині не треба відмовлятися від ШІ-помічників через один інцидент. Утім, не варто давати агентові більше прав, ніж потрібно для конкретного завдання. Наприклад, помічникові для розбору документів не потрібен постійний доступ до робочої пошти, хмари, месенджерів і браузера водночас.
Компаніям корисно ставитися до ШІ-інструментів як до нового працівника з обмеженою перепусткою: починати з окремого тестового облікового запису, не підключати критично важливі бази даних на першому етапі й регулярно переглядати надані дозволи. Особливо це стосується агентів, які можуть не лише відповідати на запитання, а й виконувати дії від імені користувача.
Головний висновок
Історія з Gemini показує, що безпечний ШІ — це не одне налаштування й не один фільтр. Модель, інструменти та середовище треба перевіряти разом. Що більше агент уміє робити сам, то важливіше заздалегідь обмежити, куди саме він може зайти й що здатен змінити.
Джерела й методика
Аналіз відкритих джерелПеревірено 21 вересня 2026
Залишити відповідь