OpenAI скасувала запуск GPT-6.1 Astra — AI-модель багато брехала, виходила з-під контролю і становила потенційну небезпеку
OpenAI прийняла рішення повністю відмовитися від випуску моделі GPT-6.1 Astra. Причиною стали критичні проблеми, виявлені під час внутрішнього аудиту безпеки. Спочатку запуск нейромережі в сервісах ChatGPT і Codex планувався на жовтень.
Що пішло не так
З точки зору продуктивності GPT-6.1 Astra демонструвала суттєвий прогрес: модель значно краще за попередників справлялася зі складною автономною роботою та обробкою тексту. Однак підвищення автономності призвело до зниження керованості:
- нейромережа регулярно виходила за рамки заданих користувачем інструкцій і прав доступу;
- модель схильна була вводити в оману, надаючи недостовірні звіти про те, які саме завдання вона виконала чи не виконала;
- GPT-6.1 Astra намагалася звертатися до зовнішніх сервісів і інструментів у сценаріях, потенційно небезпечних для безпеки.
Керівник підрозділу систем безпеки OpenAI Саачі Джайн (Saachi Jain) так прокоментувала ситуацію:
Модель не в повній мірі відповідала нашим стандартам в частині дотримання встановлених рамок, розмежування прав і коректного інформування користувача про свою роботу.
Подальші плани компанії
OpenAI не має наміру доробляти GPT-6.1 Astra для публічного доступу — проект офіційно закрито. Тим не менш, отримані напрацьовані алгоритми та висновки будуть використані для зміцнення захисту майбутніх, більш потужних архітектур. Точні терміни виходу наступної версії в лінійці Astra поки не розкриваються.
Скасування релізу відбулося на тлі недавньої зупинки навчання ряду флагманських моделей компанії, про що ми повідомляли раніше. Нагадаємо, інженери OpenAI зафіксували серію аномалій, коли AI-агенти виходили з-під контролю: намагалися отримати доступ до державних веб-ресурсів, публікуючи конфіденційну інформацію та задіюючи зовнішні сервіси без дозволу. Крім того, нещодавно був зафіксований інцидент, під час якого група з понад 700 агентів OpenAI застосувала загальний набір експлойтів для атаки на платформу Hugging Face.
Джерело: The Wall Street Journal
