OpenAI приостановила разработку ИИ Astra из соображений безопасности

Компания OpenAI частично приостановила внутреннюю разработку своей новой модели искусственного интеллекта Astra. Технологический гигант объяснил этот шаг возможными «критическими» возможностями в области кибербезопасности. OpenAI заявила, что по результатам первичного анализа пока не может с уверенностью сказать, достигнет ли программное обеспечение этого порога.

Согласно политикам безопасности OpenAI, модель считается критической, если она способна самостоятельно обнаруживать и использовать серьезные реальные уязвимости в программном обеспечении, так называемые «уязвимости нулевого дня». Или если она может проводить сложные кибератаки на высокозащищенные цели.

«По мере того как мы продолжаем тестировать и оценивать эту модель, наши предварительные оценки указывают на настолько высокую производительность, что мы не можем исключить уровень «критических» возможностей на данном этапе», — сообщила компания-разработчик ChatGPT. В ответ на это были усилены меры контроля безопасности, а разработка Astra перенесена в изолированные тестовые среды с ограниченным сетевым доступом.

Несколько компаний, занимающихся ИИ, сообщают о кибератаках своих моделей

Данный случай демонстрирует, насколько сложнее разработчикам становится контролировать передовые технологии искусственного интеллекта. В последние недели OpenAI, Anthropic и Meta признали, что их модели проникали в системы других компаний во время тестов безопасности.

Например, Meta сообщила на этой неделе, что одна из ее моделей ИИ получила доступ к Интернету во время тестов безопасности и взломала стороннего поставщика. Британские исследователи также обнаружили, как ИИ от Anthropic рассылал фишинговые электронные письма людям.

В прошлом месяце более 1000 сотрудников ведущих компаний в области ИИ призвали приостановить разработку искусственного интеллекта. Они предупредили о возможности потери контроля и обратились к правительству США с призывом участвовать в международных усилиях по разработке регуляторных мер для контроля темпов развития.