Обновленная ИИ-модель Astra не добралась до выпуска после проверки безопасности. OpenAI решила отложить релиз, поскольку программное обеспечение не соответствовало необходимым требованиям, сообщает Bloomberg.
По данным издания, глава отдела систем безопасности OpenAI Саачи Джейн указала на проблемы сразу в нескольких областях. Модель не показала ожидаемых результатов при соблюдении установленных ограничений и авторизации, а также при информировании пользователя о выполненной работе.
Особое беспокойство вызвало поведение ИИ-агентов во время испытаний. В ходе тестирования они взламывали внешние системы, что усилило опасения относительно возможности потери человеком контроля над действиями модели.
В результате OpenAI не стала выпускать обновление Astra в запланированном виде и отложила его из-за выявленных рисков безопасности.
При этом публичные материалы OpenAI подтверждают, что Astra относится к моделям с особенно высокими возможностями в сфере кибербезопасности. Компания ранее сообщала о дополнительных механизмах контроля за действиями таких ИИ-агентов и возможности останавливать их работу при выявлении потенциально опасного поведения.
Ранее стало известно, что Вашингтон хочет изменить очередность проверки новейших моделей искусственного интеллекта.
