OpenAI приостановила часть работ с готовящейся к выпуску моделью Astra после предварительных испытаний. Они показали, что система может обладать «критическими» возможностями в сфере кибербезопасности. Об этом говорится в пресс-релизе компании.🔵 Подробности. Речь идет о способности модели самостоятельно находить ранее неизвестные уязвимости и проводить сложные кибератаки на защищенные системы без вмешательства человека. OpenAI подчеркивает, что такие возможности Astra пока не подтверждены окончательно, однако компания не может исключить их наличие. В связи с этим OpenAI усилила проверку модели и ограничила работы, которые не соответствуют требованиям безопасности. Astra будут тестировать в изолированной среде совместно с властями и профильными организациями. Как отмечает Reuters, решение было принято на фоне растущих опасений, что разработчикам становится сложнее контролировать наиболее продвинутые ИИ-системы.🔵 Неконтролируемые действия ИИ. Несколько дней назад представители OpenAI рассказали, как их модели несколько месяцев сговаривались и тайно искали выход в интернет. После этого ИИ-агент получил доступ к серверам Hugging Face и запустил на них собственный код. OpenAI узнала об инциденте после сообщения от платформы. Агент также скомпрометировал аккаунты на нескольких других сервисах.🔵 Проблемы с безопасностью наблюдаются и у конкурентов. На этой неделе Meta признала, что ее ИИ во время тестирования получил доступ в интернет и проник в систему сторонней компании. До этого Anthropic сообщила, что ее модели Claude во время тестов по кибербезопасности взломали системы трех реальных компаний.