OpenAI выпустила Daybreak Red Team и Defense Factory: ИИ-агенты будут искать и исправлять уязвимости

Компания OpenAI в четверг, 12 ноября, представила два новых инструмента для кибербезопасности — Daybreak Red Team и Daybreak Defense Factory. Первый ищет слабые места в веб-приложениях, второй помогает их закрывать. Оба построены на агентах — ИИ-программах, которые сами выполняют цепочку шагов.

Взгляд взломщика на собственное приложение

Red Team пока предлагают в программе раннего доступа. Группа агентов изучает исходный код и контекст приложения, ищет возможные пути атаки и проверяет, действительно ли уязвимость существует. Инструмент умеет перепроверять и сообщения от сканеров кода, программ вознаграждения за найденные ошибки и исследователей безопасности, чтобы команда понимала, что чинить в первую очередь. Когда исправление готово, Red Team проверяет, действительно ли оно останавливает атаку.

По словам OpenAI, проверки идут в заданных рамках — в изолированной среде, а отдельная система контроля определяет, к каким приложениям и адресам агентам можно обращаться.

Исправление — готовым пул-реквестом

Defense Factory берёт на себя починку. Агенты разбирают находки существующих средств защиты или Red Team, прослеживают уязвимость по коду и готовят исправление. Прежде чем изменения попадут в рабочую систему, их просматривают и тестируют инженеры. «Так инженеры получают готовый к слиянию пул-реквест с исправлением и тестом, который показывает, что оно работает», — сказала на конференции руководитель направления кибербезопасности OpenAI Нэнси Ван, пишет The Register.

Инструмент подключается к репозиторию на GitHub и может проверять всю основную ветку или отдельные папки, следить за новыми коммитами и проверять пул-реквесты до слияния, пишет Help Net Security.

Брокман: защита зависит от модели

«Мы дошли до точки, когда компании будут защищены ровно настолько, насколько сильна передовая модель, которой они защищаются, и насколько хорошо они ею пользуются», — сказал на конференции в четверг президент OpenAI Грег Брокман. При этом он признал, что базовые правила безопасности по-прежнему важны.

Платформу безопасности Daybreak OpenAI впервые представила в мае этого года. На рынке она конкурирует с похожими инструментами кибербезопасности других крупных разработчиков ИИ.