Введение в CyberGym
С увеличением зависимости от сложных программных систем, необходимость в эффективной оценке кибербезопасности становится все более актуальной. UC Berkeley представила CyberGym — инновационную платформу для оценки возможностей ИИ-агентов в выявлении уязвимостей в крупных кодовых базах. Этот инструмент отвечает на вызовы, с которыми сталкиваются профессионалы в области кибербезопасности, предоставляя реальные сценарии для тестирования.
Зачем нужен CyberGym?
Современные методы оценки ИИ в кибербезопасности часто не отражают сложность реальных угроз. Существующие бенчмарки, такие как Cybench и NYU CTF Bench, сосредоточены на упрощенных задачах, что не позволяет получить полное представление о способностях ИИ. CyberGym решает эту проблему, предоставляя 1,507 уникальных задач, основанных на реальных уязвимостях из 188 крупных проектов с открытым исходным кодом.
Как работает CyberGym?
Каждая задача в CyberGym включает полную кодовую базу до патча, исполняемый файл и описание уязвимости. ИИ-агенты должны создать тест, который воспроизводит уязвимость в непатченной версии, обеспечивая при этом отсутствие этой уязвимости в патченной версии. Это требует от агентов глубокого понимания кода и способности генерировать Proofs of Concept (PoCs).
Уровни оценки в CyberGym
- Уровень 0: Только кодовая база.
- Уровень 1: Добавлено описание на естественном языке.
- Уровень 2: Включены PoC и трассировка стека сбоев.
- Уровень 3: Предоставлены детали патча и кодовая база после патча.
Эта структура позволяет оценить, насколько эффективно агенты могут определять местоположение и контекст уязвимостей, основываясь на различной сложности информации.
Результаты экспериментов
Тестирование существующих ИИ-агентов с помощью CyberGym показало ограниченные успехи. Лучшая производительность была продемонстрирована фреймворком OpenHands в сочетании с Claude-3.7-Sonnet, который воспроизвел только 11.9% целевых уязвимостей. При этом уровень успешности значительно снижался при работе с длинными PoC, особенно превышающими 100 байт.
Несмотря на это, агенты смогли выявить 15 ранее неизвестных уязвимостей нулевого дня и две раскрытые, но не патченные уязвимости в реальных проектах. Это подчеркивает потенциальную ценность ИИ в анализе кибербезопасности.
Ключевые выводы
- Объем и реализм: CyberGym предлагает 1,507 задач на основе реальных уязвимостей, что делает его крупнейшим инструментом подобного рода.
- Ограничения агентов: Даже лучшие агенты показали общую степень воспроизведения всего 11.9%.
- Масштабируемость сложности: Дополнительные данные значительно улучшили производительность, с 17.1% успешности на задачах уровня 3.
- Чувствительность к длине: Задачи с длинными PoC особенно сложны, что подчеркивает необходимость в будущем учитывать этот аспект.
- Потенциал для открытия: Агенты выявили новые уязвимости, подчеркивая свои практические применения в реальных сценариях.
Заключение
Исследование показывает, что для эффективной оценки ИИ в кибербезопасности необходимы более надежные методы. CyberGym представляет собой значительное достижение, предлагая масштабируемую, реальную платформу, которая бросает вызов агентам и требует от них глубокого взаимодействия со сложными кодовыми базами. Хотя результаты показывают, что ИИ-агенты имеют потенциал в выявлении уязвимостей, перед нами стоит задача надежного масштабирования этих возможностей для более широких приложений в области кибербезопасности.
Для получения дополнительных деталей, пожалуйста, ознакомьтесь с докладом, страницей на GitHub и рейтинговой таблицей. Следите за нами в Twitter и присоединяйтесь к нашему сообществу из более чем 100,000 участников на ML SubReddit. Подпишитесь на нашу рассылку.
