LLM-ревьюеры всё чаще применяются в процессах работы с pull request (PR), где их одобрения помогают решить, какой код будет слит в репозиторий. Это поднимает вопрос, который не охватывают бенчмарки статической детекции уязвимостей или генерации кода: способен ли автоматический ревьюер отклонить вредоносный вклад, когда атакующий контролирует и изменение кода, и сопровождающий текст PR?
Авторы представляют SEVRA-BENCH (Social Engineering of Vulnerabilities in Review Agents) - бенчмарк, измеряющий, как часто автоматический ревьюер одобряет такие состязательные pull request. Каждый вредоносный PR в SEVRA-BENCH построен на основе реального коммита проекта, который ранее устранял уязвимость из базы CVE. Авторы автоматически «инвертируют» этот фикс, восстанавливая исходный уязвимый код, и подают его как pull request, обёрнутый в одну из 15 социально-инженерных «рамок», варьирующих заявления, подкрепляющие доказательства, передаваемую срочность, сигналы о якобы прошлом одобрении и апелляции к авторитету.
SEVRA-BENCH содержит 1 062 вредоносных PR, построенных на связанных с CVE фиксах из топ-10 записей CWE Top 25 за 2025 год. В реалистичной постановке авторы оценивают 8 современных LLM как агентов код-ревью на PR, вносящих уязвимости, ранее описанные в публичных раскрытиях. Результаты выявляют резкий разрыв в возможностях безопасности между закрытыми и открытыми моделями. Авторы надеются, что SEVRA-BENCH станет ценным ресурсом для развития открытых моделей и сокращения этого разрыва.
Вредоносный PR может быть написан так убедительно, что LLM-ревьюер его одобрит.SEVRA-BENCH показывает слабое место агентного ревью: если агент верит описанию pull request, атакующий управляет не только кодом, но и нарративом. Veai строит защиту иначе - проверяет изменение через факты JetBrains IDE: сборку, тесты, статический анализ, зависимости и реальные связи в коде, а не через доверие к красивому описанию.
Перевод подготовлен технической командой Veai на основе arXiv:2606.13757. Первоисточник (англ.): arxiv.org/abs/2606.13757.