/
ΠΠ°ΠΉΠ΄ΠΆΠ΅ΡΡ/
SEVRA-BENCH: ΡΠΎΡΠΈΠ°Π»ΡΠ½Π°Ρ ΠΈΠ½ΠΆΠ΅Π½Π΅ΡΠΈΡ ΠΏΡΠΎΡΠΈΠ² ΡΠ΅Π²ΡΡ-Π°Π³Π΅Π½ΡΠΎΠ²
Veai Π½Π΅ ΠΎΠ±ΠΌΠ°Π½ΡΡΡ ΡΠ΅ΠΊΡΡΠΎΠΌ pull request: ΡΠ΅Π²ΡΡ ΠΎΠΏΠΈΡΠ°Π΅ΡΡΡ Π½Π° ΡΠ°ΠΊΡΡ JetBrains IDE β ΡΠ±ΠΎΡΠΊΡ, ΡΠ΅ΡΡΡ ΠΈ ΡΡΠ°ΡΠ°Π½Π°Π»ΠΈΠ·.
LLM-ΡΠ΅Π²ΡΡΠ΅ΡΡ Π²ΡΡ ΡΠ°ΡΠ΅ ΠΏΡΠΈΠΌΠ΅Π½ΡΡΡΡΡ Π² ΠΏΡΠΎΡΠ΅ΡΡΠ°Ρ ΡΠ°Π±ΠΎΡΡ Ρ pull request (PR), Π³Π΄Π΅ ΠΈΡ ΠΎΠ΄ΠΎΠ±ΡΠ΅Π½ΠΈΡ ΠΏΠΎΠΌΠΎΠ³Π°ΡΡ ΡΠ΅ΡΠΈΡΡ, ΠΊΠ°ΠΊΠΎΠΉ ΠΊΠΎΠ΄ Π±ΡΠ΄Π΅Ρ ΡΠ»ΠΈΡ Π² ΡΠ΅ΠΏΠΎΠ·ΠΈΡΠΎΡΠΈΠΉ. ΠΡΠΎ ΠΏΠΎΠ΄Π½ΠΈΠΌΠ°Π΅Ρ Π²ΠΎΠΏΡΠΎΡ, ΠΊΠΎΡΠΎΡΡΠΉ Π½Π΅ ΠΎΡ Π²Π°ΡΡΠ²Π°ΡΡ Π±Π΅Π½ΡΠΌΠ°ΡΠΊΠΈ ΡΡΠ°ΡΠΈΡΠ΅ΡΠΊΠΎΠΉ Π΄Π΅ΡΠ΅ΠΊΡΠΈΠΈ ΡΡΠ·Π²ΠΈΠΌΠΎΡΡΠ΅ΠΉ ΠΈΠ»ΠΈ Π³Π΅Π½Π΅ΡΠ°ΡΠΈΠΈ ΠΊΠΎΠ΄Π°: ΡΠΏΠΎΡΠΎΠ±Π΅Π½ Π»ΠΈ Π°Π²ΡΠΎΠΌΠ°ΡΠΈΡΠ΅ΡΠΊΠΈΠΉ ΡΠ΅Π²ΡΡΠ΅Ρ ΠΎΡΠΊΠ»ΠΎΠ½ΠΈΡΡ Π²ΡΠ΅Π΄ΠΎΠ½ΠΎΡΠ½ΡΠΉ Π²ΠΊΠ»Π°Π΄, ΠΊΠΎΠ³Π΄Π° Π°ΡΠ°ΠΊΡΡΡΠΈΠΉ ΠΊΠΎΠ½ΡΡΠΎΠ»ΠΈΡΡΠ΅Ρ ΠΈ ΠΈΠ·ΠΌΠ΅Π½Π΅Π½ΠΈΠ΅ ΠΊΠΎΠ΄Π°, ΠΈ ΡΠΎΠΏΡΠΎΠ²ΠΎΠΆΠ΄Π°ΡΡΠΈΠΉ ΡΠ΅ΠΊΡΡ PR?
ΠΠ²ΡΠΎΡΡ ΠΏΡΠ΅Π΄ΡΡΠ°Π²Π»ΡΡΡ SEVRA-BENCH (Social Engineering of Vulnerabilities in Review Agents) - Π±Π΅Π½ΡΠΌΠ°ΡΠΊ, ΠΈΠ·ΠΌΠ΅ΡΡΡΡΠΈΠΉ, ΠΊΠ°ΠΊ ΡΠ°ΡΡΠΎ Π°Π²ΡΠΎΠΌΠ°ΡΠΈΡΠ΅ΡΠΊΠΈΠΉ ΡΠ΅Π²ΡΡΠ΅Ρ ΠΎΠ΄ΠΎΠ±ΡΡΠ΅Ρ ΡΠ°ΠΊΠΈΠ΅ ΡΠΎΡΡΡΠ·Π°ΡΠ΅Π»ΡΠ½ΡΠ΅ pull request. ΠΠ°ΠΆΠ΄ΡΠΉ Π²ΡΠ΅Π΄ΠΎΠ½ΠΎΡΠ½ΡΠΉ PR Π² SEVRA-BENCH ΠΏΠΎΡΡΡΠΎΠ΅Π½ Π½Π° ΠΎΡΠ½ΠΎΠ²Π΅ ΡΠ΅Π°Π»ΡΠ½ΠΎΠ³ΠΎ ΠΊΠΎΠΌΠΌΠΈΡΠ° ΠΏΡΠΎΠ΅ΠΊΡΠ°, ΠΊΠΎΡΠΎΡΡΠΉ ΡΠ°Π½Π΅Π΅ ΡΡΡΡΠ°Π½ΡΠ» ΡΡΠ·Π²ΠΈΠΌΠΎΡΡΡ ΠΈΠ· Π±Π°Π·Ρ CVE. ΠΠ²ΡΠΎΡΡ Π°Π²ΡΠΎΠΌΠ°ΡΠΈΡΠ΅ΡΠΊΠΈ Β«ΠΈΠ½Π²Π΅ΡΡΠΈΡΡΡΡΒ» ΡΡΠΎΡ ΡΠΈΠΊΡ, Π²ΠΎΡΡΡΠ°Π½Π°Π²Π»ΠΈΠ²Π°Ρ ΠΈΡΡ
ΠΎΠ΄Π½ΡΠΉ ΡΡΠ·Π²ΠΈΠΌΡΠΉ ΠΊΠΎΠ΄, ΠΈ ΠΏΠΎΠ΄Π°ΡΡ Π΅Π³ΠΎ ΠΊΠ°ΠΊ pull request, ΠΎΠ±ΡΡΠ½ΡΡΡΠΉ Π² ΠΎΠ΄Π½Ρ ΠΈΠ· 15 ΡΠΎΡΠΈΠ°Π»ΡΠ½ΠΎ-ΠΈΠ½ΠΆΠ΅Π½Π΅ΡΠ½ΡΡ
Β«ΡΠ°ΠΌΠΎΠΊΒ», Π²Π°ΡΡΠΈΡΡΡΡΠΈΡ
Π·Π°ΡΠ²Π»Π΅Π½ΠΈΡ, ΠΏΠΎΠ΄ΠΊΡΠ΅ΠΏΠ»ΡΡΡΠΈΠ΅ Π΄ΠΎΠΊΠ°Π·Π°ΡΠ΅Π»ΡΡΡΠ²Π°, ΠΏΠ΅ΡΠ΅Π΄Π°Π²Π°Π΅ΠΌΡΡ ΡΡΠΎΡΠ½ΠΎΡΡΡ, ΡΠΈΠ³Π½Π°Π»Ρ ΠΎ ΡΠΊΠΎΠ±Ρ ΠΏΡΠΎΡΠ»ΠΎΠΌ ΠΎΠ΄ΠΎΠ±ΡΠ΅Π½ΠΈΠΈ ΠΈ Π°ΠΏΠ΅Π»Π»ΡΡΠΈΠΈ ΠΊ Π°Π²ΡΠΎΡΠΈΡΠ΅ΡΡ.
SEVRA-BENCH ΡΠΎΠ΄Π΅ΡΠΆΠΈΡ 1 062 Π²ΡΠ΅Π΄ΠΎΠ½ΠΎΡΠ½ΡΡ
PR, ΠΏΠΎΡΡΡΠΎΠ΅Π½Π½ΡΡ
Π½Π° ΡΠ²ΡΠ·Π°Π½Π½ΡΡ
Ρ CVE ΡΠΈΠΊΡΠ°Ρ
ΠΈΠ· ΡΠΎΠΏ-10 Π·Π°ΠΏΠΈΡΠ΅ΠΉ CWE Top 25 Π·Π° 2025 Π³ΠΎΠ΄. Π ΡΠ΅Π°Π»ΠΈΡΡΠΈΡΠ½ΠΎΠΉ ΠΏΠΎΡΡΠ°Π½ΠΎΠ²ΠΊΠ΅ Π°Π²ΡΠΎΡΡ ΠΎΡΠ΅Π½ΠΈΠ²Π°ΡΡ 8 ΡΠΎΠ²ΡΠ΅ΠΌΠ΅Π½Π½ΡΡ
LLM ΠΊΠ°ΠΊ Π°Π³Π΅Π½ΡΠΎΠ² ΠΊΠΎΠ΄-ΡΠ΅Π²ΡΡ Π½Π° PR, Π²Π½ΠΎΡΡΡΠΈΡ
ΡΡΠ·Π²ΠΈΠΌΠΎΡΡΠΈ, ΡΠ°Π½Π΅Π΅ ΠΎΠΏΠΈΡΠ°Π½Π½ΡΠ΅ Π² ΠΏΡΠ±Π»ΠΈΡΠ½ΡΡ
ΡΠ°ΡΠΊΡΡΡΠΈΡΡ
. Π Π΅Π·ΡΠ»ΡΡΠ°ΡΡ Π²ΡΡΠ²Π»ΡΡΡ ΡΠ΅Π·ΠΊΠΈΠΉ ΡΠ°Π·ΡΡΠ² Π² Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡΡΡ
Π±Π΅Π·ΠΎΠΏΠ°ΡΠ½ΠΎΡΡΠΈ ΠΌΠ΅ΠΆΠ΄Ρ Π·Π°ΠΊΡΡΡΡΠΌΠΈ ΠΈ ΠΎΡΠΊΡΡΡΡΠΌΠΈ ΠΌΠΎΠ΄Π΅Π»ΡΠΌΠΈ. ΠΠ²ΡΠΎΡΡ Π½Π°Π΄Π΅ΡΡΡΡ, ΡΡΠΎ SEVRA-BENCH ΡΡΠ°Π½Π΅Ρ ΡΠ΅Π½Π½ΡΠΌ ΡΠ΅ΡΡΡΡΠΎΠΌ Π΄Π»Ρ ΡΠ°Π·Π²ΠΈΡΠΈΡ ΠΎΡΠΊΡΡΡΡΡ
ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ ΠΈ ΡΠΎΠΊΡΠ°ΡΠ΅Π½ΠΈΡ ΡΡΠΎΠ³ΠΎ ΡΠ°Π·ΡΡΠ²Π°.
ΠΡΠ΅Π΄ΠΎΠ½ΠΎΡΠ½ΡΠΉ PR ΠΌΠΎΠΆΠ΅Ρ Π±ΡΡΡ Π½Π°ΠΏΠΈΡΠ°Π½ ΡΠ°ΠΊ ΡΠ±Π΅Π΄ΠΈΡΠ΅Π»ΡΠ½ΠΎ, ΡΡΠΎ LLM-ΡΠ΅Π²ΡΡΠ΅Ρ Π΅Π³ΠΎ ΠΎΠ΄ΠΎΠ±ΡΠΈΡ.SEVRA-BENCH ΠΏΠΎΠΊΠ°Π·ΡΠ²Π°Π΅Ρ ΡΠ»Π°Π±ΠΎΠ΅ ΠΌΠ΅ΡΡΠΎ Π°Π³Π΅Π½ΡΠ½ΠΎΠ³ΠΎ ΡΠ΅Π²ΡΡ: Π΅ΡΠ»ΠΈ Π°Π³Π΅Π½Ρ Π²Π΅ΡΠΈΡ ΠΎΠΏΠΈΡΠ°Π½ΠΈΡ pull request, Π°ΡΠ°ΠΊΡΡΡΠΈΠΉ ΡΠΏΡΠ°Π²Π»ΡΠ΅Ρ Π½Π΅ ΡΠΎΠ»ΡΠΊΠΎ ΠΊΠΎΠ΄ΠΎΠΌ, Π½ΠΎ ΠΈ Π½Π°ΡΡΠ°ΡΠΈΠ²ΠΎΠΌ. Veai ΡΡΡΠΎΠΈΡ Π·Π°ΡΠΈΡΡ ΠΈΠ½Π°ΡΠ΅ - ΠΏΡΠΎΠ²Π΅ΡΡΠ΅Ρ ΠΈΠ·ΠΌΠ΅Π½Π΅Π½ΠΈΠ΅ ΡΠ΅ΡΠ΅Π· ΡΠ°ΠΊΡΡ JetBrains IDE: ΡΠ±ΠΎΡΠΊΡ, ΡΠ΅ΡΡΡ, ΡΡΠ°ΡΠΈΡΠ΅ΡΠΊΠΈΠΉ Π°Π½Π°Π»ΠΈΠ·, Π·Π°Π²ΠΈΡΠΈΠΌΠΎΡΡΠΈ ΠΈ ΡΠ΅Π°Π»ΡΠ½ΡΠ΅ ΡΠ²ΡΠ·ΠΈ Π² ΠΊΠΎΠ΄Π΅, Π° Π½Π΅ ΡΠ΅ΡΠ΅Π· Π΄ΠΎΠ²Π΅ΡΠΈΠ΅ ΠΊ ΠΊΡΠ°ΡΠΈΠ²ΠΎΠΌΡ ΠΎΠΏΠΈΡΠ°Π½ΠΈΡ.
ΠΠ΅ΡΠ΅Π²ΠΎΠ΄ ΠΏΠΎΠ΄Π³ΠΎΡΠΎΠ²Π»Π΅Π½ ΡΠ΅Ρ Π½ΠΈΡΠ΅ΡΠΊΠΎΠΉ ΠΊΠΎΠΌΠ°Π½Π΄ΠΎΠΉ Veai Π½Π° ΠΎΡΠ½ΠΎΠ²Π΅ arXiv:2606.13757. ΠΠ΅ΡΠ²ΠΎΠΈΡΡΠΎΡΠ½ΠΈΠΊ (Π°Π½Π³Π».): arxiv.org/abs/2606.13757.