1/5

Компания Veracode в июле 2026 года опубликовала отчет о безопасности кода, сгенерированного ИИ-моделями. Специалисты протестировали 11 актуальных моделей на 80 заданиях по созданию кода на нескольких языках программирования.

Задачи охватывали разные типы уязвимостей. Авторы сравнивали долю успешно пройденных проверок безопасности, корректность синтаксиса, результаты для разных языков и типов уязвимостей, а также показатели моделей разного размера, специализированных моделей для программирования и моделей с механизмом рассуждения.

Ключевые выводы:

• в среднем ИИ-модели успешно проходят проверки безопасности сгенерированного кода в 56% случаев. С начала наблюдений в 2023 году показатель почти не изменился, в первом отчете он составлял 55%;
• 10 из 11 протестированных моделей создают синтаксически корректный код в 100% случаев. Единственным исключением стала Claude-Opus-4.8 с результатом 99%;
• примерно в 44% случаях ИИ-модели создают код с обнаруживаемой уязвимостью из OWASP Top 10 — списка наиболее распространенных рисков безопасности веб-приложений;
• по данным Veracode, GPT-5.5 успешно прошла 68% проверок безопасности, показав лучший результат среди 11 моделей, протестированных летом 2026 года. Для сравнения, лидер предыдущего выпуска отчета GPT-5 Mini прошел 72% таких проверок;
• 6 из 11 моделей, протестированных летом 2026 года, успешно прошли только 50–53% проверок безопасности;
• модели, специально созданные для программирования, в среднем успешно проходят 51% проверок безопасности. У универсальных ИИ-моделей результат немного выше — 52%;
• количество параметров модели практически не влияет на результаты проверок безопасности. Модели с более чем 100 млрд параметров в среднем проходят 53% проверок, модели с 20–100 млрд и менее 20 млрд параметров — по 51%;
• ИИ-модели с механизмом рассуждения в среднем успешно проходят 56% проверок безопасности, а модели без него — 51%. Авторы предполагают, что этапы рассуждения могут работать как внутренняя проверка кода перед выдачей ответа;
• код на Python, созданный ИИ-моделями, в среднем проходит 63% проверок безопасности, на Java — только 30%. При этом Java — единственный из рассмотренных языков, для которого за время наблюдений виден устойчивый рост этого показателя.

Расскажите знакомым: