Эксперты ГК «Солар» проанализировали эффективность шести LLM, используемых для этапов верификации и исправления уязвимостей кода в безопасной разработке. Для исследования выбрали облачные платформы GigaChat 3 PRO, ChatGPT 5.2, DeepSeek 3.2. В эксперимент также включили On-Premise-версии ChatGPT OSS (gpt-oss-20b 05/08/2025), Mistral (14b-2512 02/12/2025) и специализированную LLM DerTriage/DerCodeFix.

В проектах на Java ChatGPT продемонстрировал 60,9% точности среди облачных решений. В контексте безопасной разработки это означает, что модель пропускает около 40% уязвимостей, поясняют исследователи. Точность DeepSeek 50%. В проектах на Python у DeepSeek более 80% точности, а у ChatGPT — 52,7%.

Среди On-Premise-моделей свыше 80% точности для Java и Python показала LLM DerTriage. Другие модели в этой категории набрали 66–67%.

Руководитель операционной поддержки Solar appScreener Антон Прокофьев рассказал, что LLM экономят время разработчиков на этапах верификации уязвимостей программного кода. Однако ускорение процессов тестирования на крупных проектах иногда ведет к риску упустить критические уязвимости в итоговом продукте. В связи с этим точность работы и уровень ошибок используемых LLM становятся ключевыми показателями.

На этапе исправления уязвимостей для приложений на Java ChatGPT продемонстрировал 61,8% точности, DeepSeek — 45,5%, а на Python показатели моделей были 46,6% и 44,8% соответственно. DerCodeFix набрал 78,2% для Java и 83,1% для Python.

По словам Прокофьева, «общедоступные модели в большинстве случаев неэффективны на самых трудоемких этапах проверки качества кода».

Исследователи также отмечают, что практика использования облачных LLM в безопасной разработке чаще всего встречается в сферах здравоохранения, образования, FinTech и ритейле с высокой долей операций, связанных с персональными данными, а также в робототехнике, индустриальном ПО с повышенными требованиями к безопасности кода на уровне цепочки поставок.