Давно я не писал о крутых статьях... В общем недавно вышел обзор статьей о том "как LLM небезопасно генерируют код".

И конечно-же это вроде-бы очевидный факт - что это небезопасно. Но вопрос "на сколько" оставался открытым.

В исследовании провели анализ 20 статьей на эту тему. Есть конечно же и описание того, как они искали весь этот материал - и гугл дорки.

(“Large Language Models” OR “Language Model” OR
LLMs OR CodeX OR Llama OR Copilot OR GPT-*
OR ChatGPT) AND (“Code Generation” OR “AI-generated
Code” OR “Automated Code Generation”) AND (“Security
Vulnerabilities” OR “Security Risks” OR “Security Flaws”
OR “Software Security” OR “Impact On Code Security” OR
“Cybersecurity” OR Vulnerabilities) AND (“Training Data
Poisoning” OR “Poisoned Datasets” OR “Data Poisoning
Attacks” OR “Adversarial Attacks” OR “Malicious Training
Data”) AND (“Vulnerability Detection” OR “Bug Detection”
OR “Security Flaw Detection” OR “Code Analysis” OR
“Static Analysis” OR “Vulnerability Remediation” OR “Bug
Fixing” OR “Automated Code Repair” OR “Security Patch”
OR “Code Patching”).

Среди моделей чаще всего конечно же были GPT(3,5 и 4), CodeX и Llama и также GitHub Copilot.

Было выделено 10 категорий уязвимостей.

Injections - это самая упоминаемая категория уязвимостей, в статьях(GPT, Copilot):

CWE-79: чаще генерировал уязвимый код для xss
CWE-89: чаще генерировал уязвимый код для sql

Уязвимости управления памятью(GPT, Copilot):

CWE-190: Integer Overflow or Wraparound
CWE-476: Null Pointer Dereference

Уязвимости управления файлами(GPT, Copilot):

CWE-22: Improper Limitation of a Pathname to a Restricted Directory ('Path Traversal')

Уязвимости десериализации(GPT, Copilot):

CWE-502: Deserialization of Untrusted Data

Утечка информации(GPT, Copilot):

CWE-200: Exposure of Sensitive Information to an Unauthorized Actor

Уязвимости аутентификации и авторизации(GPT,Copilot):

CWE-798: Use of Hard-coded Credentials
CWE-284: Improper Access Control

Криптографические уязвимости(GPT,Copilot):

CWE-327: Use of a Broken or Risky Cryptographic Algorithm

Уязвимости управления ресурсами(GPT, Copilot):

CWE-404: Improper Resource Shutdown or Release(LLAMA также)
CWE-772: Missing Release of Resource after Effective Lifetime

Coding Standards(GPT,Copilot,LLAMA):

CWE-758: Reliance on Undefined, Unspecified, or Implementation-Defined Behavior

Уязвимости обработки ошибок(GPT,Copilot,LLAMA,CodeX):

CWE-703: Improper Check or Handling of Exceptional Conditions

GPT примерно в 40% случаев генерировал уязвимый код, Copilot в 46% а вот LLAMA в 25-35% случаев... Надо смотреть по статьям детально.

Плюс, была проведена оценка того "Насколько модель хорошо определяет уязвимость".

SAST с которыми сравнивались - вы можете видеть на второй фотографии.

Тут также есть хорошие результаты. Например, GPT обнаруживал уязвимости в 68% случаев и всё очень зависело от структуры запроса. Он круто справлялся с определением уязвимостей типа memory leak. Copilot - 40%, но при этом отмечается что он хорошо вывозил в очень высоко рисковых случаях - опять же надо смотреть статью.

CodeX и LLAMA - 90% и 85% успеха в обнаружении уязвимостей в коде, особенно по части утечек в памяти. Но есть нюанс, они хуже работаю с большими кодовыми базами и больше дают ложноположительных результатов.

Конечно были и рассмотрены техники того, как можно улучшить результаты. Например изначально улучшать структуру запросов (Chain-of-Thought (CoT) Prompting, Few-shot Prompting, In-context Prompting, Task-oriented Prompting) , а также делать дообучение на специальных данных.