⚡️Датасет и замеры генерации кода по запросу на русском

Мы перевели популярный датасет HumanEval с задачами по генерации кода по текстовому запросу на русский. Ссылка на датасет HumanEval_ru.

Для замеров используем наш форк BigCode Evaluation Harness. Ccылка на код замеров.

Замерили на нем модели StarCoder и опубликованные на прошлой неделе Codellama. Метрики этих моделей на русском ниже, чем на английском, но незначительно. Это несколько удивительно, учитывая, что эти модели видели очень мало русского. StarCoder обучался на The Stack, в котором русский встречается только в малой доле (менее 1%) комментариев к коду.

📊Замеры открытых моделей на RealCode [Github]
В первой таблице сравнение моделей на RealCode и HumanEval. В ней и на графике для генерации тела функции в RealCode используем только текущий файл, длина контекста 1024 токенов (для infill режима 512 токенов в левом контексте и 512 в правом). Для второй таблицы в контекст подавали и другие файлы текущего проекта (чтобы файлы поместились контекст увеличен до 15к токенов), такая возможность есть только у deepseek-coder.

🔸Pass@1 на RealCode прежде всего зависит от емкости модели
Разница между моделями близкой емкости в одинаковом режиме генерации незначительная. На HumanEval же, например,
Starcoder-base-7b Pass@1=28.4,
CodeLlama-7b Pass@1=31.7,
deepseek-coder-6.7b Pass@1=49.4.
Однако, на RealCode рост метрики в LM режиме после 7b параметров незначителен.

🔸Возможность учета правого контекста при генерации важна
Мы это связываем с тем, что большинство функций в RealCode это, на самом деле, методы в классах. А в классах можно использовать методы, описанные ниже по тексту. Также при учете правого контекста у модели чаще есть возможность смотреть на использование генерируемой функции.

🔸Потолка качества генерации по 1024 токенам модели не достигают
Если взять максимальный Pass@1 для каждой функции по всем замерам на графике (и в LM, и в Infill режимах) и усреднить по всем функциям, то получится Pass@1=0.70. То есть разные модели и разные режимы генерации позволяют правильно генерировать разные функции.

🔸Возможность учитывать весь проект важна
Deepseek-coder-1.3b на проектах обыгрывает даже 33b модели.

❗️Модели верно генерируют до 60% функций в реальных репозиториях
Конечно стоит учитывать, что в RealCode у моделей при генерации есть заголовок функции и ее докстринг, но показатели все равно кажутся высокими.