🚀 Запуск первого автоматизированного бенчмарка LLM для 1С
🖥 Сайт — 1c-llm-benchmark.ru

Проект призван решить ключевую проблему выбора больших языковых моделей для разработки на 1С, заменив субъективные оценки объективным автоматизированным тестированием.

⚙️ Методология тестирования
Мы разработали автоматизированный цикл, который обеспечивает комплексную проверку способности нейросетей решать задачи программирования в среде 1С:

1. Формируется набор тестовых задач. Каждая задача включает промпт для LLM (например: «Сделай функцию, которая отсортирует массив по возрастанию») и готовый юнит-тест на YAXUNIT, который определяет логически корректный результат.
2. Система направляет промпт выбранной нейросети.
3. Полученный код автоматически вставляется в тестовую конфигурацию 1С и проходит типовую синтаксическую проверку.
4. После интеграции запускаются юнит-тесты. Успешное прохождение теста подтверждает, что код логически корректен и работоспособен в реальной среде 1С.
5. Система анализирует отчет о выполнении тестов и на основе полученных данных формирует объективный рейтинг моделей.

Данный подход позволяет оценивать не только синтаксическую чистоту, но и функциональность генерируемого LLM кода.

🎯 Цели и развитие проекта
Объективный мониторинг навыков программирования LLM на 1С для содействия специалистам в подборе наиболее эффективных моделей под их задачи.

Планы по развитию:

1. Расширение пула задач — Добавление новых типов задач (доработка форм, работа с метаданными, написание запросов и т.д.).
2. Интеграция MCP серверов — Добавление использования MCP серверов для расширения возможностей тестирования.
3. Тестирование агентов — Разработка механизмов оценки агентов, способных самостоятельно анализировать файлы конфигурации и вносить необходимые изменения.

🖥 Перейти к рейтингу
➡️ https://1c-llm-benchmark.ru/

📣 Наш проект растет: новые модели, скорость и планы!

Приветствуем всех, кто следит за развитием нашего проекта! Делимся свежими улучшениями и новостями.

🌐Новый игрок в рейтинге:

💸YandexGPT 5.1 pro
Мы добавили в нашу систему оценки последнюю модель от Яндекса.
И вот результаты:

📉 Занятое место: 12
⚙️Решенные задачи: 30%
💸Средняя стоимость решения: 0,12 ₽

Что помешало ей подняться выше? Основные причины ошибок:

1. Нарушение синтаксиса языка
2. Использование неправильных конструкций
3. Галлюцинации
4. Ошибки в логике решения

⚡️ Супер-обновление производительности
Мы серьезно поработали над скоростью и эффективностью:

1. Тестирование теперь в 22 раза быстрее! Это позволяет нам оперативнее оценивать новые модели.
2. Внедрили параллельное тестирование в нескольких базах данных для большей стабильности.
3. Оптимизировали запуск «Предприятия» для работы с тестовыми прогонами.

🔜 И главное... готовим сюрприз!
Мы активно работаем над крупным и очень интересным обновлением, которое выведет проект на новый уровень. Обещаем, будет круто! 🏟

Следите за анонсами, самое интересное — впереди!

➡️ https://1c-llm-benchmark.ru/