BenchLabs
340 subscribers
28 photos
2 videos
9 links
Download Telegram
📣 Наш проект растет: новые модели, скорость и планы!

Приветствуем всех, кто следит за развитием нашего проекта! Делимся свежими улучшениями и новостями.

🌐Новый игрок в рейтинге:

💸YandexGPT 5.1 pro
Мы добавили в нашу систему оценки последнюю модель от Яндекса.
И вот результаты:

📉 Занятое место: 12
⚙️Решенные задачи: 30%
💸Средняя стоимость решения: 0,12 ₽

Что помешало ей подняться выше? Основные причины ошибок:

1. Нарушение синтаксиса языка
2. Использование неправильных конструкций
3. Галлюцинации
4. Ошибки в логике решения

⚡️ Супер-обновление производительности
Мы серьезно поработали над скоростью и эффективностью:

1. Тестирование теперь в 22 раза быстрее! Это позволяет нам оперативнее оценивать новые модели.
2. Внедрили параллельное тестирование в нескольких базах данных для большей стабильности.
3. Оптимизировали запуск «Предприятия» для работы с тестовыми прогонами.

🔜 И главное... готовим сюрприз!
Мы активно работаем над крупным и очень интересным обновлением, которое выведет проект на новый уровень. Обещаем, будет круто! 🏟

Следите за анонсами, самое интересное — впереди!

➡️ https://1c-llm-benchmark.ru/
Please open Telegram to view this post
VIEW IN TELEGRAM
👍10👀2🔥1
Запустили Arena Mode для всех пользователей 1C LLM Benchmark 😍

Последний месяц мы отдельно готовили и дорабатывали этот режим, и теперь любой специалист 1С может бесплатно зайти в АРЕНУ, выбрать две модели, задать свой рабочий запрос и проголосовать, чей ответ лучше

На Арене уже доступны самые топовые модели: Gemini 3 pro, ChatGPT 5.1, Claude Sonnet 4.5 — их можно напрямую сравнивать между собой на ваших реальных задачах по 1С

Каждое такое сравнение влияет на живой рейтинг нейросетей и делает наш бенчмарк по-настоящему народным — в нём участвует всё сообщество 1С, а не только организаторы. Это уже не только тесты и метрики, а совместная оценка качества решений для 1С

Не забывайте выбирать категорию перед началом диалога!

Арена уже доступна, для каждого по ссылке: 1c-llm-benchmark.ru/arena

Меньше слов, посмотрите сами как это работает 👐
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥153💯21👀1
К сожалению, у нас возникли технические сложности, связанные с блокировкой OpenRouter'а на отправление запросов из России

Арена в ближайшее время не будет работать

Мы активно обновляем задачи бенчмарка и готовим большой пул задач с разными категориями. Бенчмарк тоже пострадал из-за блокировки

Также до нового года мы готовим новые функции в наш сервис, которые будут полезны всем! Обязательно вернемся с новостями!

А пока работаем над исправлением всех неполадок!
🥰3🔥1
Арена снова доступна!

Мы устранили неполадки, связанные с блокировками, и сервис снова работает в штатном режиме. Спасибо, что оставались с нами!

Вместе с возвращением функционала мы обновили список доступных моделей. Уже сейчас вы можете протестировать и сравнить Gemini 3.0 Flash и GLM 4.7!

Заходите, тестируйте промпты и голосуйте за лучшие ответы. Ваши голоса формируют объективный рейтинг нейросетей!
👍9❤‍🔥1
Channel name was changed to «BenchLabs»
Channel photo updated
🚀 Ребрендинг и большой апдейт — раздел с промптами!

Наш проект "1С LLM Бенчмарк" теперь официально называется BenchLabs

Почему мы это сделали?
Мы расширяем поле наших исследований. Теперь это не только сравнение моделей, но и тесты RAG-систем, а также другие изыскания, которые помогают в работе с 1С и смежными областями. Название BenchLabs лучше отражает этот масштаб 👀

Методология, Arena Mode и все старые результаты доступны по новому адресу: 🌐 BenchLabs.ru

И уже на обновленном сайте вы можете увидеть новые разделы — "Промпты" и "Подборки промптов"

Мы решили создать единую базу промптов именно для 1С-сообщества. Раньше не было одного места, где можно было бы найти качественные запросы для аналитики, разработки, администрирования или тестирования в 1С. Теперь оно появилось.

Что в этих разделах интересного:

1️⃣ Авторские подборки: Это не просто свалка текстов. Блогеры, преподаватели или эксперты могут создавать свои тематические коллекции (например, «Промпты для написания ТЗ» или «Помощник кода»).
2️⃣ Удобные шаблоны: Больше не нужно копировать текст в блокнот и вручную удалять лишнее. Если в промпте есть параметры в [квадратных скобках], вы просто заполняете их в специальном поле на сайте — и на выходе получаете готовый текст.
3️⃣ Проверка в Арене: Понравился чей-то промпт? Нажмите кнопку "В арену" и сразу отправьте его в "Арену", чтобы сравнить, какая модель выдаст лучший результат.
4️⃣ Сообщество: Каждый может добавить свой промпт, ставить лайки и собирать избранное для быстрой работы.

Зачем мы это делаем?
🎯
Наша цель — помочь тем, кто работает с 1С, быстрее решать рабочие задачи. Мы объединяем опыт сообщества, чтобы вам не приходилось каждый раз заново изобретать велосипед при общении с нейросетью.

Заходите на сайт, тестируйте новый функционал и делитесь своими наработками:
➡️ Промпты тут

➡️Подборки тут
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥116🎉4
Мы собрали 18 MCP-серверов для 1С в одном удобном месте 🚀

Мы продолжаем превращать BenchLabs в единую точку входа для всего, что помогает эффективно использовать LLM в задачах по 1С — и в этом обновлении у нас важная штука: раздел с MCP-серверами.

Что сделали:
1️⃣ Запустили новый раздел MCP-Серверы
2️⃣ Уже добавили 18 MCP-серверов для 1С — большая часть из них — для разработки
3️⃣ Теперь можно в одном месте посмотреть, какие MCP-интеграции уже есть под 1С и что они умеют

Зачем это нужно?
MCP-серверы — это способ подключать LLM к инструментам и данным: от типовых операций и работы с конфигами до автоматизации рутины и интеграций.

Если вы не знакомы с MCP-серверами, советуем почитать пост у Валеры в канале 🥸

Мы хотим, чтобы 1С-комьюнити не собирало это по чатам и случайным репозиториям, а имело структурированный каталог, который можно быстро открыть и выбрать подходящее.

📌 Заходите и смотрите новый раздел:
➡️ https://benchlabs.ru/mcp-servers

И как обычно — если у вас есть свой MCP-сервер или вы знаете крутой проект, который мы пропустили: добавляйте сами или пишите, добавим 👀

ДИСКЛЕЙМЕР

BenchLabs не продаёт и не предоставляет MCP-серверы, размещённые в каталоге. Мы лишь собираем информацию о существующих решениях и указываем ссылки на первоисточники. Разработки принадлежат их авторам — пожалуйста, самостоятельно проверяйте актуальность, безопасность и условия использования перед установкой/подключением. Если ваш MCP-сервер попал в наш список, а вы не хотите, чтобы он там был, напишите в сообщения канала
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥13👍8😍61
В раздел MCP-Серверы приехали сразу 3 новых проекта 🚀

Что добавили:
1️⃣ ConfluenceMCP — Локальный MCP-сервер для поиска по внутренней документации в Confluence (поддержка SSE и streamable-http, Basic Auth).
➡️ Посмотреть подробнее

Автор этого MCP-сервера участник 1С AI Club — Иван Титов, автор Ютуб-канала ivantitov_tech

2️⃣ 1C MCP Toolkit от ROCTUP — инструмент для подключения AI-агентов (Kiro, Claude и др.) к базам 1С:Предприятие через MCP или REST API. Под капотом: Python прокси + внешняя обработка 1C, связь через HTTP long polling.
Ключевые плюсы:
без изменений конфигурации 1C
без публикации 1C сервера
без COM-соединения
совместимость с 8.2.13+ и 8.3.25+
Docker-friendly
➡️ Посмотреть подробнее

3️⃣1C Buddy от ROCTUP — чат + MCP-сервер + OpenAI-совместимый API-шлюз для общения с 1С:Напарник.

Плюс OpenAI-совместимый API:
совместимость с Chat Completions (/v1/chat/completions)
stream / non-stream + SSE
Bearer-токены
➡️ Посмотреть подробнее

📌 Раздел MCP-Серверы на BenchLabs:
➡️ https://benchlabs.ru/mcp-servers

И как обычно — если у вас есть свой MCP-сервер или вы знаете крутой проект, который мы пропустили: добавляйте сами или пишите, добавим.

ДИСКЛЕЙМЕР


BenchLabs не продаёт и не предоставляет MCP-серверы, размещённые в каталоге. Мы лишь собираем информацию о существующих решениях и указываем ссылки на первоисточники. Разработки принадлежат их авторам — пожалуйста, самостоятельно проверяйте актуальность, безопасность и условия использования перед установкой/подключением. Если ваш MCP-сервер попал в наш список, а вы не хотите, чтобы он там был, напишите в сообщения канала.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6👍51❤‍🔥1😍1