У меня теперь есть обязательства перед моими 9 подписчиками! Поэтому сегодня я выделил время покумекать (слово происходит от корня «-мек-» (связанного с умом, мыслями), родственного словам смекать, невдомёк) на тему:

«шо там у народных LLM» (ЛЛМ [эл эл эм], ДДТ (для тех кто забыл переключить язык), Large Language Model - большая языковая модель (БЯМ (кек)), типа чатГПТ)

Часть 1 из 2 - выбираем модели и правила игры

Еще в далекие ковидные времена мы с Валерой @neuraldeep и Александром Сергеевичем @zanudamode собирали майнинг-ферму. Вложились на несколько десятков видеокарт, которые вы, возможно, трогали, пользуясь Валериными транскрибациями и прочими его сервисами. Так Валерий Андреевич стал ПК-боярином и криптоинвестором, а мы с Сашей за него сильно рады и сегодня обсудим бесплатные LLM для задач исследования рынка

Будем разбираться на примере софта (прим.комплюхтерной (кудахтерной (компьютерной)) программы) для управления промо-акциями формата TPM (ти пи эм [т’и п’и эм] Trade Promotion Management (управление промо-акциями), система для планирования, бюджетирования, исполнения и пост-анализа эффективности рекламных активностей (скидок, акций)) / TPO (ти пи о [т’и п’и оу] TPO (Trade Promotion Optimization) в ритейле — это аналитический подход и программное обеспечение, использующие данные для автоматического планирования, моделирования и оптимизации бюджета на промоакции (скидки, спецпредложения) с целью максимизации продаж и рентабельностb) для B2B (Business-to-Business [би ту би]).

Именно такой пример был выбран неспроста - в этой сфере встречается множество смежных программ с таким же обозначением TPM, но с другим функционалом, процессами и потребителями - например, чековые промо для лутания (прим. получения) кэшбеков или управление промо-кодами для похода на чистку зубов (тема! рекомендую!) или в квеструм с друзьями.

Для исследования берем «народные!» LLM. То бишь:
• бесплатные (хотя бы с лимитами),
• популярные,
• доступные в РФ, в том числе c VPN (ВПН [вэ пэ эн - если ты нишевый; в’и п’и эн - если ты немного манерный или шаришь за дитэйлз энд фэбрик] Virtual Private Network — виртуальная частная сеть, или по-простому программа для обхода Чебурнета).

Выбери бойца:
• Рептилоидные ChatGPT (fast), Perplexity (Sonar), Grok (Pro), Gemini (fast)
• Православная Алиса YandexGPT
• Рисовая DeepSeek (Pro)

Note (ноут [ноут], заметка) на уровне наблюдений и слухов:
• Вендоры (производители LLM) часто выпускают новую модель (LLM) и она хороша. Потом проходит время, хайп (от англ. hype — «ажиотаж», «шумиха») спадает и вендоры квантуют (без занудства - упрощают процессы вычисления, тем самым удешевляя стоимость генерации и ухудшая качество ответов) модели и сокращают ей память. Мы это не учитываем сейчас - у нас же не научное исследование, а чисто в курилке потрындеть.
• Вендоры зачастую балансируют нагрузку. Брат-сват в приоритете, поэтому с утра до примерно 13 часов по Москве рисовую DeepSeek дудосят (от англ. DDoS (Distributed Denial of Service) - отправляют много запросов) китайцы, а после обеда дудосятся представителей рептилоидных LLM, из-за чего модели могут реально тупеть или вообще отказываться отвечать. Эту часть я учел и не отправлял запросы в пиковые часы.
• Сервисы LLM собирают ваш цифровой профиль и используют его для контекста. Если история ваших запросов связана с фермерством, то примеры на абстрактные темы будут связаны с репчатым луком, а шутки с трактористами. Я использовал чистые новые профили и режим инкогнито для чистоты эксперимента

Как говорится когда-то я начинал с Майнинга)))

Вот что вышло из этого (вы тут в канале видите)

С Тимом когда то начинали собирать умные урны и роборуки в РФ, заставил его начать вести канал!

Чтиво прям хорошее

Вторая часть https://t.me/tim_xyz/13

Я хотел назвать этот проект "Битрикс24 Имба", но решили, что рынок пока недозрел. Меж тем - это имба!

Битрикс24 VibeCode - это первая платформа на российском рынке, которая соединяет вайбкодинг с экосистемой корпоративного ПО для совместной работы, продаж и автоматизации.

Битрикс24 открывает бета-тестирование VibeCode - полноценной платформы для создания бизнес-приложений с помощью искусственного интеллекта. Впервые любой сотрудник компании - без навыков программирования и бюджетов на разработку - может описать задачу на обычном языке и получить работающее приложение, размещённое на защищённом сервере и интегрированное с Битрикс24.

Сотрудники компаний смогут «навайбкодить» для себя и коллег самые разные приложения – от простых отчетов до умных ботов на базе ИИ. Платформа уже включает 26 готовых шаблонов-примеров приложений.

Среди типичных сценариев:
инструмент для юристов, который анализирует изменения в объёмных договорах и выделяет ключевые правки;
система обучения и контроля менеджеров по продажам, которая анализирует звонки и переписки в CRM;
ИИ-ассистент в чате, который мгновенно находит нужную сделку, контакт или документ по запросу на естественном языке;
дашборд аналитики, собирающий данные о продажах в реальном времени.

Ранее создание собственного решения требовало множества шагов: купить сервер, настроить его, выбрать модель и написать приложение с соблюдением требований безопасности, задеплоить, подключить домен и SSL-сертификаты, интегрировать со своими системами. 

На платформе Битрикс24 VibeCode весь процесс сводится к трем шагам: получить API-ключ и стартовый промпт, отправить в выбранную под свои задачи ИИ и запустить приложение. Нейросеть сама напишет приложение, настроит интеграции и развернет готовое решение на безопасном сервере. Доступ будет только у авторизованных сотрудников.

Интересный момент про платформу, я недавно переехал в Битрикс(по части направлений), реалии заставляют, после сравнения всех платформ открытость API в битрикс выиграла, и вы знаете, я был очень приятно удивлен как обновилась мобильная апка на ios(честно удобно) последний раз я тут был лет 5 назад

Жду папки для чатов и поиск, и точно аналогов в РФ не будет

Но вайб платформа прям добила, рек

Ссылка на вайб кстати что бы не потерялась

https://vibecode.bitrix24.tech

Страх и ненависть в AI кодинга за 24 часа

Скорость разработки MVP точно не будет прежним, мир изменился.
Но что с масштабированием и безопасностью на проде?

Вчера понял что у меня слишком много своих серверов, где-то аренда, что-то стоит в Колокейшн - это услуга размещения собственного физического сервера или сетевого оборудования клиента на территории дата-центра (ЦОД) провайдера) и что 85% времени они стоят и я плачу за интернет и аренду

Как итог после 1 часа общения с клодом и сбора ТЗ выбора самого производительного сервера у меня в офисе, было поднято 11 контейнеров и написано 15к строк кода

https://hub.neuraldeep.ru/

Первые 30 пользователей получат подписку на 2 месяца сразу к 6 моделям (по всем тарифам есть RPM)

gpt-oss-120b
qwen3.6-35b-a3b
e5-large
bge-m3
bge-reranker-v2-m3
whisper-1

Так же скоро будут добавлены qwen3-8b-embedding
gemma4

Из интересного попробовал реализовать механику и систему подписок как в кодинг агентах (часовые лимит и недельные лимиты)

Платежей пока нет (но скоро будут)


Насчет безопасности и масштабирования

По тестам и вопросам к агенту все четко

Друг смог обойти подписку за 20 минут, а сервер упал под нагрузкой на какой-то эндпоинт апи, не было легирования решил повесить на все защиту, базовые настройки но в погоне за идеей можно все это упустить, вывод? Думаю что и эти два пункта можно нагнать спустя время, просто нужно больше времени в тесте


Что точно разочарование это то что модельки все еще много думают сверху если жестко не ограничить все тз и задачей, но скорость это прощает, и наверное еще как вывод я больше времени стал отдыхать по выходным, все больше уходит в автоматизацию

LLM hub by Kovalskii

Вчера анонсировал https://hub.neuraldeep.ru/, а сегодня с утра уже есть что анализировать (вы просто супер аудитория!)

Что интересно из аналитики для меня:

Много кто взял модели для прогона pac1 (бенчмарка от Рината)
Кто-то взял для подключения к opencode

И самое интересное что на таком объеме запросов и людей, некоторые высказались тем что очень радует скорость и доступность моделей (gpt oss 120b)


Через неделю я планирую провести закрытий стрим для всех активных пользователей
Важные условия для участия

1) Активно юзать хаб
2) Смотреть почту на предмет сообщений с домена @neuraldeep.ru

Мы разберем как и зачем я использую такой набор моделей, и как начать строить что-то свое, как доводить до продакшена и прокачивать экспертизу


Спасибо всем за идеи и предложения, я все впитываю и сразу же внедряю

По поводу оплат за подписку, она на текущим момент не планируется (тарифы добавлены для теста кликов)
Ну и поздравляю первых 30 пользователей с про доступом на 2 месяца (там очень щедрые лимиты)

University of Cambridge

Позвали выступить рассказать про агентов

Фотка не ИИ

UPDATE:

Нашли подтверждение тому как я все успеваю

Searcharvester 🌾
Deep Research agent system

Год наза назад сколотил маленький SearXNG-Tavily-адаптер дроп-ин замена платного Tavily для LLM-пайплайнов на базе SearXNG
На днях вернулся и развил его в полноценный self-hosted deep research stack + sandbox agent per task

Что получилось:
3 независимых сервиса за одним API:
- /search — Tavily-совместимый поиск через SearXNG (100+ движков)
- /extract — URL → чистый markdown через trafilatura, с пресетами размера (s/m/l/f) и пагинацией для длинных статей
- /research — deep research агент(Hermes) даёшь вопрос, получаешь markdown-отчёт с цитатами

Агент-ядро — Hermes (Nous Research, 109k ⭐️), эфемерно спавнится на каждый /research запрос, --rm после exit

Видит три наших скилла: search, extract, deep-research (последний чистая методичка без кода, описывает 5 фаз:

plan → gather → gap-check → synthesise → verify

Стек: SearXNG + FastAPI + trafilatura + Hermes + docker-socket-proxy (для безопасного спавна)
Всё в одном docker compose up
LLM-агностик gpt-oss-120b(на ней делал тесты на vLLM, OpenAI, Anthropic, Ollama, что угодно OpenAI-совместимое)


Старый adapter был тактической заплаткой на Tavily
Новый стек полноценная альтернатива Perplexity/Exa/You.com для self-hosted agentic deep research system setup, и при этом каждый из трёх сервисов полезен сам по себе

РЕПО: https://github.com/vakovalskii/searcharvester

Зацените название кстати! Searcharvester