Скандальчик очередной с атакой на цепочку поставок. На сей раз под ударом все кто имеют в цепочке зависимостей библиотку axios в npm (очень популярная библиотека для сетевых запросов).

Более пяти часов она ставила зашифрованный малварь на машины жертв. Объемы инсталляций библиотеки— 100 млн в месяц, так что заражены могут быть миллионы машин.

Проверяйте себя

https://x.com/feross/status/2038807290422370479?s=46&t=X0WelBfVXZJ6DwiINUU8mA

Если вы запускали npm install в последние сутки: Проверка, попали ли вы под атаку:

# blackhole C2 Domain
echo '127.0.0.1 sfrclak.com' | sudo tee -a /etc/hosts

# flush DNS cache for good measure
sudo dscacheutil -flushcache

# check for IoC - if this file exists you are pwned
# shut down your machine immediately
ls /Library/Caches/com.apple.act.mond

Сижу перевекторизирую 235 млн сообщений с miniLM на bge-m3

Данные уже в opensearch, модель поднята на A100, казалось бы — запусти скрипт и иди спать

Но нет. ML кластер с A100 в одном сегменте сети, opensearch в другом, я со своим ноутом на корпоративном VPN в третьем. Скрипт надо запихать поближе к данным а доступов нет. Сказка да и только, буду пробиваться через техподдержку

Это ещё до того как я посчитал что встроенный ingest pipeline opensearch гоняет документы по одному — каждый = отдельный HTTP запрос к модели. 235 млн × 25ms = 68 дней. Но может я ошибаюсь и кто-то подскажет как правильно? Может как скролл настроить правильно?

Написал внешний скрипт с батчингом 3000 docs/s (воу), 21 час вместо 68 дней. Осталось его доставить туда где он сможет достучаться до обоих сервисов одновременно с минимальной задержкой

По пути vLLM v0.18.0 тихо убрал --task embed (узнал через краш в 2 ночи), потом CUDA graphs баг в RoBERTa который попал в релиз раньше фикса. A100 80GB при этом занята на 8.7 из 80 что смешно — тестами с клодом пришёл к тому что 5 контейнеров vLLM это максимум для утилизации GPU, поставил traefik перед ними для балансировки

Реалии корпоративного AI/LLM/ML зоопарка (расскажу как-нибудь в следующих постах про это)

Вот из таких историй и складывается реальный ML на проде не из красивых архитектурных схем а из сетевых сегментов, крашей в 2 ночи и 68 дней которые надо превратить в 21 час

В прошлом году на Data Fusion подсмотрел как ребята тренят классификаторы на катбусте под гарды — вернулся и собрал свой guardrails v2 на этом подходе. Сэкономил недели которые бы потратил на эксперименты с архитектурой

В этом году иду за кейсами по массивным ML пайплайнам потому что вот это всё с переиндексацией 235 млн документов явно не последний раз

И в этом году Data Fusion 2026 сделали аж более 70 сессий, ИИ-агенты, RL, CV, NLP, робототехника, рекомендательные системы, AI в кибербезопасности и науке. ML-лиды, DS, инженеры, исследователи и бизнес на одной площадке, спикеры из ВТБ, AIRI, МФТИ, Сколтеха, Яндекса, X5, Ростелекома

Я планирую приехать, если кто тоже будет пишите, пересечёмся поговорим про этот вот все =)

Митап с Валерой Ковальским про SGR, GraphRAG по коду и его воркфлоу

Ну, в AI индустрии Валеру не знает, наверно, только ленивый. Но на всякий случай:

- Head of AI Engineering, автор канала @neuraldeep
- Популяризатор SGR подхода (Scheme-Guided Reasoning) и автор популярного фреймворка-реализации SGR https://github.com/vamplabAI/sgr-agent-core (1100+ звезд!)
- Автор 10+ опенсорс проектов, включая ру базу скиллов https://neuraldeep.ru
- Наверное, один из наиболее востребованных экспертов по RAG и агентным системам в СНГ.

Что будет на митапе?
В прямом эфире создадим агента по SGR, который собирает связи по кодовой базе для последующего создания GraphRAG. Но самое интересное, что агента мы будем кодить вместе с Валерой по его воркфлоу (а значит, мы узнаем почему в узких кругах Валеру называют "120 минут").

Встречаемся сегодня в 14:00 по МСК онлайн.
Ссылка на встречу: https://luma.com/dheyf8hl

Мы в эфире с Валерой: https://www.youtube.com/watch?v=cMRo2CYrRNQ

Мне стало страшно перезагружать нотубук и потом искать все сессии в терминале

В папках ./claude ./codex лежало спокойствие
И я решил навайбкодить дашборд для сессий Claude Code + Codex (дабы не рыскать по сессиям в терминале)

Встречайте CodeDash для тех кто любит терминал, и не нашел еще решения такой проблемы, или если вы нашли присылайте в коментарии app не предлагать =)

npx codedash-app@latest run

ну и по классике вы всегда можете допилить что хотите сами

Репо: https://github.com/vakovalskii/codedash


Добавил легкий переезд сессий с одного пк на другой codedash export / codedash import читайте в репо

Ссылка на зум: https://us06web.zoom.us/j/85633161275?pwd=MH9bycZ9k1kPv3sYRuV9C66aDJQWva.1

Вопрос 1
14: 01 Вопросы про память у кодинг агентов как организовывать документацию

Залетайте задать свой вопрос!

Следующий вопрос 2

14:10 Что будет актуально через время какой запрос у бизнеса будет дальше после агентов

Следующий вопрос 3

14:25 Что интересного нашли в утечках claude code

Следующий вопрос 4-5

14:30 Локальные модели? Стоит ли работяге их катать? На локал компе и каком
14:35 Агностики ЛЛМ/Луддиты в компании что с ними делать?

Следующий вопрос 5

14:45 Как определить какие задачи передавать агентам и как их делать детерминированно? Как доверять ответам агентов?

Следующий вопрос 6

14:55 Как проверять нейрослоп от агента? Людьми? Есть ли способ автоматизировать?

Следующий вопрос 7

14:55 Карьера? Зарабатывает ли AI Инженер больше других простых инженеров? Куда учится или свопится?

15:10 Как найти эксперта? И как найти сеньеров для продакшена?

15:15 Как все таки вести документацию есть ли лайхаки? Нужно ли упарываться?

15:25 Как протащить ИИ инструменты через СБ? Где граница потери процесса обучения, мы теряем детали?

К нам присоединился Коля автор канала https://t.me/oestick

https://us06web.zoom.us/j/85633161275?pwd=MH9bycZ9k1kPv3sYRuV9C66aDJQWva.1

Весь мой вайбкод одним предложением!

За мем спасибо Дяде

NeuralDeep апдейт за две недели

(база знаний для агентов)

Пара цифр для затравки:
— 42 навыка и MCP сервера в каталоге (было 15 на старте)
— 38 скиллов + 4 MCP сервера
— 94 зарегистрированных пользователя
— 426 установок через CLI
— 16 авторов-контрибьюторов

За последнюю неделю прилетело 10 новых поинтов от комьюнити:

DaData (скилл + MCP) — проверка контрагентов, валидация адресов, 31 инструмент
Ozon Seller API — работа с маркетплейсом Ozon через агент
ZenMoney — интеграция с финансовым трекером.
MPStats — аналитика маркетплейсов
SberMobile — мобильный Сбер. Автор: Лев
Travel Search RU — поиск билетов и туров
xBSL AI Skills — 1С:BSL разработка
Neural Deep Search — мультимодальный поиск SearXNG+Tavily для self-hosted

Что нового по фичам:

Личный кабинет — теперь каждый автор может редактировать и удалять свои навыки прямо на сайте (neuraldeep.ru/dashboard)

Сортировка по дате — на всех страницах (навыки, MCP, CLI) теперь можно отсортировать по новизне, звёздам

Комментарии на MCP — раньше были только на скиллах

RU-метки — проверили и раздали всем российским сервисам правильные теги

Тесты контента — CI теперь гоняет аудит: пустые теги, кривые имена, битые данные не пролезут
Trending 24h — починен подсчёт (раньше считал с начала времён, теперь честные 24 часа)

Топ по установкам:
1. 1С Enterprise — 94
2. Яндекс Wordstat — 61
3. Яндекс Метрика — 49
4. Яндекс Вебмастер — 33
5. Битрикс24 — 27

Проект open source, любой может залить свой скилл или MCP через GitHub

Сайт: neuraldeep.ru
Репо: github.com/vakovalskii/neuraldeep

Stay Tuned!

Tool Calling на максималках для хард инженеров

Как на самом деле работает Tool Calling: от HTTP до парсеров

Саша @polyakovbest затронул тему неточности на курсах ШАД про tool calling
Все правы но каждый в своём слое, я даже ответил достаточно развернуто в комментариях

Давайте закрепим как это работает по-настоящему, я залезал в кишки vLLM и переписывал парсер для тулов чтобы проследить весь путь

Три слоя одной правды

Лектор ШАД говорит: «тулы передаются через системный промпт». Саша поправляет: «тулы объявляются в отдельной секции API-запроса». Оба правы, но на разных уровнях абстракции.

Вот что происходит на самом деле (см. диаграмму):

Слой 1: HTTP-запрос
Ты отправляешь tools: [...] отдельной секцией
На уровне API это отдельное поле, не system prompt
Саша тут прав на 1000%.

Слой 2: Chat Template (Jinja2)
Вот тут начинается магия
Открываем tokenizer_config.json любой модели (Qwen3, Hermes и т.д.):

{%- if tools %}
  "# Tools\n\nYou may call one or more functions..."
  <tools>{tool schemas}</tools>

Chat template берёт твои tools: [...] и рендерит их ПРЯМО в system prompt. Лектор ШАД на этом уровне не врёт (но вводит в заблуждение если не раскрывает сути дальше)

Слой 3: Constrained Decoding (xgrammar)
Параллельно JSON-схемы тулов попадают в guided_decoding=GuidedDecodingParams(json={...})
Это xgrammar/outlines — constrained decoding на уровне логитов та магическая штука что заставляет тулы возвращаться не сломанными и со всеми аргументами что вы заложили на старте
Модель физически не может сгенерировать невалидный JSON, маска токенов не даст

Слой 4: Hermes Parser (post-processing)
Модель генерит обычный текст: <tool_call>{"name": "...", "arguments": {...}}</tool_call>
Это приходит в поле content
Парсер Hermes ловит XML-теги, извлекает JSON и перекладывает в структурированный ответ

Важный нюанс: tool_calls: null, finish_reason: "stop"
Не tool_use!
Парсер делает всю магию post-processing'ом. Инженерия, да и только.

Почему важно изучать матчасть всю а не по кусочкам? И Саша поднимает очень крутую тему с тем что стоит смотреть чуть чуть дальше доки)

Все банально, залезть в chat template, поднять модельку самому, вывести full логи (это уровень тру llm инженеров) и на этот уровень почти никто не заглядывает, редко вижу где авторы разбирают логиты или темплейты или уж упаси того за ногу запуск чего-то экзотического с разбором инференс движка

На сегодня очень небольшой список тех за кем я слежу и читаю, это те кто лезет настолько глубого в инференс и выкладывает что-то на гитхаб что даже я разбираю их посты с гуглом в обнимку!

https://t.me/evilfreelancer (Паша очень хардовый инженер по обучение запуску и девопсу)
https://t.me/sergeinotevskii (Сергей, лично тоже. наком рулит всей AI платформой в Bitrix)

Но вы будете так же правы если на сегодня не сталкиваетесь с проблемами tool call при работе с облачными моделями, оно вам не текущем этапе жизни точно не нужно


Проприетарные API (Anthropic, OpenAI) прячут всё это серверно ты не видишь ни chat template, ни constrained decoding, ни парсер
Получаешь красивый tool_calls: [{...}] и finish_reason: tool_use
Но внутри ровно та же цепочка, это просто стоит понимать

Ранее разбирал историю SO + FC + MCP в трёх частях: [часть 1] | [часть 2] | [часть 3]

В коментариях прислал пример полного запроса в LLM когда включен максимальный уровень дебага в vLLM

Считаю базой то что сюда надо заглянуть любому уважающему себя инженеру
Не обязательно переписывать парсер но понимать контракт между API, chat template и constrained decoding нужно
Между инференс-фреймворком и провайдером существует контракт что и куда попадает через chat template
Старайтесь не нарушать его и изучать как он работает
Иначе ты не инженер, а пользователь чужих абстракций