NVFP4, deepgemm, DSpark, P/D disaggr, CUDA 13.0
Это все для привлечения внимания, потому что:

Снова ищу инженеров в команду AI платформы Битрикс24

В прошлый раз из канала пришло много сильных ребят, так что заходим на второй круг.
Сейчас нанимаем LLM Ops - тех, кто будет отвечать за то, как модели живут внутри платформы.

Что за платформа?
Это основа, на которой строятся все AI фичи компании: от простых сценариев до агентов, управляющих Б24.По факту - мы внутренний провайдер моделей, а наши заказчики - продуктовые и внутренние команды, которые генерируют больше 20 млн запросов в месяц (и это только llm).

Мы отвечаем за модельки под капотом (для этого у нас больше 200 серверов с GPU от t4 до 8хH200 и B200), за их качество, доступность, производительность и эффективное использование. Плюс вот эти ваши лайтллмы, роутеры, кэши, эвалы, guardrails и прочие интересные штуки. Команда кросс-функциональная: разработчики, ML и *Ops инженеры.

Что за LLM Ops?
Всё, что связано с моделями, vLLM и инференсом: поднять, настроить, разогнать, обновить и отвечать за то, что оно держит нагрузку и не сжигает деньги впустую.

Чем предстоит заниматься:
- выжимать максимум из того железа и фреймворка, что уже есть;
- поднимать модели и готовить среду под тесты и прод - llm, stt, эмбеддинги и тд;
- следить за релизами vLLM и обновляться, потому что каждый релиз приносит фичи, которые нам реально нужны (ну или баги, которые чинить тоже иногда приходится нам);
- отвечать за производительность конкретных инстансов: смотреть метрики, ловить узкие места, реагировать;
- считать ёмкость и стоимость: 200 машин сами себя эффективно по моделям не разложат.

Что ждём от кандидата:
- практический опыт именно с vLLM(SGLang тоже котируется);
- продовый опыт эксплуатации LLM-сервисов;
- понимание, как устроены современные LLM: трансформеры, токенизация, контекстное окно, как и что влияет на latency и throughput;
- уметь работать и без кубернетисов;

Сильно в плюс:
- опыт с различными вариантами роутинга кэша (vllm-r, dynamo, LMCache. и тд);

Куда писать и что присылать?
Пишите мне в личку: @Ser_no

В сообщении лучше сразу прислать:
- CV / LinkedIn / GitHub;
- пару слов, в чём вы сильны или крутые кейсы которые решали в последнее время;
- любые артефакты, если есть: код, конфиги, бенчмарки, дашборды, отчёты, посты;

Про платформу рассказываю тут и про команду тут.

Перешлите тому самому, верю в силу телеграма)