HighLoad++

Как объединить возможности нескольких моделей без потери качества? Где AI уже можно использовать в продакшене, а где он все еще требует постоянного контроля? И что происходит после решения развернуть собственную LLM вместо использования внешних сервисов?

В этом посте — три доклада из стрима «Внедрение ИИ в цикл разработки» о компромиссах, ограничениях и решениях, которые появляются, когда AI становится частью реальной инженерной системы.

1️⃣ Model Merging: как объединить знания нескольких LLM в одну. Даниил Смирнов (Сбер).
Даниил руководит командой обучения моделей в GigaChat. В своем докладе он расскажет о том, как они раздельно дообучают модель на разных доменах, а потом «склеивают» получившиеся экспертные модели. Это новый подход, и он позволяет быстро дообучать модели без риска того, что они станут глупее.

2️⃣ ИИ-код: от нуля до прода. Михаил Кацуба (Lenta Tech).
Вместе со спикером слушатели поищут способы как добиваться от AI-агентов работающего результата, а не только красивую простыню кода: где ИИ уже годится в прод; где нестабилен в результатах, но дожать можно; где опасен и использовать нельзя; и можно ли спасти запутавшегося ИИ.

3️⃣ «Давайте просто развернем свою LLM на 1Т параметров»: как выглядит self-hosted AI после первого миллиона запросов. Сергей Нотевский (Битрикс24).
Что происходит после фразы «давайте просто развернем open-source модель у себя»? На опыте Битрикс24 спикер разберет грабли self-hosted AI: контекст, vLLM, GPU-пулы, evals, качество, стоимость и миллионы запросов в месяц. На выходе: чек-лист решений и метрик, который поможет оценить готовность к своим моделям и не сжечь бюджет на железе.

Эти доклады будут полезны тем, кто работает с AI не на уровне экспериментов, а на уровне решений, за которые потом приходится отвечать. Здесь обсудят не только возможности технологий, но и ограничения, стоимость ошибок и критерии, по которым стоит принимать технические решения.

Стрим «Внедрение ИИ в цикл разработки» мы подготовили совместно со Сбером, полную его программу можно посмотреть здесь ⬅️

❤1

861 views11:19