Привет! Я Вася Ершов, руководитель ML-команды Yandex Cloud. Расскажу, какой путь мы прошли, когда глобально обновили Yandex AI Studio, и как мы искали правильные технические решения для этого релиза.
В марте мы глобально обновили Yandex AI Studio: добавили DeepSeek-V3.2, запустили рассуждающих агентов и снизили стоимость инференса до 6 раз. Также внедрили новые инструменты безопасности: теперь данные можно передавать по выделенным каналам без логирования запросов.
Чтобы внедрить эти возможности, нам пришлось полностью пересмотреть инженерную составляющую платформы. Современные агентские LLM требуют полноценной распределённой inference-системы: с разделением prefill и decode, переносом KV-кэшей между узлами, маршрутизацией с учётом расположения кэша и контролем TTFT/TBT на уровне всего кластера.
Мало собрать GPU-кластер — нужно было ещё подобрать, интегрировать и доработать компоненты и сервисы так, чтобы вся эта конфигурация стабильно работала на нашем железе под реальной нагрузкой.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
В прошлом посте я рассказывал, почему даже небольшие изменения в нём могут принести больше вреда, чем пользы. В работе над ядром PostgreSQL это вечная дилемма: как создать новую фичу и при этом не сломать то, что уже работает. Но пробовать нужно, ведь каждая попытка создаёт базу для будущих проектов.
Привет! Я Андрей Бородин, работаю над PostgresSQL и Apache Cloudberry в Yandex Cloud. Я Major Contributor в сообществе и поддерживаю проекты WAL-G, SPQR и Odyssey. Сегодня расскажу про журнал предзаписи WAL.
Главная его проблема в избыточности, ведь файлы бэкапов для истории ужимаются в несколько раз. Если понимать, как устроена эта подсистема, можно ускорить запись данных и репликацию. Но также это поможет вам проектировать свои сервисы более грамотно.
➡️ Объясню, почему лог так раздувается и что мы с этим делаем. Все бенчмарки и архитектурные компромиссы — в статье на Хабре.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥12👍8 6❤1
А ведь хотелось бы фиксировать задачи на лету. Именно из этой «боли» и вырос инструмент, который помог свести рутинные действия лишь к нескольким кликам.
Привет! Я Александр Архипов, технический менеджер проектов в Yandex Cloud. Я часто получаю сообщения, которые нужно быстро сохранить и главное — не потерять в потоке других. Так и родился мой пет-проект — Neo Operation Bot. Личный чат-бот, который сохраняет задачи, присваивает им статус и присылает напоминания в нужное время. Подробнее о его работе рассказал в карточках.
Я настроил бот под свои задачи, но вы можете развернуть его у себя. Инструкция — в публичном репозитории.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Привет! Я Григорий Орлов, руководитель команды разработки сетевых сервисов гибридных облаков в Yandex Cloud.
Я работаю в Yandex Cloud уже четыре года и всё это время занимаюсь развитием сервиса Cloud Interconnect. И поскольку я успел стать свидетелем развития этого продукта, то покажу не только текущую работу, но и немного предыстории, как мы пришли к таким решениям.
Разберу детали на уровне Config Plane — там, где пользователь задаёт целевое состояние системы. Речь пойдёт о CIC-API — сервисе управления железом, которое стоит на наших точках присутствия и участвует в работе Cloud Interconnect, необходимого для создания приватных выделенных сетевых соединений. Подробнее в статье на Хабре.
➡️ Если хотите узнать больше о том, как мы строим инфраструктуру Yandex Cloud, регистрируйтесь на митап about:cloud — infrastructure. Все подробности и ссылка на регистрацию — в этом посте.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤15 4 4