Архитектор Данных
1.8K subscribers
273 photos
21 videos
3 files
205 links
Алексей, архитектор данных из ВК.

Большие данные и облака.

Для связи @alexbelozersky
Download Telegram
UPD - бот устал и попал под раздачу блокировок

Вступаем в группу вебинара напрямую по ссылке
🔥53👀31
Человек-оркестр это не мем это диагноз

Люблю этот летний утренний хайп сегодня
"накидал агентов они сами всё сделали ты только оркестрируешь, кодинг умер инженеры не нужны!!!"

Так вот скажу как человек который завёл первый MVP хаба за вечер на клоде (11 контейнеров, 15к строк), а потом полтора месяца и 693 коммита доводил его до того что он реально держит прод и принимает деньги

Демка взлетает за сутки, а продукт это месяцы?
Чет не так как продают на ютубе, но возможно я смотрю неправильный ютуб


Скиллы, саб-агенты для ревью, оркестраторы, спеки на 1000 строк, workflow
каждый новый слой не убирал баги а добавлял новые места где они прячутся и добалял мне чертов СДВГ что бы я за всем этим следил!

Регресс ловил раз 10 на ровном месте фича зелёная локально, катишь на прод и оно отваливается на эндпоинте про который агент «забыл»
ни один скилл / плагин / MCP не дал мне гарантии что после раскатки будет ок
ни один =(


Что реально спасло
Реально спасло что у тебя тут армия тестировщиков преданных! @nyxandro
Четкий пайплайн тестов/дел/задач перед выкаткой (он описан скриптом)
А дальше
тесты, логи, тесты, логи, ещё раз логи, потом снова тесты 💀
smoke перед каждым пушем, полный прогон перед продом
читать логи всех сторон системы (vllm, litellm, гейт, вебхук) там вся соль, а не в "агент сказал готово"
деплой не когда модель написала done, а когда зелёный гейт сказал done и я глазами дернул метод и увидел ответ
единственная «фича» которая ни разу не подвела это дисциплина смотреть в логи да через агента но смотреть каждый раз ждать по 5/10/20 минут у терминала и смотреть логи создавать события самому или ждать юзеров


А за счёт чего это вообще едет?

За счёт своей базы, не агентской О_о
тащит то что накоплено за 6 лет карьеры
девопс, сети, линукс, докер
поднять, изолировать, разрулить роутинг, не уронить прод или уронить и поднять!
vllm и модели изнутри
чат-темплейты, constrained decoding, harmony, парсеры тулов, я лазил в кишки и переписывал
железо, нагрузка, температуры: знаю что мои 4090 48гб или rtx6000 держат и когда кипят, а не гадаю
питон, бекенд, фронтенд: что б прочитать что нагенерил агент и понять где он наврал
агент без этой базы это джун с уверенным тоном
на проде опасная штука


Человек-AI-оркестр не миф, но сделали меня им не агенты и уж точно не супер скилл или md файл

я стал им за 6 лет, пока руками поднимал инфру, ронял и чинил прод, лез в инференс, считал нагрузку и температуры
агент это рычаг, а опора это те самые 6 лет в голове
поэтому всё что нужно что б хаб не просто крутился а начал приносить деньги и принимать платежи я настроил сам
роутинг, sticky-кеш, биллинг через юкассу, лимиты, грейсы, рефанды, изоляция песочниц, бекапы, мониторинг
агент писал код, а что куда и зачем решал я


И тут небольшая ремарка про психику

По ощущениям на сегодня у меня либо раздвоение личности, либо продуктивность на уровне целой команды
пока сам не разобрал что именно
но визит к специалисту чувствую точно не помешает 🙂


Моё решение чутка сложнее мобильного приложения с бекендом и прокси к облачным ллмкам
тут свой инференс на своём железе, мультисервис, изоляция, биллинг, b2b по токенам, агент со своей песочницей, часть живет в k8s
поэтому это и не делается за сутки
поэтому мне и интересно
поэтому я и вкладываю столько времени
будь это тонкий клиент к api gpt мне стало бы скучно через день



Агенты замена инженера сегодня?
Нет
Они дают рычаг тому у кого есть на что опереться
думать, резать на куски, проверять, читать логи и нести ответственность за прод всё ещё ты
и тянет это твоя база по всему стеку собранная годами, а не очередной плагин
чем проще обвязка тем надёжнее едет: пара промптов в рукаве, context7, web search, playwright и железная дисциплина тестов
остальное лестницы из спичек, проще сжечь чем поддерживать

Так что когда вам в сотый раз скажут «оркестратор агентов всех заменил»
покажите мой пост и мой хаб
попросите показать логи
и тесты
и что было когда он раскатил это на прод
и что было когда у него было 200 рпс
и спросите сколько лет он до этого собирал свою базу 😈
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14💯5👌2
Старые мемы

Меняем облако, контейнеры, кубер на ИИ, ЛЛМ, Агентов

Остальное оставляем как есть
😁25👍31
И даже еще более старые
😁1432
Всем привет!

Напоминаю что в 19:00 сегодня обсуждаем Кликхаус и его особенности.

Ссылка будет в чате
🔥884👍2
О быстрых оптимизациях в Clickhouse

Пришел заказчик жаловаться на медленный отчет в суперсете. Говорит, больше 2 минут обновляется любой чих.

Apache Superset, кто не знает, тот пример максимально ленивого BI, который на каждый фильтр, на каждое обновление страницы на каждый график отправляет live-запросы в БД. Но данные висят на Clickhouse, так что 2 минут быть точно не должно.

Начинаю разбираться. Витрина - заказы за все время жизни компании, 550 млн строк, солидно. Но

1) Витрина оформлена через джойны на два справочника. А-ля схема звезда.

2) Пол-ярда записей лежат одной таблицей (!) без партиций, с сортировкой по id заказа (!!)

То есть на каждый апдейт или взятый фильтр, базу отправляется 10-15 запросов, в которых база вынуждена вычитывать 550 млн записей и налету джойнить их 2 раза. 5,5 млрд чтений + 5,5 млрд джойнов на один апдейт страницы одним пользователем! У СУБД нет способа выделить только нужные данные даже если запрос за последние 10 дней.

Делаем честную плоскую витрину, режем на партиции, сортировка по дню. Время от фильтра до отчета падает до меньше 2-5 секунд. Это большая разница. Это разница между возможностью и невозможностью работать с предоставленной информацией в режиме лайв. Например на звонке или встрече.

Мораль. Да какая уж тут мораль - если ввязался в российский бомже-стек аналитики, то придется знать, как работает Superset и какие лучшие практики построения витрин в кликхаусе. Еще и DBT какой рядом иметь, чтобы процесс добавления колонок в плоскую витрину (заказчик попросил еще 2-22 разреза данных) занимал минуты, а не дни.

Еще много там такого выковыривать, на полгода хватит.
👍973👏2
В Postgres есть CREATE MATERIALIZED VIEW

В Clickhouse тоже есть CREATE MATERIALIZED VIEW

Между ними крайне мало общего. Супер разные вещи назвали одинаковым словом дабы запутать добрых христиан.

С этим и со многим другим начнем разбираться 11 июня на курсе по Кликхаусу.
😁8👍75
Блин, я такое только на крипте видал. Ну и у ВК/МЕЙЛРУ

А тут вполне респектабельная Астра попала под такие топоры
😱9🤷‍♂3🤪3😁1
Forwarded from LadimirKapital
ICE and Ornn plan to launch futures based on Ornn’s Compute Price Index, which tracks live-traded spot prices for GPU compute across major hardware types.

***

Очень крутая концепция, фьючерсы на вычислительную мощность. Превращение ее в сырье, полезно для конкуренции.
🔥2
Сайт Open Meta Data (open-metadata.org) заблокирован РКН.
IP 75.2.60.5

Продолжи фразу:

Сегодня ты управляешь своими данными, а завтра …
😱14😁5🤯4💩3
Меняю профессию!

Теперь я вайб-садовод.

Вы со своими старыми подходами не понимаете, мир изменился, ИИ трансформация сжирает целые старые отрасли!

Мой продукт - нейро лимон 🍋 - инновационное производство с глубоким внедрением Искусственных Интеллектов во все процессы. С помощью ИИ Агентов КлодГПТ я делаю все: определяю режим полива, потребности в свете, поддержке, режим вноса удобрений. И вот результат - продукт вырос по основной метрике на +80% всего за 1,5 месяца!

Это успех. Сейчас я активно думаю над масштабированием сразу на уровень плантации и с помощью ИИ агентов подбираю подходящую площадку для производства. В то де время другие мои КлодГПТ агенты исследуют возможности в соседних нишах. Наиболее перспективными считаются персик-тех и мандарин-тех.

Если вы инвестор - это уникальная возможность вложиться в самое передовое лимон-тех предприятие в России. Вот мой яндекс кошелек.

А пока - подписывайтесь на мои каналы, любой может стать, вайб-растениеводом. Я готов предоставить уникальную технологию, промпты и скрипты для вайб-садоводинга.

Не сиди на диване, ты упускаешь все шансы стать преуспевающим владельцем нейро-плантации. Не нужно никаких знаний, только грамотное применение ИИ-Агентов.

Завтра все ниши будут заняты, поэтому подписывайся прямо сейчас.
😁20332👍1