Новая книга: Data Engineering for Multimodal AI
Мультимодальный AI — это не только про сложные модели и промпты, а в первую очередь про тяжёлую инфраструктуру данных. Новая книга раскладывает архитектуру мультимодальных систем по полочкам: от сбора разнородных данных до продакшн-деплоя и контроля расходов.
О чём книга:
Хранение и пайплайны: семантические слои, data contracts и валидация текста, аудио, видео и картинок.
Фичи и поиск: мультимодальные feature stores, слияние признаков (fusion), векторный поиск + графы знаний (hybrid retrieval).
MLOps и стриминг: выравнивание событий, мониторинг, версионирование и автопереобучение.
Продакшн и безопасность: распределённый инференс, оптимизация костов и data lineage.
Мультимодальный AI — это не только про сложные модели и промпты, а в первую очередь про тяжёлую инфраструктуру данных. Новая книга раскладывает архитектуру мультимодальных систем по полочкам: от сбора разнородных данных до продакшн-деплоя и контроля расходов.
О чём книга:
Хранение и пайплайны: семантические слои, data contracts и валидация текста, аудио, видео и картинок.
Фичи и поиск: мультимодальные feature stores, слияние признаков (fusion), векторный поиск + графы знаний (hybrid retrieval).
MLOps и стриминг: выравнивание событий, мониторинг, версионирование и автопереобучение.
Продакшн и безопасность: распределённый инференс, оптимизация костов и data lineage.
⚡41🤷6❤🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Скоро 40 лет🤦♂️ . По Российским ИТ меркам я дед и меня не возьмут на работу.
Я думал надо будет написать пост с результатами, а решил лучше вебинар - дата инженер в 40 лет миф или реальность? Можно столько всего интересного рассказать, собрать метрики и подумать над вопросом - «стакана на половину пуст, или на половину полон».
Главный вывод - это не результат, а мои действия на любой запрос, идею, мысль.
Даже если нет успеха, знать, что я выложился на 💯 не жалея себя, значит это и есть хороший результат.
В комментах напишите вопросы, я постараюсь осветить их в вебинаре.
PS 40 не отмечают, но я потом покажу как я отметил день рождение в прошлом, что месяц назад меня уволил Microsoft до 6 лет не хватило 1го месяца (с запаздыванием). Как обычно, EPIC SHIT🤣
Я думал надо будет написать пост с результатами, а решил лучше вебинар - дата инженер в 40 лет миф или реальность? Можно столько всего интересного рассказать, собрать метрики и подумать над вопросом - «стакана на половину пуст, или на половину полон».
Главный вывод - это не результат, а мои действия на любой запрос, идею, мысль.
Даже если нет успеха, знать, что я выложился на 💯 не жалея себя, значит это и есть хороший результат.
В комментах напишите вопросы, я постараюсь осветить их в вебинаре.
PS 40 не отмечают, но я потом покажу как я отметил день рождение в прошлом, что месяц назад меня уволил Microsoft до 6 лет не хватило 1го месяца (с запаздыванием). Как обычно, EPIC SHIT
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡62❤🔥16💯6🙈4🐳1
Добавил про Codex https://dataengineer.ru/ai/codex-101/ и про Pi/OpenCode https://dataengineer.ru/ai/open-agents-101/
Обновил страницу про инструменты https://dataengineer.ru/ai/ai-tools/
PS у вас тоже есть возможность добавлять материалы на любую полезную тему.
Обновил страницу про инструменты https://dataengineer.ru/ai/ai-tools/
PS у вас тоже есть возможность добавлять материалы на любую полезную тему.
Инжиниринг Данных
Codex 101
Codex 101: курс по AI-агенту OpenAI Codex для инженеров данных — установка, безопасность, AGENTS.md, лучшие практики и примеры с dbt, SQL и Airflow.
1❤🔥42
Легендарный курс про поиск работы на русском бесплатно и без регистрации https://dataengineer.ru/career/job-search/
Инжиниринг Данных
Поиск работы
Курс по поиску работы в данных: резюме, портфолио, система поиска, собеседования, офферы и переговоры. На реальных историях сообщества Surfalytics.
1❤🔥43⚡3🌚3
Добавил треки вакансий и описание требований https://dataengineer.ru/career/career-tracks/ - на базе самого популярного поста про Roadmaps для дата профессий в Surfalytics.
PS вижу пессимистичные комментарии, что все пропало, ИИ нас заменит. Просто поменялись ожидания.
И работу стало искать сложней во много раз, потому что все на словах как Лев Толстой, а на деле…. Спасибо ИИ, который и резюме пишет, и откликается самостоятельно🏆
На это неделе я был на offsite в Америке у большой компании (S&P500). Data org сократила 45% людей. Причина не в ИИ, а в том, что люди просто по инерции продолжали делать свою работу - keep lights on. Они могли дискутировать часами о бесполезных вещах, играть в “ping pong” в slack, но как обычно 0 результата для бизнеса.
Главный message от руководителей - они хотят людей, которые проактивны, могут сами понять, что делать и как делать, работают на прямую с бизнес заказчиками и другими командами, чтобы приносить пользу бизнесу. И с ИИ можно делать быстрей и эффективней, самостоятельно.
Я всегда топил за ценность для бизнеса через инжиниринг и аналитику. Но раньше это было как бы жирный плюс, то теперь базовый минимум. Как говорят - “Нравиться, не нравиться - терпи моя красавица”.
Вчера спросил VP свой любимый вопрос - сколько получает, он сказал меньше 1млн $, так как options часть просела.
Вообще он больше показывал фотки как он серфит в Нью Джерси каждый день и покупал всем дринки. Крутой мужик.
Рассказывал, что за четверть миллиона инженер должен быть счастлив (то есть это типа хорошая зп крутого инженера🤬 ) и работать эффективно, я ему рассказал, чтобы работать эффективно надо получать как в долине, а жить в Канаде, и еще бы налоги платить в Дубае=)
Я посмотрел этот штат - говорят хороший для семей с детьми и рядом NY и Boston.
PS вижу пессимистичные комментарии, что все пропало, ИИ нас заменит. Просто поменялись ожидания.
И работу стало искать сложней во много раз, потому что все на словах как Лев Толстой, а на деле…. Спасибо ИИ, который и резюме пишет, и откликается самостоятельно
На это неделе я был на offsite в Америке у большой компании (S&P500). Data org сократила 45% людей. Причина не в ИИ, а в том, что люди просто по инерции продолжали делать свою работу - keep lights on. Они могли дискутировать часами о бесполезных вещах, играть в “ping pong” в slack, но как обычно 0 результата для бизнеса.
Главный message от руководителей - они хотят людей, которые проактивны, могут сами понять, что делать и как делать, работают на прямую с бизнес заказчиками и другими командами, чтобы приносить пользу бизнесу. И с ИИ можно делать быстрей и эффективней, самостоятельно.
Я всегда топил за ценность для бизнеса через инжиниринг и аналитику. Но раньше это было как бы жирный плюс, то теперь базовый минимум. Как говорят - “Нравиться, не нравиться - терпи моя красавица”.
Вчера спросил VP свой любимый вопрос - сколько получает, он сказал меньше 1млн $, так как options часть просела.
Вообще он больше показывал фотки как он серфит в Нью Джерси каждый день и покупал всем дринки. Крутой мужик.
Рассказывал, что за четверть миллиона инженер должен быть счастлив (то есть это типа хорошая зп крутого инженера
Я посмотрел этот штат - говорят хороший для семей с детьми и рядом NY и Boston.
Please open Telegram to view this post
VIEW IN TELEGRAM
Инжиниринг Данных
Треки Вакансий
Карьерные треки в данных: личный бренд, развитие и выбор направления.
❤🔥19💯9🌚3⚡1
Заключительный пост про поиск работы - Валютная Удаленка.
Это миф или реальность? Можно ли работать из РФ?
Ответ - можно все. Но при этом все меняется часто - от условий и требований иностранных банков, до доступа в интернет.
Я знаю много людей, кто так работает по очень разным схемам, но все работает. Поиск очевидно сложней, требования выше.
Главное требование - сначала станьте экспертом в том, что вы делаете в РФ и потом уже можно искать дополнительный заработок.
Многие хотят сразу и работу новую, да еще и за доллары и евро. Так не бывает.
То же самое про 2ю, 3ю работу. Пока вы не станете экспертом в том, что вы делаете, новая работа вам не поможет, а только все усугубит.
Ну и агенты тоже не помогут. Если вы не разбираетесь в вопросе, а агент за вас делает работу, то на долгой перспективе это тупиковая ветка. Таких примером я тоже повидал. (Картинка про это)
Это миф или реальность? Можно ли работать из РФ?
Ответ - можно все. Но при этом все меняется часто - от условий и требований иностранных банков, до доступа в интернет.
Я знаю много людей, кто так работает по очень разным схемам, но все работает. Поиск очевидно сложней, требования выше.
Главное требование - сначала станьте экспертом в том, что вы делаете в РФ и потом уже можно искать дополнительный заработок.
Многие хотят сразу и работу новую, да еще и за доллары и евро. Так не бывает.
То же самое про 2ю, 3ю работу. Пока вы не станете экспертом в том, что вы делаете, новая работа вам не поможет, а только все усугубит.
Ну и агенты тоже не помогут. Если вы не разбираетесь в вопросе, а агент за вас делает работу, то на долгой перспективе это тупиковая ветка. Таких примером я тоже повидал. (Картинка про это)
💯23❤🔥10🤷3
Higgsfield Data Day - трансляция открыта
Доклады с 13:00 МСК: данные, AI-агенты, антифрод и A/B-тесты. Смотреть на YouTube
Программа (по МСК):
13:00 - открытие, Ерзат Дулат, CTO и co-founder Higgsfield
13:15 - Ануар Аймолдин (DSML) - «AI на стыке коммьюнити, рисерча и индустрии»
13:45 - Валерий Бабушкин - «Детерминизм как точка опоры в мире Agentic AI»
14:15 - Игорь Котенков (Сиолошная) - «Похожие оценки - разные истории»
15:00 - Роман Ященко (Higgsfield) - «Я дал агенту кнопку бана на 50 000 аккаунтов»
15:30 - Анатолий Карпов (KarpovCourses) - «Симулируй, прежде чем тестировать: A/B-тесты от Монте-Карло до синтетических пользователей»
16:00 - Дидар Нуркаир (Higgsfield) - «Higgsfield на допросе у VC: 10 вопросов, на которых все сыпятся»
Higgsfield нанимает - и не только в data-команду. Пришлите резюме боту, он поможет подобрать позицию
Доклады с 13:00 МСК: данные, AI-агенты, антифрод и A/B-тесты. Смотреть на YouTube
Программа (по МСК):
13:00 - открытие, Ерзат Дулат, CTO и co-founder Higgsfield
13:15 - Ануар Аймолдин (DSML) - «AI на стыке коммьюнити, рисерча и индустрии»
13:45 - Валерий Бабушкин - «Детерминизм как точка опоры в мире Agentic AI»
14:15 - Игорь Котенков (Сиолошная) - «Похожие оценки - разные истории»
15:00 - Роман Ященко (Higgsfield) - «Я дал агенту кнопку бана на 50 000 аккаунтов»
15:30 - Анатолий Карпов (KarpovCourses) - «Симулируй, прежде чем тестировать: A/B-тесты от Монте-Карло до синтетических пользователей»
16:00 - Дидар Нуркаир (Higgsfield) - «Higgsfield на допросе у VC: 10 вопросов, на которых все сыпятся»
Higgsfield нанимает - и не только в data-команду. Пришлите резюме боту, он поможет подобрать позицию
🦄13❤🔥3😭3🙉3⚡1💯1
Классика про бизнес с друзьями https://t.me/Theedinorogblog/8208
Грустно, что так получилось, возможно на data day можно будет спросить, почему так получилось.
Грустно, что так получилось, возможно на data day можно будет спросить, почему так получилось.
Telegram
The Edinorog 🦄
Как в Karpov Courses «забыли» про сооснователя перед сделкой с «Просвещением»
В мае «дочка» «Просвещения» купила 50,1% в edtech-компании Karpov Courses. А перед сделкой все основатели оформили свои доли. Ну, почти. Один из сооснователей Беслан Курашов (слева)…
В мае «дочка» «Просвещения» купила 50,1% в edtech-компании Karpov Courses. А перед сделкой все основатели оформили свои доли. Ну, почти. Один из сооснователей Беслан Курашов (слева)…
🙈8🍌4🤷3❤🔥1⚡1🌚1💯1
Вот такой план на развитие карьеры
https://dataengineer.ru/
Но еще нужно будет добавить побольше информации.
Можете еще подкинуть идей про секции.
https://dataengineer.ru/
Но еще нужно будет добавить побольше информации.
Можете еще подкинуть идей про секции.
❤🔥58⚡6🐳1🙈1
Попытался сравнить РФ стэк и западный, чтобы было понятно, что учить в зависимости от ситуации.
https://dataengineer.ru/career/stack-russia-vs-west/
Что добавить, изменить?
https://dataengineer.ru/career/stack-russia-vs-west/
Что добавить, изменить?
❤🔥46⚡7🐳2🫡2
Немножко фоток про то чем занимаюсь, когда заскучал делать дата инжиниринг.
Сегодня настроил Nvidia Jetson и подключил к pc серверу с RTX5090.
Задача примерно такая:
1) симуляцию космоса в Unreal Engine
2) спутники летают и коммуницируют, выполняют свою миссию
3) каждый спутник это один физический jetson
4) на PC тренируется модель компьютерного зрения на базе симуляции, inference будет на jetson gpus
5) в качестве тестирования hardware in the loop мы превращаем видео в дата сет и скармливаем 2м jetson, модели должны в реальном времени следовать сценарию bench testing, параллельно двигатель для спутника будет тестироваться в вакуумной камере, цель сделать полноценную автономную систему к 2028
6) это нам дает TRL5 (работающее демо)
7) в 2027 году AI часть отправляется в космос, чтобы получить TRL7+
8) в 2028 AI + Thruster должны уже вместе работать в космосе
Сейчас команда уже 10 человек и партнерство с 2мя канадскими университетами, так же с локальным Nvidia дата центром, который открывается в Ванкувере.
Сегодня настроил Nvidia Jetson и подключил к pc серверу с RTX5090.
Задача примерно такая:
1) симуляцию космоса в Unreal Engine
2) спутники летают и коммуницируют, выполняют свою миссию
3) каждый спутник это один физический jetson
4) на PC тренируется модель компьютерного зрения на базе симуляции, inference будет на jetson gpus
5) в качестве тестирования hardware in the loop мы превращаем видео в дата сет и скармливаем 2м jetson, модели должны в реальном времени следовать сценарию bench testing, параллельно двигатель для спутника будет тестироваться в вакуумной камере, цель сделать полноценную автономную систему к 2028
6) это нам дает TRL5 (работающее демо)
7) в 2027 году AI часть отправляется в космос, чтобы получить TRL7+
8) в 2028 AI + Thruster должны уже вместе работать в космосе
Сейчас команда уже 10 человек и партнерство с 2мя канадскими университетами, так же с локальным Nvidia дата центром, который открывается в Ванкувере.
⚡77❤🔥13💯4🌚3
Решил добавить серию базовых вещей на Дата Инженеръ. В surfalytics я это называю “just enough”, а на русском будет базовый минимум - SQL, git, Docker, CLI, Python
Первый курс готов: https://dataengineer.ru/practice/sql/
В качестве примера будет готовая БД duckdb, и задачки
Первый курс готов: https://dataengineer.ru/practice/sql/
В качестве примера будет готовая БД duckdb, и задачки
❤🔥32⚡9
Сегодня был на встрече с VP и Director по сетям и партнерам. Они продают товары в штатах в разные сети и анализируют продажи. Там две мадам, которые уже много лет в этой индустрии. Они были прям мега exciting про Claude и показали свой дашборд, который построили поверх Snowflake.
Там и KPIs, и ключевые insights, business recommendations. Все сами сделали. Результат впечатляет.
Но есть нюанс. Я не мог гарантировать, что все метрики правильные, я даже не знаю как это сделано - какие таблицы, какие джоины и фильтры.
В целом это лучше, чем ничего, у бизнеса готовый инструмент и советы, как сделать лучше. Бери и делай.
Напоминают reels, когда стегаться над ChatGPT - “Привет, у тебя есть час сделать приложение, найти клиентов и заработать миллион. Строй!!”.
Там и KPIs, и ключевые insights, business recommendations. Все сами сделали. Результат впечатляет.
Но есть нюанс. Я не мог гарантировать, что все метрики правильные, я даже не знаю как это сделано - какие таблицы, какие джоины и фильтры.
В целом это лучше, чем ничего, у бизнеса готовый инструмент и советы, как сделать лучше. Бери и делай.
Напоминают reels, когда стегаться над ChatGPT - “Привет, у тебя есть час сделать приложение, найти клиентов и заработать миллион. Строй!!”.
😭6⚡3