Инжиниринг Данных
23.9K subscribers
2.19K photos
63 videos
194 files
3.31K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
После уровня Senior перед многими Data Science-инженерами встает непростой выбор.
В выпуске с AvitoTech обсуждаем карьерные треки в Data Science и честно говорим о том, что стоит за каждым из них.

Как расти после Senior.
Какие ожидания от инженеров высоких грейдов.
Почему некоторые уходят в менеджмент, а затем возвращаются в IC трек.
Какие возможности открывает экспертный путь.

Смотрите выпуск на YouTube и VK Видео.

Сейчас в Авито проходит Fast Track, проект в рамках которого можно получить оффер на Senior DS по ускоренному пути отбора.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥5👨‍💻1
Добавил 2 статьи про идеальный setup в Канаде и Штатах:

🇨🇦Canada Wealth Paths for Data Professionals

🇺🇸USA Wealth Paths for Data Professionals

Про Канаду я сам знаю достаточно хорошо про найм, RSU стоки, государственные программы, корпорации, оптимизацию налогов и тп. Все это я уже делаю много лет, за исключение создания холдинга и траста.

Статья про USA она все тоже самое, что и про Канаду, но только в US терминах.

2 основных вывода:
• В США доход и ваш профит как минимум в 2 раза выше при одинаковых вводных - например вы Sr DE.
• Лучший setup = найм + корпорация, где корпорация служит для накопления и инвестирования, а найм оплачивает текущие расходы.

PS как обычно это база в Surfalytics:)

UPD: добавил про Европу https://blog.surfalytics.com/p/europe-wealth-paths-for-data-professionals (тяжко там все, конечно)
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥20🌚102
От гипотез к бизнес-решениям:
гайд по построению платформы данных с ИИ
↗️

Компании активно инвестируют в аналитику и искусственный интеллект. Но без единой платформы данных большинство ИИ-инициатив остаются на стадии экспериментов, а подготовка данных становится долгим и трудоемким процессом.

Решение: создание платформы, которая позволяет объединить данные, аналитику и искусственный интеллект в единой среде и перейти к системной работе с данными.

Чтобы вы могли самостоятельно построить такую платформу, эксперты Cloud.ru подготовили гайд — «Как построить платформу данных с ИИ».

Что внутри:
• Референсная архитектура платформы данных и ИИ

• Пример реализации на платформе Cloud․ru Evolution

• Практические ИИ-сценарии

• Пошаговое руководство по работе с ИИ‑агентом


Гайд будет полезен руководителям данных, ИТ-руководителям, архитекторам и командам аналитики, которые развивают платформы данных и внедряют ИИ.

⏩️ Получить практический гайд ⏪️
❤‍🔥2😭22
Часто бывает, что мы не успеваем закончить работу с агентами, тогда нам нужно переключиться на телефон и продолжить. Есть классный сторонний app Happy, который позволяет нам поднять удаленную сессию на рабочем компьютере и продолжить, подключившись с телефона.

https://happy.engineering/
Свежий квадрант Gartner про BI инструменты. Как обычно, Microsoft лидируют со своей экосистемой продуктов для аналитики.

Согласно отчёту, главное изменение — это Agentic BI.

И тут я полностью соглашусь. Все топы «писяются кипятком» от восторга, когда они общаются с данными (aka chatGPT). И тут не очень важно, это Snowflake Cortex, Databricks Genie или сам BI инструмент.

Я это сейчас вижу на примере Omni BI — весь C-уровень очень доволен.

Но есть нюанс - вы платите за токены Anthropic и сами выбираете модель. То есть токены жгут не только инженеры:)

Ключевое — это модель данных и семантический слой, то есть если у вас в markdown файлах всё нормально описано, то будет всё пучком.

Классическое моделирование данных, когда сначала разговариваем с бизнесом, а потом рисуем диаграммы, эффективно как никогда, особенно если все встречи записать и скормить агенту. Главное — не халтурить в начале, чтобы потом избежать косяков.
Ну и сам отчёт:
🤖 Главный тренд

2026: Agentic BI
Это ключевой сдвиг этого года — от реактивных дашбордов к автономным агентам, которые сами инициируют анализ и действия:
• Agentic Analytics — AI-агенты, которые не просто отвечают на вопросы, но самостоятельно выполняют многошаговый анализ, запускают воркфлоу, мониторят метрики
• Semantic Layer как фундамент — Gartner на своём Data & Analytics Summit 2026 особо выделил, что к 2027 году компании с семантическим слоем получат на 80% более точные результаты AI и снизят затраты на 60%. Уже 92% лидеров в области данных внедрили или планируют внедрить semantic layer
• Традиционные schema-based модели признаны недостаточными для агентного AI

📋 12 критических возможностей платформы Gartner оценивает платформы по критическим capabilities, сгруппированным в блоки:

Инфраструктура:
• Администрирование платформы и масштабируемость
• Cloud BI (PaaS/SaaS)
• Безопасность и управление доступом
• Подключение к источникам данных

Работа с данными:
• Self-service подготовка данных
• Семантический слой и управление метаданными
• Governance и версионирование

Анализ и контент:
• Интерактивная свободная аналитика
• Дашборды и отчётность
• Встроенная расширенная аналитика (ML/AI)
• Natural Language Query / Conversational Analytics — в 2026 г. это один из ключевых критериев
• Публикация и распространение контента
1❤‍🔥103🐳1
Недавно была конференция по duckdb https://www.youtube.com/playlist?list=PLWksJtu3SS6Y
❤‍🔥103🍌1
Замечательная идея - каждое утром распечатывать новости о планах на день, проектах, обновлениях, непрочитанных сообщения и тп.
🙈121🌚1
Как упростить работу с кластером через веб‑интерфейс OpenSearch Dashboards

Присоединяйтесь к вебинару от Selectel, чтобы разобраться на практике, как развернуть кластер СУБД OpenSearch в облаке за несколько минут и управлять им с помощью веб-интерфейса OpenSearch Dashboards. Узнаете, как легко настроить мониторинг, визуализировать данные и метрики, работать с бэкапами, управлять пользователями и доступами.

📍 Онлайн
16 июля в 15:00
👤 Кому будет полезно: сисадминам, архитекторам, администраторам баз данных, бэкэнд-разработчикам, техлидам


Регистрируйтесь ➡️ https://slc.tl/y7jke

Больше мероприятий для ИТ-специалистов в канале @selectel_events. Подписывайтесь!

Реклама. АО "Селектел". erid:2W5zFK3xwVT
🙈1
Сегодня в 5:30 встречаемся в Лондоне.

PS так не обычно, раньше в школе всегда учил London is the capital of Great Britain, но никогда не был тут.
❤‍🔥315🌚21
Запись - https://www.youtube.com/watch?v=CE0K9ErBqsI

Презентация в приложении. Вроде получилось довольно неплохо, хоть и с небольшими проседаниями, так как давно не делал презентаций на английском.

Из интересного, удалось сделать полноценный pet project по генерации презентации чисто на промптах с добавлением валидаций на уровне text и image LLM-as-a-judge + multi-LLM asssessment. Любой новый промт включал полный цикл от обновления svg до пересборки всего pdf.

Доработаю его на на новых созвонах книжного клуба и сделаю более детальный пост об архитектуре.
❤‍🔥134🌚3😭1
Встретились с ребятами из Лондона в пабе, а с Ромой Зыковым на вокзале, я его проводил до поезда на море)))

Очень классно так приехать в другой город и другую страну и узнать кто чем живет, как тут работается, какие цены и перспективы.

Кто-то трудится на Meta, кто-то на стартапы. Все бы хотели работать в OpenAI и Anthropic. Я бы и сам хотел за лям в год создавать будущее в топовой AI лабе.

Как я понял, в Лондоне народ приезжает по рабочей визе, что лочит вас на 5 лет, у вас нет особо никаких прав, вы не можете сразу работать в нескольких местах и нужно довольствоваться тем, что есть. А если уволят, нужно искать новую работу. В Европу тоже не съездить без шенгена.

Сам Лондон красивый город, но heat wave, который сейчас в Европе, явно не для Лондона, тут нет кондиционеров нигде - в метро, British Museum, и тп. Душно и жарко. Зато если встать в 5 утра, то можно гулять по пустым улицам без духоты. Обязательно надо сюда приехать в адекватную погоду. Кстати музеи тут бесплатны. Завтра сходим в National History музей, надеюсь там есть кондиционер. Британский музей закрывают в пятницу из-за жары.

Еще из интересного, я сходил в ресторан Hide, который открыл Чичваркин. Чичваркина не видел

Сегодня мы поедем в парк Thorpe, где самые высокие горки 🎢 , а завтра отправляемся в Словению.

Интересно, там есть подписчики?
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥532🌚22