Инжиниринг Данных
23.9K subscribers
2.18K photos
63 videos
194 files
3.31K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Мы начали вебинар про DataForge! Приходите!

Ссылка для подключения: https://us06web.zoom.us/j/81983883522?pwd=Gknc5FzYuaDOfjwo4mxzhjbEJ5LqFW.1

Идентификатор конференции: 819 8388 3522
Код доступа: 640329
6👨‍💻3💯2
Что мощнее — S3 или локальные диски?
Разбираем сценарии использования S3-хранилища в связке с Postgres Pro

На вебинаре узнаете о лучших практиках эксплуатации в продакшн-средах. Эксперты Selectel и Postgres Pro разберут все: от резервного копирования через pg_probackup и S3 Selectel до хранения паркетных данных с Postgres Pro AXE и результатов TPC-тестов. Особенно интересно будет архитекторам, техлидам и всем, кто отвечает за надежность и экономику хранения данных.

📍 Онлайн
25 июня в 12:00


Регистрируйтесь ➡️ https://slc.tl/q0hcj

Больше мероприятий для ИТ-специалистов в канале @selectel_events. Подписывайтесь!

Реклама. АО "Селектел". erid:2W5zFJujdLu
🙈4🌚1
Всем привет, можно в Лондоне встретится числа 8го Июля на data&drinks и обсудить UK зарплаты и компании:)

Есть желающие?

Группа https://t.me/+WGGCmqx-0dxmNjU5
4💯2🙈1
После уровня Senior перед многими Data Science-инженерами встает непростой выбор.
В выпуске с AvitoTech обсуждаем карьерные треки в Data Science и честно говорим о том, что стоит за каждым из них.

Как расти после Senior.
Какие ожидания от инженеров высоких грейдов.
Почему некоторые уходят в менеджмент, а затем возвращаются в IC трек.
Какие возможности открывает экспертный путь.

Смотрите выпуск на YouTube и VK Видео.

Сейчас в Авито проходит Fast Track, проект в рамках которого можно получить оффер на Senior DS по ускоренному пути отбора.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥5👨‍💻1
Добавил 2 статьи про идеальный setup в Канаде и Штатах:

🇨🇦Canada Wealth Paths for Data Professionals

🇺🇸USA Wealth Paths for Data Professionals

Про Канаду я сам знаю достаточно хорошо про найм, RSU стоки, государственные программы, корпорации, оптимизацию налогов и тп. Все это я уже делаю много лет, за исключение создания холдинга и траста.

Статья про USA она все тоже самое, что и про Канаду, но только в US терминах.

2 основных вывода:
• В США доход и ваш профит как минимум в 2 раза выше при одинаковых вводных - например вы Sr DE.
• Лучший setup = найм + корпорация, где корпорация служит для накопления и инвестирования, а найм оплачивает текущие расходы.

PS как обычно это база в Surfalytics:)

UPD: добавил про Европу https://blog.surfalytics.com/p/europe-wealth-paths-for-data-professionals (тяжко там все, конечно)
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥20🌚102
От гипотез к бизнес-решениям:
гайд по построению платформы данных с ИИ
↗️

Компании активно инвестируют в аналитику и искусственный интеллект. Но без единой платформы данных большинство ИИ-инициатив остаются на стадии экспериментов, а подготовка данных становится долгим и трудоемким процессом.

Решение: создание платформы, которая позволяет объединить данные, аналитику и искусственный интеллект в единой среде и перейти к системной работе с данными.

Чтобы вы могли самостоятельно построить такую платформу, эксперты Cloud.ru подготовили гайд — «Как построить платформу данных с ИИ».

Что внутри:
• Референсная архитектура платформы данных и ИИ

• Пример реализации на платформе Cloud․ru Evolution

• Практические ИИ-сценарии

• Пошаговое руководство по работе с ИИ‑агентом


Гайд будет полезен руководителям данных, ИТ-руководителям, архитекторам и командам аналитики, которые развивают платформы данных и внедряют ИИ.

⏩️ Получить практический гайд ⏪️
😭22❤‍🔥1
Часто бывает, что мы не успеваем закончить работу с агентами, тогда нам нужно переключиться на телефон и продолжить. Есть классный сторонний app Happy, который позволяет нам поднять удаленную сессию на рабочем компьютере и продолжить, подключившись с телефона.

https://happy.engineering/
Свежий квадрант Gartner про BI инструменты. Как обычно, Microsoft лидируют со своей экосистемой продуктов для аналитики.

Согласно отчёту, главное изменение — это Agentic BI.

И тут я полностью соглашусь. Все топы «писяются кипятком» от восторга, когда они общаются с данными (aka chatGPT). И тут не очень важно, это Snowflake Cortex, Databricks Genie или сам BI инструмент.

Я это сейчас вижу на примере Omni BI — весь C-уровень очень доволен.

Но есть нюанс - вы платите за токены Anthropic и сами выбираете модель. То есть токены жгут не только инженеры:)

Ключевое — это модель данных и семантический слой, то есть если у вас в markdown файлах всё нормально описано, то будет всё пучком.

Классическое моделирование данных, когда сначала разговариваем с бизнесом, а потом рисуем диаграммы, эффективно как никогда, особенно если все встречи записать и скормить агенту. Главное — не халтурить в начале, чтобы потом избежать косяков.
Ну и сам отчёт:
🤖 Главный тренд

2026: Agentic BI
Это ключевой сдвиг этого года — от реактивных дашбордов к автономным агентам, которые сами инициируют анализ и действия:
• Agentic Analytics — AI-агенты, которые не просто отвечают на вопросы, но самостоятельно выполняют многошаговый анализ, запускают воркфлоу, мониторят метрики
• Semantic Layer как фундамент — Gartner на своём Data & Analytics Summit 2026 особо выделил, что к 2027 году компании с семантическим слоем получат на 80% более точные результаты AI и снизят затраты на 60%. Уже 92% лидеров в области данных внедрили или планируют внедрить semantic layer
• Традиционные schema-based модели признаны недостаточными для агентного AI

📋 12 критических возможностей платформы Gartner оценивает платформы по критическим capabilities, сгруппированным в блоки:

Инфраструктура:
• Администрирование платформы и масштабируемость
• Cloud BI (PaaS/SaaS)
• Безопасность и управление доступом
• Подключение к источникам данных

Работа с данными:
• Self-service подготовка данных
• Семантический слой и управление метаданными
• Governance и версионирование

Анализ и контент:
• Интерактивная свободная аналитика
• Дашборды и отчётность
• Встроенная расширенная аналитика (ML/AI)
• Natural Language Query / Conversational Analytics — в 2026 г. это один из ключевых критериев
• Публикация и распространение контента
1❤‍🔥92🐳1
Недавно была конференция по duckdb https://www.youtube.com/playlist?list=PLWksJtu3SS6Y
❤‍🔥102🍌1
Замечательная идея - каждое утром распечатывать новости о планах на день, проектах, обновлениях, непрочитанных сообщения и тп.
🙈8