Snowflake показал отчлиные результаты и стоки у них подросли. Без AI конечно не обошлось.

Для меня Snowflake все еще является лучшей платформой для хранилища данных. Не самой дешевой, но самой простой и понятной.

Про Databricks такого сказать не могу.

Вход в аналитику сейчас требует большего, чем несколько лет назад. AI закрывает часть рутины, но не снимает с аналитика ответственность за корректность выводов. Писать код недостаточно, если нет понимания устройства данных и умения проверять результат: бизнесу нужен не скрипт, а обоснованный вывод.

Своим видением обстановки поделился Саша Исаков, в своем посте он начал делиться базой, которая нужна прямо сейчас, чтобы вкатиться в аналитику:

🔹 SQL: проверить, корректен ли код, может только тот, кто знает, как он устроен внутри.
🔹 Статистика: аргумент в спорах с заказчиками, особенно когда те приходят с готовыми выводами от Claude и ждут немедленного «катим тест».
🔹 Реальный проект: от сбора данных, борьбы с дубликатами и тестов гипотез до финальных метрик и защиты выводов.

Эти темы всё чаще мелькают у опытных практиков, чтобы помочь новичкам в период, когда инструменты обновляются быстрее, чем накапливается реальный опыт. В конечном счёте именно фундамент определяет, как далеко получится пройти в профессии.

Если смотреть на актуальный стек в Data-инженерии и ML, требования к специалистам уже давно вышли за рамки одной только работы с данными или алгоритмами. Сейчас наравне с PyTorch и SQL в продуктовой разработке требуют знать Airflow, Kafka, Docker, FastAPI и разбираться в MLOps-инфраструктуре.

Для тех, кто планирует системно закрыть хард-скиллы или сменить направление, есть новость. Сейчас у НИЯУ МИФИ идет прием документов на онлайн-магистратуру «Специалист по работе с данными и применению ИИ», созданную в партнерстве с Яндекс Практикумом.

Программу разделили на 4 профильных трека:

-CV-инженер — компьютерное зрение от базовой обработки до трансформеров: PyTorch, OpenCV, Hugging Face, Transformers, FastAPI.
-NLP-инженер — обработка текста и работа с LLM: NLTK, TF-IDF, RNN, PyTorch.
-Data-инженер — пайплайны и хранилища: SQL, PostgreSQL, MongoDB, Vertica, Hadoop, Kafka, Python.
- ML-инженер — разработка и внедрение моделей машинного обучения: MLflow, DVC, Airflow, Optuna, Docker, FastAPI, Yandex Cloud.

Там же разбирают продуктовые кейсы компаний, в том числе юнитов Яндекса (Лавка, Еда, Go, Реклама, Облако). В общем, все подвязано на практике, поэтому без портфолио проектов точно не останетесь.

Формат программы полностью дистанционный, при этом ее статус очный — с отсрочкой и студенческими льготами. Выдается два диплома: магистерский от НИЯУ МИФИ и о профпереподготовке от Яндекс Практикума.

Поступление тоже проходит онлайн. Кампания в самом разгаре, так что смело залетайте. Ознакомиться с подробностями можете по ссылке.

Как работать с данными так, чтобы не терять клиентов

Данных о клиентах у крупных компаний не просто много, а очень много. Следующий уровень: связать все эти данные между собой и использовать в бизнес-процессах.

Ситуация: клиент решил расстаться с банком. Банк думает, что тот недоволен обслуживанием как физическое лицо, а на самом деле — у клиента есть своя компания, и он расстроен тем, как финансовая организация решала вопрос с неработающим эквайрингом. Парадокс: банк знает о клиенте практически все, но ни один сотрудник не видит ситуацию целиком и не понимает, в чем истинная причина ухода.

Сегодня в 18.00 компания HFLabs проведет вебинар и расскажет, как бизнесу не попадать в такие ситуации.

На вебинаре обсудят:
— как собрать в одном профиле данные, события и связи между людьми и компаниями;
— зачем хранить граф связей и какие задачи он помогает решать;
— как повысить LTV за счет лучшего понимания клиента и своевременных действий;  
— как перейти от накопления данных к их использованию в бизнес-процессах; 
— как сделать данные о клиентах понятными для LLM. 

Кому будет полезно
Всем, кто хочет лучше понимать своих клиентов: руководителям CX-департаментов, розничных и корпоративных блоков в крупных компаниях, директорам по маркетингу.

🕕 Вебинар пройдет сегодня (6 августа) в 18:00. Зарегистрируйтесь, чтобы получить ссылку на подключение.

Интересная локальная модель Gemma4-12B-Coder для Python, работает без интернета. Нужно 4.5 Gb VRAM.

Если вдруг вопрос про RAM vs VRAM:

RAM — рабочий стол обычного офисного работника (CPU)
VRAM — рабочий стол дизайнера с огромным монитором (GPU)

Пишите много на Python или изучаете его? Отличный вариант использовать бесплатного помощника, если компьютер позволяет

👀Кто такой по-настоящему крутой дата-инженер сегодня?

Профессия дата-инженера сильно изменилась. Еще недавно основной фокус был на надежных пайплайнах, ETL-процессах и стабильной доставке данных.

Но сейчас везде обсуждают LLM: инструменты меняются на лету, бизнес требует внедрения больших языковых моделей, и команды пока ищут устойчивые подходы к тому, как использовать их в реальных системах.

Сегодня рынок ждет от нас гораздо большего.

— Как встроить LLM в пайплайны без лишней сложности?
— Как устроены базы данных под капотом?
— Почему ломается Data Quality, когда объемы вырастают в сто раз?
— Как выстроить MLOps, чтобы модели жили долго и не деградировали?

Над этими вопросами сейчас ломают голову и мидлы, и сеньоры. И чтобы находить изящные решения, нужна хорошая архитектурная насмотренность.

Быстрее всего она появляется там, где можно вживую разобрать чужие подходы и обсудить их с коллегами из других компаний. Именно такие люди соберутся на SmartData уже этой осенью.

Среди тем программы — практический опыт команд, которые внедряют LLM в свои решения.

📆 23–24 сентября, Москва (офлайн) + онлайн.

Подробности и билеты — на сайте конференции.

⚡️С промокодом ROCKYOURDATA персональные билеты дешевле.

Сегодня заценил новый skill от Claude. Как обычно Airflow Dag упал с ошибкой. Обычно я копирую ошибку в Claude Code и прошу его починить.

Но сегодня товарищ попробовал попросить Claude bot, и он сразу нашел проблему, владельца dag, source code изменения и тп. И сразу сделал PR.

Раньше мы такое делали как мини проект - запускали lambda, чтобы она все это делала и писала ответ и создавала PR. А теперь все из коробки.