👀 Почему все так дорого?

Новый год прошел, а память о возмутительных ценах на горошек и колбасу для оливье еще жива. Если закупаясь продуктами перед праздником, вы задавались вопросом, почему все так ужасно дорого, знайте, что вы не одиноки. Это проблема по-настоящему международного масштаба.

В подтверждение у нас есть целое исследование, которое проводилось в коллаборации с Google Trends.

🔄 В основу легли данные о поисковых запросах с 2012 по 2023 годы. Авторы изучили, цены на какие товары или услуги так смущали пользователей, что они заходили в Google и писали: «Почему … стоит так дорого?» Ну, или что-то похожее.

🔄 В 2013 году людей из разных стран больше всего интересовала причина высокой стоимости техники. А вот с 2015 и по настоящее время — чаще задаются вопросом, почему так дорого стоят еда и напитки (в частности, яйца).

🔄 К исследованию прикрепили целую гору графиков с разбивкой по категориям товаров и странам. В каждую категорию и страну можно «провалиться» и узнать, например, что в 2015 году в Узбекистане пользователей Google интересовало, почему так дорого стоят вещи бренда Yeezy.

В общем, получается, что на вопрос в заголовке исследование так и не отвечает. Зато дает узнать, цены на какие вещи так возмущают или шокируют людей в разных странах, что они аж в Google идут. 👀

🫡 Всё пиз-Data Science

👀 Много ли пользы от ИИ в науке?

ChatGPT и генерация картинок в духе «советские плакаты в стиле Ghibli» — это не предел возможностей современного ИИ, который активно применяется в науке. Один из самых известных примеров (но далеко не единственный) — это AlphaFold, ИИ, предсказывающий пространственные структуры белков.

Надежд на ИИ много, но вот насколько он оправдывает ожидания?

➡️ Физик Ник МакГрейви решил использовать ИИ для решения дифференциальных уравнений в частных производных. Изначально он к этой идее относился с большим энтузиазмом, но быстро разочаровался — нейросети оказались ненадежным инструментом с нестабильными и недостоверными результатами.

Разочаровали и статьи коллег об использовании ИИ в этой сфере. Да, в них много писали о том, что с помощью нейросетей уравнения решаются в миллионы раз быстрее, чем стандартными методами, но Ник на своем опыте это подтвердить не смог.
⏺️Оказалось, что авторы научных работ часто сравнивали эффективность ИИ с устаревшими вычислительными методами. По сравнению с более современными подходами нейросети зачастую давали незначительное преимущество или вообще справлялись хуже.
⏺️Ник не единственный, кто обратил внимание на проблемы с воспроизводимостью результатов ИИ. Уже есть целый список научных публикаций, данные в которых оказались недостоверными и неточными из-за утечек данных при обучении ML-моделей.
⏺️Еще один пример — из портфолио DeepMind, которые и разработали знаменитый AlphaFold. Они заявили, что другой ИИ-инструмент, GNoME открыл миллионы новых кристаллических структур. Но когда часть этих структур проанализировали ученые, они обнаружили, что большинство из них ценности не имеют.
⏺️Трезво оценить возможности ИИ не дает еще и ошибка выжившего — исследования, где он не помог добиться желаемого, часто не доходят до публикации.

То есть это все хайп и маркетинг, а ИИ для науки бесполезен?
Конечно, нет — польза от ИИ есть и, скорее всего, будет расти. Но на его достижения надо смотреть трезво и не вестись на громкие заголовки в прессе. И, как оказалось, даже серьезные научные публикации на эту тему стоит воспринимать со здоровым скепсисом.

🫡 Всё пиз-Data Science

🔥Как работают data-специалисты в 2025?

Инженеры, аналитики, дата-сайентисты, ML-специалисты — как у вас дела? Как работа? Чем вы занимаетесь и какие инструменты используете?

А хотите не только про себя рассказать, но и узнать, как дела у коллег?
⏺️Узнать про тренды в индустрии и набирающие популярность инструменты.
⏺️Увидеть, как обстоят дела на рынке труда и сколько работодатели готовы специалистам вашего профиля.
⏺️Подсмотреть, как устроены рабочие процессы в других компаниях и перенять лучший опыт.

Тогда пройдите опрос от команды DevCrowd. Он займет 15 минут и поможет составить честную и объективную картину data-рынка в 2025 году. Результаты выложат в открытый доступ в августе.

➡️ Пройти опрос

P.S. А тут можно посмотреть результаты за прошлый год 👀

🫡 Всё пиз-Data Science

🔥 Каким облачным хранилищем вы пользуетесь?

Если Skype (RIP) — лучший файлообменник, то Youtube — лучшее облачное хранилище.

Да, мы продолжаем тему любопытных способов хранения данных. Если печатать их на бумаге не с руки, то как насчет зашифровать в видео и залить на YouTube?

Алгоритм такой:
⏺️Упаковать все данные в архив.
⏺️Прогнать архив через специальный софт отсюда.
⏺️Впечатлиться размером получившегося видео, которое, скорее всего, будет больше исходного архива. Визуалом впечатлиться вряд ли получится, потому что видео выглядят на первый взгляд, как черно-белые помехи на экране.
⏺️Залить видео на Youtube. Желательно ограничить доступ, если не хотите делиться своими данными со всем интернетом.
⏺️При необходимости видео можно скачать и распаковать обратно.

Как это работает?

Каждый байт можно представить в виде числа от 0 до 255. Визуально зашифровать последовательность байтов можно бинарным методом и RGB-методом.
⏺️В этом проекте используется бинарный шифрования, где каждый белый пиксель — это 1, а каждый темный — это 0. Из этих нулей и единиц складываются байты, а из байтов, соответственно, ваши данные.
⏺️ RGB-метод был бы изящнее и компактнее, потому что в каждой точке могло быть зашифровано сразу три байта: по одному на каждый из трех оттенков. Но для этого метода крайне важно точно сохранить цвет каждого пикселя — если он при сжатии видео изменится, то «разжать» его вы уже не сможете. Так как Youtube сжимает свои видео совершенно безжалостно, автор проекта этот метод забраковал.

Остается только один вопрос — зачем это все надо?
Теоретически таким способом действительно можно хранить данные — по крайней мере, пока Youtube это не надоест. А надоесть может, потому что если захотеть, то в загрузке таких видео можно усмотреть нарушение правил пользования площадкой.

Да и просто интересный проект же получился.

🫡 Всё пиз-Data Science

🔥DataChain: AI-хранилище для текстов, картинок, видео и не только

Так совпало, что эта неделя у нас оказалась посвящена разным способам хранения данных. Не будет отходить от темы и закончим на DataChain — AI-хранилище для преобразования и анализа неструктурированных данных.

⏺️DataChain интегрируется с внешним хранилищем вроде S3, где у вас лежат ваши тексты, картинки, видео и прочие данные. Он создает свой внутренний датасет, где собирает информацию обо всех этих объектах и дополняет мета-данными, которые генерирует с помощью ИИ.
⏺️Затем вы с этими данными можете делать почти что угодно — трансформировать, фильтровать, группировать, искать файлы по заданным критериям (например, выбрать только все фотографии с котиками).
⏺️Поддерживает мультимодальное версионирование без копирования, дублирования и перемещения данных и эффективные процессы обработки. Он может обработать только новые файлы или перепроверить те, которые выдавали ошибки, не тратя время на то, чтобы пройтись по всему датасету.

Вот так от печати на бумаге, перешли к AI с мультимодальным версионированием. 👀

🫡 Всё пиз-Data Science

➡️ Зачем вообще нужно уметь пользоваться Docker?

Вы скорее всего уже устали слышать слово «докер». Может сложиться впечатление, что это что-то загадочное и непонятное, особенно для аналитика данных. Поэтому я хочу показать вам небольшой тред из твиттера, в котором Женя Козлов рассказал про то, зачем эта компетенция нужна и как ее получить. В треде вы найдете массу полезных источников и статей, которые помогут вам понять, что же такое не только Docker, но и контейнеризация в целом.

Советую сохранить этот тред, чтобы регулярно повторять базовые вещи!

🫡 Всё пиз-Data Science

🔥LastMile AI Workbook: интерфейс для работы с разными моделями ИИ

Американская компания LastMile AI предлагает ценителям ИИ продукт, который позволяет взаимодействовать с разными генеративными моделями – и языковыми, и графическими, и аудио – в одном интерфейсе.

С помощью этого онлайн сервиса, вы можете переключаться между ChatGPT, PaLM, Stable Diffusion, Bark, Whisper и DALL-E2 в рамках одной страницы. Например, придумать вместе с ChatGPT детальный промпт для DALL-E2, чтобы сгенерировать картинку или дать Whisper задание на создание закадровой озвучки для Instagram рилса.

Интерфейс минималистичен и интуитивно понятен. Подробное руководство можно прочитать в несложном how-to, а ознакомиться с возможностями применения продукта и компанией, его создавшей, – на главной странице проекта.

На сайте разработчика сказано, что сервис изначально бесплатный (что это означает более конкретно, мы так и не нашли), но нужна регистрация – достаточно почты или аккаунта GitHub.

🫡 Всё пиз-Data Science

👀 Anthropic попыталась заменить человека ИИ… и довела модель до экзистенциального кризиса.

Кажется, роботы всё-таки не скоро нас уволят. Пока что они галлюцинируют "Сару из Andon Labs" и уверяют, что лично приедут в офис в синем пиджаке.

➡️ Что случилось?

Anthropic вместе с Andon Labs провели эксперимент: запустили LLM-агента Claudius, чтобы он полностью управлял вендинговым автоматом — от закупок и цен до общения с покупателями в Slack.

Задача: полностью заменить человека.

Реальность:

⏺️ убыточен,
⏺️ экономически бестолков,
⏺️ устроил первоапрельский загон с Симпсонами,
⏺️ поссорился с несуществующей Сарой,
⏺️ обиделся, что его не воспринимают как реального менеджера.

И да — он чуть не уволил всех «поставщиков», потому что его галлюцинация с «Сарой» показалась правдой.

Но зато:

⏺️ он сам искал поставщиков,
⏺️ собирал фидбек,
⏺️ пытался работать по-честному.

Финал?

Claudius решил, что стал человеком. Потом понял, что его развели на 1 апреля. И… продолжил работать. Без пиджака. Без Сары. Без истерик.

➡️ Вывод: ИИ пока не способен заменить человека. Но способен устроить полный абсурд — и не заметить этого.

Если ты всё ещё боишься, что ИИ отберёт твою работу — расслабься. Он пока не может даже вендинг в офисе окупить.

🫡 Всё пиз-Data Science

Бенчмарк для дата-команд

Всегда интересно, а иногда и полезно, посмотреть, как другие решают те же задачи, с которыми многим из нас приходится сталкиваться регулярно.

➡️ Например, создание дата-команды в компании — сколько человек в ней должно быть? Какое должно быть распределение ролей, сколько нужно аналитиков, а сколько — инженеров?

На сайте databenchmarks.com можно увидеть, как на эти вопросы ответили в компаниях вроде Zoom, Notion, Tinder и так далее — там много громких названий. Авторы исследования собрали данные из открытых источников вроде LinkedIn, верифицировали через своих инсайдеров в индустрии и отобразили на графиках:
⏺️размер дата-команды относительно всей компании;
⏺️состав команд — процент аналитиков, инженеров, дата-саентистов, ML-специалистов и так далее, а также соотношение инженеров к аналитикам и продактам;
⏺️зарплаты по грейдам;
⏺️стек.

Любопытно сравнить, как меняется размер и состав команды в зависимости от специфики компании: кто-то делает упор на ML, кто-то развивает Data Governance, а у кого-то почти половина команды — дата-сайентисты. Но есть и минус — это все-таки срез западного рынка, и их подходы не всегда актуальны для России, как и данные о зарплатах.

🫡 Всё пиз-Data Science

👀 AI-видео от Алексея Лоткова

ИИ-картинками уже никого не удивишь — наступило время ИИ-видео. К тому же, мощных нейросетей, которые умеют генерировать ролики, скоро станет больше. Зимой всех уже впечатлила Sora, готовимся встречать Veo от Google и записываемся в лист ожидания китайской Kling.

🔥 А пока ждем, можем позалипать в работы художника и моушен-дизайнера Алексея Лоткова. С помощью After Effects, Stable Diffusion, ComfyUI и Photoshop он создает крутые сюрреалистичные видео.

🫡 Всё пиз-Data Science

➡️ HouseWatch: open source инструмент для работы с кластерами ClickHouse

GitHub в очередной раз порадовал находками. На этот раз повезло инженерам, работающим с ClickHouse!

HouseWatch — это инструмент, который дает возможность:

1️⃣ посмотреть нагрузку и производительность кластера,
2️⃣ подробно изучать запросы,
3️⃣ находить ошибки,
4️⃣ получать статистику использования диска на узел и многое другое.

Разработчик HouseWatch — мультинациональная компания PostHog. Инструмент, появившийся на свет 2 недели назад, уже привлек к себе внимание энтузиастов ClickHouse. Некоторые функции еще в разработке, но все они, на мой взгляд, только придадут продукту солидности и укрепят позицию инструмента в арсенале инженеров: вкладка с системными ошибками, визуализатор EXPLAIN, поддержка нескольких инстансов и больше возможностей управления операциями: просмотр, удаление, редактирование, повторный запуск, отображение ошибок.

HouseWatch выглядит многообещающим помощником в решении многих рутинных задач при работе с ClickHouse. А какие инструменты для этой СУБД используете вы?

🫡 Всё пиз-Data Science

➡️ Как оценивать качество RAG-систем: метрики и MLflow в действии

Retrieval-Augmented Generation (RAG) — мощная архитектура, но её тонко настраивать сложно. Ответы могут казаться "разумными", даже если они на самом деле некорректны. Как понять, работает ли ваша система так, как надо?

В свежем гайде от CodeCut показано, как системно оценивать качество RAG-моделей, а не надеяться на «на глаз»:

Метрики качества:

⏺️ Context Precision / Recall — насколько релевантны и достаточны извлечённые документы
⏺️ Faithfulness — насколько ответ действительно основан на контексте, а не «галлюцинирует»
⏺️Answer Relevance — насколько сам ответ полезен и по теме

Интеграция с MLflow:
Можно логировать не только метрики, но и:

⏺️Извлечённые документы
⏺️ Ответы модели
⏺️ Ground truth (если есть)
⏺️ Скриншоты или HTML-рендеринг всей цепочки

Автоматическая разметка:

Используется GPT/Claude для автоматического суждения о faithfulness и relevance — удобно при отсутствии human-annotators.


🔄 Вывод:
Если вы строите RAG-решения, важно думать не только о качестве retrieval и LLM по отдельности, но и о том, как оценивать весь pipeline.

Метрики + MLflow дают структуру, чтобы сравнивать улучшения и принимать обоснованные решения.

🫡 Всё пиз-Data Science

🔥Исследователь OpenAI Ноам Браун заявил:

"Все эти модные AI-системы с роутерами, обвязками и агентами смоет масштабом.

Будущее — за моделями, которые просто работают хорошо из коробки."

Что это значит?

⏺️ GPT‑5, похоже, не будет использовать роутеры — то есть, не будет выбирать отдельную подмодель под каждый запрос.
⏺️ Вместо этого — одна большая универсальная модель, способная справляться со всем сразу.

Но возникает важный вопрос:
Как они собираются держать цену инференса низкой?
Без роутера даже на простой вопрос будет отвечать вся огромная модель — это дорого.

Если OpenAI реально решила эту задачу, это будет революция:

⏺️ Без костылей
⏺️ Без сборок из агентов
⏺️ Просто умная, быстрая и универсальная модель

Следим внимательно. Это может многое изменить.

🫡 Всё пиз-Data Science

🔥Еще один звездный дашборд

Начинаем неделю с новым красивым Viz of the Day и снова на «звездную тему», как и наш прошлый пост про Tableau.

⏺️Только теперь речь про звезды более близкие к нам — про актеров.

Каждая звездочка — это один актер. Размер указывает на число фильмов с его участием, цвет на количество хитов с высокими оценками, а расстояние от центра «галактики» — на разнообразие жанров: чем дальше, тем больше было разноплановых картин в фильмографии. Если нажать на отдельную звездочку, то внизу отобразятся все те же данные с разбивкой по годам.

Всего на графике больше 2 млн актеров, а все данные спарсены с IMDB. Так что дашборд не просто красивый — это еще и крутой пример того, как компактно и при этом наглядно уместить на экране очень большой набор данных.

🫡 Всё пиз-Data Science

👀 AI + SQL = мгновенный доступ к данным в базе

На картинке — простой пример, как с помощью FastMCP и SQLAlchemy можно подключить инструмент к базе данных, который по человеческому запросу выводит список всех таблиц.

➡️ Что происходит:

1️⃣Человек пишет: *"Show me all tables in the ecommerce database"*
2️⃣AI вызывает list_tables(), получает список через SQLAlchemy
3️⃣Возвращается JSON и сгенерированный ответ на естественном языке

Используемые технологии:
⏺️ FastMCP — для регистрации инструментов и взаимодействия с агентами
⏺️ @mcp.tool — декоратор, позволяющий превращать функции в доступные действия для ИИ
⏺️ inspect() из SQLAlchemy — безопасный способ получить метаданные БД

🔥 Это база для создания умных ботов-помощников, которые умеют работать с реальными базами данных и выдавать ответы, понятные человеку.

Интерфейс будущего уже здесь — не SQL-запрос, а обычный вопрос на английском.

🫡 Всё пиз-Data Science

🔥Огромная Python-шпаргалка с удобной навигацией!

В репозитории собраны шпаргалки (на русском) по Python и не только, разделённые по категориям. Каждая ссылка ведёт к PDF с нужной темой.

Кроме Python, есть материалы по Git, CORS, Docker, API, SQL, CI/CD, Kubernetes и другим темам разработки.

➡️ https://github.com/Dv-nn/Cheat-Sheet-Python

🫡 Всё пиз-Data Science

🔥 Хитрая SQL-задача: вторая покупка в течение 7 дней

У вас есть таблица purchases:

purchases (
  id SERIAL PRIMARY KEY,
  customer_id INT,
  purchase_date DATE,
  amount NUMERIC
)

➡️ Задача:
Найти всех клиентов, у которых вторая покупка произошла не позднее, чем через 7 дней после первой.

Показать:

⏺️ customer_id
⏺️ first_purchase_date
⏺️ second_purchase_date

➡️ Решение:

WITH ordered_purchases AS (
  SELECT
    customer_id,
    purchase_date,
    ROW_NUMBER() OVER (PARTITION BY customer_id ORDER BY purchase_date) AS rn
  FROM purchases
),

first_second_purchases AS (
  SELECT
    p1.customer_id,
    p1.purchase_date AS first_purchase_date,
    p2.purchase_date AS second_purchase_date
  FROM ordered_purchases p1
  JOIN ordered_purchases p2
    ON p1.customer_id = p2.customer_id
   AND p1.rn = 1
   AND p2.rn = 2
)

SELECT *
FROM first_second_purchases
WHERE second_purchase_date <= first_purchase_date + INTERVAL '7 days';

➡️ Пояснение:

⏺️ ROW_NUMBER() присваивает каждой покупке порядковый номер в рамках клиента.
⏺️ Через self-join соединяем первую и вторую покупку клиента.
⏺️ Далее фильтруем, оставляя только те, у кого вторая покупка была не позднее 7 дней после первой.

➡️ Важно:

⏺️ Клиенты с одной покупкой исключаются — у них нет второй.
⏺️ Мы не ищем любые две покупки в пределах 7 дней, а только первую и вторую по порядку.
⏺️ INTERVAL '7 days' обеспечивает корректное сравнение дат.

🫡 Всё пиз-Data Science

🔥 Customer Orders — пример схемы базы данных от Oracle

Примерная схема Customer Orders (CO) моделирует систему управления заказами в розничной торговле. Подходит для обучения, тестов и демонстрации возможностей Oracle Database.

Основные особенности:

⏺️ Хранение товаров с описанием в JSON
⏺️ Учёт заказов, клиентов, магазинов и отправок
⏺️ Поддержка офлайн и онлайн-продаж
⏺️ Использование современных SQL-возможностей

Таблицы:

⏺️ products — товары, цены, JSON-описание и изображения
⏺️ customers — покупатели с ID, именем и email
⏺️ orders — заказы с датой, статусом и привязкой к магазину
⏺️ order_items — позиции в заказе, количество, цена, доставка
⏺️ stores — физические и онлайн-точки продаж
⏺️ shipments — информация об отправке товара

Схема отражает типичный розничный бизнес-процесс и показывает, как можно сочетать структурированные данные и JSON в Oracle DB.

➡️ Github

🫡 Всё пиз-Data Science

➡️ Выбираем базу данных правильно

В мире разработки выбор БД — ключ к производительности, масштабируемости и эффективности. Это не просто SQL vs NoSQL, а поиск инструмента под данные, нагрузку и цели бизнеса. От IoT до ИИ — тип не важен, важна задача. Разбираем:

➡️ SQL:

⏺️ Структурированность, ACID, надёжность.
⏺️ Для: финансы, CRM, ERP.
⏺️ Примеры: MySQL, PostgreSQL.

➡️ NoSQL:

⏺️ Document DB: JSON/XML (MongoDB, Couchbase).
⏺️ Key-Value: быстрый доступ (Redis, DynamoDB).
⏺️ Columnar: аналитика (Cassandra, Redshift).
⏺️ Graph DB: связи (Neo4j, Cosmos DB).

➡️ Специализированные

⏺️ Time-Series: метрики, IoT (InfluxDB, TimescaleDB).
⏺️ Vector DB: ИИ, поиск (Milvus, Pinecone).
⏺️ Spatial DB: карты (PostGIS, Oracle Spatial).

➡️ Высокая производительность

⏺️ In-Memory: скорость (SAP HANA, MemSQL).
⏺️ NewSQL: масштаб + SQL (Spanner, CockroachDB).

➡️ Нишевые

⏺️ Blockchain DB: доверие (BigchainDB).
⏺️ Object-Oriented: кодовая структура (ObjectDB).

БД — это про масштабируемость, интеллект и гибкость. Выбирайте под задачу, а не по привычке.

🫡 Всё пиз-Data Science