🔥SQL: использование оконных функций для накопительных сумм

Хотите посчитать «бегущую сумму» или ранжирование без подзапросов?
Используйте WINDOW FUNCTIONS — они считаются построчно, не сворачивая данные.

SELECT 
    customer_id,
    order_date,
    amount,
    SUM(amount) OVER (
        PARTITION BY customer_id 
        ORDER BY order_date
    ) AS running_total
FROM orders;

➡️ Здесь для каждого клиента мы получаем накопительную сумму по мере добавления заказов.
Оконные функции позволяют легко строить кумулятивные метрики, рейтинги и скользящие средние прямо в одном запросе.

🫡 Всё про Data Science

🔥 Неочевидный SQL-совет

Иногда нужно выбрать строки с первыми или последними значениями внутри группы — например, последний заказ каждого клиента.
Вместо вложенных подзапросов используйте DISTINCT ON (PostgreSQL):

SELECT DISTINCT ON (customer_id) 
       customer_id, order_id, created_at
FROM orders
ORDER BY customer_id, created_at DESC;

➡️ Результат: по каждому customer_id вернётся только одна строка — с самым свежим заказом.
Очень компактная и быстрая альтернатива оконным функциям или JOIN-ам.

🫡 Всё про Data Science

🔥 Предотвращаем потерю данных с ACID-транзакциями в DuckDB!

Без транзакций:

⏺️Списание у Alice прошло
⏺️ Пополнение у Bob сломалось
➡️ Итог: деньги «пропали».

С транзакцией (ACID):

⏺️ Оба обновления либо проходят вместе, либо откатываются
⏺️ Баланс остаётся консистентным
⏺️ Никаких «висящих» операций

Пример:

conn.execute("BEGIN TRANSACTION")
try:
    conn.execute("UPDATE accounts SET balance = balance - 200 WHERE name = 'Alice'")
    conn.execute("UPDATE accounts SET balance = balance + 200 WHERE name = 'Bob'")
    conn.execute("COMMIT")
except:
    conn.execute("ROLLBACK")

⏺️ Atomicity — либо всё, либо ничего
⏺️ Consistency — база не ломается
⏺️ Isolation — параллельные операции не мешают
⏺️ Durability — данные не теряются

ACID гарантирует надёжность даже при сбоях.

🫡 Всё про Data Science

🔥 Chroma — база данных для эмбеддингов с открытым исходным кодом

Если строишь чат-бота или RAG-систему — Chroma даст твоему приложению память и быстрый поиск по векторным представлениям.

➡️ Что умеет:

- Поддержка Python и JavaScript
- Быстрый поиск и фильтрация по embeddings
- Интеграция с LangChain и LlamaIndex
- Простое API для добавления документов и метаданных

➡️ Установка:

pip install chromadb
# или
npm install chromadb
chroma run --path ./chroma_db

➡️ Пример на Python:

import chromadb
client = chromadb.Client()
col = client.create_collection("docs")
col.add(documents=["Doc1","Doc2"], ids=["1","2"])
res = col.query(query_texts=["найди похожее"], n_results=1)

⏺️ Github
⏺️ Colab

🫡 Всё про Data Science

🔥Амбассадоры Tableau 2025

Tableau регулярно обновляет список своих амбассадоров— людей, которые делают большой вклад в сообщество, делятся своими знаниями и навыками и вообще всячески популяризуют этот тул. В 2025 году звания удостоились 386 человек из 48 стран.

➡️ Список можно увидеть на сайте, но намного интереснее — потыкать в кнопки на дашборде. Он позволяет отфильтровать людей по странам, городам и специализациям.

⏺️Пишут, что в этом году получился самый разнообразный состав амбассадоров с точки зрения географии, и это нагляднее видно на другом дашборде. Он не такой удобный, как первый, зато с картой.

В списке, кстати, вы наверняка заметите какие-нибудь знакомые лица. Возможно, на кого-то из них вы даже подписаны.

🫡 Всё про Data Science

➡️ Зачем нужен Delta Lake, если есть Parquet

Обычный Parquet хранит только одно состояние таблицы.
Если вы сохранили отфильтрованный DataFrame, то старые данные исчезли навсегда.

❌ Отката (rollback) нет → потеряли 10 000 строк, осталось только 3 500.

Delta Lake работает иначе:

⏺️ каждый раз создаётся новая версия данных
⏺️ можно вернуться к любой версии в прошлом
⏺️ данные всегда под контролем и без потерь

Пример:

⏺️Parquet → фильтр → оригинал стёрт
⏺️Delta Lake → версия 0 (10 000 строк) + версия 1 (3 500 строк) → всегда можно вернуться к версии 0

✅ Итог: с Delta Lake данные становятся версионируемыми и надёжными.

🫡 Всё про Data Science

🔥Нужен один «топ-элемент» на группу без оконных функций и лишних джойнов?

В PostgreSQL есть недооценённый приём: DISTINCT ON. Он берёт первую строку в каждой группе по указанным полям, какую именно, ты задаёшь через ORDER BY.

Так за один проход можно выбрать, например, последний заказ клиента, самую дорогую позицию в категории или актуальную запись по состоянию. Важно: в ORDER BY сначала идут поля из DISTINCT ON, а следом — критерий «топа» (например, created_at DESC).

Для скорости добавь составной индекс в том же порядке (ключи группировки → поле сортировки).

-- Возьмём по 1 строке на группу (g1, g2), выбирая «лучшую» по metric DESC
SELECT DISTINCT ON (g1, g2) *
FROM some_table
ORDER BY g1, g2, metric DESC;

-- Пример: последний заказ каждого пользователя
SELECT DISTINCT ON (o.user_id)
       o.user_id, o.id AS order_id, o.created_at, o.total
FROM orders o
ORDER BY o.user_id, o.created_at DESC;

-- Рекомендуемый индекс для скорости (соответствует ORDER BY)
CREATE INDEX ON orders (user_id, created_at DESC);

-- Ещё пример: самая дорогая товарная позиция в категории
SELECT DISTINCT ON (p.category_id)
       p.category_id, p.id, p.price
FROM products p
ORDER BY p.category_id, p.price DESC;

-- Индекс под этот запрос
CREATE INDEX ON products (category_id, price DESC);

🫡 Всё про Data Science

Как люди используют ChatGPT

OpenAI выпустили большое исследование, где рассказали, как люди используют их модели. Что показалось интересным мне:

⏺️Модель — не инструмент, модель — друг. В июне 2024 года сообщений, очевидно связанных с работой, было 47%, а к июню 2025 их доля снизилась до 27%! Касается это как новых пользователей, так и тех, кто пользуется нейронкой уже давно.

⏺️Три самых частых темы: советы «как что-то сделать», запрос фактов и работа с текстом.

⏺️Запросы всё больше про «попросить совета», а не «сделай за меня». Количество сообщений в категории Asking растёт, а Doing — падает. То есть люди всё чаще обсуждают и советуются с моделью, а не просто поручают ей задачу.

⏺️Самый высокий уровень удовлетворённости — в личных разговорах. Пользователи чаще всего довольны, когда обсуждают свои мысли и эмоции, а не решают технические задачи. В таких диалогах соотношение положительных реакций к отрицательным превышает 7 к 1 — для сравнения, в технических темах оно около 2 к 1.

⏺️В начале ChatGPT был почти полностью «мужским клубом» (80 % имён — мужские). Однако сейчас — баланс, женских имён 52%.

🫡 Всё про Data Science

⚡️Пошаговый план: как стать аналитиком данных в 2025

Хотите попасть в аналитику, но теряетесь в море информации и не понимаете, какие навыки действительно важны? Боитесь, что без опыта вас не возьмут на работу? И да, ещё один популярный вопрос — а что, если мне 30/40/50+ лет?

Андрон Алексанян — эксперт по аналитике с 8 летним опытом и по совместительству CEO Simulative — покажет рабочие схемы и четкий план, как устроиться в аналитику быстрее, даже если у вас нет опыта.

Что будет на вебинаре?

🟠 Разберем полный роадмап: что учить, в каком порядке, до какого уровня;
🟠 Лайфхаки трудоустройства:
— Покажем реальные примеры, как оформить резюме и портфолио, чтобы привлекать внимание;
— Обсудим какие отклики работают, а какие сразу отправляют в корзину;
— Изнанка найма: инсайдерский взгляд на процессы отбора
🟠 Практические техники для новичков: разберём, как компенсировать недостаток опыта и быстро закрывать пробелы в знаниях.

🕗 Важно досмотреть вебинар до конца, чтобы получить бонус от нас, который поможет бустануть карьеру.

😶Зарегистрироваться на бесплатный вебинар

➡️ no-code база данных, которая сама превращает SQL в Airtable-стиль интерфейс

Что умеет:

⏺️ Подключается к MySQL, Postgres, SQLite, MSSQL и сразу показывает данные в виде удобных таблиц
⏺️ Делает представления: таблицы, календари, канбан, формы, Гантт
⏺️ Генерирует готовые REST и GraphQL API прямо поверх базы
⏺️ Делится видами: публично или под паролем, поддерживает загрузку файлов и картинок
⏺️ Настраивает роли и доступ до уровня отдельного столбца

Плюс интеграции со Slack, Discord, мессенджерами, почтой и десятками сервисов.

По сути — Airtable, но напрямую поверх твоей базы.

➡️ Затестить можно по этой ссылке: CLICK

🫡 Всё про Data Science

🔥Прими участие в Хакатоне от ИТ-холдинга Т1 в Новосибирске и поборись за призовой фонд 800 000 рублей!

Когда: 23–26 октября
Формат: онлайн + финал на площадке

Участвуй, если ты:
🔹обучаешься на технической или ИТ-специальности;
🔹развиваешься в направлении разработки, аналитики, CV, ML или DevOps;
🔹сможешь быть в Новосибирске 26 октября.

Выбери свой кейс:

✴️Цифровой дресс-код: фон, который выделяет вас. Создай локальный ML-модуль сегментации видео и генератор персонализированных фонов.

✴️CodeMetrics: метрики, которые помогают расти. Разработай систему автооценки эффективности команд через анализ Git-метрик.

Почему стоит участвовать:
🔘Кейс в портфолио и полезная обратная связь от менторов Т1;
🔘Шанс проявить себя, чтобы начать карьеру в одной из крупнейших ИТ-компаний;
🔘Реальный опыт командной работы;
🔘Мерч и атмосфера сильного комьюнити — в Т1 более 5 000 джунов из 580+ вузов России и Беларуси.

Регистрация открыта!
➡️ Успей до 21 октября по ссылке.

erid: 2Vtzqwmd32u

Т—Ж в одной картинке показал, как выглядит взросление: за 6 лет фрукты в покупках молодых людей взлетают с 9 на 5 место, а снеки улетают с 4 на 6.

Что ещё покупают в супермаркетах в 17—23 года? Конечно — энергетики. В целом доля чеков с ними составляет 15%, а у мужчин достигает 19.

Батоны и пирожки можно найти в 18% чеков, заморозку (пельмени, котлеты и прочие полуфабрикаты) — в 9,3%, «дошик» — в 3,4%.

Кстати, по данным Т—Банка, в среднем молодые люди тратят 354 ₽ за один поход в продуктовый. Пойду брать у своих студентов уроки финансовой грамотности — кажется, они в этом шарят 🫤

🫡 Всё про Data Science

Знание Excel остаётся самым востребованным навыком в Силиконовой долине: из 12 млн вакансий он упоминался в 531 тысяче объявлений. Чтобы вы понимали, Python и SQL вместе встречаются 127 тысяч раз, а машинное обучение — лишь 31 тысячу.

💻  Новости Технологий и AI

➡️ Pytest совет: экономим время на тестах с большими данными

Если в тестах используется тяжёлый датасет, важно правильно выбрать scope для фикстуры.

⏺️ По умолчанию (scope="function") данные будут загружаться заново для каждого теста. Это тратит ресурсы и замедляет выполнение.

🔄 С scope="session" датасет загружается один раз и переиспользуется во всех тестах. Это ускоряет процесс и снижает нагрузку.

Используйте session scope для больших и неизменяемых данных, чтобы тесты работали быстрее и стабильнее.

🫡 Всё про Data Science

💫Олимпиада для будущих бизнесменов!
Хочешь испытать себя в мире бизнеса и предпринимательства?🤝

☝️Участвуй во Всероссийской олимпиаде по предпринимательству! ✔️
🏆Здесь ты сможешь развить свои лидерские качества, получить ценные знания и завести полезные знакомства🤩

🪧Регистрируйся по ссылке прямо сейчас, введи код мероприятия ОЛИМП26 и начни путь к успеху!

➡️ Вайб-кодинг против вайб-инжиниринга

Все мы уже поняли, что такое «вайб-кодинг» — это человек генерирует код с помощью нейросетей, иногда даже не особо вникая, что они ему там пишут. Код работает, и ладно. Быстро, просто, но результат может быть непредсказуем.

Но ведь есть и альтернативный подход — не сваливать на нейросеть всю работу, а использовать ее как помощника. При этом человек все еще руководит процессом и отвечает за качество работы. Получается быстрее, чем все делать руками, уже не так просто, зато за результат не стыдно. Это уже не вайб-кодинг — но что тогда?

Есть вариант называть это «вайб-инжиниринг».

В чем суть?

⏺️Чтобы от ИИ получать реальную пользу (а не только едва жизнеспособный код), надо хорошо разбираться, как он работает, понимать его ограничения и выстраивать процесс.
⏺️Под «выстраиванием» процесса мы понимаем использование старых добрых практик, которые применяются в нормальной, «безвайбовой» разработке. Составление грамотного плана работы и документации, настройка автоматических тестов, вдумчивое тестирование вручную, код-ревью — это все помогает не только людям, но и ИИ.
⏺️Вайб-инженеру также важно реально оценивать возможности ИИ: что ему можно доверить, а что лучше сделать самому, как корректно поставить задачу и проверить качество выполнения. Человек в каком-то смысле занимает роль лида или менеджера, контролирующего своего ИИ-подчиненного.

В общем, слагаемые те же, что при вайб-кодинге, — есть человек, ИИ и какая-то работа, которую этим двоим надо выполнить. Но подход и конечный результат совсем другие.

🫡 Всё про Data Science

👀 Что выведет код?

1️⃣12.0

2️⃣ 48.0

3️⃣ 42.6

4️⃣ 48

➡️ Правильный ответ: 48.0

#проверь_себя #тесты #sqltest