🛡 Как правильно хранить пароли и другую чувствительную информацию в ваших скриптах и проектах в python

• Скорее всего многие — хранят пароли прямо в коде. Это плохая идея: однажды файл улетит в репозиторий, дальше — скриншоты, форки, кеши, истории коммитов… вернуть секрет назад почти невозможно.
• Чуть лучше — держать секреты в отдельном .py и импортировать. Но это всё ещё код, который легко случайно закоммитить и потянуть на прод.
• Давайте разберёмся, как делают это правильно и почему.

🔐 Золотое правило: секреты — вне кода:
Идея простая: код — отдельно, значения — отдельно. На практике это делается через переменные среды окружения (environment variables). Про переменные среды окружения можно написать отдельную статью, сейчас это не так важно, просто имейте это ввиду.

Удобный локальный способ работать с ними — файл .env. Это просто текстовый файл формата ИМЯ=ЗНАЧЕНИЕ, из которого значения подгружаются в окружение при старте.

Пример файла .env:

NAME='Dima SQL-ит'
PROFESSION=analyst
HEIGHT=174

Заметим:
• Слева — название переменной, чаще пишут ЗАГЛАВНЫМИ (так принято называть константы для читабельности кода).
• В .env всё является — строками; значение 174 тоже будет текстом.
• Если в значении есть пробелы — берём в кавычки. Например, NAME='Dima SQL-ит'.

⚙️ Как это подключить в Python
Устанавливаем библиотеку:

pip install python-dotenv

Загружаем .env и читаем переменные:

import os
import dotenv

dotenv.load_dotenv(".env") #Загружаем переменные окружения из файла .env

Читаем значения:

NAME = os.getenv("NAME") # 'Dima SQL-ит'
HEIGHT = os.getenv("HEIGHT") # '174' (строка)
DEBUG = os.getenv("DEBUG", "0") # дефолт, если переменной нет

Пояснение:
По умолчанию load_dotenv ищет файл .env рядом со скриптом; путь можно указать свой.

Все значения — строки; при необходимости приводим типы вручную:
height = int(os.getenv("HEIGHT", "0"))

✅ Почему это лучше, чем держать секреты в .py:
1) Не светишь секреты по ошибке - файла .env добавляют в .gitignore, реальные пароли/токены не улетают в репозиторий.
2) Простое разделение dev/test/prod - держим .env.dev, .env.stage, .env.prod и подсовываем нужный при запуске — код один, меняются значения. (актуально больше для разработчиков, но вы тоже можете придумать свои .env файлы под каждый случай)
3) И т.д.

Итог:
😎 Если эта инструкция вам помогла, то кидайте 🔥 или ❤️!

❓А как вы храните чувствительную информацию у себя в проектах?

🔥 Как за 5 минут превратить CSV файлы в полноценную базу данных через SQLite в DBeaver:

💎 Представьте:
У вас куча CSV файлов с данными, и вы хотите быстро выполнить анализ - выполнить между ними JOIN'ы или провести агрегацию GROUP BY. Давайте превратим эти CSV файлы в полноценную базу!

Что сделаем:
1️⃣ Создадим подключение к SQLite прямо в DBeaver — никаких дополнительных установок.
2️⃣ Импортируем CSV файл в отдельную таблицу.
3️⃣ Проверим работоспособность.

Приятного чтения - статья здесь

Зачем это нужно?
• Для проведения быстрой аналитики
• Для учебных проектов
• Одна база данных вместо кучи разрозненных CSV.

Итог:
😎 Если этот пост был вам полезен, то кидайте 🔥 или ❤️!

❓А вы используете SQLite для аналитики? Пишите в комментариях, как вам такой способ?

💎 Как правильно читать книги и усваивать информацию эффективнее?

Я люблю читать книги и стараюсь сразу по ходу чтения конспектировать информацию в виде нумерованных пунктов (тезисов). Но недавно посмотрел видео от одного из моих любимых авторов, и это заставило пересмотреть мой подход. Сделал для себя выводы и хочу поделиться ими с вами:

1️⃣Задайте себе вопрос: "А зачем я это читаю?" Перед стартом спросите себя: что я хочу вынести? Это фокусирует внимание и делает чтение целенаправленным. Помним, что мозг не любит не определенность.

2️⃣Для бумажных книг — есть маленькие размером стикеры 51x51 мм. Их удобно прямо во время чтения наклеить в книгу на страницу на которой вы сейчас находитесь и записать основные тезисы своими словами (важно записывать тезисы именно своими словами, так мы прорабатываем информацию). Позже, когда вы захотите вернуться к своим заметкам у вас будет полная картина и сохранится контекст, так как стикер с тезисами находится именно на той странице к которой он относиться.

3️⃣ Электронные книги и iPad - Поскольку бумажные книги не всегда удобно таскать с собой, то автор предлагает в качестве электронной читалки использовать iPad (11 дюймов) с стилусом для написания заметок. В качестве приложения для написания заметок предлагается - GoodNotes. Так как это iPad, то здесь удобно писать заметки стилусом на полях.

4️⃣ Не идет книга - Закрывайте без сожалений. Если скучно, сложно или неинтересно — смело откладывайте. Фокусируйтесь на том, что цепляет и приносит пользу. Нет смысла мучиться. Возможно вы еще не готовы к такой литературе и вернетесь к ней позже.

5️⃣Книга - это единственный источник, который позволит расти дальше базового уровня. На старте карьеры хватит курсов и статей для основ, но после определённого базового уровня ответы на глубокие вопросы вы не найдёте нигде, кроме как в книгах. Суровая правда: чем выше ваша компетенция (ЗП и т.п.), тем больше уникальных знаний находится именно в книгах. Многие авторы курсов просто берут базу из книг и переупаковывают их, но это только база. За деталями для дальнейшего роста нужно читать книги.

Итог:
🍸 Если вы нашли пост для себя полезным, то кидайте 🔥 или ❤️!

❓А как вы читаете книги и работаете с информацией?

🔗 ссылка на видео здесь

@dima_sqlit

🤩 Нужен ли Pandas, если вы знаете SQL? Как работать с DataFrames через SQL-синтаксис с помощью библиотеки DuckDB:

Если вы знаете только SQL и задумываетесь, а нужно ли учить Pandas, то я могу вам предложить, отличную альтернативу, которая позволяет работать с Pandas DataFrames на языке SQL. Для этого нам понадобиться библиотека duckdb.

1️⃣ Устанавливаем библиотеки (если нужно):

pip install pandas duckdb

2️⃣ Создаём тестовые DataFrames в Python:

import pandas as pd
import duckdb

# DataFrame 1: Заказы (orders_df)
orders_data = {
    'order_id': [1, 2, 3, 4],
    'customer': ['Alice', 'Bob', 'Charlie', 'David'],
    'amount': [100, 200, 150, 300]
}
orders_df = pd.DataFrame(orders_data)

# DataFrame 2: Доставки (deliveries_df)
deliveries_data = {
    'order_id': [1, 2, 4],
    'status': ['Delivered', 'Delivered', 'Pending'],
    'delivery_date': ['2025-08-10', '2025-08-12', None]
}
deliveries_df = pd.DataFrame(deliveries_data)

Теперь эти DataFrames хранятся в переменных orders_df и deliveries_df. Они имеют общее поле order_id — идеально для join'а!

3️⃣ Магия DuckDB: SQL-запросы прямо на DataFrames!
DuckDB видит ваши DataFrames как "таблицы":

# Простой пример: SELECT из одного DataFrame
base_df = duckdb.query("""
    SELECT * FROM orders_df  -- orders_df как таблица!
""").to_df()

А теперь пример с join'ом нескольких DataFrames и оконной функцией. Мы сделаем LEFT JOIN по order_id, обработаем NULL в статусе с COALESCE, и добавим ранжирование по сумме заказов с ROW_NUMBER():

result_df = duckdb.query("""
    SELECT 
        o.order_id,
        o.customer,
        o.amount,
        COALESCE(d.status, 'Not Delivered') AS delivery_status,  -- Обработка NULL
        ROW_NUMBER() OVER (ORDER BY o.amount DESC) AS rank_by_amount  -- Оконная функция!
    FROM orders_df AS o  -- Первый DataFrame как таблица 'o'
    LEFT JOIN deliveries_df AS d  -- Второй DataFrame как таблица 'd'
    ON o.order_id = d.order_id
""").to_df()

# Выводим результат (для примера)
print(result_df)

Красота! Мы объединили два DataFrames, применили оконную функцию — всё в одном SQL-запросе и без знаний синтаксиса Pandas.


Итог:
🍸 Если вы нашли пост для себя полезным, то кидайте 🔥 или ❤️!
❤️Поддержать канал бустами, чтобы у автора появился дополнительный функционал можно - здесь (это бесплатно и доступно с подпиской telegram premium)

❓А вы знали о таком способе взаимодействия с Pandas DataFrames пишите в комментариях?

👀 В комментариях приложу готовый notebook, чтобы вы могли самостоятельно пощупать, все что описано в посте.

@dima_sqlit

Всем привет! Хочу порекомендовать канал @ds_memes с большим количеством мемов про IT / DS.

Мемы публикуются 4+ раза в день, можете найти для себя интересные и делиться с коллегами 👉

Советую подписаться и следить за мемасами 🤪

🪙 Machine Learning в Бизнесе - как просто сделать Прогноз Временных Рядов при помощи Prophet:

Сегодня расскажу, как спрогнозировать выручку (GMV) или другие метрики (часто полезно при подсчете KPI) во временных рядах с помощью Prophet в Python.

Что узнаешь:
1️⃣ Что такое временные ряды и почему они важны для бизнеса (простое объяснение для новичков).
2️⃣ Как подготовить данные в pandas и добавить российские праздники для точности.
3️⃣ Шаговый разбор: создание модели, прогноз на 200 дней и анализ отклонений.

Зачем это нужно?
🛍 Быстро отвечайте на запросы бизнеса по различным метрикам.
🗓 Учитывайте сезонность и праздники — прогнозы станут точнее.
⏱️ Экономьте время: никаких сложных настроек.


💡 Внутри — полный код с комментариями.
👀 В комментариях приложу готовый notebook, чтобы вы могли самостоятельно пощупать, все что описано в посте.

Приятного чтения - ссылка на статью.

Итог:
🍸 Если вы нашли пост для себя полезным, то кидайте 🔥 или ❤️!
❤️Поддержать канал бустами, чтобы у автора появился дополнительный функционал можно - здесь (это бесплатно и доступно с подпиской telegram premium)

❓А как вы считали прогнозы у себя на работе и были ли такие запросы от бизнеса?

@dima_sqlit

🍿 Что посмотреть на выходных и мои размышления о фильмах Тарантино:

🍸 Вот и пятничка, решил отойти от сложных тем и обсудить с вами, какие фильмы вам нравятся и что сейчас смотрю я и поделиться своими впечатлениями.

😎 Последнее время я стараюсь глубже проникнуть в мир Тарантино — смотрю его фильмы, так как слышал много хорошего, но впечатления у меня неоднозначные. Итак, мои "Тарантиновские приключения":

1️⃣ "Бесславные ублюдки" — не понял смысла фильма, да и не сказать, что в целом было интересно, но пару моментов смешных было, понял откуда много мемов взялось)
2️⃣ "Криминальное чтиво" — классика, все хвалят, а я вот не совсем понял хайп. Понравилось пару моментов. Когда приехал Уинстон Вульф (Чистильщик) и показал, как он решает вопросы, а также диалог в кафе, где Джулс Уиннфилд решил отойти от дел.
3️⃣ "Бешеные псы" — тоже мимо. Самое не понятный для меня фильм из просмотренных Тарантино. Понравился только один момент - это танец мистера блондина, который, кстати, был сделан за один дубль и на полной импровизации.
4️⃣ "Джанго освобожденный" — это фильм мой фаворит. Хорошая игра, сюжет, юмор, рекомендую.
5️⃣ "Однажды в Голливуде" — Атмосфера старого Голливуда, Брэд Питт и Лео идеально сыграли самих себя). Если не смотрели — тоже рекомендую!

🫶 Сейчас в планах пересмотреть "Сокровища нации" с Николасом Кейджем. Фильм о поиске затерянных сокровищ и чтобы найти их нужно разгадать много загадок и головоломок, возможно из-за того, что здесь присутствует характер анализа он мне и нравится, кто знает)

❓А вы планируете что-нибудь посмотреть в эти выходные и как вам фильмы Тарантино ?

@dima_sqlit

📕 Мое понимание мира - прими неопределённость или почему истины нет, а есть только вероятность:

Я часто думаю о мире вокруг. Всё, что мы видим и делаем, — это как попытка подойти ближе к чему-то правильному, но мы никогда не доберёмся до конца. Абсолютная правда существует только там, где мы её сами создали.

Например, математика. 2 + 2 = 4 — это точно, потому что мы сами придумали правила. Мы решили, что так будет, и в этой системе всё работает без вопросов.

💯 А в реальной жизни — только шансы и догадки:
Как только мы выходим за эти рамки, всё меняется. Нет чётких правил, нет 100% уверенности. Мы работаем с вероятностями — с тем, что "скорее всего" сработает.

Возьмём аналитику, которой я занимаюсь. Мы смотрим на пользователей: сколько они покупают, какой средний чек, как часто заходят. На основе этого стараемся с какой-то долей вероятности увеличить их вовлечение в продукт — подбираем скидки или предложения, чтобы повысить шансы на покупку. Но мы не можем быть уверены, что это лучшее решение. Мы лишь пытаемся увеличить вероятность успеха, корректируя на ходу.

То же самое в повседневной жизни. Даже простая вещь, как подброс монетки, показывает это. В теории вероятность выпадения орла или решки — 50/50. Но на деле может случиться что угодно: монетка упадёт на ребро, ветер её сдует, или — в каком-то фантастическом сценарии — гравитация вдруг пропадёт. Мир полон неожиданностей, и даже в такой "простой" ситуации мы не контролируем всё. Мы рассчитываем на 50/50, но реальность напоминает: это всего лишь приближение. Весь мир — сплошные вероятности, и мы с какой-то долей стремимся к бесконечно максимальному результату. По крайней мере, пытаемся, повышая шансы шаг за шагом.

👌 Жизнь — это вечный поиск лучшего варианта:
Мы выбираем, где купить подешевле, какую профессию выбрать, чтобы быть счастливым, или даже с кем дружить. Нет правильного ответа на 100%. Мы смотрим на факты, взвешиваем и решаем: "Это, наверное, сработает лучше". Но насколько лучше и может ли быть ещё лучше — сложно сказать. Мы снова лишь с какой-то вероятностью приблизились к результату бесконечно ближе, но не достигли идеала.

Числа помогают в этом. Без них мы бы не понимали, улучшается ли всё. Метрики вроде роста продаж или уровня стресса дают ориентир: "Шансы на успех выросли". Но они не дают истину — только показывают, насколько мы приблизились.

👨‍💻 Принять неопределённость и жить дальше:
Сначала это кажется страшным: нет точных ответов, нет финиша. Но на самом деле это освобождает. Мы не гонимся за невозможным — просто делаем каждый выбор чуть лучше предыдущего. Принимай неопределённость, повышай вероятности и двигайся вперёд.

В итоге, жизнь — не про поиск истины, а про навигацию в мире шансов. И мы в этом процессе вечно приближаемся к чему-то лучшему.

Итог:
🙂 Этот пост раскрывает моё видение мира — как набор вероятностей, где нет абсолютной истины, а только приближения.

😌 Это ещё и подготовка к следующему посту про тревожность, которую многие просили. Этим постом я хотел донести до всех: мир — это лишь набор вероятностей, и вам нужно принять неопределённость, как бы вы этого не хотели и как бы трудно это ни было. Только так можно жить спокойнее и эффективнее.

🍸 Если вы нашли пост для себя полезным, то накидывайте реакций, чтобы я понимал, что вам эта тема интересна!
❤️Поддержать канал бустами, чтобы у автора появился дополнительный функционал можно - здесь (это бесплатно и доступно с подпиской telegram premium)

❓ Что думаете по этой теме, согласны с таким видением мира или нет?

@dima_sqlit

📕 Понимание тревожности: почему она возникает в мире неопределённостей и как с ней справляться. Часть 1:

В прошлом посте я рассказал, что мир — это набор вероятностей, без абсолютной истины, и нужно принимать неопределённость. Теперь разберём тревожность, которую вы просили.

💯 Что такое тревожность и как она работает:
Тревожность — это эволюционный механизм для выживания. Когда мозг чувствует угрозу (реальную или в мыслях), он запускает реакцию: сердце колотится, мысли кружат, тело напрягается. Полезно для быстрого реагирования, но в современном мире она становится хронической от неопределённости — работы, новостей, отношений. Главный триггер: мозг ненавидит неизвестность, потому что не может планировать. Лучше знать плохое, чем не знать вовсе.

👀 Почему тревога берёт верх: две системы мозга по Канеману:
Мозг имеет Систему 1 (быструю, эмоциональную) и Систему 2 (медленную, логическую). В тревоге Система 1 доминирует: ты паникуешь импульсивно, катастрофизируешь ("всё пропало, если не отвечу на email"). Система 2 отключается, но её можно активировать: сделай паузу, дыши глубоко и разбери ситуацию логично.

👌 Корни тревоги: ключевые триггеры — причины и связь:
1️⃣ Синдром FOMO (Fear of Missing Out) — тревожное состояние, при котором человек боится пропустить нечто важное или интересное, происходящее у других людей.
Причины: Мозг эволюционно настроен на социальное сравнение — мы оцениваем себя по другим, чтобы выживать в группе. Соцсети усиливают это: видим только "хайлайты" чужой жизни (путешествия, успехи), а свою реальность сравниваем с этой витриной. Алгоритмы подкидывают бесконечный поток, активируя дофамин — ожидание "награды" от скроллинга.
Связь с тревожностью: FOMO рождает ощущение отставания. "А вдруг я упускаю важное?" — это усиливает неопределённость. В итоге — хроническая тревога, снижение самооценки, как будто все другие "выигрывают" в лотерее жизни.
2️⃣ Информационная перегрузка — мозг имеет лимит на обработку данных — как пропускная способность. Современный мир бомбардирует уведомлениями, новостями, задачами; мы пытаемся "многозадачить", но на деле многозадачности не существует. Многозадачность - это быстрое переключения с одного на другое. Это в свою очередь тратит много энергии. Перегрузка парализует решения — слишком много вариантов, мозг в панике от неопределённости. "Не успеваю всё переварить" — это держит в хроническом напряжении.
3️⃣ Негативные новости — эволюционно мозг фокусируется на угрозах, чтобы выжить (пропустить опасность = смерть). Медиа эксплуатируют это: 80% контента негативное, с эмоциональными заголовками ("шок", "ужас"), яркими образами, которые обходят логику и цепляют Систему 1 (эмоциональную).

Продолжение в посте ниже 👇

@dima_sqlit

📕 Понимание тревожности: почему она возникает в мире неопределённостей и как с ней справляться. (1-я часть — находится в посте выше). Часть 2:

🧠 Когнитивные искажения и тревожность.
Когнитивные искажения — это такие «ошибки восприятия». Из‑за них реальность кажется опаснее, чем есть. А тревожность питается именно этим: мозг видит больше угроз, чем реально существует. Например:
1️⃣ Эффект якорения:
• Как работает: зацикливаемся на первом впечатлении.
• Жизнь: друг сказал «скорее всего на работе будут сокращения» → и даже если вероятность 5%, мозг воспринимает это как «100%» и начинает крутить сценарии увольнения.
• Результат: тревожность растёт, потому что держим в голове якорь, а не реальные факты.
2️⃣ Иллюзия контроля:
• Как работает: кажется, что мы управляем вещами, которые неконтролируемы.
• Жизнь: «Если я проверю почту каждые 5 минут, точно не пропущу важное письмо и всё будет хорошо».
Но мир хаотичен → письмо всё равно придёт неожиданно, или решение примут без нас.
• Результат: когда контроль рушится, тревога резко возрастает («значит, я упустил», «со мной что‑то не так»).
3️⃣ Ошибка выжившего:
• Как работает: мы видим только успехи и игнорируем неудачи.
• Жизнь: читаем про парня, который стал миллионером на стартапе, и думаем: «У всех получается, а я туплю».
• Результат: тревожность растёт от сравнения с «успешными выжившими», хотя реальность искажена — тысячи людей провалились, но об этом не пишут.

🤝 Простые практики против тревоги:
1️⃣ Ограничение соцсетей и инфополя - Ограничьте чтение социальных сетей, новостей, просмотра телевизора и т.п.
2️⃣ Техника "мозгового дампа" для разгрузки мозга: Возьмите ручку и бумагу, начинайте выписывать всё, что крутится в голове — беспокойства, задачи, мысли (хаотично, без цензуры). Потом структурируй: преврати в понятный список дел с реалистичными дедлайнами. Начинай разгребать. Это снимает перегрузку. Далее делай и вычёркивай задачки — мозг получает дофамин от прогресса, становится проще, тревога уходит.
3️⃣ Борьба с когнитивными искажениями: Знай типичные ошибки (как якорение или иллюзия контроля), лови их в моменте ("Это ошибка выжившего — я вижу только успехи, а провалы?"). Активируй Систему 2: сделай паузу, дыши, разбери мысль логично — собери факты, рассмотри альтернативы.
4️⃣ Тело и привычки: Доказано, что спорт "сжигает" гормоны стресса, вырабатывает эндорфины (выберите, то что вам нравится, здесь подойдет любая физическая активность, даже ходьба). Питание: Ешьте рыбу (омега-3), орехи (магний), избегайте сахара и кофеина — они усиливают тревогу.
5️⃣ Качественно отдыхайте: Мозгу требуется смена контекста — пообщайтесь с друзьями, займитесь хобби, уделите время себе и т.п. И не забывайте про качественный сон (не слушайте тех кто спит по 6 часов и чувствует себя отлично, это генетические уникуму или они вам просто врут).

⭐️ Дополнительные источники:
Также обещал посоветовать автора, который разбирает тему когнитивных искажений и в целом множество других интересных тем. Псевдоним автора FreshLife28 и вот с чего стоит начать:
• Ссылка на плейлист по когнитивным искажениям - здесь
• Книга по когнитивным искажениям (у него есть и другие нон-фикшн книги): "Быть нельзя казаться"

Итог:
🙂 Нужно принять тревогу и жить дальше:
Тревога — сигнал в мире шансов, не враг. Не стремись к нулю (невозможно), а повышай вероятность спокойствия: принимай неопределённость, лови искажения, применяй описанные практики.

🍸 Если вы нашли пост для себя полезным, то накидывайте реакций, чтобы я понимал, что вам эта тема интересна!
❤️Поддержать канал бустами, чтобы у автора появился дополнительный функционал можно - здесь (это бесплатно и доступно с подпиской telegram premium)

❓ Что думаете по этой теме, нашли для себя что-то полезное?
❗️Как и говорил - тема оказалась сложной для написания и я постарался максимально коротко и ясно написать про тревогу и борьбу с ней. Надеюсь на вашу поддержку и обратную связь.

@dima_sqlit

🔥 Вайбкодинг — бесплатный аналог Cursor AI от Alibaba (Qoder):

Пока все говорят про Cursor AI и его платную подписку, Alibaba тихо запустили свой аналог — Qoder с полноценным spec-режимом.

🧠 Что такое vibe coding? Это революционный подход к программированию с ИИ. Вот основные фишки IDE в которую встроен ИИ:

• Анализ всего проекта: ИИ изучает каждый файл, понимает архитектуру и связи между компонентами
• Контекстное программирование: по твоему запросу создаёт код, который идеально вписывается в существующий проект
• Чат с проектом: можешь просто задавать вопросы типа "Как работает эта функция?" или "Где хранятся настройки?" — ИИ объяснит всё!
• Изучение чужого кода: загрузил проект и можешь его изучать, задавая вопросы. Просто ВАУ!

📋 Что такое spec-mode (спек-режим)? Spec = Specification (техническое задание). Суть:

• Пишешь ТЗ обычным языком: "Сделай бота для Telegram, который показывает погоду"
• ИИ создаёт полный проект: структуру папок, все файлы, код, конфигурации
• Получаешь готовое приложение: которое можно сразу запускать
• Называется "спек-режим": потому что работает по принципу технического задания

✅ Ознакомиться и скачать можно по ссылке qoder.com

Итог:

🍸 Если вы нашли пост для себя полезным, то накидывайте реакций, чтобы я понимал, что вам эта тема интересна!
❤️Поддержать канал бустами, чтобы у автора появился дополнительный функционал можно - здесь (это бесплатно и доступно с подпиской telegram premium)

❓ Пробовали уже ИИ-помощники для кода? Как вам vibe coding — реально помогает или только мешает? Пишите в комментариях!

@dima_sqlit

👨‍💻 Казалось бы, агрегатные функции в SQL (SUM, AVG, COUNT) просто считают значения — что тут сложного? Но есть скрытая ловушка: как они ведут себя с NULL?

Давайте посмотрим на таблицу:

таблица orders:
id  amount
1  100
2  NULL
3  200

1️⃣Посмотрим, как функции ведут себя с null значениями:

Выполним вот такой запрос:

SELECT
    SUM(amount),      -- 100 + 200 = 300 (NULL пропущен)
    COUNT(amount),    -- 2 (NULL не считается)
    AVG(amount)       -- (100+200)/2 = 150 (делим только на не-NULL)
FROM orders

Результат всегда рассчитывается только по НЕ-null значениям!
Имейте это ввиду.

2️⃣Что если в логике таблицы null означает на самом деле 0 и если мы этого не учтем то мы занизим метрику.
Что делать? Нужно использовать функцию coalesce:

Выполним вот такой запрос:

SELECT
    SUM(COALESCE(amount, 0)),   -- 100 + 0 + 200 = 300
    COUNT(COALESCE(amount, 0)),  -- 3 (учтёт все строки, NULL стал 0)
    AVG(COALESCE(amount, 0))   -- (100 + 0 + 200) / 3 = 100
FROM orders

Отлично мы не занизили метрику.

3️⃣ А что насчёт  COUNT(*)?

COUNT(*) — считает все строки, независимо от значения поля. Т.е. учитывает и NULL, и не-NULL.

Выполним вот такой запрос:

SELECT
    COUNT(*),               -- 3 (все строки)
    COUNT(amount),          -- 2 (только не-NULL)
    COUNT(COALESCE(amount, 0))   -- 3 (NULL стал 0)
FROM orders

Итог:
• COUNT(*) — нужен, когда важно узнать общее число строк (например, всю активность, включая пропуски).
• COUNT(поле) — только по реально заполненным значениям (NULL не попадает).
• COALESCE(поле, 0) — необходим, если логика отчёта требует трактовать NULL как 0 (например, “нет продаж” = 0), иначе метрики — сумма, среднее — будут ошибочными.

🍸 Если вы нашли пост для себя полезным, то накидывайте реакций, чтобы я понимал, что вам эта тема интересна!
❤️Поддержать канал бустами, чтобы у автора появился дополнительный функционал можно - здесь (это бесплатно и доступно с подпиской telegram premium)

❓ Знали о этих нюансах? Помню когда я учил SQL не многие проговаривали этот момент.

@dima_sqlit

⚡️ Как работают конструкции ANY и ALL в SQL — объяснение на простых примерах:

Будем работать вот с такой таблицей:

Таблица: employees

id  name  role_name  salary
1  Ваня  Программист  30_000
2  Таня  Аналитик     40_000
3  Петя  Программист  20_000
4  Саша  Менеджер     50_000

Предположим, что нам нужно найти сотрудников у которых зарплата:
1) больше чем хотя бы у одного из программистов
2) больше чем у всех программистов

1️⃣Конструкция ANY:
Находим всех, у кого зарплата больше, чем хотя бы у одного программиста:

SELECT *
FROM employees
WHERE salary > ANY (
    SELECT salary FROM employees WHERE role_name = 'Программист'
);

• В подзапросе будут зарплаты программистов: 30_000, 20_000.
• ANY — это условие вида: salary > 20_000 ИЛИ salary > 30_000.
• По сути, это то же самое, что salary > MIN(зарплат_программистов).

2️⃣Конструкция ALL:
Теперь ищем тех, у кого зарплата больше, чем у всех программистов:

SELECT *
FROM employees
WHERE salary > ALL (
    SELECT salary FROM employees WHERE role_name = 'Программист'
);

• Здесь ALL работает как "И": salary > 20_000 И salary > 30_000 одновременно.
• Это равнозначно salary > MAX(зарплат_программистов).

Итог:

🍸 Если вы нашли пост для себя полезным, то накидывайте реакций, чтобы я понимал, что вам эта тема интересна!
❤️Поддержать канал бустами, чтобы у автора появился дополнительный функционал можно - здесь (это бесплатно и доступно с подпиской telegram premium)

❓ А вы в каких задачах использовали ANY и ALL или предпочитаете min/max? Пишите в комментариях!

@dima_sqlit

🤩 Бесплатные нейросети для аналитики и кода: Qwen, DeepSeek и Google Notebook AI — без ограничений:

Если вы хотите упростить себе работу с SQL, Python или анализом данных с помощью LLM (больших языковых моделей), но не готовы платить за подписки — это пост для вас. Сегодня расскажу про три полностью бесплатных инструмента, которые можно использовать без ограничений.


1️⃣ Qwen:
Китайская модель, которая не уступает многим западным аналогам и полностью бесплатна.

Что умеет:
• Общаться и давать советы по любым темам.
• Анализировать загруженные файлы.
• Писать код на Python, SQL, Java и других языках.

🔜 Начать пользоваться можно по ссылке

2️⃣ Deepseek:
Ещё один топовый китайский проект, который также абсолютно бесплатен и обладает схожим набором функций, как у Qwen

🔜 Начать пользоваться можно по ссылке

3️⃣ Google Notebook AI:
Notebook AI работает не просто как чат, а как исследовательский ассистент. Вы создаете «блокнот» и указываете ему источники (текст, PDF, видео с YouTube), а нейросеть будет отвечать на ваши вопросы, основываясь только на предоставленной вами информации.

🔜Начать пользоваться можно по ссылке
🔜Более подробное описние этой нейронки можно посмотреть у меня в посте по ссылке

Итог:
🙂 Теперь у вас есть три мощных и абсолютно бесплатных ИИ-инструмента в арсенале. Qwen и DeepSeek — ваши универсальные инструменты для кода, анализа файлов и идей, а Google Notebook AI — уникальный сервис для глубокой работы с вашими собственными документами и источниками без «выдумок».

🍸 Если этот обзор сэкономил вам время и силы (и возможно, деньги на подписке), то накидывайте реакций 🔥! Так я пойму, что тема ИИ-инструментов вам интересна.
❤️Поддержать канал бустами, чтобы у автора появился дополнительный функционал можно - здесь (это бесплатно и доступно с подпиской telegram premium)

❓ А вы уже пользовались этими нейросетями? Какая впечатлила больше всего? Или может знаете другие бесплатные аналоги? Жду ваши мнения в комментариях!

@dima_sqlit

🍌 Здоровье в IT: как я борюсь с сидячим образом жизни. Часть 1 — про БАДы:

Если вы, как и я, проводите кучу времени за компьютером, то знаете: сидячий образ жизни — это сплошной вред для всего организма. Я решил запустить серию постов, где поделюсь, как минимизирую это влияние. В каждой части разберу свои привычки: от спорта и перерывов до образа жизни в целом.

😐Сегодня — первая часть про БАДы, которые я использую. Расскажу про каждый, зачем он мне и как помогает.
Но помните, это не медсовет!

Мой топ 5 добавок:
1️⃣ Омега-3: Стараюсь пить на постоянной основе — по 1-2 капсулы в день. Помогает с сердцем, мозгом и иммунитетом, снижает воспаления. Также хочется подсветить один интересный момент — в СССР рыбий жир (это и есть источник Омега-3) давали детям в школах и детсадах для профилактики рахита, улучшения зрения и памяти. Врачи тогда считали, что в обычной еде мало этих кислот. Делайте выводы сами.

2️⃣ Лютеин: Идеально для глаз, которые устают от экранов. Я пью по 10-20 мг в день курсами. В чем его основная польза — это природный антиоксидант, который защищает сетчатку от вредного синего света (экраны компьютеров и смартфонов), снижает риск возрастных проблем, улучшает остроту зрения и помогает глазам адаптироваться к свету, снижает усталость.

3️⃣ Группа витаминов B: Беру комплекс B-витаминов (B1, B6, B12 и т.д.) пью курсами. Они хорошо поддерживают нервную систему: дают энергию, улучшают память и концентрацию, помогают со стрессом. Также полезны для кожи, волос и иммунитета.

4️⃣ Витамин D: Пью курсами по 5000 международных единиц (МЕ), особенно зимой, когда солнца мало. Основная польза — укрепляет кости, иммунитет, борется с депрессией и усталостью. Дефицит витамина D сегодня фиксируют даже в солнечных странах, а что уж говорить про Россию, где большую часть года ​солнца мало.

5️⃣ Мультивитамины: Когда хочу просто поддержать организм, добавляю мультивитаминный комплекс курсами. Там всё сразу: от витамина A до цинка, для общей энергии, иммунитета и восстановления. Пью по ощущениям, особенно когда близиться зима или наступление весны.

Итог:
🙂 Это был топ 5 моих БАДов, которые помогают мне повысить качество жизни. Помните, это только мои личные наблюдения, а не универсальный план и не призыв к действию. Сдайте анализы, проконсультируйтесь с врачом — хоть дефицит витаминов наблюдается у многих, но лучше убедиться в этом и только после этого идите закрывать проблемные места.

🍸 Если пост сэкономил вам время на ресерч или вдохновил вас в этом разобраться, накидывайте реакций 🔥! Так я пойму, что тема актуальна.
❤️Поддержать канал бустами, чтобы у автора появился дополнительный функционал можно - здесь (это бесплатно и доступно с подпиской telegram premium)

❓ А вы что пьёте из БАДов? Как часто, какую фирму предпочитаете или может вообще не пьёте? Что думаете про БАДы в общем — пустышка или реально помогают? Жду ваши мнения в комментариях!

@dima_sqlit

👨‍💻 Как выгрузить большой объём данных (SQL, API и т.п.) по частям в Python с помощью батчинга:

Когда данных слишком много — например, тысячи ID для выгрузки из базы или API — обрабатывать всё сразу рискованно: можно словить таймаут, ошибку или просто "зависание". Здесь на помощь приходит батчинг — разбиение на маленькие порции.

1️⃣ Представим, что у нас крупный сервис по доставке еды и нас попросили посмотреть по определенным пользователям их количество покупок за август. Нам предоставили список в виде excel файла c user_id (там список порядка 300 тыс.пользователей), по которым нужно собрать статистику. Отлично, давайте писать код:

import pandas as pd
from utils import sql_query #Представим, что это функция, которая берет на вход sql запрос и возвращает результат в Pandas DataFrame

user_id_df = pd.read_excel('user_id.xlsx') #Загружаем файл с user_id в Pandas DataFrame
user_id_tuple = tuple(user_id_df['user_id']) #Преобразуем в формат кортежа, чтобы можно было подставить удобно в sql запрос через f строку Python

sql_query("""select 
    user_id,
    count(*)
from events
where
    user_id in {user_id_tuple}  #подставляем через f строку наши user_id
    and event_date between '2025-08-01' and '2025-08-31'  #рассматриваем август
    and event_name = 'purchase' #смотрим события покупки
group by
     1
""")

Все отлично, но такой запрос, скорее всего, упадет с ошибкой, так как список с user_id нам дали большой и событий соответственно тоже много и СУБД выдаст ошибку, чтобы защититься от "падения". Что делать в таком случае? Ответ - а давайте ограничим выборку, а как мы ее можем ограничить? Давайте будем смотреть не сразу всех user_id из списка, а по частям.

2️⃣ Функция для разбиения списка на n равных частей:

def split_into_n_parts(lst, n=10):
    k = len(lst) // n  #Целочисленное деление (Например, 23//10 = 2)
    m = len(lst) % n   #Остаток от деления (Например, 23//10 = 3)
    parts = []         #Результат
    start = 0
    for i in range(n):
        size = k + (1 if i < m else 0)
        end = start + size
        parts.append(lst[start:end])
        start = end
    return parts

Вот наша функция: она берёт список lst и делит его на ровно n частей (по умолчанию 10). Остаток распределяется по первым частям для равномерности.

3️⃣ Применим функцию и выполним итоговый запрос по частям и объединим все в один DataFrame:

user_id_list = list(user_id_df['user_id']) #Преобразуем в формат списка, чтобы можно было подставить в нашу функцию для батчинга
iters = split_into_n_parts(user_id_list, 10) #Получили список у которого в качестве элементов другие списки, например [[1,2,3] , [4,5,6]] и т.д.
df_list = [] #Сюда будем запихивать промежуточные результаты, чтобы в конце их объединить

for batch_user_id_list in iters:
     df_add = sql_query("""select 
               user_id,
               count(*)
               from events
           where
               user_id in {tuple(batch_user_id_list)}  #подставляем через f строку наши user_id
               and event_date between '2025-08-01' and '2025-08-31'  #рассматриваем август
               and event_name = 'purchase' #смотрим события покупки
           group by
               1)

      df_list.append(df_add)

# Объединяем все DataFrame в один  
df_buy = pd.concat(df_list, ignore_index=True)

Вуаля, мы смогли выгрузить все нужные нам данные.

Итог:
• Батчинг — супер-инструмент для работы с большими данными в Python. С этой функцией и циклом вы легко обработаете любые объёмы без сбоев!
• Вопрос, который может возникнуть — а что если нужно по всем user_id информацию выгрузить за тот же август, то уже не выйдет так сделать ? Ответ — выйдет, но для этого, как правило используют хэш функцию (Об этом в одном из следующих постов).

🍸 Если вы нашли пост для себя полезным, то накидывайте реакций, чтобы я понимал, что вам эта тема интересна!
❤️Поддержать канал бустами, чтобы у автора появился дополнительный функционал можно - здесь (это бесплатно и доступно с подпиской telegram premium)

❓ Как вам объяснение? Пробовали подобное для выгрузки данных? Делитесь в комментариях!

@dima_sqlit

😱 Как быстро освоить аналитику? Начните с ключевых терминов!

Вы когда-нибудь замечали, что в новой теме, будь то Математика, Языки программирования и т.п. всё кажется хаосом, пока не разберётесь с базовыми понятиями? Есть крутая теория, которая говорит: если сначала выучить ключевые термины в предметной области, то освоение пойдёт в разы быстрее. Это не просто слова — это подкреплено когнитивными подходами, такими как Cognitive Learning Theory и Fast Mapping.

🤔 А теперь представьте курс, который идеально воплощает эту идею! Я нашёл на Stepik отличный бесплатный курс по аналитике, где всё структурировано вокруг терминов. Он разбит на разделы по алфавиту (на английском и русском), с объяснениями от A до Z. Вот примеры тем:

• Eng – A>>>M: Acid, API, Airflow, A/B-tests, BI, BigQuery, ClickHouse, Confluence, DWH, Docker, Excel, ETL, Figma, Git, Hadoop и многое другое.
• Eng – N>>>Z: NoSQL, OLAP/OLTP, Pandas, Plotly, PostgreSQL, Redash, SQL, Spark, Tableau, UML, VBA, XML, Yandex Metrika.
• Рус – А>>>М: Анализ, Агрегация, Визуализация, Гипотезы, Дашборды, Инсайт, Кластеризация, Линейная регрессия, Модели.
• Рус – Н>>>Я: Нормализация, Оптимизация, Панели, Ритейл, Статистика, Телеком, Управление данными, Хранилище, Яндекс Директ.
• Плюс разделы по метрикам – (финансовые, маркетинговые, продуктовые), базам данных, моделям.

Итог:
Ссылка на курс - Аналитик данных: подготовка к собеседованию

🍸 Если вы нашли пост для себя полезным, то накидывайте реакций, чтобы я понимал, что вам эта тема интересна!
❤️Поддержать канал бустами, чтобы у автора появился дополнительный функционал можно - здесь (это бесплатно и доступно с подпиской telegram premium)

❓ Что думаете про эти теории обучения? Какой метод обучения вы используете при изучении новой области? Делитесь в комментариях!
✔️ Подпишитесь на канал, чтобы не пропустить следующие посты.

@dima_sqlit

😉 Коррелированные подзапросы в SQL — что это такое и как они работают? Простое объяснение:

Коррелированные подзапросы — это подзапросы, которые зависят от основного запроса. Они ссылаются на данные из внешней части и выполняются для каждой строки основного запроса. Звучит сложно? На самом деле, это как если подзапрос "спрашивает" у основной таблицы: "Эй, для этой строки дай мне нужное значение!". Давайте разберём на простом примере.

1️⃣ Будем работать с таблицей employees (сотрудники в компании):

Таблица: employees

id | name | department | salary
1    Ваня    IT          50000
2    Таня    IT          60000
3    Петя   Sales        40000
4    Саша   Sales        55000
5    Маша    HR          45000
6    Коля    IT          70000

2️⃣ Пример в блоке WHERE: Найдем сотрудников с зарплатой выше средней в своём отделе.

SELECT
    id,
    name,
    department,
    salary
FROM
    employees as e
WHERE
    salary > (SELECT AVG(salary) FROM employees WHERE department = e.department);

3️⃣ Как работает?
• Для каждой строки e подзапрос берёт её department (например, IT для Вани) и считает среднюю зарплату только по этому отделу ((50000 + 60000 + 70000)/3 = 60000). Если salary строки > этой средней — она попадет в результат.

Итог:
Коррелированные подзапросы — для случаев, когда нужно "персонализированное" вычисление по строке, как сравнение со средней в группе. Выбирайте их, когда join усложняет запрос и данных в таблице не много.

🍸 Если вы нашли пост для себя полезным, то накидывайте реакций, чтобы я понимал, что вам эта тема интересна!
❤️Поддержать канал бустами, чтобы у автора появился дополнительный функционал можно - здесь (это бесплатно и доступно с подпиской telegram premium)

❓ А вы использовали коррелированные подзапросы в своих задачах? Какие реальные задачи вы решали корреляциями? Делитесь в комментариях!
✔️ Подпишитесь на канал, чтобы не пропустить следующие посты.

@dima_sqlit

😲 CTE vs Представления (VIEW - вьюхи) в SQL — простое объяснение: что это такое и в чём разница? Часть 1.

Многие путают CTE (Common Table Expressions) и представления (VIEW), потому что оба позволяют создавать "временные таблички" из запросов. Но под капотом они работают по-разному: CTE — для одного запроса, а представления — как сохранённые ярлыки. Давайте разберёмся на простых примерах.

Представим что у нас в базе данных есть таблица sales (продажи в магазине:

id | user_id     | product   |  amount  |     date
1  |  101        |  Кофе     |   500    |  2025-01-15
2  |  102        |  Чай      |   300    |  2025-01-16
3  |  101        |  Печенье  |   200    |  2025-01-17
4  |  103        |  Кофе     |   500    |  2025-01-18

1️⃣ Что такое представления (VIEW)?

Представление — это просто сохранённый SQL-запрос, который выглядит и работает как обычная таблица. Оно не хранит данные физически — каждый раз при обращении запрос выполняется заново, показывая свежие данные. Есть два типа: постоянные (живут пока не удалишь) и временные (исчезают с закрытием сеанса).

Сеанс — это период времени от подключения к базе данных до отключения от неё. Представьте: вы открываете DBeaver или другой SQL-клиент, подключаетесь к серверу — начинается сеанс. Вы выполняете запросы, создаёте временные объекты. Закрываете программу, отваливается соединение или истекает таймаут — сеанс заканчивается.

Пример постоянного представления:

-- Создаём постоянное VIEW
CREATE VIEW user_summary AS
SELECT user_id, COUNT(*) as order_count, SUM(amount) as total_spent
FROM sales GROUP BY user_id;

-- Используем как таблицу
SELECT * FROM user_summary WHERE total_spent > 400; -- ✅ Работает даже через неделю

Пример временного представления:

-- Создаём временное VIEW
CREATE TEMP VIEW temp_summary AS
SELECT user_id, COUNT(*) as order_count, SUM(amount) as total_spent
FROM sales GROUP BY user_id;

-- Работает в текущем сеансе
SELECT * FROM temp_summary; -- ✅

-- Новый сеанс (закрыли/открыли клиент) — исчезло
SELECT * FROM temp_summary; -- ❌ Ошибка!

2️⃣ Что такое CTE (Common Table Expressions)?

CTE — это обобщённое табличное выражение, временный результат запроса, который существует только в рамках одного SQL-запроса. Оно определяется с помощью WITH и исчезает сразу после выполнения. CTE удобно для разбиения сложных запросов на части, улучшая читаемость.

Простой пример CTE:

-- CTE для расчёта сумм по пользователям
WITH user_totals AS (
    SELECT user_id, SUM(amount) as total_spent
    FROM sales GROUP BY user_id
)
SELECT * FROM user_totals WHERE total_spent > 500; -- ✅ Работает в этом запросе

-- В следующем запросе CTE уже нет
SELECT * FROM user_totals; -- ❌ Ошибка!

3️⃣В чём разница между CTE и представлениями?

• Область видимости: CTE — только в одном запросе, представления — в сеансе (временные) или постоянно.
• Создание: CTE с WITH внутри запроса, представления с CREATE VIEW или CREATE TEMP VIEW.

Итог:
CTE и VIEW — это похожие инструменты, только с разным "сроком хранения". CTE — для быстрых фишек внутри одного запроса, типа "собрал данные на лету и сразу использовал". А представления — как готовые шаблоны, которые можно дёргать когда угодно, чтобы не писать одно и то же по сто раз.

🍸 Если вы нашли пост для себя полезным, то накидывайте реакций, чтобы я понимал, что вам эта тема интересна!
❤️Поддержать канал бустами, чтобы у автора появился дополнительный функционал можно - здесь (это бесплатно и доступно с подпиской telegram premium)

❓ А вы в каких задачах используете CTE и VIEW? Знали про разницу? Делитесь в комментариях!
✔️ Подпишитесь на канал, чтобы не пропустить следующие посты.

@dima_sqlit