Дима SQL-ит 🧑‍💻 (Аналитика данных)
1.17K subscribers
10 photos
1 video
56 links
👨‍💻 Блог аналитика данных в IT

📩 По менторству и сотрудничеству: @catdem
Download Telegram
Дима SQL-ит 🧑‍💻 (Аналитика данных) pinned «Telegram-бот, который работает, пока ты отдыхаешь Сегодня покажу, как за пару минут настроить простого Telegram-бота на Python, который будет слать вам уведомления с указанным вами текстом: Что сделаем: 1️⃣Создадим бота через @BotFather и заберём токен.…»
Как за 400 рублей в год получить доступ к Claude, ChatGPT, Gemini и Grok через Perplexity и без использования VPN

💎 Сейчас нейронки повсеместно упрощают жизнь.
Примеры использования:
• помогают с написанием текстов
• помогают с написанием кода
• помогают с генерацией идей
• и т.д.

🤑 И вот простая возможность: за 400 рублей в год получить доступ ко всем этим моделям — Claude, ChatGPT, Gemini, Grok и все это — без использования VPN, всё работает напрямую из России.

Это сервис Perplexity. Он собирает эти нейронки в одном месте, и с подпиской Pro вы можете ими пользоваться без лишних заморочек.

Инструкция короткая и простая, займёт пару минут:

1️⃣ Зарегистрируйтесь на Perplexity: Перейдите по ссылке https://www.perplexity.ai/ и создайте аккаунт. Используйте почту, на которую будете покупать подписку — это важно, чтобы всё активировалось правильно.

2️⃣ Купите подписку: Я это делал на Plati.market. Ищем лот с покупкой Perplexity Pro на 1 год я выбирал по отзывам и купил в итоге за 400 рублей. Везде указывайте ту же почту из первого пункта — так подписка привяжется к вашему аккаунту.

3️⃣ Кайфуем: После оплаты всё заработает автоматически. Заходите в Perplexity, выбирай модель и пробуйте — генерируйте, анализируйте, что угодно. Если что-то не получилось, пишете продавцу и он вам поможет разобраться)

😎 Если эта инструкция вам помогла, то кидайте 🔥 или ❤️!
Расскажите, пробовали ли вы Perplexity?
Please open Telegram to view this post
VIEW IN TELEGRAM
12🔥41
Ускоряем написание кода - горячие клавиши, которые работают в DBeaver, Jupyter Notebook, VS Code и других IDE 🚀

🔥 Горячих клавиш в IDE существует огромное количество — буквально на каждое действие. Но сегодня я поделюсь с вами семью самыми полезными комбинациями, которыми пользуюсь практически ежедневно. Эти шорткаты работают универсально и сэкономят вам кучу времени.

1️⃣ Alt + ↑ / ↓ - Перемещает текущую строку или выделенный блок вверх/вниз. Никакого вырезать-вставить — блок кода «прыгает» сразу туда, куда нужно.
2️⃣ Alt + Shift + ↑ / ↓ - Клонирует выделенную строку (или блок) выше/ниже. Идеально, когда нужно быстро дублировать похожие куски кода.
3️⃣ Ctrl + D - Поиск следующего вхождения выделенного текста. Нажимайте подряд, чтобы мгновенно выделить все однотипные переменные и заменить их разом.
4️⃣ Alt + Shift + A - Множественные курсоры. Печатаете одновременно в нескольких местах. Удобно для однотипных изменений.
5️⃣ Ctrl + / - Комментировать/раскомментировать выбранный код. Без ручного добавления # перед каждой строкой.
6️⃣ Tab - Табуляция [Быстрый отступ вправо (4 пробела по умолчанию)]. Работает и для одной строки, и для выделенного блока.
7️⃣ Shift + Tab - Обратная табуляция — возвращает строку или блок на 4 пробела влево.

Мой совет:
🎯 Советую попробовать прямо сейчас! Сначала будет непривычно — пальцы сами потянутся к мышке. Но через неделю-две вы заметите, насколько быстрее стали редактировать код. Особенно это чувствуется при работе с большими скриптами.

⚙️ Важная деталь для DBeaver: некоторые из этих комбинаций могут не работать по умолчанию. Но их легко настроить через параметры.

Итог:
😎 Если эта инструкция вам помогла, то кидайте 🔥 или ❤️!
А какие горячие клавиши вы используете пишите в комментариях?
Please open Telegram to view this post
VIEW IN TELEGRAM
15
Дима SQL-ит 🧑‍💻 (Аналитика данных) pinned «Как за 400 рублей в год получить доступ к Claude, ChatGPT, Gemini и Grok через Perplexity и без использования VPN 💎 Сейчас нейронки повсеместно упрощают жизнь. Примеры использования: • помогают с написанием текстов • помогают с написанием кода • помогают…»
Бесплатная нейросеть от Google для работы с любыми материалами — NotebookLM 🚬

😱 Бесплатных нейросетей сейчас полно, но почти все они ограничены по функциям. А вот NotebookLM от Google реально удивляет — это не просто чат, а мощный инструмент для изучения всего, что вы загрузите!

Вот чем она крута: 👇

1️⃣ Бесплатно для всех — Просто заходите на https://notebooklm.google/ — и пользуетесь без платы и без ограничений.

2️⃣ Работает с вашими файлами — можно загружать pdf-файлы, статьи, книги, любые тексты — и даже видео с YouTube. Модель будет отвечать на вопросы именно на основе этих материалов и всегда укажет, из какого источника берёт ответ. Это суперудобно, если нужно изучить сразу несколько книг или видео и не потеряться в источниках.

3️⃣ Всё, что нужно для учёбы и работы:
• Обычный чат — задаёте вопросы, получаете детальные ответы с ссылкой на источник.
• Roadmap — нейросеть сама разбивает здоровенный материал на структурированный план: видите, из чего всё состоит и что изучать по частям.
• Преобразование в подкаст — загруженные материалы можно конвертировать в подкаст (!) и спокойно слушать на прогулке или тренировке. Материалы будут персонализированы именно под вас.

4️⃣ Русский язык без проблем — все функции поддерживают русские тексты. Можно загружать статьи, свои записи, любые материалы — и получать ответы, планы, подкасты на русском.

5️⃣ Есть мобильное приложение — для тех, кто любит максимальное удобство. Можно пользоваться всеми возможностями прямо с телефона.

Итог:
🍸 Сочетаете изучение нужных материалов и отдых — идёте гулять и слушаете свой личный подкаст по книгам, статьям, лекциям. Всё бесплатно и невероятно просто. Советую попробовать и рассказать, как зашло в комментариях!

😎 Если эта инструкция вам помогла, то кидайте 🔥 или ❤️!
В одном из следующих постов планирую рассказать о бесплатных нейросетях, что думаете — нужен такой пост?
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥126
Две простые "магические" команды в Jupyter Notebook (Hub), которые стоит использовать каждый день 🤔

👍 Сегодня поговорим о двух простых, но невероятно мощных "магических" командах в Jupyter Notebook (Hub), которые сэкономят вам кучу времени и нервов.

1️⃣ %autoreload — Забудьте о перезапуске ядра!
Проблема: Вы пишете код в Jupyter, а часть ваших функций лежит в отдельном .py файле (например, my_utils.py). Вы импортируете функцию, используете ее, а потом замечаете в ней ошибку. Вы исправляете ошибку в .py файле, сохраняете его, заново пытаетесь импортировать... и ничего не меняется! Jupyter продолжает использовать старую версию функции, которая уже загружена в память. Приходится перезапускать ядро и выполнять все ячейки заново. Знакомо?

Решение: Магия %autoreload

Эта команда заставляет Jupyter автоматически перезагружать ваши модули перед выполнением кода в любой ячейке.

Как использовать:
Просто выполните эти две строки в самом начале вашего ноутбука:
%load_ext autoreload
%autoreload 2


И всё! Теперь вы можете спокойно редактировать свои .py файлы. Как только вы сохраните изменения, Jupyter при следующем запуске ячейки сам подхватит новую версию ваших функций. Никаких больше перезапусков ядра.

2️⃣ %whos — Что у меня в памяти?
Проблема: В процессе анализа вы создаете множество переменных: датафреймы, списки, словари, модели. Легко запутаться: как называется тот самый большой датафрейм? Сколько памяти он занимает? Какой у него тип данных?

Решение: Магия %whos

Эта команда выводит аккуратную таблицу всех переменных, которые существуют в вашей текущей сессии, с указанием их имени, типа, и самое главное — информации о размере или значении.

Как использовать:
Просто напишите в ячейке:
%whos


Мой совет:
🎯 Советую попробовать прямо сейчас! Поначалу это может показаться мелочью, но именно такие детали убирают из работы мелкие раздражающие паузы. Вы заметите, как рабочий процесс станет более плавным, когда не придётся постоянно перезапускать ядро или вспоминать, как именно вы назвали тот самый датафрейм.

Итог:
😐 Если эта инструкция вам помогла, то кидайте 🔥 или ❤️!

Как вам команды? Какими магическими командами пользуетесь вы? Делитесь своим мнением и находками в комментариях 🍴
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥75
Дима SQL-ит 🧑‍💻 (Аналитика данных) pinned «Бесплатная нейросеть от Google для работы с любыми материалами — NotebookLM 🚬 😱 Бесплатных нейросетей сейчас полно, но почти все они ограничены по функциям. А вот NotebookLM от Google реально удивляет — это не просто чат, а мощный инструмент для изучения…»
⚡️ Как за год стать в 37 раз лучше: конспект "Атомных привычек" - Джеймса Клира. Часть 1

😱 Большинство людей верят в мотивацию, цели и грандиозные планы. А потом бросают все через неделю. Джеймс Клир в книге "Атомные привычки" разрушил этот миф и показал, что реально работает — системы крошечных изменений!

1️⃣ Магия 1% в день:
1,01^365 = 37,78. Это означает, что улучшение всего на 1% каждый день даёт рост в 37 раз за год! Не на 37%, а в 37 раз. Это математика, которую невозможно игнорировать.

2️⃣ Четыре закона изменения поведения:
• Сделать очевидным (триггер) - [например, если вы хотите чаще читать, то кладите книгу на видное место.]
• Сделать привлекательным (тяга) - [например, если вы любите кофе, налейте себе кофе и возьмите книгу, так у вас процесс чтения будет ассоциироваться с приятным действием]
• Сделать простым (реакция) - [начните с просто действия, не старайтесь прочесть сразу всю книгу, прочтите пару страниц и дальше сами вовлечетесь в процесс]
• Сделать приносящим удовлетворение (вознаграждение) - [поблагодарите себя, купите себе шоколад или посмотрите серию любимого сериала и т.п.]

3️⃣ Наслоение привычек:
• После [текущей привычки] я буду [новая привычка] - Привязка новой привычки к уже существующей. То есть так мы создаем дополнительный триггер для новой привычки.

4️⃣ Дизайн окружения:
• Изменение среды для поддержки нужных привычек - порой среда заставляет нас делать, то или иное действие. Библиотека заставляет учиться. Кафе для некоторых, как место для работы. Ищите новые места для новых привычек.

5️⃣ Отслеживание привычек:
• Создайте систему отслеживания прогресса по привычкам. Например, все же замечали прогресс у курсов на Stepik (это сделано специально, что вы больше вовлекались и закрепляли свою привычку учиться) ?
Самым простым примером для своих привычек и отслеживания их прогресса является ручка и листок, как выполнили действие вычеркнули из списка.

6️⃣ Использование социального окружения:
• Окружение влияет на поведение больше, чем мотивация - в каком-то социальном кругу поощряется обучение и саморазвитие, а в каком-то наоборот. Именно по этому очень сложно развиваться в среде, которая это не одобряет и по этой причине вам придется изменить окружение если вы захотите формировать новые привычки.

7️⃣ Изменение идентичности через действия:
• Вы должны понять для себя, а зачем вам нужна та или иная привычка. Каждое действие - это голос за тот тип человека, которым вы хотите стать. Например, примите для себя зачем вам нужно обучаться каждый день (получить хорошую работу, поддерживать мозг в тонусе, повысить качество жизни и т.п.)? Решите, кем хотите быть и действуйте. Человеческий мозг не любит не известность - проще делать действия, когда он понимает зачем ему это нужно делать.

8️⃣Преодоление плато:
• Изменения это не линейный процесс - в какой-то момент вы можете подумать, что ничего не меняется и вы начнете задаваться вопросами, а зачем вы это делаете и будет соблазн все бросить. Но вы должны помнить, что жизнь не линейна и на освоение навыков и заметных результатов нужно время. Здесь помогает провести ретроспективу и посмотреть, чего вы смогли добиться за это время. Например, вы прошли курс по python, но видите другие примеры людей, которые на нем пишут серьезные проекты, а вы "лишь" работаете с табличками и думаете, что это все бесполезно, но вспомните, что перед этим для вас и print() было написать чем-то невообразимым, а сейчас вы уже можете автоматизировать работу с таблицами.

9️⃣ Роль скуки в поддержании привычек:
• Скука - главный враг долгосрочного успеха. Бывают дни, когда нет желания и просто скучно что-то делать по своим привычкам. Необходимо продолжать даже когда не интересно. Здесь важно отчеркнуть границу, когда лень, а когда вы чувствуете, что можете выгореть.
Please open Telegram to view this post
VIEW IN TELEGRAM
10🔥9👏2
😵‍💫 Как за год стать в 37 раз лучше: конспект "Атомных привычек" - Джеймса Клира. Часть 2

Это вторая часть конспекта по книге "Атомные привычки" Джеймса Клира.
Первая часть находиться здесь

1️⃣0️⃣ Приемлемый уровень сложности:
Задачи должны быть в "золотой середине" - не слишком легкие, не слишком сложные. В ходе экспериментов было замечено, что поддерживать интерес и формировать новые полезные привычки удается эффективнее, когда уровень сложности оптимальный. Например, обучение python становится интересным процессом, когда мы начинаем с посильных нам задач, написания print, узнаем, как работают циклы for и while и т.д., а не сразу лезем писать сложный проект.

1️⃣1️⃣ Инверсия четырех законов для избавления от вредных привычек:
Чтобы избавиться от вредных привычек требуется следующее.
• Сделать невидимым - уберите излишние триггеры. Хотите похудеть - покупайте меньше еды, так при очередном подходе к холодильнику вы увидите, что у вас не большой выбор и вы уменьшите или вовсе откажитесь от приема пищи.
• Сделать непривлекательным - плохая привычка должна ассоциироваться с чем-то не приятным. Хотите бросить курить - подумайте об отрицательных сторонах курения (желтые зубы, отдышка, большая трата денег).
• Сделать сложным - возьмем тот же пример с курением. Если у вас есть пачка сигарет, то кладите ее каждый раз подальше, чтобы каждый раз, когда вы хотите покурить вы понимали, что вам далеко идти.
• Сделать неудовлетворительным - наказывайте себя за плохие привычки. Пример наказания - поспорьте с другом или близкими вам людьми, что если вы выполняете плохую привычку, то за этим будет следовать наказание, например, вы будете отдавать 500 рублей за это действие.

1️⃣2️⃣ Поиск своих природных склонностей:
• Хорошие привычки лучше приобретаются если они являются частью вашей предрасположенности. То есть вы должны найти то дело, которое у вас получается и которое вам нравится. Доказано, что в таких делах хорошие привычки формируются быстрее. Как понять, какое направление является вашей предрасположенностью? Под это можно выделить отдельный пост.

1️⃣3️⃣ Постоянное совершенствование системы:
• Нужно проводить ретроспективу по имеющимся привычкам. Сложно отказаться от устоявшихся привычек, нам кажутся, что и не требуют доработок. Например, вы привыкли быстро работать в какой либо ide мышкой и не хотите учить горячие клавиши, хотя они ускорят вашу работу в разы, это привычка, которую следует пересмотреть. Кстати, у меня есть отдельный пост про горячие клавиши, которые вас ускорят - пост здесь.

1️⃣4️⃣ Работа с неудачами:
• У всех бывают не удачные дни - заболели, просто лень, чувствуете грань выгорания, нет времени и т.п. Здесь важно быстро вернуться в поток после перерыва. Допустим позволили себе 1 или 2 пропуска по вашей привычки, но после этого нужно срочно возвращать практику этой привычки.

Итог:
😎 Если этот пост был вам полезен, то кидайте 🔥 или ❤️!
Расскажите, вы, читали эту книгу? Что думаете по поводу этих идей - может вы их уже применяете не осознано?
Please open Telegram to view this post
VIEW IN TELEGRAM
9🔥8
⚠️ SQL Ловушка: почему оператор NOT IN ломается, а EXISTS работает:

Рассмотрим классическую проблему с которой встречались многие.

📊 Пример данных:
Таблица orders:
order_id
--------
1
2
3
4


И таблица delivered_orders:
order_id
--------
1
2
NULL ← вот эта засада!


⭐️ Задача: Найти не доставленные заказы.

Почему оператор NOT IN в данном случае выдаст не верный результат:

Пишем запрос:
SELECT *
FROM orders
WHERE order_id NOT IN (SELECT order_id FROM delivered_orders);

Подзапрос вернет: (1, 2, NULL)

Итоговый результат - ПУСТАЯ ВЫБОРКА!

Почему сломалось? Давайте посмотрим на логику работы оператора not in для строки 3 в таблице orders:
1️⃣ 3 ≠ 1 AND 3 ≠ 2 AND 3 ≠ NULL
Переведем эти условия на булевую логику:
2️⃣3 ≠ 1 (True) AND 3 ≠ 2 (True) AND 3 ≠ NULL (UNKNOWN) → UNKNOWN (False)
То есть для любой строки условие не будет выполнено из-за NULL

✔️ Что делать, чтобы не допустить такой проблемы?

1️⃣Ответ - в подзапросе в условии where добавить is not null:
SELECT *
FROM orders
WHERE order_id NOT IN (SELECT order_id FROM delivered_orders where order_id is not null);

2️⃣Ответ - использовать оператор NOT EXISTS:
Пишем запрос:
SELECT *
FROM orders o
WHERE NOT EXISTS (
SELECT 1
FROM delivered_orders d
WHERE d.order_id = o.order_id
);

Сравнение выполняется построчно; запись с NULL не совпадает ни с одним order_id, поэтому итог снова 3 и 4 — без риска забыть фильтр IS NOT NULL.

Итог:
😎 Если эта инструкция вам помогла, то кидайте 🔥 или ❤️!
Встречались с такой проблемой и поняли как ее решить?
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥209
📈 Разбор задачи на интуитивном уровне: бросание кубиков, математическое ожидание и ЗБЧ (закон больших чисел):

Давайте разберем классическую задачку, которая встречается очень часть: "Кубик бросают три раза. После каждого раза можно остановиться. Как следует поступить, что бы последнее значение было наибольшим?"

✍️ Введем определения:

Честный кубик - кубик у которого вероятность выпадения каждой грани равновероятно и равна 1/6

Закон больших чисел - если проделывать один и тот же случайный эксперимент очень-очень много раз (например, бесконечно часто подбрасывать монетку), то средний результат этих попыток неизбежно приближается к настоящему «правильному» среднему — к математическому ожиданию.

Математическое ожидание - Это то самое «настоящее среднее»: число, к которому в идеале стремилось бы ваше среднее, если бы вы смогли делать опыт бесконечно долго. Считается оно, как сумма возможных значений на их вероятность появления. Для честного кубика это (1/6*1 + 1/6*2 + 1/6*3 + 1/6*4 + 1/6*5 + 1/6*6) = 3.5 то есть в среднем мы ожидаем, что при большом количестве бросков кубика среднее всех этих бросков будет равняться 3.5 .Например, подбрасываем кубик 1000 раз (первое значение 6, второе значение 1, третье значение 3 и так 1000 раз). Суммируем все эти значения и делим на количество бросков и получаем примерно 3.5.

🔔 Теперь к интуитивному решению:
Давайте введем следующую подмену, представьте, что значения на кубике равным деньгам, например, вот так:

1 -> 100 рублей
2 -> 200 рублей
3 -> 300 рублей
4 -> 400 рублей
5 -> 500 рублей
6 -> 600 рублей

1️⃣ Шаг 1: Понимаем 3-й бросок:
Отлично, теперь я предлагаю пойти от последнего броска (3-ий бросок). Давайте поймем почему третий бросок имеет мат.ожидание 3.5 или 350 рублей. Представляем себе, что мы играем в игру 1000 раз и доходим до 3-его броска также 1000 раз, тогда мы понимаем, что в среднем из 1000 возможных значений в среднем мы будем получать 3.5 (или 350 рублей) - посмотрите еще раз закон больших чисел. Хорошо, держим это в голове, что последний бросок в среднем нам дает 3.5 (350 рублей).

2️⃣ Шаг 2: Анализируем 2-й бросок:
Теперь возвращаемся на второй бросок, предположим мы получили 2 (200 рублей) мы можем взять эти 200 рублей или пойти дальше (а мы знаем, что в среднем дальше мы можем получить 350 рублей), ну логично пойти дальше. То есть если мы на втором броске получаем меньше 350 рублей, а это 100, 200, 300 имеет смысл сделать 3-ий бросок.

3️⃣ Шаг 3: Принимаем решение на 1-м броске:
Теперь самое интересно, а как себя вести на первом броске ? Здесь нужно учесть математическое ожидание 3-его броска. Давайте поясню. Представляете это себе так - мы знаем, что на втором броске мы будем идти на третий бросок, если нам выпадет 100, 200 или 300 рублей, так как третий бросок в среднем нам дает 350 рублей. Тогда на первом броске мы учтем вот этот запас и теперь мат.ожидание второго броска будет считаться вот так (350 + 350 + 350 + 400 + 500 + 600) и получим 425 рублей, чувствуете, что я сделал ?
Я заменил 100, 200 и 300 рублей на 350, то есть на мат.ожидание третьего броска, так как подразумеваю, что у меня сейчас первый бросок и мне нужно учесть третий бросок, так как в совокупности (1-ый и 2-ой бросок дают больше шансов) они могут дать больше из-за количества попыток. В таком случае на второй бросок стоит идти, если только при первом броске у меня выпадет меньше 425 рублей, то есть 500 рублей или 600 рублей, а это значения 5 и 6 на кубике соответственно.
Такая же логика, когда количество бросков больше, нужно идти от последнего броска и каждый раз пересчитывать математическое ожидание.

Итог:
😎 Если этот пост был вам полезен, то кидайте 🔥 или ❤️!

Как вам такое объяснение. Стоит делать в подобном стиле такие разборы?
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥144👍2
🛡 Как правильно хранить пароли и другую чувствительную информацию в ваших скриптах и проектах в python

• Скорее всего многие — хранят пароли прямо в коде. Это плохая идея: однажды файл улетит в репозиторий, дальше — скриншоты, форки, кеши, истории коммитов… вернуть секрет назад почти невозможно.
• Чуть лучше — держать секреты в отдельном .py и импортировать. Но это всё ещё код, который легко случайно закоммитить и потянуть на прод.
• Давайте разберёмся, как делают это правильно и почему.

🔐 Золотое правило: секреты — вне кода:
Идея простая: код — отдельно, значения — отдельно. На практике это делается через переменные среды окружения (environment variables). Про переменные среды окружения можно написать отдельную статью, сейчас это не так важно, просто имейте это ввиду.

Удобный локальный способ работать с ними — файл .env. Это просто текстовый файл формата ИМЯ=ЗНАЧЕНИЕ, из которого значения подгружаются в окружение при старте.

Пример файла .env:
NAME='Dima SQL-ит'
PROFESSION=analyst
HEIGHT=174


Заметим:
• Слева — название переменной, чаще пишут ЗАГЛАВНЫМИ (так принято называть константы для читабельности кода).
• В .env всё является — строками; значение 174 тоже будет текстом.
• Если в значении есть пробелы — берём в кавычки. Например, NAME='Dima SQL-ит'.

⚙️ Как это подключить в Python
Устанавливаем библиотеку:
pip install python-dotenv


Загружаем .env и читаем переменные:
import os
import dotenv

dotenv.load_dotenv(".env") #Загружаем переменные окружения из файла .env


Читаем значения:
NAME = os.getenv("NAME") # 'Dima SQL-ит'
HEIGHT = os.getenv("HEIGHT") # '174' (строка)
DEBUG = os.getenv("DEBUG", "0") # дефолт, если переменной нет


Пояснение:
По умолчанию load_dotenv ищет файл .env рядом со скриптом; путь можно указать свой.

Все значения — строки; при необходимости приводим типы вручную:
height = int(os.getenv("HEIGHT", "0"))

Почему это лучше, чем держать секреты в .py:
1) Не светишь секреты по ошибке - файла .env добавляют в .gitignore, реальные пароли/токены не улетают в репозиторий.
2) Простое разделение dev/test/prod - держим .env.dev, .env.stage, .env.prod и подсовываем нужный при запуске — код один, меняются значения. (актуально больше для разработчиков, но вы тоже можете придумать свои .env файлы под каждый случай)
3) И т.д.

Итог:
😎 Если эта инструкция вам помогла, то кидайте 🔥 или ❤️!

А как вы храните чувствительную информацию у себя в проектах?
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥107👍3
🔥 Как за 5 минут превратить CSV файлы в полноценную базу данных через SQLite в DBeaver:

💎 Представьте:
У вас куча CSV файлов с данными, и вы хотите быстро выполнить анализ - выполнить между ними JOIN'ы или провести агрегацию GROUP BY. Давайте превратим эти CSV файлы в полноценную базу!

Что сделаем:
1️⃣ Создадим подключение к SQLite прямо в DBeaver — никаких дополнительных установок.
2️⃣ Импортируем CSV файл в отдельную таблицу.
3️⃣ Проверим работоспособность.

Приятного чтения - статья здесь

Зачем это нужно?
• Для проведения быстрой аналитики
• Для учебных проектов
• Одна база данных вместо кучи разрозненных CSV.

Итог:
😎 Если этот пост был вам полезен, то кидайте 🔥 или ❤️!

А вы используете SQLite для аналитики? Пишите в комментариях, как вам такой способ?
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥13👍41
💎 Как правильно читать книги и усваивать информацию эффективнее?

Я люблю читать книги и стараюсь сразу по ходу чтения конспектировать информацию в виде нумерованных пунктов (тезисов). Но недавно посмотрел видео от одного из моих любимых авторов, и это заставило пересмотреть мой подход. Сделал для себя выводы и хочу поделиться ими с вами:

1️⃣Задайте себе вопрос: "А зачем я это читаю?" Перед стартом спросите себя: что я хочу вынести? Это фокусирует внимание и делает чтение целенаправленным. Помним, что мозг не любит не определенность.

2️⃣Для бумажных книг — есть маленькие размером стикеры 51x51 мм. Их удобно прямо во время чтения наклеить в книгу на страницу на которой вы сейчас находитесь и записать основные тезисы своими словами (важно записывать тезисы именно своими словами, так мы прорабатываем информацию). Позже, когда вы захотите вернуться к своим заметкам у вас будет полная картина и сохранится контекст, так как стикер с тезисами находится именно на той странице к которой он относиться.

3️⃣ Электронные книги и iPad - Поскольку бумажные книги не всегда удобно таскать с собой, то автор предлагает в качестве электронной читалки использовать iPad (11 дюймов) с стилусом для написания заметок. В качестве приложения для написания заметок предлагается - GoodNotes. Так как это iPad, то здесь удобно писать заметки стилусом на полях.

4️⃣ Не идет книга - Закрывайте без сожалений. Если скучно, сложно или неинтересно — смело откладывайте. Фокусируйтесь на том, что цепляет и приносит пользу. Нет смысла мучиться. Возможно вы еще не готовы к такой литературе и вернетесь к ней позже.

5️⃣Книга - это единственный источник, который позволит расти дальше базового уровня. На старте карьеры хватит курсов и статей для основ, но после определённого базового уровня ответы на глубокие вопросы вы не найдёте нигде, кроме как в книгах. Суровая правда: чем выше ваша компетенция (ЗП и т.п.), тем больше уникальных знаний находится именно в книгах. Многие авторы курсов просто берут базу из книг и переупаковывают их, но это только база. За деталями для дальнейшего роста нужно читать книги.

Итог:
🍸 Если вы нашли пост для себя полезным, то кидайте 🔥 или ❤️!

А как вы читаете книги и работаете с информацией?

🔗 ссылка на видео здесь

@dima_sqlit
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥133
🤩 Нужен ли Pandas, если вы знаете SQL? Как работать с DataFrames через SQL-синтаксис с помощью библиотеки DuckDB:

Если вы знаете только SQL и задумываетесь, а нужно ли учить Pandas, то я могу вам предложить, отличную альтернативу, которая позволяет работать с Pandas DataFrames на языке SQL. Для этого нам понадобиться библиотека duckdb.

1️⃣ Устанавливаем библиотеки (если нужно):
pip install pandas duckdb


2️⃣ Создаём тестовые DataFrames в Python:
import pandas as pd
import duckdb

# DataFrame 1: Заказы (orders_df)
orders_data = {
'order_id': [1, 2, 3, 4],
'customer': ['Alice', 'Bob', 'Charlie', 'David'],
'amount': [100, 200, 150, 300]
}
orders_df = pd.DataFrame(orders_data)

# DataFrame 2: Доставки (deliveries_df)
deliveries_data = {
'order_id': [1, 2, 4],
'status': ['Delivered', 'Delivered', 'Pending'],
'delivery_date': ['2025-08-10', '2025-08-12', None]
}
deliveries_df = pd.DataFrame(deliveries_data)


Теперь эти DataFrames хранятся в переменных orders_df и deliveries_df. Они имеют общее поле order_id — идеально для join'а!

3️⃣ Магия DuckDB: SQL-запросы прямо на DataFrames!
DuckDB видит ваши DataFrames как "таблицы":


# Простой пример: SELECT из одного DataFrame
base_df = duckdb.query("""
SELECT * FROM orders_df -- orders_df как таблица!
""").to_df()


А теперь пример с join'ом нескольких DataFrames и оконной функцией. Мы сделаем LEFT JOIN по order_id, обработаем NULL в статусе с COALESCE, и добавим ранжирование по сумме заказов с ROW_NUMBER():

result_df = duckdb.query("""
SELECT
o.order_id,
o.customer,
o.amount,
COALESCE(d.status, 'Not Delivered') AS delivery_status, -- Обработка NULL
ROW_NUMBER() OVER (ORDER BY o.amount DESC) AS rank_by_amount -- Оконная функция!
FROM orders_df AS o -- Первый DataFrame как таблица 'o'
LEFT JOIN deliveries_df AS d -- Второй DataFrame как таблица 'd'
ON o.order_id = d.order_id
""").to_df()

# Выводим результат (для примера)
print(result_df)


Красота! Мы объединили два DataFrames, применили оконную функцию — всё в одном SQL-запросе и без знаний синтаксиса Pandas.


Итог:
🍸 Если вы нашли пост для себя полезным, то кидайте 🔥 или ❤️!
❤️Поддержать канал бустами, чтобы у автора появился дополнительный функционал можно - здесь (это бесплатно и доступно с подпиской telegram premium)

А вы знали о таком способе взаимодействия с Pandas DataFrames пишите в комментариях?

👀 В комментариях приложу готовый notebook, чтобы вы могли самостоятельно пощупать, все что описано в посте.

@dima_sqlit
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥157
Всем привет! Хочу порекомендовать канал @ds_memes с большим количеством мемов про IT / DS.

Мемы публикуются 4+ раза в день, можете найти для себя интересные и делиться с коллегами 👉

Советую подписаться и следить за мемасами 🤪
Please open Telegram to view this post
VIEW IN TELEGRAM
8🔥7👍3
🪙 Machine Learning в Бизнесе - как просто сделать Прогноз Временных Рядов при помощи Prophet:

Сегодня расскажу, как спрогнозировать выручку (GMV) или другие метрики (часто полезно при подсчете KPI) во временных рядах с помощью Prophet в Python.

Что узнаешь:
1️⃣ Что такое временные ряды и почему они важны для бизнеса (простое объяснение для новичков).
2️⃣ Как подготовить данные в pandas и добавить российские праздники для точности.
3️⃣ Шаговый разбор: создание модели, прогноз на 200 дней и анализ отклонений.

Зачем это нужно?
🛍 Быстро отвечайте на запросы бизнеса по различным метрикам.
🗓 Учитывайте сезонность и праздники — прогнозы станут точнее.
⏱️ Экономьте время: никаких сложных настроек.


💡 Внутри — полный код с комментариями.
👀 В комментариях приложу готовый notebook, чтобы вы могли самостоятельно пощупать, все что описано в посте.

Приятного чтения - ссылка на статью.

Итог:
🍸 Если вы нашли пост для себя полезным, то кидайте 🔥 или ❤️!
❤️Поддержать канал бустами, чтобы у автора появился дополнительный функционал можно - здесь (это бесплатно и доступно с подпиской telegram premium)

А как вы считали прогнозы у себя на работе и были ли такие запросы от бизнеса?

@dima_sqlit
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥115❤‍🔥2
🍿 Что посмотреть на выходных и мои размышления о фильмах Тарантино:

🍸 Вот и пятничка, решил отойти от сложных тем и обсудить с вами, какие фильмы вам нравятся и что сейчас смотрю я и поделиться своими впечатлениями.

😎 Последнее время я стараюсь глубже проникнуть в мир Тарантино — смотрю его фильмы, так как слышал много хорошего, но впечатления у меня неоднозначные. Итак, мои "Тарантиновские приключения":

1️⃣ "Бесславные ублюдки" — не понял смысла фильма, да и не сказать, что в целом было интересно, но пару моментов смешных было, понял откуда много мемов взялось)
2️⃣ "Криминальное чтиво" — классика, все хвалят, а я вот не совсем понял хайп. Понравилось пару моментов. Когда приехал Уинстон Вульф (Чистильщик) и показал, как он решает вопросы, а также диалог в кафе, где Джулс Уиннфилд решил отойти от дел.
3️⃣ "Бешеные псы" — тоже мимо. Самое не понятный для меня фильм из просмотренных Тарантино. Понравился только один момент - это танец мистера блондина, который, кстати, был сделан за один дубль и на полной импровизации.
4️⃣ "Джанго освобожденный" — это фильм мой фаворит. Хорошая игра, сюжет, юмор, рекомендую.
5️⃣ "Однажды в Голливуде" — Атмосфера старого Голливуда, Брэд Питт и Лео идеально сыграли самих себя). Если не смотрели — тоже рекомендую!

🫶 Сейчас в планах пересмотреть "Сокровища нации" с Николасом Кейджем. Фильм о поиске затерянных сокровищ и чтобы найти их нужно разгадать много загадок и головоломок, возможно из-за того, что здесь присутствует характер анализа он мне и нравится, кто знает)

А вы планируете что-нибудь посмотреть в эти выходные и как вам фильмы Тарантино ?

@dima_sqlit
Please open Telegram to view this post
VIEW IN TELEGRAM
6🔥6💯5
Дима SQL-ит 🧑‍💻 (Аналитика данных) pinned «🪙 Machine Learning в Бизнесе - как просто сделать Прогноз Временных Рядов при помощи Prophet: Сегодня расскажу, как спрогнозировать выручку (GMV) или другие метрики (часто полезно при подсчете KPI) во временных рядах с помощью Prophet в Python. Что узнаешь:…»
📕 Мое понимание мира - прими неопределённость или почему истины нет, а есть только вероятность:

Я часто думаю о мире вокруг. Всё, что мы видим и делаем, — это как попытка подойти ближе к чему-то правильному, но мы никогда не доберёмся до конца. Абсолютная правда существует только там, где мы её сами создали.

Например, математика. 2 + 2 = 4 — это точно, потому что мы сами придумали правила. Мы решили, что так будет, и в этой системе всё работает без вопросов.

💯 А в реальной жизни — только шансы и догадки:
Как только мы выходим за эти рамки, всё меняется. Нет чётких правил, нет 100% уверенности. Мы работаем с вероятностями — с тем, что "скорее всего" сработает.

Возьмём аналитику, которой я занимаюсь. Мы смотрим на пользователей: сколько они покупают, какой средний чек, как часто заходят. На основе этого стараемся с какой-то долей вероятности увеличить их вовлечение в продукт — подбираем скидки или предложения, чтобы повысить шансы на покупку. Но мы не можем быть уверены, что это лучшее решение. Мы лишь пытаемся увеличить вероятность успеха, корректируя на ходу.

То же самое в повседневной жизни. Даже простая вещь, как подброс монетки, показывает это. В теории вероятность выпадения орла или решки — 50/50. Но на деле может случиться что угодно: монетка упадёт на ребро, ветер её сдует, или — в каком-то фантастическом сценарии — гравитация вдруг пропадёт. Мир полон неожиданностей, и даже в такой "простой" ситуации мы не контролируем всё. Мы рассчитываем на 50/50, но реальность напоминает: это всего лишь приближение. Весь мир — сплошные вероятности, и мы с какой-то долей стремимся к бесконечно максимальному результату. По крайней мере, пытаемся, повышая шансы шаг за шагом.

👌 Жизнь — это вечный поиск лучшего варианта:
Мы выбираем, где купить подешевле, какую профессию выбрать, чтобы быть счастливым, или даже с кем дружить. Нет правильного ответа на 100%. Мы смотрим на факты, взвешиваем и решаем: "Это, наверное, сработает лучше". Но насколько лучше и может ли быть ещё лучше — сложно сказать. Мы снова лишь с какой-то вероятностью приблизились к результату бесконечно ближе, но не достигли идеала.

Числа помогают в этом. Без них мы бы не понимали, улучшается ли всё. Метрики вроде роста продаж или уровня стресса дают ориентир: "Шансы на успех выросли". Но они не дают истину — только показывают, насколько мы приблизились.

👨‍💻 Принять неопределённость и жить дальше:
Сначала это кажется страшным: нет точных ответов, нет финиша. Но на самом деле это освобождает. Мы не гонимся за невозможным — просто делаем каждый выбор чуть лучше предыдущего. Принимай неопределённость, повышай вероятности и двигайся вперёд.

В итоге, жизнь — не про поиск истины, а про навигацию в мире шансов. И мы в этом процессе вечно приближаемся к чему-то лучшему.

Итог:
🙂 Этот пост раскрывает моё видение мира — как набор вероятностей, где нет абсолютной истины, а только приближения.

😌 Это ещё и подготовка к следующему посту про тревожность, которую многие просили. Этим постом я хотел донести до всех: мир — это лишь набор вероятностей, и вам нужно принять неопределённость, как бы вы этого не хотели и как бы трудно это ни было. Только так можно жить спокойнее и эффективнее.

🍸 Если вы нашли пост для себя полезным, то накидывайте реакций, чтобы я понимал, что вам эта тема интересна!
❤️Поддержать канал бустами, чтобы у автора появился дополнительный функционал можно - здесь (это бесплатно и доступно с подпиской telegram premium)

Что думаете по этой теме, согласны с таким видением мира или нет?

@dima_sqlit
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥14💯5❤‍🔥4
📕 Понимание тревожности: почему она возникает в мире неопределённостей и как с ней справляться. Часть 1:

В прошлом посте я рассказал, что мир — это набор вероятностей, без абсолютной истины, и нужно принимать неопределённость. Теперь разберём тревожность, которую вы просили.

💯 Что такое тревожность и как она работает:
Тревожность — это эволюционный механизм для выживания. Когда мозг чувствует угрозу (реальную или в мыслях), он запускает реакцию: сердце колотится, мысли кружат, тело напрягается. Полезно для быстрого реагирования, но в современном мире она становится хронической от неопределённости — работы, новостей, отношений. Главный триггер: мозг ненавидит неизвестность, потому что не может планировать. Лучше знать плохое, чем не знать вовсе.

👀 Почему тревога берёт верх: две системы мозга по Канеману:
Мозг имеет Систему 1 (быструю, эмоциональную) и Систему 2 (медленную, логическую). В тревоге Система 1 доминирует: ты паникуешь импульсивно, катастрофизируешь ("всё пропало, если не отвечу на email"). Система 2 отключается, но её можно активировать: сделай паузу, дыши глубоко и разбери ситуацию логично.

👌 Корни тревоги: ключевые триггеры — причины и связь:
1️⃣ Синдром FOMO (Fear of Missing Out) — тревожное состояние, при котором человек боится пропустить нечто важное или интересное, происходящее у других людей.
Причины: Мозг эволюционно настроен на социальное сравнение — мы оцениваем себя по другим, чтобы выживать в группе. Соцсети усиливают это: видим только "хайлайты" чужой жизни (путешествия, успехи), а свою реальность сравниваем с этой витриной. Алгоритмы подкидывают бесконечный поток, активируя дофамин — ожидание "награды" от скроллинга.
Связь с тревожностью: FOMO рождает ощущение отставания. "А вдруг я упускаю важное?" — это усиливает неопределённость. В итоге — хроническая тревога, снижение самооценки, как будто все другие "выигрывают" в лотерее жизни.
2️⃣ Информационная перегрузка — мозг имеет лимит на обработку данных — как пропускная способность. Современный мир бомбардирует уведомлениями, новостями, задачами; мы пытаемся "многозадачить", но на деле многозадачности не существует. Многозадачность - это быстрое переключения с одного на другое. Это в свою очередь тратит много энергии. Перегрузка парализует решения — слишком много вариантов, мозг в панике от неопределённости. "Не успеваю всё переварить" — это держит в хроническом напряжении.
3️⃣ Негативные новости — эволюционно мозг фокусируется на угрозах, чтобы выжить (пропустить опасность = смерть). Медиа эксплуатируют это: 80% контента негативное, с эмоциональными заголовками ("шок", "ужас"), яркими образами, которые обходят логику и цепляют Систему 1 (эмоциональную).

Продолжение в посте ниже 👇

@dima_sqlit
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥7🔥5💯3