📁 Конспекты по матану для Data Science

Перестаньте путаться в производных и матрицах! Это ваш личный шпаргалка по всей математике, которая нужна для AI и ML.

🤔 Все ключевые темы: линейная алгебра, матан, теория вероятностей, оптимизация. Плюс визуализации и примеры на Python.

💻 GitHub

🔘 Держите репозиторий открытым во время изучения новых ML алгоритмов — всё разложено по полочкам.

Теперь формулы — не враги, а друзья.

#DataScience #MachineLearning
Python Tech Code
Подписаться

🔥 Теперь знаем 🙂

#юмор #опрос
Python Tech Code
Подписаться

✅ Валидация данных в Python с помощью Pandera

Pandera — это удобный инструмент для проверки структуры и содержимого данных в Python.

🟢Он работает как дополнительный слой валидации поверх pandas DataFrame и других структур данных, помогая выявлять ошибки на ранних этапах обработки.

Установка библиотеки:

pip install pandera

💻 GitHub

✅ Основная задача Pandera — гарантировать соответствие данных ожидаемой схеме: типам, диапазонам значений и бизнес-правилам.

#DataScience
Python Tech Code
Подписаться

🌟Когда браузер — это слишком много, а мощь Jupyter — в самый раз

Запускай и редактируй Jupyter-ноутбуки прямо в консоли без браузера! Идеально для удаленных серверов и любителей CLI.

Полная поддержка ядер, подсветка синтаксиса, автодополнение, графики в ASCII/Unicode и работа с Markdown.

Установка:

pip install euporie

Отлично подходит для быстрого прототипирования на удаленной машине через SSH без лишних зависимостей.

⚙ Документация

#Jupyter #CLI
Python Tech Code
Подписаться

🔥 SQL-запросы с различными типами соединений (JOIN)

🔘INNER JOIN: Возвращает только те записи, которые имеют соответствующие значения в обеих таблицах.

Например, если есть совпадения по ключу, эти строки будут включены в результат.

🟣LEFT JOIN (LEFT OUTER JOIN): Возвращает все записи из левой таблицы (TABLE_A) и соответствующие записи из правой таблицы (TABLE_B).

Если совпадений нет, будут возвращены NULL значения для столбцов из правой таблицы.

🟡RIGHT JOIN (RIGHT OUTER JOIN): Противоположен LEFT JOIN. Возвращает все записи из правой таблицы (TABLE_B) и соответствующие записи из левой таблицы (TABLE_A).

Если совпадений нет, будут возвращены NULL значения для столбцов из левой таблицы.

🔴FULL OUTER JOIN: Возвращает записи, когда есть совпадения в одной из таблиц.

Это означает, что будут возвращены все записи из обеих таблиц с NULL значениями, когда нет совпадений.

#sql
Python Tech Code
Подписаться

🌟Картинка вместо текста из Nmap

Устали разбираться в длинных текстовых отчетах Nmap? Эта утилита автоматически превратит их в наглядные схемы сети.

Закинул файл с результатом сканирования — получил готовую HTML-страницу с визуальной картой сети, устройствами и соединениями.

Установка:

python drawnmap.py -i result.xml -o diagram.html

Просто запустите после обычного сканирования Nmap и сразу смотрите красивую схему вместо сложного текста.

📌Идеально для отчетов и быстрого анализа сети без рутины.

⚙ Документация

#CyberSecurity #Networking
Python Tech Code
Подписаться

🇩🇯Как повысить читаемость SQL-логов в проекте с помощью одной библиотеки

Больше не нужно вручную приводить SQL-код в порядок! Эта библиотека делает его читаемым и красивым автоматически.

Парсит, форматирует, валидирует и подсвечивает синтаксис SQL. Поддерживает диалекты MySQL, PostgreSQL, Oracle и другие.

Установка:

pip install sqlparse

Используйте для логирования SQL-запросов в читаемом виде или перед тем, как вставить большой запрос в документацию.

⚙ Документация

#SQL #Developer #Database
Python Tech Code
Подписаться

🤔Теперь знаем 🙂

#юмор
Python Tech Code
Подписаться

📆 Мониторинг системных ресурсов

Библиотека psutil (process and system utilities) — это кроссплатформенный инструмент для мониторинга системных ресурсов и управления процессами в Python.

➕Она предоставляет простой интерфейс для получения информации о CPU, памяти, дисках, сети и запущенных процессах.

Некоторые полезные функции:

➖Мониторинг использования CPU
psutil.cpu_percent()

➖Информация о дисковом пространстве
psutil.disk_usage('/')

➖Информация об ОЗУ
psutil.virtual_memory()

➖Данные о сетевой активности
psutil.net_io_counters()

➖Управление процессами
psutil.process_iter()

Установка библиотеки:

pip install psutil

#Monitoring #Automation
Python Tech Code
Подписаться

🔥Откройте тайны вашего датасета

Забудьте о сложных визуализациях многомерных данных! UMAP — это современный алгоритм для уменьшения размерности, который сохраняет максимум структуры и смысла ваших данных.

Идеален для поиска кластеров и скрытых закономерностей.

Установка:

pip install umap-learn

Простота интеграции и скорость работы покорят вас с первого запуска. Отличная альтернатива t-SNE.

⚙ Документация

#DataScience #MachineLearning
Python Tech Code
Подписаться

😡 Четыре основные категории команд в SQL

Язык определения данных (DDL) используется для определения структуры базы данных:

🔴CREATE: Создает новые объекты, такие как таблицы, представления или базы данных.
🔴ALTER: Изменяет существующие объекты, например, добавляет или удаляет столбцы в таблице.
🔴DROP: Удаляет объекты базы данных.
🔴RENAME: Переименовывает объект базы данных.

Язык манипулирования данными (DML) позволяет выполнять операции с данными в базе данных:

🟢

SELECT: Извлекает данные из одной или нескольких таблиц.

🟢

INSERT: Добавляет новые записи в таблицу.

🟢

UPDATE: Обновляет существующие записи.

🟢

DELETE: Удаляет записи из таблицы.

Язык управления данными (DCL)
используется для управления доступом к данным в базе данных:

🔵

GRANT: Предоставляет пользователям права доступа к объектам базы данных.

🔵

REVOKE: Отменяет права доступа, ранее предоставленные пользователям.

🔵

DENY: Запрещает пользователю доступ к определенным объектам.

Язык управления транзакциями (TCL) управляет транзакциями в базе данных, позволяя поддерживать целостность данных:

🟠

BEGIN: Начинает новую транзакцию.

🟠

COMMIT: Сохраняет все изменения, выполненные в текущей транзакции.

🟠

ROLLBACK: Отменяет изменения, выполненные в текущей транзакции.

🟠

SAVEPOINT: Устанавливает точку сохранения в транзакции.

#sql
Python Tech Code
Подписаться

🌟 Твоя кодинг-сессия теперь стала живой

С библиотекой Jurigged ты можешь обновлять код на лету, без перезагрузки интерпретатора. Делай изменения в функциях и классах — и сразу видишь результат!

Идеально для экспериментов и отладки.

Установка библиотеки:

pip install jurigged

Больше не нужно постоянно останавливать и перезапускать процесс. Мгновенная обратная связь — это новый уровень продуктивности.

⚙ Документация

#DevTools #Отладка
Python Tech Code
Подписаться

🌟 Выводим пиксель-арт в терминал

Эта библиотека добавляет в популярный Rich возможность отрисовывать изображения прямо в консоли.

Она идеально интегрируется в ваш существующий стек инструментов для терминала и сохраняет все преимущества Rich — кросс-платформенность, простоту и красоту.

Установка библиотеки:

pip install rich-pixels

Отлично подойдет для визуализации данных в CLI-утилитах или просто чтобы оживить вывод программы праздничной гифкой.

⚙ Документация

#Terminal #DeveloperTools
Python Tech Code
Подписаться

✅ Git Merge против Git Rebase

📌git merge объединяет две ветки, создавая новый коммит, который объединяет изменения из обеих веток.

Это означает, что вся история обеих веток сохраняется, и создается так называемый "слияние" (merge commit).

📌git rebase позволяет переназначить (переписать) коммиты из одной ветки на другую.

Это создаёт новое основание для вашей ветки и делает историю более линейной, очищая её от избыточных merge-коммитов.

#git
Python Tech Code
Подписаться

⚡️ Распознавание текста

OnnxOCR — это проект для распознавания текста с использованием ONNX Runtime, предлагающий эффективную модель без тяжелых фреймворков.

Его главные плюсы — это портативность и скорость работы благодаря оптимизированным нейросетевым весам.

Установка библиотеки:

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt

Отличное решение для встраивания в ваши Python-скрипты для обработки изображений там, где не нужны монструозные библиотеки.

⚙ Документация

#OCR #ONNX
Python Tech Code
Подписаться

🔥Асинхронный Pandas для эффективной работы с данными

Aiopandas — это легковесный патч для Pandas, который добавляет асинхронную поддержку для популярных методов обработки данных.

Библиотека не блокирует event loop при операциях ввода-вывода и позволяет параллельно обрабатывать несколько DataFrame, что особенно полезно для веб-приложений на FastAPI или aiohttp.

Установка библиотеки:

pip install aiopandas

Идеально для проектов, где нужно совмещать анализ данных с асинхронными операциями: работа с LLM-моделями, веб-скрапинг или асинхронное взаимодействие с базами данных.

⚙ Документация

#DataScience #Async
Python Tech Code
Подписаться

🌟Забудьте о батчах: почему потоковая обработка данных — новый must-have для вашего ИИ

Pathway — это движок для Python, который обрабатывает непрерывные потоки данных мгновенно. Он идеально подходит для ИИ-приложений, которые должны постоянно учиться на новых данных без задержек.

Фреймворк легко масштабируется и позволяет строить системы, где ваши данные и ИИ-модели обновляются в реальном времени — как лента TikTok, но для ваших данных.

Установка библиотеки:

pip install -U pathway

Отлично подходит для чат-ботов, которые должны знать последние новости или актуальные данные.

⚙ Документация

#DataScience #AI #Realtime
Python Tech Code
Подписаться