💻 Выходные на пороге

Время отдохнуть от кода и зарядиться новыми идеями!

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

🎤 OpenAI вновь удивили мир, выпустив модель Whisper Turbo, которая обещает идеальную точность в преобразовании аудио в текст

С этой нейросетью каждый может легко и быстро преобразовывать аудиофайлы в текст, просто предоставив файл или ссылку на видео с YouTube.

Модель Whisper Turbo доступна для установки на компьютер через GitHub, а также можно использовать её в браузере — полностью бесплатно!

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

🤔 Если вы работаете с большими наборами данных, формат CSV может оказаться не лучшим вариантом

Формат CSV отлично подходит для обработки небольших наборов данных, однако, при работе с большими объемами информация может стать проблемой.

✅ Здесь в игру вступают бинарные форматы. Эти файлы состоят из нулей и единиц и не могут быть прочитаны человеком, но они обеспечивают высокую эффективность для программ.

Преимущество бинарных форматов в том, что они занимают меньше места и обеспечивают более высокую скорость обработки по сравнению с CSV.

✅ Одним из известных бинарных форматов является Parquet. Этот формат значительно эффективнее использует память по сравнению с CSV.

Например, если запись данных в CSV-файл может занять почти 2 минуты, то процесс записи в Parquet может завершиться всего за 8 секунд.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

🧠 Обзор команд и операторов SQL, представленный в формате ментальной карты

SQL играет ключевую роль в Python, поскольку позволяет эффективно управлять, извлекать и анализировать данные из баз данных, что критически важно для разработки приложений, обработки больших объемов информации и принятия обоснованных решений на основе данных.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

📷 Искусство сочетания нарративов

Видео является оригинальной и веселой интерпретацией двух культурных феноменов, заставляющей задуматься о сочетании различных нарративов и стилей.

Это можно сопоставить с Python: язык позволяет комбинировать библиотеки и подходы для создания уникальных и креативных решений, как и в этом видео.

😀Не бойтесь придумывать новое — эксперименты и оригинальность могут привести к удивительным результатам!

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

🔵 Конвертация данных из CSV в Parquet

Одним из самых простых способов конвертировать CSV файл в Parquet формат является использование библиотеки pandas.

Однако, если файл слишком большой, это может привести к ошибкам из-за нехватки памяти.

❕В таких случаях библиотека polars представляет собой отличную альтернативу, позволяя обрабатывать CSV файлы без загрузки всего файла в оперативную память.

import polars as pl

# Загрузка и сохранение CSV файла в формате Parquet
csv_file_path = 'data.csv'
parquet_file_path = 'data.parquet'

pl.scan_csv(csv_file_path).sink_parquet(parquet_file_path, compression="zstd", row_group_size=100_000)

print("Файл успешно переведен из CSV в Parquet!")

Установка библиотеки:

pip install polars

🟡 Конвертация данных из CSV в Parquet может значительно улучшить производительность ваших приложений, особенно при работе с большими объемами информации.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

🔥 Самые важные команды в SQL

Эти команды являются основными строительными блоками для работы с данными в SQL.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

👛 Преобразование математических формул в код

Библиотека Pix2TeX, предназначенная для преобразования математических формул из изображений в код LaTeX.

➡️ Данный инструмент позволяет сделать скриншот математической формулы и получить эквивалентный код LaTeX.

Установка библиотеки:

pip install "pix2tex[gui]"

💻 GitHub

⏩ Основная цель проекта — разработка системы, которая использует обучение на изображениях для распознавания математических формул и возврата их представления в формате LaTeX.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

💫 Когда всю неделю вы ждете развязки, а в выходные наконец-то попадаете в эпизод с интригующим поворотом сюжета

С началом новой недели, программисты!

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

💻 Обработка "кривых" CSV-файлов

CSV Trimming — это Python-пакет, который позволяет легко и быстро очищать CSV-файлы, превращая их в аккуратно отформатированные документы.

Он может справиться с различными проблемами:

🔵Дублированные заголовки схемы: Когда в файле повторяются заголовки столбцов.
🔵Повреждённые данные: Например, записи типа #RIF, которые часто встречаются в некорректных файлах.
🔵Паддинг и частичные строки: Когда строки имеют лишние пробелы или частично заполнены.

Установка библиотеки:

pip install csv_trimming

💻 GitHub

ℹ️ CSV Trimming дополняет библиотеку Pandas, поскольку она работает с файлами, которые уже можно прочитать с помощью Pandas. Если файл слишком некорректный и не может быть прочитан Pandas, утилита не сможет его обработать.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

✈️ Простенькая и стильная шпаргалка, объясняющая, как работает GIT

Git — это система контроля версий, которая позволяет разработчикам отслеживать изменения в коде, сотрудничать в реальном времени и управлять проектами более эффективно.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

👩‍💻 Список технологий и инструментов для дата-инженеров

Эти инструменты и технологии помогают данным инженерам эффективно работать с данными, от извлечения и загрузки до анализа и визуализации.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

💥 Кухня дата-сайентиста

Работа дата-сайентиста (data scientist) заключается в анализе и интерпретации сложных данных для извлечения полезной информации и разработки моделей, которые помогают принимать обоснованные решения.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

👻 Оптимизация выбора признаков в машинном обучении

Алгоритм mRMR (minimum Redundancy Maximum Relevance) предлагает инновационный подход к автоматическому выбору признаков, позволяя быстро выявить наиболее информативные и минимально избыточные функции для ваших моделей.

🟡Этот алгоритм масштабируемый и предназначен для оптимизации выбора признаков в вашем наборе данных.

Он помогает упростить модель, исключая менее значительные признаки и сосредотачиваясь только на тех, которые действительно влияют на производительность.

Установка библиотеки:

pip install mrmr-selection

💻 GitHub

⤵️ mRMR отлично интегрируется с наиболее востребованными библиотеками анализа данных, такими как Pandas, Polars и Spark.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

✅ ООП (суть)

Пример реализации класса на Python.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

📊 Анализа данных с использованием ИИ

PandasAI представляет собой инструмент, который обогащает возможности библиотеки Pandas, интегрируя генеративный искусственный интеллект в процесс анализа данных.

Основные возможности PandasAI:

🔘Очистка данных:

Один из наиболее трудоемких процессов в анализе данных — это очистка данных. PandasAI позволяет легко обрабатывать и очищать данные, избавляясь от шума и недостоверной информации.

🔘Замещение недостающих значений:

В данных зачастую могут быть пропущенные значения. PandasAI предлагает автоматическое заполнение недостающих данных, что значительно ускоряет процесс подготовки к анализу.

🔘Генерация новых функций:

Создание новых функций на основе существующих данных может быть сложной задачей. С PandasAI пользователи могут легко генерировать новые переменные, основанные на правилах и логике, которые они задают на естественном языке.

🔘Анализ и манипуляции с данными:

PandasAI упрощает манипуляцию с данными, позволяя выполнять сложные анализы всего лишь с помощью текстовых команд.

🔘Создание визуализаций:

Библиотека также поддерживает возможность создания различных графиков и визуализаций, что позволяет более наглядно представлять результаты анализа.

Установка библиотеки:

pip install pandasai

💻 GitHub

➡️ С его помощью становится возможным выполнять сложные задачи, используя только простые команды на естественном языке.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

🖥 Визуализация данных с Pandas

Библиотеки Pandas и Matplotlib делают процесс визуализации простым и доступным.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code

♋️ Ошибка 404: мотивация не найдена

Утро программиста: когда даже лучший алгоритм не помогает встать с кровати.

✄┈┈┈┈┈┈┈┈┈┈┈┈┈
Заметки программиста «(!?»
🇨🇱 Python Tech Code