Chainer для построения и обучения нейронных сетей
Мощный и гибкий инструмент Python для построения и обучения глубоких нейронных сетей. Библиотека Chainer была разработана японской компанией Preferred Networks.
Ссылочка на доку
#theory // Just Python
Мощный и гибкий инструмент Python для построения и обучения глубоких нейронных сетей. Библиотека Chainer была разработана японской компанией Preferred Networks.
Ссылочка на доку
#theory // Just Python
PaddleOCR для оптического распознавания символов
PaddleOCR — многоязычные наборы инструментов OCR на основе DL-фреймворка PaddlePaddle.
Поддержка обучения и развертывания на серверных, мобильных, встроенных устройствах и IoT
Ссылочка на доку
#theory // Just Python
PaddleOCR — многоязычные наборы инструментов OCR на основе DL-фреймворка PaddlePaddle.
Поддержка обучения и развертывания на серверных, мобильных, встроенных устройствах и IoT
Ссылочка на доку
#theory // Just Python
YOLOv8 для компьютерного зрения
YOLOv8 — самый совершенный (на сегодня) и производительный представитель семейства моделей обнаружения объектов YOLO.
Предназначен для таких задач CV, как обнаружение объектов, сегментация экземпляров и классификация изображений.
Ссылочка на доку
#theory // Just Python
YOLOv8 — самый совершенный (на сегодня) и производительный представитель семейства моделей обнаружения объектов YOLO.
Предназначен для таких задач CV, как обнаружение объектов, сегментация экземпляров и классификация изображений.
Ссылочка на доку
#theory // Just Python
SciKit-Image для обработки изображений
SciKit-Image — коллекция алгоритмов для обработки изображений, основанная на NumPy, scipy.ndimage и ряде других библиотек, обеспечивающая универсальный набор процедур обработки изображений в Python.
Ссылочка на доку
#theory // Just Python
SciKit-Image — коллекция алгоритмов для обработки изображений, основанная на NumPy, scipy.ndimage и ряде других библиотек, обеспечивающая универсальный набор процедур обработки изображений в Python.
Ссылочка на доку
#theory // Just Python
DeepFace для распознавания лиц
Deepface — легкий фреймворк для распознавания лиц и анализа атрибутов лица (возраст, пол, эмоции и раса) для Python.
Ссылочка на доку
#theory // Just Python
Deepface — легкий фреймворк для распознавания лиц и анализа атрибутов лица (возраст, пол, эмоции и раса) для Python.
Ссылочка на доку
#theory // Just Python
Yellowbrick для визуального анализа и диагностики
Yellowbrick — набор средств визуального анализа и диагностики, предназначенных для облегчения машинного обучения с помощью scikit-learn.
Основной объект API библиотеки Visualizer представляет собой средство оценки scikit-learn, которое учится на данных. «Визуализаторы» изучают данные, создавая визуальное представление рабочего процесса выбора модели.
Ссылочка на доку
#theory // Just Python
Yellowbrick — набор средств визуального анализа и диагностики, предназначенных для облегчения машинного обучения с помощью scikit-learn.
Основной объект API библиотеки Visualizer представляет собой средство оценки scikit-learn, которое учится на данных. «Визуализаторы» изучают данные, создавая визуальное представление рабочего процесса выбора модели.
Ссылочка на доку
#theory // Just Python
Gensim для извлечения семантических тем
Пакет Python с открытым исходным кодом, смоделированный для извлечения семантических тем из больших документов и текстов для обработки, анализа и прогнозирования поведения человека с помощью статистических моделей и лингвистических вычислений.
Gensim имеет возможность обрабатывать огромные данные, независимо от того, являются ли они необработанными и неструктурированными.
Ссылочка на доку
#theory // Just Python
Пакет Python с открытым исходным кодом, смоделированный для извлечения семантических тем из больших документов и текстов для обработки, анализа и прогнозирования поведения человека с помощью статистических моделей и лингвистических вычислений.
Gensim имеет возможность обрабатывать огромные данные, независимо от того, являются ли они необработанными и неструктурированными.
Ссылочка на доку
#theory // Just Python
NLTK для обработки естественного языка
NLTK (Natural Language Toolkit) — один из наиболее популярных инструментов для обработки естественного языка.
Особенности NLTK:
• Поддерживает более 50 языковых наборов данных и обученных языковых моделей.
• Предлагает классификацию текста, выделение корней, токенизацию, тегирование, синтаксический анализ.
• Функции для анализа настроений или мнения, выраженного во фрагменте текста.
Ссылочка на доку
#theory // Just Python
NLTK (Natural Language Toolkit) — один из наиболее популярных инструментов для обработки естественного языка.
Особенности NLTK:
• Поддерживает более 50 языковых наборов данных и обученных языковых моделей.
• Предлагает классификацию текста, выделение корней, токенизацию, тегирование, синтаксический анализ.
• Функции для анализа настроений или мнения, выраженного во фрагменте текста.
Ссылочка на доку
#theory // Just Python
Самая лучшая работа сегодня — у владельца телеграм-канала.
В этом году они в среднем получают 300 000 рублей в месяц, работая сидя дома, в путешествии или загородном домике. А самые смышленые доходят и до миллионов.
Хотите также? Чтобы зарабатывать с телеграм-канала не нужно быть гением маркетинга, просто начните читать Машу Полуянову.
Она уже три года работает в телеграме и без пафоса объясняет, как за первую неделю набрать 1000 читателей, откуда брать контент на месяц вперёд и как заработать первые 100 000 рублей с нуля даже новичку.
Подписывайтесь, такие блоги редко встретишь: @mashapoluyanova
В этом году они в среднем получают 300 000 рублей в месяц, работая сидя дома, в путешествии или загородном домике. А самые смышленые доходят и до миллионов.
Хотите также? Чтобы зарабатывать с телеграм-канала не нужно быть гением маркетинга, просто начните читать Машу Полуянову.
Она уже три года работает в телеграме и без пафоса объясняет, как за первую неделю набрать 1000 читателей, откуда брать контент на месяц вперёд и как заработать первые 100 000 рублей с нуля даже новичку.
Подписывайтесь, такие блоги редко встретишь: @mashapoluyanova
TorchAudio для обработки аудиосигнала
Библиотека машинного обучения для обработки звука и сигналов с помощью PyTorch.
TorchAudio предоставляет функции ввода-вывода, обработки сигналов и данных, наборы данных, реализации моделей и компоненты приложений.
Ссылочка на доку
#theory // Just Python
Библиотека машинного обучения для обработки звука и сигналов с помощью PyTorch.
TorchAudio предоставляет функции ввода-вывода, обработки сигналов и данных, наборы данных, реализации моделей и компоненты приложений.
Ссылочка на доку
#theory // Just Python
Taipy для создания пользовательских интерфейсов
Taipy - это библиотека Python, которая позволяет специалистам по обработке данных создавать увлекательные повествования на основе своих данных.
Магия Taipy заключается в его способности привязывать переменные и выражения к состоянию визуальных компонентов в пользовательском интерфейсе.
Ссылочка на доку
#theory // Just Python
Taipy - это библиотека Python, которая позволяет специалистам по обработке данных создавать увлекательные повествования на основе своих данных.
Магия Taipy заключается в его способности привязывать переменные и выражения к состоянию визуальных компонентов в пользовательском интерфейсе.
Ссылочка на доку
#theory // Just Python
Unstructured для предварительной обработки текста
Unstructured - это доступная библиотека Python для легкого извлечения текста из документов. Она упрощает очистку текста, обрабатывая все, от удаления маркеров до управления эмодзи и языкового перевода.
Ссылочка на доку
#theory // Just Python
Unstructured - это доступная библиотека Python для легкого извлечения текста из документов. Она упрощает очистку текста, обрабатывая все, от удаления маркеров до управления эмодзи и языкового перевода.
Ссылочка на доку
#theory // Just Python
Temporian для предварительной обработки временных данных
Temporian предлагает новую парадигму для работы с временными данными. Будучи специально разработанными для него, плюс его основные вычисления, выполняемые как высокооптимизированный код C ++, позволяют ему сделать обычные временные операции более безопасными, простыми в написании и намного, намного быстрее в выполнении - с бенчмарками, показывающими ускорение более чем в 100 раз по сравнению с эквивалентным кодом pandas.
Ссылочка на доку
#theory // Just Python
Temporian предлагает новую парадигму для работы с временными данными. Будучи специально разработанными для него, плюс его основные вычисления, выполняемые как высокооптимизированный код C ++, позволяют ему сделать обычные временные операции более безопасными, простыми в написании и намного, намного быстрее в выполнении - с бенчмарками, показывающими ускорение более чем в 100 раз по сравнению с эквивалентным кодом pandas.
Ссылочка на доку
#theory // Just Python
Fabulous — вывод картинок в консоль
Вам не достаточно красивого вывода таблиц в консоль? А как насчёт вывода текста с тенями или даже картинок? Теперь это возможно!
Использовать только в небольших количествах во избежание перелома чувства прекрасного
Ссылочка на доку
#theory // Just Python
Вам не достаточно красивого вывода таблиц в консоль? А как насчёт вывода текста с тенями или даже картинок? Теперь это возможно!
Использовать только в небольших количествах во избежание перелома чувства прекрасного
Ссылочка на доку
#theory // Just Python
XlsxWriter для записи файлов в формате Excel
XlsxWriter — это очень мощный модуль Python для записи файлов в формате Excel. Он поддерживает добавление текста, чисел, формул, изображений и макросов Excel — среди прочих функциональных возможностей.
XlsxWriter даже интегрируется с pandas, известным пакетом Python для работы с данными.
Ссылочка на доку
#theory // Just Python
XlsxWriter — это очень мощный модуль Python для записи файлов в формате Excel. Он поддерживает добавление текста, чисел, формул, изображений и макросов Excel — среди прочих функциональных возможностей.
XlsxWriter даже интегрируется с pandas, известным пакетом Python для работы с данными.
Ссылочка на доку
#theory // Just Python
PyForest: Один импорт для всех важных модулей
Импортируйте все ключевые библиотеки Python одной строкой. Это удобно для всех ваших проектов по Data Science и при создании нового окружения в Conda.
При работе с данными вы используете библиотеки, такие как pandas, matplotlib, seaborn, numpy и sklearn. Прежде чем приступить к работе, нужно их импортировать.
Библиотека решает несколько проблем:
• Однообразие: импорт всегда одинаковый и скучный.
• Пропущенные импорты мешают работе.
• Иногда нужно искать точные строки импорта, например, import matplotlib.pyplot as plt или from sklearn.ensemble import GradientBoostingRegressor.
Ссылочка на доку
#theory // Just Python
Импортируйте все ключевые библиотеки Python одной строкой. Это удобно для всех ваших проектов по Data Science и при создании нового окружения в Conda.
При работе с данными вы используете библиотеки, такие как pandas, matplotlib, seaborn, numpy и sklearn. Прежде чем приступить к работе, нужно их импортировать.
Библиотека решает несколько проблем:
• Однообразие: импорт всегда одинаковый и скучный.
• Пропущенные импорты мешают работе.
• Иногда нужно искать точные строки импорта, например, import matplotlib.pyplot as plt или from sklearn.ensemble import GradientBoostingRegressor.
Ссылочка на доку
#theory // Just Python
Autoviz: Автоматическая визуализация любого набора данных одной командой
Визуализация используется для показа данных с помощью графиков и диаграмм. В Data Science визуализация помогает понять наборы данных и найти связи между ними. Она также помогает выявить закономерности для дальнейшего анализа.
Для визуализации данных в Python часто используют Matplotlib, Seaborn, Plotly и другие. Но перед использованием этих библиотек нужно определить тип графика и аргументы. AutoViz решает эту проблему, быстро предоставляя нужную информацию.
Ссылочка на доку
#theory // Just Python
Визуализация используется для показа данных с помощью графиков и диаграмм. В Data Science визуализация помогает понять наборы данных и найти связи между ними. Она также помогает выявить закономерности для дальнейшего анализа.
Для визуализации данных в Python часто используют Matplotlib, Seaborn, Plotly и другие. Но перед использованием этих библиотек нужно определить тип графика и аргументы. AutoViz решает эту проблему, быстро предоставляя нужную информацию.
Ссылочка на доку
#theory // Just Python
clean-text для нормализации и очистки текста
Отличный однострочный код для нормализации и очистки текста — идеально для проектов по обработке естественного языка.
Контент, созданный пользователями в Интернете и в социальных сетях, часто бывает грязным. Предварительно обработайте свои данные с помощью clean-text, чтобы создать нормализованное текстовое представление. Например, преобразуйте этот испорченный ввод:
в этот чистый вывод:
Ссылочка на доку
#theory // Just Python
Отличный однострочный код для нормализации и очистки текста — идеально для проектов по обработке естественного языка.
Контент, созданный пользователями в Интернете и в социальных сетях, часто бывает грязным. Предварительно обработайте свои данные с помощью clean-text, чтобы создать нормализованное текстовое представление. Например, преобразуйте этот испорченный ввод:
A bunch of \\u2018new\\u2019 references, including [Moana](https://en.wikipedia.org/wiki/Moana_%282016_film%29).
»Yóù àré rïght <3!«
в этот чистый вывод:
A bunch of 'new' references, including [moana](<URL>).
"you are right <3!"
Ссылочка на доку
#theory // Just Python
Оптимизация памяти в Python: Использование генераторов вместо списков
Когда мы работаем с большими наборами данных, важно помнить об эффективном использовании памяти. Одной из полезных фишек Python для оптимизации памяти является использование генераторов вместо списков.
Пример кода
Допустим, у нас есть задача найти квадраты чисел от 1 до 1 000 000. Сначала посмотрим, как это сделать с помощью списка:
Этот код создает список квадратов чисел, что требует значительного объема памяти. Вместо этого можно использовать генератор, который создаст объекты по мере их запроса, не занимая много памяти:
Теперь squares - это генератор, который генерирует квадраты чисел по мере необходимости, занимая минимальное количество памяти.
#theory // Just Python
Когда мы работаем с большими наборами данных, важно помнить об эффективном использовании памяти. Одной из полезных фишек Python для оптимизации памяти является использование генераторов вместо списков.
Пример кода
Допустим, у нас есть задача найти квадраты чисел от 1 до 1 000 000. Сначала посмотрим, как это сделать с помощью списка:
# Плохая практика: использование списка
squares = [x**2 for x in range(1, 1000001)]
Этот код создает список квадратов чисел, что требует значительного объема памяти. Вместо этого можно использовать генератор, который создаст объекты по мере их запроса, не занимая много памяти:
# Лучшая практика: использование генератора
squares = (x**2 for x in range(1, 1000001))
Теперь squares - это генератор, который генерирует квадраты чисел по мере необходимости, занимая минимальное количество памяти.
#theory // Just Python
Использование коллекций Python
Коллекции Python — это контейнерные типы данных. В частности, это списки, множества, кортежи, словари. Модуль
Этот метод принимает итерируемый объект, такой, как список или кортеж, и возвращает словарь, содержащий сведения о количестве различных объектов в исследуемом списке (Counter Dictionary). Ключами такого словаря являются уникальные элементы, представленные в итерируемом объекте, а значениями — количества таких элементов.
Для создания объекта Counter нужно передать итерируемый объект (список, например) методу
#theory // Just Python
Коллекции Python — это контейнерные типы данных. В частности, это списки, множества, кортежи, словари. Модуль
collections даёт в распоряжение разработчика высокопроизводительные типы данных, которые помогают улучшить код, сделать его чище и облегчить работу с ним. Этот модуль содержит множество полезных методов. Здесь мы рассмотрим метод Counter().Этот метод принимает итерируемый объект, такой, как список или кортеж, и возвращает словарь, содержащий сведения о количестве различных объектов в исследуемом списке (Counter Dictionary). Ключами такого словаря являются уникальные элементы, представленные в итерируемом объекте, а значениями — количества таких элементов.
Для создания объекта Counter нужно передать итерируемый объект (список, например) методу
Counter()#theory // Just Python