Всем привет! В этой статье я решил показать один из методов парсинга на Python на примере маркетплейса Wildberries.

Суть подхода в том, что мы будем не разбирать запрошенную html страницу по ссылке, а будем использовать API сайта, который используется сервисом для получения и отображения всех товаров требуемой категории.

Исчерпывающее руководство по машинному (МО) и глубокому обучению с использованием языка программирования Python, фреймворка PyTorch и библиотеки scikit-learn. Рассмотрены основы МО, алгоритмы для задач классификации, классификаторы на основе scikit-learn, предварительная обработка и сжатие данных, современные методы оценки моделей и объединение различных моделей для ансамблевого обучения.

В данной статье автор проводит сравнение различных API для транскрибации речи. Представлены как зарубежные решения, так и российских решений.

Dogtail — это библиотека для тестирования GUI (графического интерфейса) на Linux. Она позволяет автоматизировать взаимодействие с графическими приложениями, используя Accessibility API (AT-SPI). Благодаря данной статье ты узнаешь, как с помощью Dogtail можно организовать автоматизацию тестирования.

В статье рассказывается, как с помощью Apache Kafka и Python создать потоковый сервис для обработки данных, обеспечивающий отказоустойчивость и масштабируемость приложений. Автор понятно разбирает основные компоненты Kafka, показывает как настроить кластер и разработать консюмер на Python.

Как инженеры внедрения (Integration Team), мы обеспечиваем интеграцию всех продуктов компании, участвуем в составлении технической документации, проведении приёмо-сдаточных испытаний, плотно взаимодействуем с представителями заказчика по технической части, но самое важное — "наживую" внедряем собственные российские продукты в ИТ-среду наших заказчиков.
А еще мы умеем стыковать наши продукты с уже имеющимся у заказчика импортным или отечественным ПО.

В статье подробно рассматривается процесс создания алгоритма для процедурной генерации 2D-карт для игр. Автор описывает все этапы разработки: от разметки территории с помощью диаграмм Вороного до размещения объектов и прокладки дорог, а также делится практическими примерами и визуализациями результатов.

Стандартные алгоритмы и структуры при применении к крупным распределенным наборам данных могут становиться медленными — или вообще не работать. Правильный подбор алгоритмов, предназначенных для работы с большими данными, экономит время, повышает точность и снижает стоимость обработки.

Книга знакомит с методами обработки и анализа больших распределенных данных. Насыщенное отраслевыми историями и занимательными иллюстрациями, это удобное руководство позволяет легко понять даже сложные концепции. Вы научитесь применять на реальных примерах такие мощные алгоритмы, как фильтры Блума, набросок count-min, HyperLogLog и LSM-деревья, в своих собственных проектах.

В жизни каждого разработчика наступает момент, когда нужно воспользоваться сторонней библиотекой — для работы с данными или отправки запросов в БД. А после выбора библиотеки и версии — использовать менеджер пакетов.

Управление памятью — важный, но часто упускаемый из виду аспект программирования. При неправильном подходе оно может привести к медленной работе приложений, неожиданным сбоям и даже утечкам памяти. К счастью, Python заботится об этом с помощью процесса, известного как сборка мусора. Это встроенная система, автоматически управляющая памятью.

Ручной сбор данных — это всегда боль. Он съедает время, деньги и нервы, особенно в таких областях, как медицина или финансы, где затраты могут быть космическими, а юридические барьеры — непреодолимыми. По прогнозу Gartner, к 2030 году синтетические данные полностью затмят реальные данные в моделях ИИ. Почему? Потому что это работает.

Чтобы научиться ходить – надо ходить, чтобы научиться подтягиваться – надо подтягиваться, чтобы научиться решать задачи по физике – надо решать задачи по физике. Так говорил преподаватель физики в моём университете, и эта аналогия применима и к программированию.

На Хабре я часто вижу статьи о реализации тех или иных фич на Python-фреймворках. Я объединил все эти фичи в реальный проект с открытым исходным кодом, чтобы у вас сложилась целостная картина. Мы с вами создадим UX/UI на Figma, напишем фронтенд на HTML, CSS, SASS, Bootstrap и JavaScript, создадим ER-диаграмму в MySQL Workbench, напишем бекэнд на Flask, создадим регистрацию через социальные сети OAuth 2.0 в один клик, используем брокер сообщений и асинхронную очередь Celery для отправки писем на электронную почту, сделаем WYSIWYG-редактор, реализуем полнотекстовый поиск Elasticsearch, закешируем Redis, покроем тестами pytest и запустим в Docker-контейнерах, поговорим о многопроцессности для WSGI-шлюза Gunicorn.

Среди любителей Minecraft много энтузиастов: пока одни просто играют, другие запускают целые серверы и пишут модификации. А кто-то идет дальше и разрабатывает собственные песочницы. Последнее достаточно просто сделать на Python.

Под катом делюсь основами работы с библиотекой Ursina Engine и показываю, как с помощью нее создать мир из кубов.

Привет! Если после заголовка вы решили, что это очередная статья в стиле «Топ-10 способов ускорить Pandas», то не торопитесь с выводами. Вместо топов и подборок предлагаю взглянуть на бенчмарки скорости и потребления памяти в зависимости от характеристик датафрейма и убедиться, что часть советов из статей по ускорению могут оказаться даже вредными. Разберём, какой из способов ускорения нужно пробовать в разных ситуациях, как это зависит от размера датафрейма и как ведёт себя в реальном проекте.

В книге излагаются основы научных расчётов на языке программирования Python. Приводятся и демонстрируются базовые возможности библиотек NumPy для работы с многомерными массивами, Matplotlib для визуализации данных и SciPy для научных расчётов и анализа данных. Рассматриваются примеры решения некоторых математических и физических задач с помощью библиотек NumPy, Matplotlib и SciPy.

Решения для обмена сообщениями играют важную роль в современных распределённых системах. Они обеспечивают надёжную коммуникацию, поддерживают асинхронную обработку и способствуют слабой связности между компонентами. Кроме того, они повышают доступность приложений и помогают защитить системы от всплесков трафика. Существующие варианты охватывают как потоковые, так и очередные сервисы, каждый из которых предлагает собственные преимущества и компромиссы.