PySpark

PySpark — это API Python для Apache Spark, распределенная вычислительная среда с открытым исходным кодом. Используется для обработки данных в режиме реального времени. PySpark позволяет создавать более масштабируемые анализы и пайплайны по сравнению с Pandas. Делимся статьей, где автор знакомит с этим API.

👉Читать статью

#статьи

list.extend

Метод list.extend() перебирает итерируемый объект (строку, кортеж, список, множество или словарь) с последующим добавлением каждого элемента итерируемого объекта в конец текущего списка. Длина списка увеличивается на количество элементов, присутствующих в итерации.

#практика

Лучшие open-source инструменты

Делимся статьей, где автор рассказывает про лучшие open-source инструменты для Python. Инструменты распределены по этапам и сферам разработки: качество кода, тестирование, дебаггинг и так далее.

👉Читать статью

#статьи

Основные методы списков

Делимся видео, где автор знакомит с основными методами строк. К ним относятся upper, lower, count, find, index, replace и многие другие. Также ты узнаешь, что такое методы и как они вызываются.

👀Смотреть видео

#видео

statistics.harmonic mean

Метод statistics.harmonic mean() вычисляет среднее гармоническое заданного набора данных. Среднее гармоническое рассчитывается следующим образом: если у тебя есть четыре значения (a, b, c и d), то их среднее гармоническое будет равно 4 / (1/a + 1/b + 1/c + 1/d).

#практика

Django REST: Serializer

Благодаря этому видео ты узнаешь, как сделать ручную сериализацию объектов модели с помощью базового класса Serializer. Также рассматриваются классы JSONRenderer, JSONParser, метод is valid(), коллекция validated data.

👀Смотреть видео

#видео #django

Генерация музыки из изображений

Делимся статьей, где автор демонстрирует генерацию музыки из изображений. Идея заключается в том, что подразделы цветового пространства могут быть сопоставлены с определенной нотой в музыкальной гамме. Тогда эта нота будет иметь частоту, связанную с ней.

👉Читать статью

#статьи

TensorFlow: tf.Module

Модули — это контейнеры для нескольких ресурсов, которые используются вместе. Модуль состоит из набора файлов .tf и/или .tf.json, хранящихся вместе в каталоге. Благодаря этому видео ты научишься создавать модели полносвязного слоя нейронной сети. Также продемонстрирована реализация ее обучения для простой задачи сложения двух чисел.

👀Смотреть видео

#видео

MongoDB: Ограничение результата

Чтобы ограничить результат в MongoDB, используй метод limit(). Метод limit() принимает один параметр — число, определяющее количество возвращаемых документов. В данном примере возвращается только 5 документов.

#практика #mongodb

Обнаружение QR-кода

Делимся циклом статей, где автор рассказывает про QR-код. Ты научишься распознавать его на картинке и дешифровывать. Также познакомишься с библиотеками opencv и numpy. В дальнейшем будет продемонстрировано создание генератора QR-кодов.

👉Читать статью

#статьи

match/case

Синтаксис «match...case» похож на операторы switch в других объектно-ориентированных языках. Он предназначен для облегчения сопоставления с шаблонами. Делимся видео, где автор рассказывает про match/case.

👀Смотреть видео

#видео

re.sub

Функция sub() возвращает новую строку, полученную путем выполнения замены по твоему выбору. Также ты можешь контролировать количество замен, указав параметр count. В данном примере два первых пробела заменяются символом 9.

#практика

Polars

Одной из основных претензий к Pandas является его низкая скорость и неэффективность при работе с большими наборами данных. К счастью, есть новая библиотека DataFrame, которая пытается устранить эту проблему под названием Polars. Делимся статьей, где автор знакомит с Polars.

👉Читать статью

#статьи

TensorFlow: GradientTape

Начиная с версии 2.0, TensorFlow предоставляет API tf.GradientTape(). Это помогает в выполнении автоматической дифференциации. Это в свою очередь помогает в обратном распространении при обучении нейронных сетей. Делимся видео, где автор знакомит с GradientTape.

👀Смотреть видео

#видео #tensorflow

SciPy: CSR Матрица

CSR — Сжатое хранение строкой. Используется для быстрой нарезки строк, в результате чего получаются более быстрые матричные векторные произведения. Ты можешь создать матрицу CSR, передав массив в функцию scipy.sparse.csr matrix().

#практика

Лучшие новые библиотеки за 2022 год

Делимся статьей, где автор рассказывает про лучшие новые библиотеки за 2022 год. К ним относятся Ruff, Memray, Codon и многие другие. Многие библиотеки полезны для работы с искусственным интеллектом.

👉Читать статью

#статьи

Django REST: APIView

Важным компонентом представлений DRF является класс APIView, который является подклассом View Django. Класс APIView является основой для всех представлений, которые ты можешь использовать в своем приложении DRF. Данное видео поможет разобраться с APIView.

👀Смотреть видео

#видео #django

re.split

Функция split разбивает строку, используя регулярное выражение. При желании ты можешь контролировать количество замен при помощи параметра maxsplit. В данном примере строка разделяется при появлении первого пробела.

#практика

Форматирование строк

Делимся видео, где автор демонстрирует способ формирования строки по шаблону с помощью метода format(). Также ты узнаешь, как можно форматировать строки, используя F-строки.

👀Смотреть видео

#видео

Hydrosphere

Hydrosphere — это платформа для развертывания, управления версиями и мониторинга моделей машинного обучения в производственной среде. Поддерживает все основные языки программирования и фреймворки — Python, Java, Tensorflow, Pytorch и т. д. Делимся статьей, где автор рассказывает про Hydrosphere.

👉Читать статью

#статьи

math.trunc

Метод math.trunc() возвращает усеченную целую часть числа. Обрати внимание, этот метод не округляет число вверх/вниз до ближайшего целого числа, а просто удаляет десятичные дроби. Если значение не является числом, возвращается TypeError.

#практика