#pandas
👀Демонстрируем возможности pandas по получению данных из базы данных.
@BigDataSchool_ru
https://www.youtube.com/watch?v=iTpyhArwan8
👀Демонстрируем возможности pandas по получению данных из базы данных.
@BigDataSchool_ru
https://www.youtube.com/watch?v=iTpyhArwan8
YouTube
4.2. Получение данных из базы данных postgresql с помощью psycopg2 и pandas
Демонстрируем возможности pandas по получению данных из базы данных.
По вопросам обучения на курсах машинного обучения приглашаем в нашу "Школу Больших Данных"
Обращаться по телефону:
+7 (495) 41-41-121
+7 (995) 100-45-63
Чтобы не пропустить информацию…
По вопросам обучения на курсах машинного обучения приглашаем в нашу "Школу Больших Данных"
Обращаться по телефону:
+7 (495) 41-41-121
+7 (995) 100-45-63
Чтобы не пропустить информацию…
#API #ApacheSpark #pandas
Планы выполнения запросов при работе с API pandas в Apache Spark
Для чего смотреть планы выполнения запросов при работе с API pandas в Spark и как это сделать: примеры использования метода spark.explain() и его аргументов для вывода логических и физических планов. Разбираем на примере PySpark-скрипта.
API pandas и физический план выполнения запроса в Apache Spark
Мы уже писали, что PySpark, API-интерфейс Python в Apache Spark, позволяет работать с популярной библиотекой pandas.
Статья: https://bigdataschool.ru/blog/news/spark/pandas-on-spark-and-execution-plans.html
Курсы: https://bigdataschool.ru/courses/apache-spark-core https://bigdataschool.ru/courses/apache-spark-structured-streaming https://bigdataschool.ru/courses/apache-spark-machine-learning
Наш сайт: https://bigdataschool.ru
Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"
Планы выполнения запросов при работе с API pandas в Apache Spark
Для чего смотреть планы выполнения запросов при работе с API pandas в Spark и как это сделать: примеры использования метода spark.explain() и его аргументов для вывода логических и физических планов. Разбираем на примере PySpark-скрипта.
API pandas и физический план выполнения запроса в Apache Spark
Мы уже писали, что PySpark, API-интерфейс Python в Apache Spark, позволяет работать с популярной библиотекой pandas.
Статья: https://bigdataschool.ru/blog/news/spark/pandas-on-spark-and-execution-plans.html
Курсы: https://bigdataschool.ru/courses/apache-spark-core https://bigdataschool.ru/courses/apache-spark-structured-streaming https://bigdataschool.ru/courses/apache-spark-machine-learning
Наш сайт: https://bigdataschool.ru
Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"
#Spark #Pandas #UDF #applyInPandas #mapInPandas
Пользовательские функции Apache Spark: Pandas UDF, applyInPandas и mapInPandas
Как применить пользовательскую функцию Python к объектам pandas в распределенной среде Apache Spark. Варианты использования Pandas UDF, applyInPandas() и mapInPandas() на практических примерах.
Разница между Pandas UDF, applyInPandas и mapInPandas в Apache Spark
Недавно я показывала пример сравнения быстродействия метода applyInPandas() с функцией apply() библиотеки pandas. Однако, помимо applyInPandas() в версии 3.0 появился еще метод mapInPandas(), который позволяет эффективно выполнять произвольные действия с каждой строкой датафрейма Spark. Он также применяет пользовательские функции Python к датафрейму и возвращает более одной строки.
Статья
Курсы: CORS SPOT SPARK MLSP GRAS
Наш сайт
Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"
Пользовательские функции Apache Spark: Pandas UDF, applyInPandas и mapInPandas
Как применить пользовательскую функцию Python к объектам pandas в распределенной среде Apache Spark. Варианты использования Pandas UDF, applyInPandas() и mapInPandas() на практических примерах.
Разница между Pandas UDF, applyInPandas и mapInPandas в Apache Spark
Недавно я показывала пример сравнения быстродействия метода applyInPandas() с функцией apply() библиотеки pandas. Однако, помимо applyInPandas() в версии 3.0 появился еще метод mapInPandas(), который позволяет эффективно выполнять произвольные действия с каждой строкой датафрейма Spark. Он также применяет пользовательские функции Python к датафрейму и возвращает более одной строки.
Статья
Курсы: CORS SPOT SPARK MLSP GRAS
Наш сайт
Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"