Блогпост про Apache Datafusion Comet.
🟣 почему все так хотят ускорить Apache Spark на DWH-нагрузках
🟣 что хорошо в Spark, а что хотелось бы видеть чуть иначе.
🟣 обзор Databricks Photon и Apache Gluten (incubating), которые предлагают плагины для Spark для замены JVM-рантайм на нативный
🟣 обзор Datafusion Comet, как оно работает под капотом, что уже умеет и в чём уникальные фишки, если сравнивать с Gluten или Photon
🟣 история личного контрибьюта автора поста:
🟡 как писать PhysicalExpr для Datafusion
🟡 generic листы в Apache Arrow
🟡 удобства
#datafusioncomet #datafusion #spark
rust-gdb#datafusioncomet #datafusion #spark
Please open Telegram to view this post
VIEW IN TELEGRAM
Sem Sinchenko
Apache Datafusion Comet and the story of my first contribution to it
In this blog post, I will provide a brief high-level overview of projects designed to accelerate Apache Spark by the native physical execution, including Databricks Photon, Apache Datafusion Comet, and Apache Gluten (incubating). I will explain the problems…
❤🔥8