Aspiring Data Science

#db #duckdb #columnar #featurestore

Что интересно, запросы слать в duckdb можно через psycopg, и используется PostgreSQL диалект. Ингест из файлов, судя по презенташке, очень быстрый. Поддерживает сжатие. Колоночная СУБД. Может читать в сессии питона напрямую из фреймов пандас и массивов нампай. Кандидат на featurestore?

https://www.youtube.com/watch?v=q_SKaOeRiOI

YouTube

Gábor Szárnyas - DuckDB: The Power of a Data Warehouse in your Python Process

Gábor Szárnyas, a Developer Relations Advocate and Technical Writer at DuckDB Labs, provides a talk on “DuckDB: The Power of a Data Warehouse in your Python Process.”

DuckDB is an in-process analytical database management system, a powerful data warehouse…

116 viewsAnatoly Alekseev, edited 16:23

Aspiring Data Science

#mlops #duckdb #arrowflight

https://www.youtube.com/watch?v=w_cAeE5ShnM

YouTube

Buso & Döhmen - MLOps on the fly: Optimizing a feature store with DuckDB and ArrowFlight | PDAMS 23

Feature Stores are a vital part of the MLOps stack for managing machine learning features and ensuring data consistency. This talk introduces Feature Stores and the underlying data management architecture. We’ll then discuss the challenges and learnings of…

106 viewsAnatoly Alekseev, 10:10

Aspiring Data Science

#duckdb #polars #performance

https://towardsdatascience.com/python-one-billion-row-challenge-from-10-minutes-to-4-seconds-0718662b303e

Towards Data Science

Python One Billion Row Challenge - From 10 Minutes to 4 Seconds | Towards Data Science

The one billion row challenge is exploding in popularity. How well does Python stack up?

96 viewsAnatoly Alekseev, 18:19

Aspiring Data Science

#pandas #polars #duckdb

https://www.youtube.com/watch?v=h03Gdr8pqyY

YouTube

Matt Harrison - An Introduction to Pandas 2, Polars, and DuckDB | PyData Global 2023

www.pydata.org

Pandas, Polars, and DuckDB can influence outcomes like productivity, integration, and velocity. This tutorial offers an introduction to three Python libraries: Pandas 2, Polars, and DuckDB. Attendees will be provided with an opportunity not…

❤1

130 viewsAnatoly Alekseev, 21:36

Aspiring Data Science

#polars #pandas #duckdb

Надо переходить на поларс, похоже. Ну или на уткобазу )
Особенно интересны в поларсе абстрактные выражения, стриминговый режим, поддержка тензоров pytorch и (будущая) интеграция с rapids,чтоб он считал на GPU. Это будет вааще бомба.

https://www.youtube.com/watch?v=LXz69qQVy5U

YouTube

Михаил Архипов, Павел Цветов | Сын маминой подруги: Может ли Polars заменить Pandas?

Спикеры: Михаил Архипов, Павел Цветов, Мир Plat.Form Data Scientist, занимаемся задачами прикладного анализа больших данных и ML-разработкой в команде Центра транзакционной аналитики НСПК

Тема доклада: в рамках доклада, мы расскажем как начали использовать…

👍1

115 viewsAnatoly Alekseev, edited 22:55

Aspiring Data Science

#dask #polars #duckdb

Что-то не верю я этим тестам. поларс медленнее даска? Да когда такое было? И как вдруг чудесным образом у даска заработал оптимизатор, если синтаксис вызовов не поменялся? У поларс то он возможен, потому что синтаксис операций на фрейме совсем другой.

https://www.youtube.com/watch?v=qyvLJ2LvKLc

YouTube

Pandas + Dask DataFrame 2.0 - Comparison to Spark, DuckDB and Polars [PyCon DE & PyData Berlin 2024]

🔊 Recorded at PyCon DE & PyData Berlin 2024, 23.04.2024
https://2024.pycon.de/program/N9DEVW/

🎓 Watch how Dask DataFrame 2.0's improved performance and new features compare to Spark, DuckDB, and Polars, offering a faster and more robust system for big data…

101 viewsAnatoly Alekseev, edited 04:36

Aspiring Data Science

#duckdb #acid

https://www.youtube.com/watch?v=7UqLMHloTsQ

YouTube

Hannes Mühleisen - Changing Data With Confidence using DuckDB | PyData Global 2024

www.pydata.org

Changing data is hard: The computer may crash, scripts could fail, and data structures could be changing. Relational data management systems provide transactional (“ACID”) guarantees that can be immensely useful for data analysis. DuckDB provides…

78 viewsAnatoly Alekseev, 01:38

Aspiring Data Science

#duckdb #coiled

Уткобазу ещё не пробовал в чём-то серьёзном.

https://www.youtube.com/watch?v=qSs5ALVbzTk