Aspiring Data Science

#db #duckdb #columnar #featurestore

Что интересно, запросы слать в duckdb можно через psycopg, и используется PostgreSQL диалект. Ингест из файлов, судя по презенташке, очень быстрый. Поддерживает сжатие. Колоночная СУБД. Может читать в сессии питона напрямую из фреймов пандас и массивов нампай. Кандидат на featurestore?

https://www.youtube.com/watch?v=q_SKaOeRiOI

YouTube

Gábor Szárnyas - DuckDB: The Power of a Data Warehouse in your Python Process

Gábor Szárnyas, a Developer Relations Advocate and Technical Writer at DuckDB Labs, provides a talk on “DuckDB: The Power of a Data Warehouse in your Python Process.”

DuckDB is an in-process analytical database management system, a powerful data warehouse…

112 viewsAnatoly Alekseev, edited 16:23

Aspiring Data Science

#mlops #duckdb #arrowflight

https://www.youtube.com/watch?v=w_cAeE5ShnM

YouTube

Buso & Döhmen - MLOps on the fly: Optimizing a feature store with DuckDB and ArrowFlight | PDAMS 23

Feature Stores are a vital part of the MLOps stack for managing machine learning features and ensuring data consistency. This talk introduces Feature Stores and the underlying data management architecture. We’ll then discuss the challenges and learnings of…

104 viewsAnatoly Alekseev, 10:10

Aspiring Data Science

#duckdb #polars #performance

https://towardsdatascience.com/python-one-billion-row-challenge-from-10-minutes-to-4-seconds-0718662b303e

Medium

Python One Billion Row Challenge — From 10 Minutes to 4 Seconds

The one billion row challenge is exploding in popularity. How well does Python stack up?

89 viewsAnatoly Alekseev, 18:19

Aspiring Data Science

#pandas #polars #duckdb

https://www.youtube.com/watch?v=h03Gdr8pqyY

YouTube

Matt Harrison - An Introduction to Pandas 2, Polars, and DuckDB | PyData Global 2023

www.pydata.org

Pandas, Polars, and DuckDB can influence outcomes like productivity, integration, and velocity. This tutorial offers an introduction to three Python libraries: Pandas 2, Polars, and DuckDB. Attendees will be provided with an opportunity not…

117 viewsAnatoly Alekseev, 21:36

Aspiring Data Science

#polars #pandas #duckdb

Надо переходить на поларс, похоже. Ну или на уткобазу )
Особенно интересны в поларсе абстрактные выражения, стриминговый режим, поддержка тензоров pytorch и (будущая) интеграция с rapids,чтоб он считал на GPU. Это будет вааще бомба.

https://www.youtube.com/watch?v=LXz69qQVy5U

YouTube

Михаил Архипов, Павел Цветов | Сын маминой подруги: Может ли Polars заменить Pandas?

Спикеры: Михаил Архипов, Павел Цветов, Мир Plat.Form Data Scientist, занимаемся задачами прикладного анализа больших данных и ML-разработкой в команде Центра транзакционной аналитики НСПК

Тема доклада: в рамках доклада, мы расскажем как начали использовать…

98 viewsAnatoly Alekseev, edited 22:55

About

Blog

Apps

Platform