Блогпост про Apache Datafusion Comet.

🟣почему все так хотят ускорить Apache Spark на DWH-нагрузках
🟣что хорошо в Spark, а что хотелось бы видеть чуть иначе.
🟣обзор Databricks Photon и Apache Gluten (incubating), которые предлагают плагины для Spark для замены JVM-рантайм на нативный
🟣обзор Datafusion Comet, как оно работает под капотом, что уже умеет и в чём уникальные фишки, если сравнивать с Gluten или Photon
🟣история личного контрибьюта автора поста:
🟡как писать PhysicalExpr для Datafusion
🟡generic листы в Apache Arrow
🟡удобства rust-gdb

#datafusioncomet #datafusion #spark

📝 Данные и их разметка в 2024 году: развивающиеся тенденции и требования будущего

Интересная статья о разметке данных. Ключевые моменты:

🤔 Текущие тенденции:

👍 Увеличение сложности наборов данных
👍 Переход на разметку в реальном времени
👍 Масштабное развитие автоматизированных инструментов в дополнение к ручной обработке

🤔 Прогнозы рынка:

👍 Ожидается рост до 8,22$ млрд к 2028 году при CAGR 26,6%
👍 Требования к качеству и скорости разметки растут и будут расти по экспоненте

😎 Технологические тенденции:

👍 Адаптивный ИИ
👍 Метавселенная
👍 Индустриальные облачные платформы
👍 Усовершенствование беспроводных технологий

Автор указывает, что индустрия разделения данных будет стремительно развиваться из-за растущего спроса на точные и надёжные данные для ИИ и машинного обучения.

Автоматизация, адаптивный ИИ и новые технологические решения повысят качество и скорость разделения данных.

#data #de #ai

GitHub Copilot is now available for free

Но есть нюанс, только VS Code и есть лимиты.

ref

👩‍💻

#github #copilot #ai

9 законов (принципов) программирования — это база.

0⃣ Закон Брукса — если ты посадишь трёх разрабов за одну задачу, они не сделают её в три раза быстрее. Чем больше твоя команда, тем сложнее становится координация и планирование.

1️⃣ Закон Гудхарта — чем жёстче твои KPI и метрики для измерения эффективности, тем сильнее они отвлекают от выполнения самих задач. В самых запущенных случаях люди забивают на задачи и переключаются только на KPI.

2️⃣ Закон Хайрама — чем больше юзеров у API, тем сильнее они полагаются на незадокументированные особенности, превращая их в «обязательные» функции. Из-за этого любые изменения становятся сложными, ведь легко сломать что-то для тех, кто уже привык к старым фишкам.

3️⃣ Закон Конвея — структура программ часто повторяет организационную структуру команды, которая её создала. Если слепо следовать границам в команде, софт получится неоптимизированным.

4️⃣ Закон Линуса — база опенсора. Чем больше людей проверяют код, тем больше шансов найти ошибку.

5️⃣ Закон Хофтшадтера — дедлайн всегда нужно ставить с запасом. Мы склонны занижать количество времени, необходимое для выполнения задачи.

6️⃣ Закон Кернигана — код всегда должен быть простым и понятным. Сложный код всегда становится неподъёмным в отладке и сопровождении — это только вопрос времени.

7️⃣ Закон Питера — софт- и хард-скиллы, это разные навыки. Так, топовый разраб не обязательно обладает такими же способностями к управлению людьми, руководству командами или выполнению стратегических требований лидерства.

8️⃣ Закон Парето — усилия должны быть избирательными. Чтобы 20% усилий приносили 80% результатов, сначала нужно понять, куда прикладывать эти усилия. Качество всегда перевешивает количество, а результат важнее времени затраченного на задачу.


#dev #baza #pareto #laws #programming #engineering

😮 Turso представили Limbo — переписанный на Rust вариант SQLite, обещают +20% к скорости, векторный поиск, асинхронность и сборку в WebAssembly.

1️⃣ Почему интересно: Rust даёт безопасность и асинхронность, векторные индексы полезны для ML/AI, а WASM-версия запускается прямо в браузере.

2️⃣ Главные фишки:
🟢+20% производительности
🟢Векторные индексы для поиска
🟢Асинхронная обработка запросов
🟢Сборка в WebAssembly

3️⃣ Где пригодится: Локальные проекты (edge computing, микросервисы), задачи ML (embeddings), лёгкие веб-приложения без серверов.

4️⃣ Итог: Limbo — свежий взгляд на SQLite с упором на скорость, лёгкость и современные сценарии (ML, браузеры, edge).

#turso #limbo #sqlite #dev #de #sql

🎄

С Новым годом!

Пусть 2025 принесёт тебе ещё больше вдохновения, неожиданных инсайтов и стабильных пайплайнов!

Спасибо за твою поддержку — продолжим прокачивать наш мир данных вместе!