🚀 CocoIndex: Суперпроизводительный фреймворк для работы с данными в реальном времени

Фреймворк на Rust, который обрабатывает 1.5 млн событий/сек с задержкой менее 5 мс. Идеален для IoT-систем, трейдинговых платформ и аналитики в режиме реального времени.

---

🔥 Ключевые фичи:
▪️ Zero-copy парсинг — обработка данных без дополнительных аллокаций памяти
▪️ Поддержка 20+ источников (Kafka, Redis, S3 через плагины)
▪️ Трансформации «один-ко-многим» для сложных пайплайнов
▪️ Встроенные TLS 1.3 и аудит изменений данных

// Пример пайплайна
pipelines:
  - name: market_data
    input: kafka://prices
    transform: |
      .filter(|msg| msg.exchange == "NASDAQ")
      .window(size=1s, agg=avg)
    output: websocket://clients

---

💡 Для кого:
▪️ Высоконагруженные API и микросервисы
▪️ Системы трейдинга, телеметрии и IoT
▪️ Платформы аналитики с динамическими запросами

---

⚡ Производительность:
▪️ В 3 раза быстрее Apache Flink при потоковой агрегации
▪️ 12 ГБ памяти на обработку 1 млрд событий

---

📥 Установка:

cargo install cocoindex-cli

🔗 GitHub: CocoIndex

#Rust #DataEngineering #CocoIndex

🚀 Marmot: Data Catalog нового поколения c суперспособностями
Open-source решение для управления метаданными с лазерным поиском и интерактивным lineage

Каталоги данных — это боль 💢. Сложная настройка, медленная работа и ограниченный функционал. Marmot ломает стереотипы тремя суперсилами:

🔹 Турборежим
Запуск одной командой! Никаких танцев с Kubernetes — только бинарник или Docker. Интерфейс понятен даже ребёнку 👶, не то что марсианину!

🔹 Джедайский поиск
Встроенный язык запросов для расчётанного поиска:

  
metadata.owner: "product" # → все артефакты продукт-команды  

Кричим «FUS RO DAH» 🔮 медленным запросам!

🔹 Всеядный API
Работает с любым форматом данных через CLI, API или Terraform. Поддержка push/pull архитектур и плагинов. Даже камень нерфов переварит 🪨!

💣 Фишки-убийцы:
🔹 3D-графы зависимостей (можно крутить, приближать и трогать 👆)
🔹 Быстрый старт с тестовыми данными:

  
git clone https://github.com/marmotdata/marmot  
cd marmot/examples/quickstart  
docker compose up  

Логин: admin:admin → localhost:8080

🚧 Дорожная карта: интеграция c OpenLineage и Airflow (v0.3.0 уже скоро! 🔥). Для тех, кто устал от Apache Atlas и DataHub.

🌍 GitHub | 📚 Документация
Когда ваш месс данных превращается в слоупока — Marmot: ахалай-махалай! 🪄✨

#dataengineering #metadata #opensource