😱Ошибки в данных, которые привели к глобальным катасторофам
✅Снос не тех домов - из-за некорректных данных геоинформационных систем бригады сноса приезжали на неправильные участки из-за ошибок в данных адресов Google Maps и сносили не те дома. Это приводило к разрушенным жилищам, ущербу на десятки тысяч долларов и судебным тяжбам для компаний
✅Дефибрилляторы Zoll Medical - из-за проблем с качеством данных в процессе производства дефибрилляторы компании Zoll Medical могли отображать сообщения об ошибке или вовсе выходить из строя при использовании. Компания была вынуждена объявить отзыв продукции категории 1 — самой серьезной категории, при которой существует высокая вероятность серьезных травм или смерти. Это подорвало доверие и обошлось компании в $5,4 млн штрафов.
✅Паспортное агентство Великобритании - паспортное агентство Великобритании не раз сталкивалось с серьезными задержками при выдаче паспортов из-за ошибок миграции данных во время обновления системы. Задержки вызвали общественное недовольство и огромный объём накопившихся заявок. Исправление ошибок и найм дополнительного персонала для обработки заявок однажды обошлись агентству примерно в £12,6 млн.
✅Mars Climate Orbiter - Mars Climate Orbiter — зонд, запущенный для сбора данных о Марсе. К сожалению, аппарат сгорел при входе в атмосферу планеты, что сделало миссию полной неудачей и отбросило назад исследования Марса. Ущерб оценили в $327,6 млн. Ошибка в преобразовании единиц измерения между командами инженеров: одна использовала метрическую систему, а другая — английскую.
✅Ошибка Knight Capital - однажды ошибка в новом программном обеспечении Knight Capital привела к нежелательным биржевым сделкам, из-за чего компания закупила 150 различных акций на сумму $7 млрд всего за час. Последствия использования непроверенного ПО включали убыток в $440 млн и банкротство.
✅Сбой AWS от Amazon - во время планового обслуживания AWS из-за опечатки в данных в команде управления было случайно удалено больше серверов, чем предполагалось. На восстановление части системы потребовалось три часа, а на полное восстановление — четыре часа. Компании, использующие AWS, столкнулись с серьезными незапланированными простоями, которые привели к финансовым потерям в размере $150 млн.
✅Испанская подводная лодка "Isaac Peral" (S-81) - во время проектирования подводной лодки ошибка с десятичной точкой в расчётах водоизмещения привела к тому, что судно оказалось на 75–100 тонн тяжелее. Из-за этого подлодка была слишком тяжёлой, чтобы плавать, и её пришлось полностью перепроектировать, что вызвало значительные задержки и затраты более чем €2 млрд.
✅Boeing 737 Max - в 2018 и 2019 годах две катастрофы самолётов Boeing 737 Max унесли жизни 349 человек. В самолётах была установлена новая автоматическая система управления полётом, которая полагалась на данные только одного датчика угла атаки. Неверные данные с датчика активировали систему, которая переопределяла действия пилотов, что привело к катастрофам. Все самолёты 737 Max были затем отстранены от полетов, а Boeing потерял более $18 млрд.
✅Крах Lehman Brothers - низкое качество данных и слабый анализ рисков привели к тому, что Lehman Brothers взяли на себя больше рисков, чем могли себе позволить, а отсутствие точных данных скрывало реальную стоимость активов и обязательств. Что было дальше, известно всем: потери на $691 млрд активов и банкротство, вызвавшее глобальный финансовый кризис, который затронул экономики всего мира.
✅Снос не тех домов - из-за некорректных данных геоинформационных систем бригады сноса приезжали на неправильные участки из-за ошибок в данных адресов Google Maps и сносили не те дома. Это приводило к разрушенным жилищам, ущербу на десятки тысяч долларов и судебным тяжбам для компаний
✅Дефибрилляторы Zoll Medical - из-за проблем с качеством данных в процессе производства дефибрилляторы компании Zoll Medical могли отображать сообщения об ошибке или вовсе выходить из строя при использовании. Компания была вынуждена объявить отзыв продукции категории 1 — самой серьезной категории, при которой существует высокая вероятность серьезных травм или смерти. Это подорвало доверие и обошлось компании в $5,4 млн штрафов.
✅Паспортное агентство Великобритании - паспортное агентство Великобритании не раз сталкивалось с серьезными задержками при выдаче паспортов из-за ошибок миграции данных во время обновления системы. Задержки вызвали общественное недовольство и огромный объём накопившихся заявок. Исправление ошибок и найм дополнительного персонала для обработки заявок однажды обошлись агентству примерно в £12,6 млн.
✅Mars Climate Orbiter - Mars Climate Orbiter — зонд, запущенный для сбора данных о Марсе. К сожалению, аппарат сгорел при входе в атмосферу планеты, что сделало миссию полной неудачей и отбросило назад исследования Марса. Ущерб оценили в $327,6 млн. Ошибка в преобразовании единиц измерения между командами инженеров: одна использовала метрическую систему, а другая — английскую.
✅Ошибка Knight Capital - однажды ошибка в новом программном обеспечении Knight Capital привела к нежелательным биржевым сделкам, из-за чего компания закупила 150 различных акций на сумму $7 млрд всего за час. Последствия использования непроверенного ПО включали убыток в $440 млн и банкротство.
✅Сбой AWS от Amazon - во время планового обслуживания AWS из-за опечатки в данных в команде управления было случайно удалено больше серверов, чем предполагалось. На восстановление части системы потребовалось три часа, а на полное восстановление — четыре часа. Компании, использующие AWS, столкнулись с серьезными незапланированными простоями, которые привели к финансовым потерям в размере $150 млн.
✅Испанская подводная лодка "Isaac Peral" (S-81) - во время проектирования подводной лодки ошибка с десятичной точкой в расчётах водоизмещения привела к тому, что судно оказалось на 75–100 тонн тяжелее. Из-за этого подлодка была слишком тяжёлой, чтобы плавать, и её пришлось полностью перепроектировать, что вызвало значительные задержки и затраты более чем €2 млрд.
✅Boeing 737 Max - в 2018 и 2019 годах две катастрофы самолётов Boeing 737 Max унесли жизни 349 человек. В самолётах была установлена новая автоматическая система управления полётом, которая полагалась на данные только одного датчика угла атаки. Неверные данные с датчика активировали систему, которая переопределяла действия пилотов, что привело к катастрофам. Все самолёты 737 Max были затем отстранены от полетов, а Boeing потерял более $18 млрд.
✅Крах Lehman Brothers - низкое качество данных и слабый анализ рисков привели к тому, что Lehman Brothers взяли на себя больше рисков, чем могли себе позволить, а отсутствие точных данных скрывало реальную стоимость активов и обязательств. Что было дальше, известно всем: потери на $691 млрд активов и банкротство, вызвавшее глобальный финансовый кризис, который затронул экономики всего мира.
🌎ТОП февральских ивентов в Data Science
2 февраля - IT-сеанс: погружение в мир данных – Москва, Россия - https://cs.hse.ru/dpo/datascienceschool/winter2025/
6 февраля - PolyAnalyst для разработки решений на основе ИИ – Онлайн - https://megapyuter-intellidzhens.timepad.ru/event/3207461/
8 февраля – Пыхап – Москва, Россия - https://networkly.app/event/pykhap-08-02-2025_4684
15-16 февраля - Система Хак - Нижний Новгород, Россия - https://truetecharena.ru/contests/system-hack-nn#/
27 февраля-3 марта - Хакатон Б3 – Онлайн - https://codenrock.com/contests/b3-data-hack-codenrock#/
28 февраля - Siam ML Hack – Онлайн - https://codenrock.com/contests/siam-hack-ml#/
2 февраля - IT-сеанс: погружение в мир данных – Москва, Россия - https://cs.hse.ru/dpo/datascienceschool/winter2025/
6 февраля - PolyAnalyst для разработки решений на основе ИИ – Онлайн - https://megapyuter-intellidzhens.timepad.ru/event/3207461/
8 февраля – Пыхап – Москва, Россия - https://networkly.app/event/pykhap-08-02-2025_4684
15-16 февраля - Система Хак - Нижний Новгород, Россия - https://truetecharena.ru/contests/system-hack-nn#/
27 февраля-3 марта - Хакатон Б3 – Онлайн - https://codenrock.com/contests/b3-data-hack-codenrock#/
28 февраля - Siam ML Hack – Онлайн - https://codenrock.com/contests/siam-hack-ml#/
cs.hse.ru
Школа по аналитике и Data Science (зима 2025)
🚀 BigQuery Metastore: Единый сервис метаданных с поддержкой Apache Iceberg
Google анонсировала высокомасштабируемый сервис метаданных для архитектуры Lakehouse. Новое метахранилище работает во время выполнения и поддерживает несколько аналитических движков, включая BigQuery, Apache Spark, Apache Hive и Apache Flink.
BigQuery Metastore предлагает подход, основанный на унификации метаданных, позволяя разным движкам обращаться к одной копии данных. Он поддерживает Apache Iceberg, что упрощает работу с данными в lakehouse-архитектуре
😎 Ключевые преимущества:
✅ Кросс-совместимость – единый источник метаданных для всех аналитических движков
✅ Поддержка открытых форматов – Apache Iceberg, внешние таблицы BigQuery
✅ Встроенное управление данными – контроль доступа, аудит, маскирование
✅ Полностью управляемый сервис – без настройки, автоматически масштабируется
🤔 Зачем это нужно?
Традиционные метасторы привязаны к конкретным движкам, что вынуждает дублировать определения таблиц и синхронизировать метаданные вручную. Это приводит к неактуальным данным, сложностям с безопасностью и высоким затратам на администрирование.
🤔 Что это меняет?
BigQuery Metastore – шаг в сторону стандартизации управления данными. Он делает lakehouse-архитектуру более доступной, упрощает аналитику и снижает затраты на поддержку инфраструктуры.
🔎Подробнее тут
Google анонсировала высокомасштабируемый сервис метаданных для архитектуры Lakehouse. Новое метахранилище работает во время выполнения и поддерживает несколько аналитических движков, включая BigQuery, Apache Spark, Apache Hive и Apache Flink.
BigQuery Metastore предлагает подход, основанный на унификации метаданных, позволяя разным движкам обращаться к одной копии данных. Он поддерживает Apache Iceberg, что упрощает работу с данными в lakehouse-архитектуре
😎 Ключевые преимущества:
✅ Кросс-совместимость – единый источник метаданных для всех аналитических движков
✅ Поддержка открытых форматов – Apache Iceberg, внешние таблицы BigQuery
✅ Встроенное управление данными – контроль доступа, аудит, маскирование
✅ Полностью управляемый сервис – без настройки, автоматически масштабируется
🤔 Зачем это нужно?
Традиционные метасторы привязаны к конкретным движкам, что вынуждает дублировать определения таблиц и синхронизировать метаданные вручную. Это приводит к неактуальным данным, сложностям с безопасностью и высоким затратам на администрирование.
🤔 Что это меняет?
BigQuery Metastore – шаг в сторону стандартизации управления данными. Он делает lakehouse-архитектуру более доступной, упрощает аналитику и снижает затраты на поддержку инфраструктуры.
🔎Подробнее тут
Google Cloud Blog
Introducing BigQuery metastore fully managed metadata service | Google Cloud Blog
BigQuery metastore is a fully managed, unified metadata service that provides processing engine interoperability while enabling consistent data governance.
🔥 WILDCHAT-50M: крупнейший открытый датасет диалогов для языковых моделей
Исследователи представили WILDCHAT-50M — крупнейший в своем роде открытый датасет, содержащий огромный массив данных из реальных чатов. Этот набор данных создавался для улучшения обучения языковых моделей, особенно в контексте обработки диалогов и взаимодействия с пользователями. В основе WILDCHAT-50M лежат более 125 миллионов стенограмм чатов, охватывающих свыше миллиона разговоров. Это делает его важным ресурсом для исследователей и разработчиков, работающих над созданием продвинутых языковых моделей.
Одной из ключевых особенностей WILDCHAT-50M является его происхождение: он создан на основе проекта WildChat и предназначен для использования в разработке RE-WILD SFT — метода обучения с учителем (Supervised Fine-Tuning). Этот метод позволяет моделям лучше адаптироваться к реалистичным сценариям общения и повышает их способность к поддержанию диалога в долгосрочной перспективе.
Большинство существующих наборов данных для обучения языковых моделей сосредоточены на структурированных текстах, статьях или специально подготовленных диалогах, но WILDCHAT-50M выделяется тем, что содержит реальные диалоги пользователей. Это дает возможность моделям лучше понимать живую речь, контекст и динамику общения, делая их ответы более естественными и релевантными.
Важно отметить, что WILDCHAT-50M представляет собой один из самых масштабных открытых бенчмарков в своей категории. Это означает, что разработчики и исследователи могут свободно использовать его для тестирования своих моделей, проведения экспериментов и улучшения алгоритмов обработки естественного языка. Открытость данного датасета способствует развитию технологий диалоговых систем и созданию более интеллектуальных виртуальных помощников, чат-ботов и других AI-решений.
С появлением таких наборов данных, как WILDCHAT-50M, языковые модели получают возможность значительно повысить качество генерации текста, учитывать нюансы разговорной речи и становиться ближе к реальному человеческому общению.
Исследователи представили WILDCHAT-50M — крупнейший в своем роде открытый датасет, содержащий огромный массив данных из реальных чатов. Этот набор данных создавался для улучшения обучения языковых моделей, особенно в контексте обработки диалогов и взаимодействия с пользователями. В основе WILDCHAT-50M лежат более 125 миллионов стенограмм чатов, охватывающих свыше миллиона разговоров. Это делает его важным ресурсом для исследователей и разработчиков, работающих над созданием продвинутых языковых моделей.
Одной из ключевых особенностей WILDCHAT-50M является его происхождение: он создан на основе проекта WildChat и предназначен для использования в разработке RE-WILD SFT — метода обучения с учителем (Supervised Fine-Tuning). Этот метод позволяет моделям лучше адаптироваться к реалистичным сценариям общения и повышает их способность к поддержанию диалога в долгосрочной перспективе.
Большинство существующих наборов данных для обучения языковых моделей сосредоточены на структурированных текстах, статьях или специально подготовленных диалогах, но WILDCHAT-50M выделяется тем, что содержит реальные диалоги пользователей. Это дает возможность моделям лучше понимать живую речь, контекст и динамику общения, делая их ответы более естественными и релевантными.
Важно отметить, что WILDCHAT-50M представляет собой один из самых масштабных открытых бенчмарков в своей категории. Это означает, что разработчики и исследователи могут свободно использовать его для тестирования своих моделей, проведения экспериментов и улучшения алгоритмов обработки естественного языка. Открытость данного датасета способствует развитию технологий диалоговых систем и созданию более интеллектуальных виртуальных помощников, чат-ботов и других AI-решений.
С появлением таких наборов данных, как WILDCHAT-50M, языковые модели получают возможность значительно повысить качество генерации текста, учитывать нюансы разговорной речи и становиться ближе к реальному человеческому общению.
huggingface.co
WildChat-50m - a nyu-dice-lab Collection
All model responses associated with the WildChat-50m paper.
😎🛠Очередная подборка инструментов для работы с Big Data
NocoDB - это инновационная open-source платформа, которая превращает традиционные реляционные базы данных, такие как MySQL, PostgreSQL, SQLite и MSSQL, в удобный no-code инструмент для работы с данными. С её помощью можно легко управлять таблицами, создавать API и визуализировать информацию без написания кода. Гибкость NocoDB делает её отличной альтернативой Airtable, но с полной свободой развертывания. Вы можете установить её локально или на собственном сервере, сохраняя полный контроль над данными. Для бизнеса это важное преимущество, так как позволяет избегать ограничений SaaS-решений и потенциальных проблем с конфиденциальностью данных.
DrawDB - это инструмент для управления базами данных, который делает моделирование данных наглядным и удобным. Он предоставляет графический интерфейс для создания, редактирования и визуализации структуры БД, упрощая работу с данными и связями между таблицами. Этот инструмент особенно полезен разработчикам и аналитикам, которым нужно быстро спроектировать базу данных без глубоких знаний SQL. DrawDB поддерживает автоматическую генерацию SQL-кода, экспорт моделей и интеграцию с популярными СУБД, такими как MySQL, PostgreSQL и SQLite.
Dolt - это уникальная реляционная база данных, которая сочетает в себе традиционные SQL-функции с механизмом контроля версий, аналогичным Git. Она позволяет не только работать с данными с помощью SQL-запросов, но и отслеживать изменения на уровне строк, создавать ветки, объединять их, а также просматривать историю изменений.
ScyllaDB - это мощное и масштабируемое NoSQL-хранилище, совместимое с Apache Cassandra, но превосходящее его по производительности. Благодаря использованию фреймворка Seastar, ScyllaDB эффективно управляет многопоточными системами и оптимизирует работу на современных многоядерных процессорах. Асинхронная обработка запросов позволяет значительно снизить задержки и повысить пропускную способность, делая ScyllaDB отличным выбором для высоконагруженных систем и распределенных баз данных.
Metabase - это интуитивно понятная платформа для бизнес-аналитики, позволяющая визуализировать данные, создавать отчёты и дашборды без необходимости глубоких знаний SQL. Она поддерживает работу с различными базами данных, такими как MySQL, PostgreSQL, MongoDB и другие, обеспечивая удобный интерфейс для анализа данных и поиска инсайтов.
Azimutt - это мощный инструмент, предназначенный для визуализации, проектирования и анализа сложных баз данных. Он позволяет разработчикам и аналитикам создавать диаграммы сущностей и связей (ERD), исследовать связи между таблицами, искать данные в схемах и документировать структуру баз данных. Среди ключевых функций Azimutt — масштабируемая визуализация, удобный поиск и фильтрация таблиц, интерактивное отображение внешних ключей и механизм обнаружения потенциальных проблем в структуре базы. Это делает инструмент полезным как при разработке новых схем, так и при анализе существующих баз данных.
sync - это решение для синхронизации данных из рабочих баз данных в локальные экземпляры, поддерживающее MongoDB и MySQL. Оно позволяет передавать изменения в реальном времени, используя Change Streams для MongoDB и binlog для MySQL, обеспечивая инкрементальную синхронизацию. Инструмент поддерживает как полную начальную синхронизацию, так и постоянное обновление данных, гарантируя отказоустойчивость и возможность восстановления с последней обработанной точки в случае перезапуска. Это делает Sync удобным инструментом для работы с распределенными базами данных и аналитическими задачами.
NocoDB - это инновационная open-source платформа, которая превращает традиционные реляционные базы данных, такие как MySQL, PostgreSQL, SQLite и MSSQL, в удобный no-code инструмент для работы с данными. С её помощью можно легко управлять таблицами, создавать API и визуализировать информацию без написания кода. Гибкость NocoDB делает её отличной альтернативой Airtable, но с полной свободой развертывания. Вы можете установить её локально или на собственном сервере, сохраняя полный контроль над данными. Для бизнеса это важное преимущество, так как позволяет избегать ограничений SaaS-решений и потенциальных проблем с конфиденциальностью данных.
DrawDB - это инструмент для управления базами данных, который делает моделирование данных наглядным и удобным. Он предоставляет графический интерфейс для создания, редактирования и визуализации структуры БД, упрощая работу с данными и связями между таблицами. Этот инструмент особенно полезен разработчикам и аналитикам, которым нужно быстро спроектировать базу данных без глубоких знаний SQL. DrawDB поддерживает автоматическую генерацию SQL-кода, экспорт моделей и интеграцию с популярными СУБД, такими как MySQL, PostgreSQL и SQLite.
Dolt - это уникальная реляционная база данных, которая сочетает в себе традиционные SQL-функции с механизмом контроля версий, аналогичным Git. Она позволяет не только работать с данными с помощью SQL-запросов, но и отслеживать изменения на уровне строк, создавать ветки, объединять их, а также просматривать историю изменений.
ScyllaDB - это мощное и масштабируемое NoSQL-хранилище, совместимое с Apache Cassandra, но превосходящее его по производительности. Благодаря использованию фреймворка Seastar, ScyllaDB эффективно управляет многопоточными системами и оптимизирует работу на современных многоядерных процессорах. Асинхронная обработка запросов позволяет значительно снизить задержки и повысить пропускную способность, делая ScyllaDB отличным выбором для высоконагруженных систем и распределенных баз данных.
Metabase - это интуитивно понятная платформа для бизнес-аналитики, позволяющая визуализировать данные, создавать отчёты и дашборды без необходимости глубоких знаний SQL. Она поддерживает работу с различными базами данных, такими как MySQL, PostgreSQL, MongoDB и другие, обеспечивая удобный интерфейс для анализа данных и поиска инсайтов.
Azimutt - это мощный инструмент, предназначенный для визуализации, проектирования и анализа сложных баз данных. Он позволяет разработчикам и аналитикам создавать диаграммы сущностей и связей (ERD), исследовать связи между таблицами, искать данные в схемах и документировать структуру баз данных. Среди ключевых функций Azimutt — масштабируемая визуализация, удобный поиск и фильтрация таблиц, интерактивное отображение внешних ключей и механизм обнаружения потенциальных проблем в структуре базы. Это делает инструмент полезным как при разработке новых схем, так и при анализе существующих баз данных.
sync - это решение для синхронизации данных из рабочих баз данных в локальные экземпляры, поддерживающее MongoDB и MySQL. Оно позволяет передавать изменения в реальном времени, используя Change Streams для MongoDB и binlog для MySQL, обеспечивая инкрементальную синхронизацию. Инструмент поддерживает как полную начальную синхронизацию, так и постоянное обновление данных, гарантируя отказоустойчивость и возможность восстановления с последней обработанной точки в случае перезапуска. Это делает Sync удобным инструментом для работы с распределенными базами данных и аналитическими задачами.
GitHub
GitHub - nocodb/nocodb: 🔥 🔥 🔥 Open Source Airtable Alternative
🔥 🔥 🔥 Open Source Airtable Alternative. Contribute to nocodb/nocodb development by creating an account on GitHub.
🤔Векторные vs Графовые СУБД: что выбрать?
При работе с неструктурированными и взаимосвязанными данными важно подобрать оптимальную систему управления базами данных. Разберем ключевые отличия векторных и графовых СУБД.
😎Векторные СУБД
📌 Преимущества:
✅ Оптимизированы для поиска по сходству (например, в NLP и компьютерном зрении).
✅ Высокая скорость поиска ближайших соседей (ANN).
✅ Эффективны при работе с embedding-моделями.
⚠️ Недостатки:
❌ Не подходят для сложных взаимосвязей между объектами.
❌ Ограничены в традиционных реляционных запросах.
😎Графовые СУБД
📌 Преимущества:
✅ Отлично работают с разветвленными структурами данных (социальные сети, маршрутизация).
✅ Оптимизированы для сложных запросов по связям.
✅ Гибкость схемы хранения данных.
⚠️ Недостатки:
❌ Медленнее на больших объемах данных при линейном поиске.
❌ Неэффективны для обработки высокоразмерных векторов.
🧐Выводы:
✅ Если вам нужен поиск по embeddings — выбирайте векторные СУБД (Faiss, Milvus).
✅ Если важны сложные связи между данными — используйте графовые СУБД (Neo4j, ArangoDB).
При работе с неструктурированными и взаимосвязанными данными важно подобрать оптимальную систему управления базами данных. Разберем ключевые отличия векторных и графовых СУБД.
😎Векторные СУБД
📌 Преимущества:
✅ Оптимизированы для поиска по сходству (например, в NLP и компьютерном зрении).
✅ Высокая скорость поиска ближайших соседей (ANN).
✅ Эффективны при работе с embedding-моделями.
⚠️ Недостатки:
❌ Не подходят для сложных взаимосвязей между объектами.
❌ Ограничены в традиционных реляционных запросах.
😎Графовые СУБД
📌 Преимущества:
✅ Отлично работают с разветвленными структурами данных (социальные сети, маршрутизация).
✅ Оптимизированы для сложных запросов по связям.
✅ Гибкость схемы хранения данных.
⚠️ Недостатки:
❌ Медленнее на больших объемах данных при линейном поиске.
❌ Неэффективны для обработки высокоразмерных векторов.
🧐Выводы:
✅ Если вам нужен поиск по embeddings — выбирайте векторные СУБД (Faiss, Milvus).
✅ Если важны сложные связи между данными — используйте графовые СУБД (Neo4j, ArangoDB).
💡Новость дня: Гарвард запустил архив федеральных данных с data.gov
Library Innovation Lab при Гарвардском университете представил архив данных data.gov на платформе Source Cooperative. Коллекция объёмом 16 ТБ содержит свыше 311 000 датасетов, собранных в 2024–2025 годах, и представляет собой полную копию федеральных публичных данных, связанных с data.gov.
Архив будет ежедневно обновляться, обеспечивая доступ к актуальной информации для академических исследований, журналистов, аналитиков и общественного использования. В него включены разнообразные наборы данных, касающиеся экологии, здравоохранения, экономики, транспорта, сельского хозяйства и многих других сфер.
Кроме того, опубликовано открытое программное обеспечение (GitHub) для создания аналогичных репозиториев и архивирования данных. Это позволит другим организациям и исследовательским центрам развивать собственные хранилища государственных данных. Проект поддерживается Filecoin Foundation и Rockefeller Brothers Fund
Library Innovation Lab при Гарвардском университете представил архив данных data.gov на платформе Source Cooperative. Коллекция объёмом 16 ТБ содержит свыше 311 000 датасетов, собранных в 2024–2025 годах, и представляет собой полную копию федеральных публичных данных, связанных с data.gov.
Архив будет ежедневно обновляться, обеспечивая доступ к актуальной информации для академических исследований, журналистов, аналитиков и общественного использования. В него включены разнообразные наборы данных, касающиеся экологии, здравоохранения, экономики, транспорта, сельского хозяйства и многих других сфер.
Кроме того, опубликовано открытое программное обеспечение (GitHub) для создания аналогичных репозиториев и архивирования данных. Это позволит другим организациям и исследовательским центрам развивать собственные хранилища государственных данных. Проект поддерживается Filecoin Foundation и Rockefeller Brothers Fund
Какой метод вы бы предпочли для ускорения join-операций в Spark ?
Anonymous Poll
12%
Применение broadcast join
16%
Использование sort-merge join вместо hash join
30%
Предварительное разбиение данных (bucketing)
42%
Добавление Partition Key в таблицы
🔍 Ключевые тренды в сфере Big Data в 2025 году
Эксперты Xenoss представили обзор главных тенденций, которые будут определять развитие Big Data в ближайшем будущем. Несмотря на мнение инженера Google BigQuery Джордана Тигани о возможном "закате" больших данных, аналитики убеждены, что технология продолжает эволюционировать.
🚀 Гипермасштабируемые платформы становятся критически важными для обработки огромных объемов информации. Развитие NVMe SSD, многопоточных CPU и высокоскоростных сетей позволяет анализировать петабайты данных почти мгновенно. Это открывает новые возможности в AI и ML, где модели теперь не просто делают прогнозы, а предлагают детализированные стратегии на основе исторических и потоковых данных.
📊 Zero-party data выходит на первый план, предоставляя компаниям персонализированную информацию, которую пользователи сознательно делятся. Интеграция таких данных с AI и большими языковыми моделями (LLM) улучшает прогнозирование и точность рекомендаций, особенно в медиа, ритейле, финансах и здравоохранении.
⚡️ Объединение потоковой и пакетной обработки позволяет бизнесу находить баланс между скоростью и точностью. Гибридные архитектуры, такие как Lambda, помогают мгновенно реагировать на события, сохраняя возможность глубокого анализа исторических данных.
🔧 Оптимизация ETL/ELT-процессов становится приоритетом. Компании отходят от традиционных схем обработки данных, переходя к продвинутым ELT-конвейерам, использующим AI для автоматизированной фильтрации, проверки качества и обнаружения аномалий.
🛠 Развитие оркестрации данных упрощает управление потоками информации и устранение "сайло-эффекта". Открытые решения, такие как Apache Airflow и Dagster, делают сложные оркестрационные процессы доступными и гибкими.
🌎 Big Data → Big Ops: фокус смещается с простого хранения данных на их активное использование в автоматизированных операционных процессах. Главная цель — не просто собирать информацию, а максимально эффективно ее применять в маркетинге, продажах и клиентском сервисе.
🧩 Компонуемые data-стэки набирают популярность, позволяя компаниям комбинировать лучшие инструменты для разных задач. Поддержка Apache Arrow, Substrait и open table formats делает хранение данных более гибким и снижает зависимость от конкретных вендоров.
🔮 Квантовые вычисления начинают революционизировать Big Data, решая задачи, которые раньше были невозможны для классических компьютеров. Банковский сектор, здравоохранение и логистика уже тестируют возможности квантового анализа для финансового моделирования, медицинских исследований и оптимизации маршрутов.
💰 Баланс между производительностью и стоимостью становится критически важным. Компании, не оптимизирующие инфраструктуру, сталкиваются с экспоненциальным ростом расходов. Один из примеров в статье — снижение годового облачного бюджета AdTech-компании с $2,5 млн до $144 000 за счёт переосмысления архитектуры.
Эксперты Xenoss представили обзор главных тенденций, которые будут определять развитие Big Data в ближайшем будущем. Несмотря на мнение инженера Google BigQuery Джордана Тигани о возможном "закате" больших данных, аналитики убеждены, что технология продолжает эволюционировать.
🚀 Гипермасштабируемые платформы становятся критически важными для обработки огромных объемов информации. Развитие NVMe SSD, многопоточных CPU и высокоскоростных сетей позволяет анализировать петабайты данных почти мгновенно. Это открывает новые возможности в AI и ML, где модели теперь не просто делают прогнозы, а предлагают детализированные стратегии на основе исторических и потоковых данных.
📊 Zero-party data выходит на первый план, предоставляя компаниям персонализированную информацию, которую пользователи сознательно делятся. Интеграция таких данных с AI и большими языковыми моделями (LLM) улучшает прогнозирование и точность рекомендаций, особенно в медиа, ритейле, финансах и здравоохранении.
⚡️ Объединение потоковой и пакетной обработки позволяет бизнесу находить баланс между скоростью и точностью. Гибридные архитектуры, такие как Lambda, помогают мгновенно реагировать на события, сохраняя возможность глубокого анализа исторических данных.
🔧 Оптимизация ETL/ELT-процессов становится приоритетом. Компании отходят от традиционных схем обработки данных, переходя к продвинутым ELT-конвейерам, использующим AI для автоматизированной фильтрации, проверки качества и обнаружения аномалий.
🛠 Развитие оркестрации данных упрощает управление потоками информации и устранение "сайло-эффекта". Открытые решения, такие как Apache Airflow и Dagster, делают сложные оркестрационные процессы доступными и гибкими.
🌎 Big Data → Big Ops: фокус смещается с простого хранения данных на их активное использование в автоматизированных операционных процессах. Главная цель — не просто собирать информацию, а максимально эффективно ее применять в маркетинге, продажах и клиентском сервисе.
🧩 Компонуемые data-стэки набирают популярность, позволяя компаниям комбинировать лучшие инструменты для разных задач. Поддержка Apache Arrow, Substrait и open table formats делает хранение данных более гибким и снижает зависимость от конкретных вендоров.
🔮 Квантовые вычисления начинают революционизировать Big Data, решая задачи, которые раньше были невозможны для классических компьютеров. Банковский сектор, здравоохранение и логистика уже тестируют возможности квантового анализа для финансового моделирования, медицинских исследований и оптимизации маршрутов.
💰 Баланс между производительностью и стоимостью становится критически важным. Компании, не оптимизирующие инфраструктуру, сталкиваются с экспоненциальным ростом расходов. Один из примеров в статье — снижение годового облачного бюджета AdTech-компании с $2,5 млн до $144 000 за счёт переосмысления архитектуры.
Xenoss - AI and Data Software Development Company
Top Big data trends in 2025
In 2023, Jordan Tigani, a founding engineer of Google BigQuery, claimed Big Data could be dead by 2025. At Xenoss, we see it differently. Tigani's statement isn't obsolete or surprising—in fact, his provocative article garnered significant attention in…
🚀🐝Распределенность Hive vs. распределенность Spark: преимущества и недостатки
Apache Hive и Apache Spark – два мощных инструмента для работы с большими данными, но их распределенность реализована по-разному.
🔹 Hive: SQL-интерфейс для Hadoop
Преимущества:
✅ Поддержка огромных объемов данных за счет хранения в HDFS
✅ Интуитивно понятный SQL-подобный язык (HiveQL)
✅ Хорош для пакетной обработки (Batch Processing)
Недостатки:
❌ Высокая задержка выполнения запросов (использует MapReduce/Tez)
❌ Медленная обработка в сравнении со Spark
❌ Ограниченные возможности для потоковой обработки данных
🔹 Spark: быстрая распределенная обработка
Преимущества:
✅ In-memory вычисления → высокая скорость
✅ Поддержка потоковой обработки (Structured Streaming)
✅ Гибкость: работает с HDFS, S3, Cassandra, JDBC и др.
Недостатки:
❌ Требует больше оперативной памяти
❌ Сложнее в администрировании
❌ Не всегда эффективен при обработке огромных объемов архивных данных
💡 Вывод:
Hive – для сложных SQL-запросов и пакетной обработки, Spark – для высокоскоростной аналитики и потоковой обработки данных.
Apache Hive и Apache Spark – два мощных инструмента для работы с большими данными, но их распределенность реализована по-разному.
🔹 Hive: SQL-интерфейс для Hadoop
Преимущества:
✅ Поддержка огромных объемов данных за счет хранения в HDFS
✅ Интуитивно понятный SQL-подобный язык (HiveQL)
✅ Хорош для пакетной обработки (Batch Processing)
Недостатки:
❌ Высокая задержка выполнения запросов (использует MapReduce/Tez)
❌ Медленная обработка в сравнении со Spark
❌ Ограниченные возможности для потоковой обработки данных
🔹 Spark: быстрая распределенная обработка
Преимущества:
✅ In-memory вычисления → высокая скорость
✅ Поддержка потоковой обработки (Structured Streaming)
✅ Гибкость: работает с HDFS, S3, Cassandra, JDBC и др.
Недостатки:
❌ Требует больше оперативной памяти
❌ Сложнее в администрировании
❌ Не всегда эффективен при обработке огромных объемов архивных данных
💡 Вывод:
Hive – для сложных SQL-запросов и пакетной обработки, Spark – для высокоскоростной аналитики и потоковой обработки данных.
🗂VAST Data меняет правила игры в хранении данных
Как считает автор статьи, VAST Data делает важный шаг к созданию универсальной платформы для хранения данных, добавляя поддержку блочного хранения и встроенную обработку событий.
✅ Блочное хранилище теперь объединяет все основные протоколы (файлы, объекты, таблицы, потоки данных), устраняя необходимость в разрозненной инфраструктуре. Это означает единое, мощное и экономичное решение для компаний, работающих с AI и аналитикой.
✅ VAST Event Broker заменяет сложные event-системы, такие как Kafka, встроенной потоковой обработкой данных. Теперь AI и аналитика могут получать события в реальном времени без дополнительного ПО.
🚀 Основные особенности :
✅ Ускорение AI-аналитики благодаря мгновенной передаче данных
✅ Полная совместимость с MySQL, PostgreSQL, Oracle и облачными сервисами
✅ Масштабируемая архитектура без компромиссов в производительности
🔎Подробнее тут
Как считает автор статьи, VAST Data делает важный шаг к созданию универсальной платформы для хранения данных, добавляя поддержку блочного хранения и встроенную обработку событий.
✅ Блочное хранилище теперь объединяет все основные протоколы (файлы, объекты, таблицы, потоки данных), устраняя необходимость в разрозненной инфраструктуре. Это означает единое, мощное и экономичное решение для компаний, работающих с AI и аналитикой.
✅ VAST Event Broker заменяет сложные event-системы, такие как Kafka, встроенной потоковой обработкой данных. Теперь AI и аналитика могут получать события в реальном времени без дополнительного ПО.
🚀 Основные особенности :
✅ Ускорение AI-аналитики благодаря мгновенной передаче данных
✅ Полная совместимость с MySQL, PostgreSQL, Oracle и облачными сервисами
✅ Масштабируемая архитектура без компромиссов в производительности
🔎Подробнее тут
Database Trends and Applications
VAST DataStore Becomes Universal, Multiprotocol Storage Platform with Block Storage and Event-Processing
VAST Data, the AI data platform company, is announcing two significant advancements for the VAST Data Platform, unveiling Block storage functionality for the VAST DataStore, as well as the new VAST Event Broker. These latest capabilities aim to better accommodate…
У вас есть датафрейм с пропущенными значениями в случайных местах. Какой способ обработки данных наиболее устойчив для вас?
Anonymous Poll
40%
Заполнение медианой для числовых и модой для категориальных признаков
23%
Удаление всех строк с пропущенными значениями
20%
Интерполяция по линейной регрессии на основе других признаков
17%
Заполнение средним значением для числовых и "Unknown" для категориальных
🌎ТОП мартовских ивентов в Data Science
1-16 марта - Kryptonite ML Challenge – Онлайн - https://kryptonite-ml.ru/
2 марта - Data Science Meetup – Новосибирск, Россия - https://koronatech.ru/events/200/
4 марта - T-Meetup: AI в SWE – Москва, Россия - https://meetup.tbank.ru/event/t-meetup-ai-v-swe/
6 марта - Okko Tech Team митап. Tech Mix: AI, SPRING & SAFE CODE - Санкт-Петербург, Россия - https://okkomeetup.timepad.ru/event/3231462/
6 марта - Backend Odyssey - Москва, Россия - https://x5-tech-event.timepad.ru/event/3239510/
18 марта - ML Party 2025 - Санкт-Петербург, Россия - https://events.yandex.ru/events/ml-party-18-03-2025/index
27 марта - DATA+AI 2025 – Москва, Россия - https://www.osp.ru/lp/data-ai2025
1-16 марта - Kryptonite ML Challenge – Онлайн - https://kryptonite-ml.ru/
2 марта - Data Science Meetup – Новосибирск, Россия - https://koronatech.ru/events/200/
4 марта - T-Meetup: AI в SWE – Москва, Россия - https://meetup.tbank.ru/event/t-meetup-ai-v-swe/
6 марта - Okko Tech Team митап. Tech Mix: AI, SPRING & SAFE CODE - Санкт-Петербург, Россия - https://okkomeetup.timepad.ru/event/3231462/
6 марта - Backend Odyssey - Москва, Россия - https://x5-tech-event.timepad.ru/event/3239510/
18 марта - ML Party 2025 - Санкт-Петербург, Россия - https://events.yandex.ru/events/ml-party-18-03-2025/index
27 марта - DATA+AI 2025 – Москва, Россия - https://www.osp.ru/lp/data-ai2025
kryptonite-ml.ru
Kryptonite ML Challenge
Победи DeepFake! Участвуй в Kryptonite ML Challenge и создай DeepFake-устойчивую Face ID-модель
🐼 Pandas устарел, FireDucks предлагает замену без переписывания кода
Pandas — самая популярная библиотека для обработки данных, но она давно страдает от низкой скорости. Современные альтернативы, такие как Polars, значительно её превосходят, но переход на новые фреймворки требует изучения нового API, что останавливает многих разработчиков.
🔥 FireDucks решает эту проблему, предлагая полную совместимость с Pandas, но с многопоточной обработкой и ускорением компилятора. Всё, что нужно для перехода — изменить одну строку:
import fireducks.pandas as pd
FireDucks быстрее Pandas и Polars, что подтверждается бенчмарками:
🔗 GitHub-репозиторий FireDucks: https://github.com/fireducks-dev/fireducks
🔗 Сравнение с Polars и Pandas: https://github.com/fireducks-dev/fireducks/blob/main/notebooks/FireDucks_vs_Pandas_vs_Polars.ipynb
🔗 Подробные бенчмарки: https://fireducks-dev.github.io/docs/benchmarks/
Pandas — самая популярная библиотека для обработки данных, но она давно страдает от низкой скорости. Современные альтернативы, такие как Polars, значительно её превосходят, но переход на новые фреймворки требует изучения нового API, что останавливает многих разработчиков.
🔥 FireDucks решает эту проблему, предлагая полную совместимость с Pandas, но с многопоточной обработкой и ускорением компилятора. Всё, что нужно для перехода — изменить одну строку:
import fireducks.pandas as pd
FireDucks быстрее Pandas и Polars, что подтверждается бенчмарками:
🔗 GitHub-репозиторий FireDucks: https://github.com/fireducks-dev/fireducks
🔗 Сравнение с Polars и Pandas: https://github.com/fireducks-dev/fireducks/blob/main/notebooks/FireDucks_vs_Pandas_vs_Polars.ipynb
🔗 Подробные бенчмарки: https://fireducks-dev.github.io/docs/benchmarks/
🎲 Условная вероятность: как обновлять знания с появлением новых данных
Когда мы получаем новую информацию, наши представления о вероятностях событий меняются. Это фундаментальный принцип условной вероятности, который применяется в машинном обучении, медицине, финансах и других областях.
💡 Простые примеры:
🔹 Шанс вытянуть короля из колоды – 4/52. Если известно, что карта — картинка, вероятность повышается до 4/12.
🔹 Вероятность выпадения 6 на кубике — 1/6. Если сказано, что выпало четное число, шанс уже 1/3.
💡 Практическое применение:
✅ Медицина: анализ точности тестов (чувствительность, специфичность, ложноположительные результаты).
✅ Финансы: оценка риска падения рынка, вероятность дефолта заемщика.
✅ Машинное обучение: фильтрация спама, диагностика заболеваний, кредитный скоринг.
📌 Байесовская теорема помогает обновлять вероятности по мере поступления новых данных. Например, положительный тест на редкое заболевание не всегда означает, что пациент болен – вероятность зависит от распространенности болезни и точности теста.
Подробнее об этом читайте в статье: 👉 Conditional Probability
Когда мы получаем новую информацию, наши представления о вероятностях событий меняются. Это фундаментальный принцип условной вероятности, который применяется в машинном обучении, медицине, финансах и других областях.
💡 Простые примеры:
🔹 Шанс вытянуть короля из колоды – 4/52. Если известно, что карта — картинка, вероятность повышается до 4/12.
🔹 Вероятность выпадения 6 на кубике — 1/6. Если сказано, что выпало четное число, шанс уже 1/3.
💡 Практическое применение:
✅ Медицина: анализ точности тестов (чувствительность, специфичность, ложноположительные результаты).
✅ Финансы: оценка риска падения рынка, вероятность дефолта заемщика.
✅ Машинное обучение: фильтрация спама, диагностика заболеваний, кредитный скоринг.
📌 Байесовская теорема помогает обновлять вероятности по мере поступления новых данных. Например, положительный тест на редкое заболевание не всегда означает, что пациент болен – вероятность зависит от распространенности болезни и точности теста.
Подробнее об этом читайте в статье: 👉 Conditional Probability
Datacamp
Conditional Probability: A Close Look
Conditional probability is the likelihood of an event occurring given another has happened, found by dividing the joint probability by the event's probability.
🔥Everything to Markdown (E2M): всё в Markdown за секунды!
Если нужно быстро и качественно преобразовать файлы разных форматов в Markdown, обратите внимание на Everything to Markdown (E2M) — Python-библиотеку, которая делает это автоматически!
📌 Что умеет E2M?
E2M поддерживает конвертацию множества форматов:
✅ Текстовые документы: doc, docx, epub
✅ Веб-страницы: html, htm, url
✅ Презентации и PDF: ppt, pptx, pdf
✅ Аудиофайлы: mp3, m4a (распознавание речи)
🤔 Как это работает?
Процесс конвертации строится на двух ключевых модулях:
🔹 Парсер — извлекает текст и изображения из файлов.
🔹 Конвертер — преобразует их в Markdown.
🎯 Зачем это нужно?
Главная цель E2M — создание текстовых данных для:
🚀 Retrieval-Augmented Generation (RAG)
🤖 Обучения и дообучения языковых моделей
📚 Создания удобной документации
💡 Почему это удобно?
E2M автоматизирует рутинную работу, позволяя быстро структурировать данные, а Markdown — это универсальный формат, который легко интегрировать в любые системы.
Если нужно быстро и качественно преобразовать файлы разных форматов в Markdown, обратите внимание на Everything to Markdown (E2M) — Python-библиотеку, которая делает это автоматически!
📌 Что умеет E2M?
E2M поддерживает конвертацию множества форматов:
✅ Текстовые документы: doc, docx, epub
✅ Веб-страницы: html, htm, url
✅ Презентации и PDF: ppt, pptx, pdf
✅ Аудиофайлы: mp3, m4a (распознавание речи)
🤔 Как это работает?
Процесс конвертации строится на двух ключевых модулях:
🔹 Парсер — извлекает текст и изображения из файлов.
🔹 Конвертер — преобразует их в Markdown.
🎯 Зачем это нужно?
Главная цель E2M — создание текстовых данных для:
🚀 Retrieval-Augmented Generation (RAG)
🤖 Обучения и дообучения языковых моделей
📚 Создания удобной документации
💡 Почему это удобно?
E2M автоматизирует рутинную работу, позволяя быстро структурировать данные, а Markdown — это универсальный формат, который легко интегрировать в любые системы.
Вы обучили модель и получили AUC-ROC = 0.95. Что бы вы предпочли сделать для проверки качества работы модели?
Anonymous Poll
14%
Проверить стабильность метрики на кросс-валидации
26%
Оценить Precision-Recall для несбалансированных классов
41%
Провести тестирование на отложенной выборке, не использовавшейся при обучении
18%
Проверить, нет ли утечки данных между обучением и тестированием
📊 Apache Iceberg vs Delta Lake vs Hudi: Какой формат выбрать для AI/ML?
Если вы работаете с машинным обучением (ML) или аналитикой, выбор правильного формата хранения данных может значительно повлиять на скорость, масштабируемость и удобство работы с данными.
🔥 Почему важен выбор формата?
Традиционные data lakes сталкиваются с проблемами:
🚧 Нет ACID-транзакций – возможны конфликты при чтении/записи
📉 Нет версии данных – сложно отслеживать изменения
🐢 Медленные запросы – обработка больших объемов данных тормозит аналитику
💡Apache Iceberg – лучший выбор для аналитики и batch-процессов
📌 Когда использовать?
✅ Если вы обрабатываете исторические данные
✅ Если нужны оптимизация запросов и гибкое управление схемами
✅ Если важна поддержка batch-процессов
📌 Преимущества
✅ ACID-транзакции с изоляцией снапшотов (snapshot isolation)
✅ Time travel – возможность восстанавливать старые версии данных
✅ Скрытое разбиение (hidden partitioning) ускоряет запросы
✅ Поддержка Spark, Flink, Trino, Presto
📌 Где применять?
🔸 Анализ больших данных (BI, аналитика трендов)
🔸 Хранение данных для последующего обучения ML-моделей
🔸 Фиксация данных для аудита или отката
💡Delta Lake – лучший для потоковой обработки и AI/ML
📌 Когда использовать?
✅ Если нужны потоковые данные для ML
✅ Если важны реальные ACID-транзакции
✅ Если используете Apache Spark
📌 Преимущества
✅ Глубокая интеграция с Apache Spark
✅ Инкрементальная обработка данных (не перезаписывает весь датасет)
✅ Z-Ordering – кластеризация схожих данных для ускорения запросов
✅ Time travel – откат и восстановление данных
📌 Где применять?
🔹 ML-пайплайны в реальном времени (анализ транзакций, предсказательная аналитика)
🔹 ETL-процессы
🔹 Обработка данных из IoT-устройств, логов
💡Apache Hudi – лучший для real-time обновлений
📌 Когда использовать?
✅ Если нужен быстрый real-time анализ
✅ Если важна частая актуализация данных
✅ Если работаете с Apache Flink, Spark или Kafka
📌 Преимущества
✅ ACID-транзакции и контроль версий данных
✅ Merge-on-Read (MoR) – возможность читать обновленные данные без полной перезаписи
✅ Оптимизирован для real-time ML (фрод-анализ, рекомендательные системы)
✅ Работа с микробатчами и потоковой обработкой
📌 Где применять?
🔸 Фрод-мониторинг и антифрод (банковские транзакции, безопасность)
🔸 Рекомендательные системы (e-commerce, потоковое видео)
🔸 AdTech (реклама, аукционы)
🤔 Какой формат выбрать для AI/ML?
✅ Iceberg – если работаете с большими историческими данными и BI-аналитикой
✅ Delta Lake – если важны AI/ML, потоковая обработка и Apache Spark
✅ Hudi – если нужны частые обновления и real-time ML (фрод, рекомендательные системы, реклама)
🔗 Полный разбор читайте здесь
Если вы работаете с машинным обучением (ML) или аналитикой, выбор правильного формата хранения данных может значительно повлиять на скорость, масштабируемость и удобство работы с данными.
🔥 Почему важен выбор формата?
Традиционные data lakes сталкиваются с проблемами:
🚧 Нет ACID-транзакций – возможны конфликты при чтении/записи
📉 Нет версии данных – сложно отслеживать изменения
🐢 Медленные запросы – обработка больших объемов данных тормозит аналитику
💡Apache Iceberg – лучший выбор для аналитики и batch-процессов
📌 Когда использовать?
✅ Если вы обрабатываете исторические данные
✅ Если нужны оптимизация запросов и гибкое управление схемами
✅ Если важна поддержка batch-процессов
📌 Преимущества
✅ ACID-транзакции с изоляцией снапшотов (snapshot isolation)
✅ Time travel – возможность восстанавливать старые версии данных
✅ Скрытое разбиение (hidden partitioning) ускоряет запросы
✅ Поддержка Spark, Flink, Trino, Presto
📌 Где применять?
🔸 Анализ больших данных (BI, аналитика трендов)
🔸 Хранение данных для последующего обучения ML-моделей
🔸 Фиксация данных для аудита или отката
💡Delta Lake – лучший для потоковой обработки и AI/ML
📌 Когда использовать?
✅ Если нужны потоковые данные для ML
✅ Если важны реальные ACID-транзакции
✅ Если используете Apache Spark
📌 Преимущества
✅ Глубокая интеграция с Apache Spark
✅ Инкрементальная обработка данных (не перезаписывает весь датасет)
✅ Z-Ordering – кластеризация схожих данных для ускорения запросов
✅ Time travel – откат и восстановление данных
📌 Где применять?
🔹 ML-пайплайны в реальном времени (анализ транзакций, предсказательная аналитика)
🔹 ETL-процессы
🔹 Обработка данных из IoT-устройств, логов
💡Apache Hudi – лучший для real-time обновлений
📌 Когда использовать?
✅ Если нужен быстрый real-time анализ
✅ Если важна частая актуализация данных
✅ Если работаете с Apache Flink, Spark или Kafka
📌 Преимущества
✅ ACID-транзакции и контроль версий данных
✅ Merge-on-Read (MoR) – возможность читать обновленные данные без полной перезаписи
✅ Оптимизирован для real-time ML (фрод-анализ, рекомендательные системы)
✅ Работа с микробатчами и потоковой обработкой
📌 Где применять?
🔸 Фрод-мониторинг и антифрод (банковские транзакции, безопасность)
🔸 Рекомендательные системы (e-commerce, потоковое видео)
🔸 AdTech (реклама, аукционы)
🤔 Какой формат выбрать для AI/ML?
✅ Iceberg – если работаете с большими историческими данными и BI-аналитикой
✅ Delta Lake – если важны AI/ML, потоковая обработка и Apache Spark
✅ Hudi – если нужны частые обновления и real-time ML (фрод, рекомендательные системы, реклама)
🔗 Полный разбор читайте здесь
delta.io
Home
🛠Очередная подборка инструментов для работы, хранения и анализа данных
DrawDB - это система управления базами данных, ориентированная на визуализацию и моделирование данных. Она предоставляет графический интерфейс для создания и работы с базами данных, что делает процесс проектирования и взаимодействия с данными более интуитивно понятным. Это особенно полезно для разработчиков, которым нужно быстро создать или визуализировать структуру базы данных, не углубляясь в сложные SQL-запросы.
Hector RAG - это фреймворк для создания систем генерации текста с дополнением извлеченной информацией (Retrieval Augmented Generation, RAG), построенный на базе PostgreSQL. Он предлагает расширенные методы поиска и объединения данных, что позволяет разрабатывать AI-приложения с улучшенной способностью обрабатывать и генерировать текст, основанный на извлеченной информации. Этот фреймворк помогает интегрировать поисковые и генеративные модели, улучшая производительность и точность ответов.
ERD Lab - это бесплатный онлайн-инструмент для профессионального проектирования и визуализации баз данных с использованием диаграмм "сущность-связь" (ERD). Он позволяет пользователям импортировать существующие SQL-скрипты или создавать новые базы данных без необходимости писать код, что значительно упрощает процесс разработки и документирования структур данных. Этот инструмент идеален для разработки, визуализации и управления базами данных без необходимости глубоких знаний в области программирования.
SuperMassive - это распределенная, масштабируемая, устойчивая к сбоям и самовосстанавливающаяся база данных ключ-значение, работающая в оперативной памяти. Она предназначена для обработки больших объемов критически важных данных с низкой задержкой, что делает ее идеальной для приложений, требующих высокой производительности и отказоустойчивости. База данных разработана для работы с большими объемами данных, обеспечивая быстрый доступ и надежность.
Smallpond - это легковесный фреймворк для обработки данных, разработанный на основе DuckDB и 3FS. Он обеспечивает высокопроизводительную обработку данных и масштабируемость для работы с наборами данных петабайтного масштаба. Фреймворк упрощает операции, не требуя длительно работающих сервисов, что делает его идеальным для эффективной работы с большими данными без сложных инфраструктурных настроек.
ingestr — это инструмент командной строки для копирования данных между различными базами данных с помощью одной команды. Он поддерживает множество источников и пунктов назначения, включая Postgres, BigQuery, Snowflake, Redshift, Databricks, DuckDB, Microsoft SQL Server и другие. ngestr позволяет выполнять как полное обновление данных, так и инкрементальную загрузку с использованием стратегий append, merge или delete+insert. Установка осуществляется через пакетный менеджер pip, а использование не требует написания кода — достаточно указать необходимые параметры в командной строке.
DrawDB - это система управления базами данных, ориентированная на визуализацию и моделирование данных. Она предоставляет графический интерфейс для создания и работы с базами данных, что делает процесс проектирования и взаимодействия с данными более интуитивно понятным. Это особенно полезно для разработчиков, которым нужно быстро создать или визуализировать структуру базы данных, не углубляясь в сложные SQL-запросы.
Hector RAG - это фреймворк для создания систем генерации текста с дополнением извлеченной информацией (Retrieval Augmented Generation, RAG), построенный на базе PostgreSQL. Он предлагает расширенные методы поиска и объединения данных, что позволяет разрабатывать AI-приложения с улучшенной способностью обрабатывать и генерировать текст, основанный на извлеченной информации. Этот фреймворк помогает интегрировать поисковые и генеративные модели, улучшая производительность и точность ответов.
ERD Lab - это бесплатный онлайн-инструмент для профессионального проектирования и визуализации баз данных с использованием диаграмм "сущность-связь" (ERD). Он позволяет пользователям импортировать существующие SQL-скрипты или создавать новые базы данных без необходимости писать код, что значительно упрощает процесс разработки и документирования структур данных. Этот инструмент идеален для разработки, визуализации и управления базами данных без необходимости глубоких знаний в области программирования.
SuperMassive - это распределенная, масштабируемая, устойчивая к сбоям и самовосстанавливающаяся база данных ключ-значение, работающая в оперативной памяти. Она предназначена для обработки больших объемов критически важных данных с низкой задержкой, что делает ее идеальной для приложений, требующих высокой производительности и отказоустойчивости. База данных разработана для работы с большими объемами данных, обеспечивая быстрый доступ и надежность.
Smallpond - это легковесный фреймворк для обработки данных, разработанный на основе DuckDB и 3FS. Он обеспечивает высокопроизводительную обработку данных и масштабируемость для работы с наборами данных петабайтного масштаба. Фреймворк упрощает операции, не требуя длительно работающих сервисов, что делает его идеальным для эффективной работы с большими данными без сложных инфраструктурных настроек.
ingestr — это инструмент командной строки для копирования данных между различными базами данных с помощью одной команды. Он поддерживает множество источников и пунктов назначения, включая Postgres, BigQuery, Snowflake, Redshift, Databricks, DuckDB, Microsoft SQL Server и другие. ngestr позволяет выполнять как полное обновление данных, так и инкрементальную загрузку с использованием стратегий append, merge или delete+insert. Установка осуществляется через пакетный менеджер pip, а использование не требует написания кода — достаточно указать необходимые параметры в командной строке.
GitHub
GitHub - drawdb-io/drawdb: Free, simple, and intuitive online database diagram editor and SQL generator.
Free, simple, and intuitive online database diagram editor and SQL generator. - drawdb-io/drawdb
This media is not supported in your browser
VIEW IN TELEGRAM
💡Как легко освоить SQL: сайт для тренировки навыков
Если хочешь прокачать свои навыки SQL на реальных примерах, этот сайт — отличный выбор!
🔹 Формат: Задачи решаются через базу данных больницы, что приближает их к реальным сценариям использования SQL.
🔹 Разные уровни сложности: Можно начать с простых SELECT-запросов и постепенно перейти к сложным задачам, включая джойны, подзапросы, оконные функции и оптимизацию запросов.
🔹 Практическая польза: Такой формат особенно полезен для специалистов в сфере медицины и аналитики данных, а также для разработчиков, работающих с медицинскими системами.
🔹 Идеально для подготовки: Подойдет для подготовки к собеседованиям, сертификациям или просто для улучшения своих навыков.
Этот ресурс поможет тебе не только освоить SQL, но и понять, как эффективно работать с данными в медицинском контексте
Если хочешь прокачать свои навыки SQL на реальных примерах, этот сайт — отличный выбор!
🔹 Формат: Задачи решаются через базу данных больницы, что приближает их к реальным сценариям использования SQL.
🔹 Разные уровни сложности: Можно начать с простых SELECT-запросов и постепенно перейти к сложным задачам, включая джойны, подзапросы, оконные функции и оптимизацию запросов.
🔹 Практическая польза: Такой формат особенно полезен для специалистов в сфере медицины и аналитики данных, а также для разработчиков, работающих с медицинскими системами.
🔹 Идеально для подготовки: Подойдет для подготовки к собеседованиям, сертификациям или просто для улучшения своих навыков.
Этот ресурс поможет тебе не только освоить SQL, но и понять, как эффективно работать с данными в медицинском контексте
📚 Обзор книги "Apache Pulsar в действии"
Автор: Дэвид Хьеррумгор
"Apache Pulsar в действии" — это практическое руководство по использованию Apache Pulsar, мощной платформы для потоковой передачи сообщений и обработки данных в реальном времени. Книга ориентирована на опытных Java-разработчиков, но содержит примеры на Python, что делает её полезной и для специалистов с другим техническим бэкграундом.
🔍 О чём книга?
Автор подробно рассматривает архитектуру Apache Pulsar, объясняя его ключевые преимущества по сравнению с другими системами обмена сообщениями, такими как Kafka и RabbitMQ. Он выделяет такие особенности, как:
🔹 Поддержка нескольких протоколов (MQTT, AMQP, двоичный протокол Kafka).
🔹 Высокая отказоустойчивость и масштабируемость в облачных средах.
🔹 Фреймворк Pulsar Functions, который позволяет разрабатывать микросервисные приложения.
💡 Для кого эта книга?
📌 Разработчики микросервисов – смогут глубже понять интеграцию Pulsar в свои системы.
📌 DevOps-инженеры – получат руководство по развёртыванию и мониторингу Apache Pulsar.
📌 Специалисты по обработке данных – найдут полезные техники для стриминговой аналитики.
📌 Плюсы и минусы
✅ Детальное руководство по разработке и архитектуре Apache Pulsar.
✅ Практическая направленность, примеры кода на Java и Python.
✅ Подходит для разработчиков разного уровня.
❌ Мало примеров из реальных проектов, что может затруднить адаптацию Pulsar под конкретные бизнес-кейсы.
🏆 Вывод
"Apache Pulsar в действии" — полезная книга для тех, кто хочет глубже разобраться в потоковой обработке данных и научиться эффективно использовать Apache Pulsar. Несмотря на нехватку кейсов из реальной индустрии, она остаётся отличным практическим руководством, которое поможет освоить масштабируемые распределённые системы.
Автор: Дэвид Хьеррумгор
"Apache Pulsar в действии" — это практическое руководство по использованию Apache Pulsar, мощной платформы для потоковой передачи сообщений и обработки данных в реальном времени. Книга ориентирована на опытных Java-разработчиков, но содержит примеры на Python, что делает её полезной и для специалистов с другим техническим бэкграундом.
🔍 О чём книга?
Автор подробно рассматривает архитектуру Apache Pulsar, объясняя его ключевые преимущества по сравнению с другими системами обмена сообщениями, такими как Kafka и RabbitMQ. Он выделяет такие особенности, как:
🔹 Поддержка нескольких протоколов (MQTT, AMQP, двоичный протокол Kafka).
🔹 Высокая отказоустойчивость и масштабируемость в облачных средах.
🔹 Фреймворк Pulsar Functions, который позволяет разрабатывать микросервисные приложения.
💡 Для кого эта книга?
📌 Разработчики микросервисов – смогут глубже понять интеграцию Pulsar в свои системы.
📌 DevOps-инженеры – получат руководство по развёртыванию и мониторингу Apache Pulsar.
📌 Специалисты по обработке данных – найдут полезные техники для стриминговой аналитики.
📌 Плюсы и минусы
✅ Детальное руководство по разработке и архитектуре Apache Pulsar.
✅ Практическая направленность, примеры кода на Java и Python.
✅ Подходит для разработчиков разного уровня.
❌ Мало примеров из реальных проектов, что может затруднить адаптацию Pulsar под конкретные бизнес-кейсы.
🏆 Вывод
"Apache Pulsar в действии" — полезная книга для тех, кто хочет глубже разобраться в потоковой обработке данных и научиться эффективно использовать Apache Pulsar. Несмотря на нехватку кейсов из реальной индустрии, она остаётся отличным практическим руководством, которое поможет освоить масштабируемые распределённые системы.