📊 Apache Iceberg vs Delta Lake vs Hudi: Какой формат выбрать для AI/ML?

Если вы работаете с машинным обучением (ML) или аналитикой, выбор правильного формата хранения данных может значительно повлиять на скорость, масштабируемость и удобство работы с данными.

🔥 Почему важен выбор формата?
Традиционные data lakes сталкиваются с проблемами:
🚧 Нет ACID-транзакций – возможны конфликты при чтении/записи
📉 Нет версии данных – сложно отслеживать изменения
🐢 Медленные запросы – обработка больших объемов данных тормозит аналитику

💡Apache Iceberg – лучший выбор для аналитики и batch-процессов

📌 Когда использовать?
✅ Если вы обрабатываете исторические данные
✅ Если нужны оптимизация запросов и гибкое управление схемами
✅ Если важна поддержка batch-процессов

📌 Преимущества
✅ ACID-транзакции с изоляцией снапшотов (snapshot isolation)
✅ Time travel – возможность восстанавливать старые версии данных
✅ Скрытое разбиение (hidden partitioning) ускоряет запросы
✅ Поддержка Spark, Flink, Trino, Presto

📌 Где применять?
🔸 Анализ больших данных (BI, аналитика трендов)
🔸 Хранение данных для последующего обучения ML-моделей
🔸 Фиксация данных для аудита или отката

💡Delta Lake – лучший для потоковой обработки и AI/ML

📌 Когда использовать?
✅ Если нужны потоковые данные для ML
✅ Если важны реальные ACID-транзакции
✅ Если используете Apache Spark

📌 Преимущества
✅ Глубокая интеграция с Apache Spark
✅ Инкрементальная обработка данных (не перезаписывает весь датасет)
✅ Z-Ordering – кластеризация схожих данных для ускорения запросов
✅ Time travel – откат и восстановление данных

📌 Где применять?
🔹 ML-пайплайны в реальном времени (анализ транзакций, предсказательная аналитика)
🔹 ETL-процессы
🔹 Обработка данных из IoT-устройств, логов

💡Apache Hudi – лучший для real-time обновлений

📌 Когда использовать?
✅ Если нужен быстрый real-time анализ
✅ Если важна частая актуализация данных
✅ Если работаете с Apache Flink, Spark или Kafka

📌 Преимущества
✅ ACID-транзакции и контроль версий данных
✅ Merge-on-Read (MoR) – возможность читать обновленные данные без полной перезаписи
✅ Оптимизирован для real-time ML (фрод-анализ, рекомендательные системы)
✅ Работа с микробатчами и потоковой обработкой

📌 Где применять?
🔸 Фрод-мониторинг и антифрод (банковские транзакции, безопасность)
🔸 Рекомендательные системы (e-commerce, потоковое видео)
🔸 AdTech (реклама, аукционы)

🤔 Какой формат выбрать для AI/ML?

✅ Iceberg – если работаете с большими историческими данными и BI-аналитикой
✅ Delta Lake – если важны AI/ML, потоковая обработка и Apache Spark
✅ Hudi – если нужны частые обновления и real-time ML (фрод, рекомендательные системы, реклама)

🔗 Полный разбор читайте здесь

🛠Очередная подборка инструментов для работы, хранения и анализа данных

DrawDB - это система управления базами данных, ориентированная на визуализацию и моделирование данных. Она предоставляет графический интерфейс для создания и работы с базами данных, что делает процесс проектирования и взаимодействия с данными более интуитивно понятным. Это особенно полезно для разработчиков, которым нужно быстро создать или визуализировать структуру базы данных, не углубляясь в сложные SQL-запросы.

Hector RAG - это фреймворк для создания систем генерации текста с дополнением извлеченной информацией (Retrieval Augmented Generation, RAG), построенный на базе PostgreSQL. Он предлагает расширенные методы поиска и объединения данных, что позволяет разрабатывать AI-приложения с улучшенной способностью обрабатывать и генерировать текст, основанный на извлеченной информации. Этот фреймворк помогает интегрировать поисковые и генеративные модели, улучшая производительность и точность ответов.

ERD Lab - это бесплатный онлайн-инструмент для профессионального проектирования и визуализации баз данных с использованием диаграмм "сущность-связь" (ERD). Он позволяет пользователям импортировать существующие SQL-скрипты или создавать новые базы данных без необходимости писать код, что значительно упрощает процесс разработки и документирования структур данных. Этот инструмент идеален для разработки, визуализации и управления базами данных без необходимости глубоких знаний в области программирования.

SuperMassive - это распределенная, масштабируемая, устойчивая к сбоям и самовосстанавливающаяся база данных ключ-значение, работающая в оперативной памяти. Она предназначена для обработки больших объемов критически важных данных с низкой задержкой, что делает ее идеальной для приложений, требующих высокой производительности и отказоустойчивости. База данных разработана для работы с большими объемами данных, обеспечивая быстрый доступ и надежность.

Smallpond - это легковесный фреймворк для обработки данных, разработанный на основе DuckDB и 3FS. Он обеспечивает высокопроизводительную обработку данных и масштабируемость для работы с наборами данных петабайтного масштаба. Фреймворк упрощает операции, не требуя длительно работающих сервисов, что делает его идеальным для эффективной работы с большими данными без сложных инфраструктурных настроек.

ingestr — это инструмент командной строки для копирования данных между различными базами данных с помощью одной команды. Он поддерживает множество источников и пунктов назначения, включая Postgres, BigQuery, Snowflake, Redshift, Databricks, DuckDB, Microsoft SQL Server и другие. ngestr позволяет выполнять как полное обновление данных, так и инкрементальную загрузку с использованием стратегий append, merge или delete+insert. Установка осуществляется через пакетный менеджер pip, а использование не требует написания кода — достаточно указать необходимые параметры в командной строке.

💡Как легко освоить SQL: сайт для тренировки навыков

Если хочешь прокачать свои навыки SQL на реальных примерах, этот сайт — отличный выбор!

🔹 Формат: Задачи решаются через базу данных больницы, что приближает их к реальным сценариям использования SQL.
🔹 Разные уровни сложности: Можно начать с простых SELECT-запросов и постепенно перейти к сложным задачам, включая джойны, подзапросы, оконные функции и оптимизацию запросов.
🔹 Практическая польза: Такой формат особенно полезен для специалистов в сфере медицины и аналитики данных, а также для разработчиков, работающих с медицинскими системами.
🔹 Идеально для подготовки: Подойдет для подготовки к собеседованиям, сертификациям или просто для улучшения своих навыков.

Этот ресурс поможет тебе не только освоить SQL, но и понять, как эффективно работать с данными в медицинском контексте

📚 Обзор книги "Apache Pulsar в действии"

Автор: Дэвид Хьеррумгор

"Apache Pulsar в действии" — это практическое руководство по использованию Apache Pulsar, мощной платформы для потоковой передачи сообщений и обработки данных в реальном времени. Книга ориентирована на опытных Java-разработчиков, но содержит примеры на Python, что делает её полезной и для специалистов с другим техническим бэкграундом.

🔍 О чём книга?
Автор подробно рассматривает архитектуру Apache Pulsar, объясняя его ключевые преимущества по сравнению с другими системами обмена сообщениями, такими как Kafka и RabbitMQ. Он выделяет такие особенности, как:
🔹 Поддержка нескольких протоколов (MQTT, AMQP, двоичный протокол Kafka).
🔹 Высокая отказоустойчивость и масштабируемость в облачных средах.
🔹 Фреймворк Pulsar Functions, который позволяет разрабатывать микросервисные приложения.

💡 Для кого эта книга?
📌 Разработчики микросервисов – смогут глубже понять интеграцию Pulsar в свои системы.
📌 DevOps-инженеры – получат руководство по развёртыванию и мониторингу Apache Pulsar.
📌 Специалисты по обработке данных – найдут полезные техники для стриминговой аналитики.

📌 Плюсы и минусы
✅ Детальное руководство по разработке и архитектуре Apache Pulsar.
✅ Практическая направленность, примеры кода на Java и Python.
✅ Подходит для разработчиков разного уровня.
❌ Мало примеров из реальных проектов, что может затруднить адаптацию Pulsar под конкретные бизнес-кейсы.

🏆 Вывод
"Apache Pulsar в действии" — полезная книга для тех, кто хочет глубже разобраться в потоковой обработке данных и научиться эффективно использовать Apache Pulsar. Несмотря на нехватку кейсов из реальной индустрии, она остаётся отличным практическим руководством, которое поможет освоить масштабируемые распределённые системы.

📕 Think Stats — лучшее бесплатное руководство по статистике для Python-разработчиков

Think Stats — это уникальная книга, которая предлагает практический подход к изучению статистики и теории вероятностей для специалистов, работающих с Python. В отличие от традиционных учебников, эта книга сразу погружает в код, помогая освоить статистические методы через реальные данные и практические задачи.

🔍 Чем Think Stats отличается от других книг по статистике?
✅ Практический фокус – минимум сложной математики, максимум реальных примеров.
✅ Полная интеграция с Python – все главы оформлены в виде Jupyter Notebook, где можно запускать код и сразу видеть результаты.
✅ Применение на реальных данных – используется анализ демографической информации, медицинских исследований, данных из соцсетей и других источников.
✅ Фокус на Data Science – обучение построено вокруг задач, которые полезны аналитикам, разработчикам и дата-сайентистам.
✅ Легко читается – материал подаётся понятным языком, что делает его доступным даже для тех, кто только начинает осваивать статистику.

📚 Что внутри?
🔹 Основные концепции статистики и вероятности в контексте программирования.
🔹 Методы работы с данными: чистка, обработка, визуализация.
🔹 Изучение распределений: нормальное, биномиальное, пуассоновское и другие.
🔹 Оценка параметров, доверительные интервалы и проверка статистических гипотез.
🔹 Методы байесовского анализа, которые находят всё большее применение в Data Science.
🔹 Введение в регрессионный анализ, прогнозирование и статистическое моделирование.

🎯 Для кого эта книга?
✅ Python-разработчиков, которые хотят освоить статистику через код.
✅ Датасаентистов и аналитиков, которым нужны прикладные знания для работы с данными.
✅ Студентов и самоучек, которые хотят понять, как применять статистику в реальных проектах.
✅ Разработчиков ML-моделей, которым важно разбираться в методах обработки данных.

🤔 Почему стоит изучить Think Stats?
📌 Это не просто теория, а применимая на практике статистика, которую можно сразу внедрять в свои проекты.
📌 Книга бесплатная и распространяется под лицензией Creative Commons, так что её можно свободно скачивать, копировать и распространять.
📌 Весь код можно запустить онлайн в Jupyter Notebook, что упрощает обучение.

Таким образом, Think Stats – отличный ресурс, который поможет быстро освоить ключевые концепции и начать применять их на практике

💻Github

🤔🗂 Google Research разработала метод генерации синтетических данных с защитой приватности

Google Research в своей статье Generating synthetic data with differentially private LLM inference предложила новый подход к генерации синтетических данных, используя дифференциально приватный вывод LLM. Этот метод позволяет гарантировать защиту исходных данных, исключая утечки информации, при этом сохраняя их полезные статистические свойства.

🔍 Как работает метод?
Во время генерации текста к распределениям токенов в LLM добавляется шум (например, механизм Гаусса). Это исключает возможность восстановления исходных данных, так как наличие или отсутствие отдельных примеров в обучающем датасете не влияет на результат.

🧐Параметры ε (эпсилон) и δ (дельта) регулируют уровень приватности:
🔹 Чем меньше ε, тем выше защита, но качество текста может ухудшаться.
🔹 Например, ε = 1–5 считается безопасным балансом между приватностью и качеством данных.

🚀 Ключевые механизмы защиты
✅ Добавление шума к логам вероятностей модели перед выбором токена.
✅ Усечение градиентов при обучении модели, чтобы ограничить влияние отдельных примеров.
✅ Группировка запросов к модели, чтобы минимизировать утечки через множественные обращения.

📊 Результаты тестирования
🔹 Синтетические данные сохраняют практическую применимость – их можно использовать для обучения downstream-моделей.
🔹 Формальная защита приватности гарантирована (ε < 5) без значительного ухудшения качества.

🛠 Где можно применять?
💡 Обучение моделей на конфиденциальных данных (например, в медицине и финансах).
💡 Тестирование алгоритмов без доступа к реальным данным.
💡 Совместное использование данных между организациями, исключая утечки.

⚖️ Плюсы и минусы
✅ Приватность без потери функциональности – защита данных без значительного ухудшения результатов.
✅ Этичное использование LLM в чувствительных доменах.
❌ Компромисс между качеством и приватностью – чем выше защита, тем сложнее сохранить естественность текста.
❌ Дополнительные вычислительные затраты – генерация занимает больше времени из-за проверки приватности.

🤖 Вывод
Этот подход открывает новые возможности для работы с конфиденциальными данными, сохраняя баланс между безопасностью и практической полезностью. Google Research делает важный шаг в направлении этичного использования ИИ, что может изменить принципы работы с персональными и корпоративными данными

🌎ТОП апрельских ивентов в Data Science
1 апреля - Хакатон БЕЗУМhack – Москва, Россия - https://bezumci.wtf/hack/
1-3 апреля - Business Technology Expo – Астана, Казахстан - https://btexpo.kz/
1-4 апреля - MosBuild 2025 – Москва, Россия - https://mosbuild.com/
2 апреля - ИИ как ETL – Онлайн - https://my.mts-link.ru/j/52054453/911458558
2-3 апреля - AiHUB Study 2025 – Онлайн - https://aihub.study/
3 апреля - Big Data и AI Day 2025 – Москва, Россия - https://conferos.ru/event/big_data_i_ai_day_2025
3 апреля - Создание Telegram-бота на базе LLM с RAG и Function Calling – Онлайн - https://yandex.cloud/ru/events/1117
5 апреля - T-Meetup: CV & Speech – Москва, Россия - https://meetup.tbank.ru/conference/ml-cv-speech/
10 апреля - GoCloud 2025 – Москва, Россия - https://cloud.ru/gocloud
12-29 апреля - IT_One Cup ML Challenge – Онлайн - https://it-onecup-mlchallenge.ru/
15-16 апреля - MPSTATS Conf 2025 – Москва, Россия - https://mpstatsconf.io/
15-17 апреля - REact IT Summit 2025 – Каир, Египет - https://summitreact.com/ru
16-17 апреля - Data Fusion 2025 – Москва, Россия - https://data-fusion.ru/
17 апреля - DATA SUMMIT 2025 – Москва, Россия - https://dis-group-events.timepad.ru/event/3231087/
23 апреля - Platform Engineering Night: Productivity & AI – Москва, Россия - https://meetup.tbank.ru/event/platform-engineering-night-productivity-and-ai/
25-26 апреля - Merge 2025. Иннополис – Казань, Россия - https://tatarstan2025.mergeconf.ru/

🚀 HuggingFace представил набор датасетов для обучения LLM в генерации кода

После успеха OlympicCoder-32B, обошедшего Sonnet 3.7 в бенчмарках LiveCodeBench и задачах Международной олимпиады по информатике (IOI 2024), HuggingFace опубликовал богатый набор датасетов для предварительного обучения и тонкой настройки LLM в задачах программирования.

✅Stack-Edu (125 млрд. токенов) – образовательный код на 15 языках программирования, отфильтрованный из The Stack v2
✅GitHub Issues (11 млрд. токенов) – данные из обсуждений и баг-репортов на GitHub
✅CodeForces problems (10 тыс. задач) – уникальный набор задач CodeForces, 3 тыс. из которых не использовались в обучении DeepMind
✅CodeForces problems DeepSeek-R1 (8,69 ГБ) – отфильтрованные трассировки решений CodeForces
✅International Olympiad in Informatics: Problem statements dataset (2020 - 2024) - уникальный набор из заданий Олимпиады по программированию, разбитый на подзадачи так, чтобы каждый запрос соответствовал решению этих подзадач
✅International Olympiad in Informatics: Problem - DeepSeek-R1 CoT dataset (2020 - 2023) - 11 тыс трассировок рассуждений, выполненных DeepSeek-R1 в ходе решения заданий Олимпиады по программированию

💡 Для чего использовать?
🔹 Предобучение LLM для кодогенерации
🔹 Разработка AI-ассистентов для программистов
🔹 Улучшение решений в компьютерных олимпиадах
🔹 Создание ML-моделей для анализа кода

📊 Как избежать хаоса в данных? Способы обеспечения согласованности метрик в хранилище

Если вы работаете с аналитикой, то наверняка сталкивались с ситуацией, когда одна и та же метрика считается по-разному в разных отделах. Это приводит к путанице, снижает доверие к данным и замедляет принятие решений. В новой статье рассматриваются ключевые причины такой проблемы и два эффективных решения.

🤔 Почему метрики расходятся?
Причина кроется в спонтанном росте аналитики:
🔹 Один аналитик пишет SQL-запрос для вычисления показателя.
🔹 Дальше другие команды создают свои версии на основе этого запроса, внося небольшие изменения.
🔹 Со временем возникают расхождения, а команда аналитиков тратит все больше времени на разбор несоответствий.

Чтобы избежать этой ситуации, стоит внедрить единые стандарты управления метриками.

🛠 Два подхода для обеспечения согласованности

✅Семантический слой (Semantic Layer)
Это промежуточный слой между данными и аналитическими инструментами, где метрики определяются централизованно. Они хранятся в статических файлах (например, YAML) и используются для автоматической генерации SQL-запросов.

💡 Плюсы:
✔️ Гибкость: адаптация к разным запросам без предсоздания таблиц.
✔️ Прозрачность: единые определения доступны всем командам.
✔️ Актуальность: данные обновляются в реальном времени.

⚠️ Минусы:
❌ Требует вложений в инфраструктуру и оптимизацию.
❌ Может увеличивать нагрузку на вычисления (но это решается кэшированием).

📌 Пример инструмента: Cube.js – один из немногих зрелых open-source решений.

✅Предагрегированные таблицы (Pre-Aggregated Tables)
Здесь заранее создаются таблицы с предвычисленными метриками и фиксированными измерениями.

💡 Плюсы:
✔️ Простая реализация, удобная для небольших проектов.
✔️ Экономия вычислительных ресурсов.
✔️ Полный контроль над расчетами.

⚠️ Минусы:
❌ Сложно поддерживать при увеличении числа пользователей.
❌ Возможны расхождения, если метрики определяются в разных таблицах.

🚀 Какой метод выбрать?
Оптимальный подход – гибридное использование:
🔹 Внедрить семантический слой для масштабируемости.
🔹 Использовать предагрегированные таблицы для критичных метрик, где важна минимальная стоимость вычислений.

🔎Подробнее тут

📊 FinMind — открытые финансовые данные мирового уровня для анализа и обучения

FinMind — это не просто коллекция котировок, а целая экосистема финансовых данных, доступных бесплатно и с открытым исходным кодом. Проект ориентирован на исследователей, студентов, инвесторов и энтузиастов, которым важен доступ к качественным, актуальным данным без необходимости платить за дорогие подписки, вроде Bloomberg Terminal или Quandl.

🔍 Что можно найти в FinMind:
📈 Исторические и внутридневные котировки акций (тик-данные, свечи, объемы)
📊 Финансовые метрики: PER, PBR, EPS, ROE и др.
💵 Дивиденды, отчётность компаний, выручка
📉 Данные по опционам и фьючерсам
🏦 Процентные ставки центробанков, инфляция
🛢 Сырьевые рынки и облигации

🧠 Особенности:
✅Данные регулярно обновляются в автоматическом режиме
✅Удобный и лёгкий в освоении Python API
✅Документация и учебные примеры на английском и китайском
✅Возможность быстро построить бэктест или провести исследование рынка

💡FinMind идеально подходит для:
✅Обучающих курсов по анализу временных рядов, эконометрике, ML в финансах
✅Прототипирования стратегий, без риска и затрат
✅Университетских исследований и хакатонов

🤖 GitHub

📚Winning with Data Science — руководство для бизнес-лидеров цифровой эпохи

Авторы: Howard Steven Friedman и Akshay Swaminathan

🔍 О чём книга?

Книга Winning with Data Science — это не о том, как писать код на Python или строить нейросети. Это о том, как бизнесу получать реальную ценность от data science-проектов, даже если вы не технарь.
Авторы объясняют, как быть грамотным «заказчиком» аналитических решений: задавать правильные вопросы, понимать этапы data science-проекта, участвовать в формировании требований и оценке результатов.

💡 Ключевые идеи книги:

✅Data Science ≠ магия. Это инструмент для решения конкретных задач бизнеса, а не повод гнаться за хайпом.
✅Роль бизнеса — ключевая. Бизнес-заказчик должен чётко понимать проблему, ограничения и желаемый результат.
✅Важно задавать правильные вопросы. Не «какой алгоритм лучше?», а «поможет ли это достичь цели в срок и в бюджет?».
✅Технические навыки — не обязательны. Но базовые знания о данных, типах моделей, хранении, качествах и возможностях — желательны.
✅Этика — не в последнюю очередь. Модели не должны закреплять предвзятости или дискриминировать.

🧠 Кому будет полезна:

✅Руководителям, внедряющим аналитику
✅Продакт-менеджерам и основателям стартапов
✅Маркетологам и финансовым директорам
✅Всем, кто хочет эффективно взаимодействовать с data science-командами

🤔Обобщенный вывод:
Эта книга — мост между бизнесом и аналитиками. Без перегруза терминами, но с глубоким пониманием процессов.

🎓 Как студенты используют ИИ в университете — реальное исследование от Anthropic на 1 000 000 сессий

ИИ всё больше проникает в образование, но большинство обсуждений до сих пор строились на опросах и лабораторных экспериментах. В новом отчёте команда Anthropic провела одно из крупнейших исследований реального использования ИИ студентами, проанализировав более 1 миллиона анонимизированных диалогов с Claude.ai.

🤔 Кто использует ИИ чаще всего?

✅Студенты компьютерных наук — вне конкуренции: они составляют 36,8% всех разговоров с Claude, хотя по факту это только 5,4% выпускников США.
✅STEM-дисциплины в целом доминируют — студенты естественных наук, математики и инженерии используют ИИ гораздо активнее, чем студенты бизнеса, медицины или гуманитарных наук.
✅ Бизнес составляет почти 19% всех дипломов, но лишь 8,9% всех ИИ-сессий. Аналогичная картина в здравоохранении и гуманитарной сфере.

🤔 Зачем студенты обращаются к ИИ: самые популярные запросы

✅Создание и редактирование учебных материалов — 39,3%
✅Решение заданий, кодинг, объяснение теории — 33,5%
✅Анализ и визуализация данных — 11%
✅Помощь в исследованиях и разработке инструментов — 6,5%
✅Переводы, корректура, создание диаграмм — оставшиеся проценты.

🤔Как именно студенты взаимодействуют с ИИ?

✅Прямое решение задач
✅Прямое создание контента
✅Совместное решение задач
✅Совместное создание контента

💡Интересно, что все 4 типа встречаются примерно одинаково часто (по 23–29%).

⚠️ Вопрос академической честности и мышления

Исследование показало, что Claude в разговорах со студентами чаще всего выполняет высокоуровневые когнитивные функции по таксономии Блума:

✅Создание — 39,8%
✅Анализ — 30,2%
✅Применение, понимание и запоминание — намного реже

⚡️ Все это переворачивает привычную "пирамиду Блума" с ног на голову — и вызывает беспокойство: не начинают ли студенты слишком рано "делегировать" ИИ важнейшие мыслительные операции?

💡Данное исследование — только начало большого пути, но уже даёт массу материала для размышлений преподавателям, студентам и администраторам вузов.

💻Полный текст статьи — здесь

🌍 Geospatial Reasoning от Google: ИИ, который понимает геоданные — и решает реальные проблемы

Что если бы ИИ не просто "видел" спутниковые снимки, но и понимал, что на них происходит? Google запустил новый масштабный проект Geospatial Reasoning, объединяющий мощные foundation-модели и генеративный ИИ для ускоренного анализа геопространственных данных. Речь идёт не о теории — а о реальных сценариях: от оценки ущерба после урагана до улучшения городского планирования и климатической адаптации.

🔎 Что под капотом Geospatial Reasoning?

✅Population Dynamics Foundation Model (PDFM) — модель, которая моделирует поведение населения и взаимодействие с окружающей средой;
✅Модель мобильности по траекториям — для отслеживания и анализа перемещений;
✅Новые foundation-модели для удалённого зондирования — обученные на огромном массиве спутниковых и аэрофотоснимков с аннотациями.

🧠 Как это работает?

Проект Geospatial Reasoning позволяет объединять возможности моделей Google с вашими собственными данными и создавать агентные рабочие процессы. Пример: после урагана система может:
✅Сравнить снимки «до» и «после»,
✅Определить, какие здания повреждены,
✅Рассчитать предполагаемый экономический ущерб,
✅Оценить социальную уязвимость пострадавших районов,
✅Сформировать приоритеты для оказания помощи

🚀 Кто уже подключился?

✅Airbus — планирует использовать модели для быстрого анализа триллионов пикселей спутниковых данных;
✅Maxar — интегрирует foundation-модели в свою "живую карту Земли";
✅Planet Labs — ускоряет извлечение геоинсайтов для бизнеса и госструктур;
✅WPP (Choreograph) — использует PDFM для усиления медиа-аналитики на основе поведенческих паттернов

📌 Почему это важно?

Геоданные — это один из самых сложных и потенциально полезных классов информации. Их много, они разнородные и часто требуют высокой экспертизы для анализа.

💻Подробнее в этой статье

😎Топ поисковиков датасетов и хранилищ данных

✅Google Dataset Search - открывает доступ к бесплатным публичным наборам данных. Вы можете выбрать данные по различным темам и в различных форматах, включая .pdf, .csv, .jpg, .txt и другие. Использовать его так же просто, как обычный поиск в Google: просто введите название или тему, которая вас интересует, в строку поиска. По мере ввода система будет предлагать наборы данных с нужными ключевыми словами — вы можете случайно наткнуться на что-то новое и интересное.

✅World Bank Open Data - открытые данные Всемирного банка считаются одними из самых обширных и разнообразных источников статистической информации и публичных наборов данных. Вы можете искать данные по различным категориям. Особенность сайта Всемирного банка — бесплатные ресурсы и инструменты для общественного пользования, например Data Bank — удобный инструмент для анализа и визуализации больших наборов данных

✅Data.world - на этой платформе можно получить доступ к бесплатным наборам данных, а также работать с ними прямо на сайте. Всё, что нужно — создать бесплатный аккаунт, после чего вам станут доступны 3 бесплатных проекта. При необходимости можно перейти на платные тарифы с большим объёмом хранилища. С помощью строки поиска вы можете находить ключевые слова, ресурсы, организации или пользователей. А для более точного поиска можно воспользоваться кнопкой «Create advanced filter» (создать расширенный фильтр), чтобы найти именно то, что нужно.

✅DataHub — это платформа для публикации данных (SaaS), разработанная компанией Datopian, где вы можете просматривать одну из самых разнообразных коллекций публичных наборов данных, организованных по темам. На платформе также есть блог с материалами на темы, связанные с Big Data Science.

✅Humanitarian Data Exchange - платформа для поиска датасетов. Здесь вы можете искать бесплатные наборы данных и фильтровать результаты по таким критериям, как местоположение, формат, организация и лицензия. Платформа также позволяет делиться данными по различным категориям.

✅UCI Machine Learning Repository - наименее обширный из всех упомянутых ресурсов, он остаётся полезным для тех, кто хочет построить модель машинного обучения. Несмотря на ограниченное количество наборов данных, здесь также можно искать данные по типу задачи, типу атрибутов, формату данных и области применения.

✅Academic Torrents - если вы занимаетесь научной работой, пишете статью или магистерскую диссертацию, то Academic Torrents станет отличным помощником. Платформа предлагает разнообразные крупные наборы данных из научных публикаций — некоторые из них достигают объёма 2 терабайта. Пользоваться Academic Torrents очень просто: вы можете искать датасеты, статьи, курсы и коллекции, а также загружать свои собственные данные, чтобы другие могли с ними работать. Наборы данных предоставляются бесплатно, но для их загрузки вам понадобится торрент-клиент, установленный на вашем устройстве.

😱Китай задаёт темп в медицинских технологиях

🤖 Роботы в белых халатах

В крупнейших клиниках Китая трудятся десятки медицинских роботов. Они не только дезинфицируют и доставляют лекарства, но и выполняют сложные процедуры:
📌 В больнице Zhongshan при Фуданьском университете робот-флеботомист берёт кровь точнее человека

🧠 ИИ — не ассистент, а полноценный врач

Китай открыл первую в мире AI-больницу, где пациентов консультируют «виртуальные доктора»
⚙️ Система ведёт приём 24/7, анализирует симптомы, ставит предварительные диагнозы и даже назначает лечение.
🔬 Сотни тысяч консультаций в месяц — без усталости и человеческого фактора

🌏 Медтех на экспорт

✅ Китайские роботы и AI-системы уже работают в клиниках Азии, Африки и Латинской Америки.
✅ Ведутся переговоры с Евросоюзом и Ближним Востоком.

🔮 Что это значит?

Китай превращает медицину из перегруженной системы в высокотехнологичный, человекоцентричный сервис. Будущее медицины уже наступило. И оно — made in China😁

💡X-AnyLabeling — профессиональный ИИ-инструмент для автоматической разметки данных

X-AnyLabeling — это расширенная и улучшенная версия популярного open-source проекта AnyLabeling, созданная для индустриального применения. Благодаря поддержке ИИ и десятков моделей CV, инструмент делает разметку в разы быстрее и точнее, чем вручную.

💡 Что умеет X-AnyLabeling:
🔹 Автоматическая и полуавтоматическая аннотация изображений и видео
🔹 Поддержка 20+ моделей компьютерного зрения: YOLO, SAM, DETR и др.
🔹 Работа с видео в реальном времени — включая трекинг объектов на потоках
🔹 Интуитивно понятный интерфейс + режим коллаборации
🔹 Экспорт/импорт в все ключевые форматы аннотаций: COCO, VOC, YOLO, LabelMe и другие

🔧 Для кого:
✅ ML-инженеры и команды CV-проектов
✅ Аналитики данных
✅ Исследователи, работающие с медицинскими изображениями, беспилотниками, безопасностью и др.
✅ Компании, создающие коммерческие датасеты

🌎ТОП майских ивентов в Data Science

14 мая - Linkmeetup. Митап от IT для IT – Москва, Россия - https://linkmeetup.ru/
14 мая - AI да Governance by RPPA.pro – Москва, Россия - https://rppa-pro.timepad.ru/event/3320126/
16 мая - Ural BIM Community 2025 – Екатеринбург, Россия - https://www.ubc-conf.ru/
16-17 мая - IML 2025 - Санкт-Петербург, Россия - https://imlconf.com/
24 мая – 1 июня - Data Fest 2025 – Онлайн - https://ods.ai/events/datafest2025
26-27 мая - TECH WEEK 2025 – Москва, Россия - https://techweek.moscow/
28 мая - Data&ML2Business – Москва, Россия - https://yandex.cloud/ru/events/dataml2b/
28 мая - Data & BI Bridge - Санкт-Петербург, Россия - https://bi.conteq.ru/data-bi-bridge-2025