🌎ТОП апрельских ивентов в Data Science
1 апреля - Хакатон БЕЗУМhack – Москва, Россия - https://bezumci.wtf/hack/
1-3 апреля - Business Technology Expo – Астана, Казахстан - https://btexpo.kz/
1-4 апреля - MosBuild 2025 – Москва, Россия - https://mosbuild.com/
2 апреля - ИИ как ETL – Онлайн - https://my.mts-link.ru/j/52054453/911458558
2-3 апреля - AiHUB Study 2025 – Онлайн - https://aihub.study/
3 апреля - Big Data и AI Day 2025 – Москва, Россия - https://conferos.ru/event/big_data_i_ai_day_2025
3 апреля - Создание Telegram-бота на базе LLM с RAG и Function Calling – Онлайн - https://yandex.cloud/ru/events/1117
5 апреля - T-Meetup: CV & Speech – Москва, Россия - https://meetup.tbank.ru/conference/ml-cv-speech/
10 апреля - GoCloud 2025 – Москва, Россия - https://cloud.ru/gocloud
12-29 апреля - IT_One Cup ML Challenge – Онлайн - https://it-onecup-mlchallenge.ru/
15-16 апреля - MPSTATS Conf 2025 – Москва, Россия - https://mpstatsconf.io/
15-17 апреля - REact IT Summit 2025 – Каир, Египет - https://summitreact.com/ru
16-17 апреля - Data Fusion 2025 – Москва, Россия - https://data-fusion.ru/
17 апреля - DATA SUMMIT 2025 – Москва, Россия - https://dis-group-events.timepad.ru/event/3231087/
23 апреля - Platform Engineering Night: Productivity & AI – Москва, Россия - https://meetup.tbank.ru/event/platform-engineering-night-productivity-and-ai/
25-26 апреля - Merge 2025. Иннополис – Казань, Россия - https://tatarstan2025.mergeconf.ru/

🚀 HuggingFace представил набор датасетов для обучения LLM в генерации кода

После успеха OlympicCoder-32B, обошедшего Sonnet 3.7 в бенчмарках LiveCodeBench и задачах Международной олимпиады по информатике (IOI 2024), HuggingFace опубликовал богатый набор датасетов для предварительного обучения и тонкой настройки LLM в задачах программирования.

✅Stack-Edu (125 млрд. токенов) – образовательный код на 15 языках программирования, отфильтрованный из The Stack v2
✅GitHub Issues (11 млрд. токенов) – данные из обсуждений и баг-репортов на GitHub
✅CodeForces problems (10 тыс. задач) – уникальный набор задач CodeForces, 3 тыс. из которых не использовались в обучении DeepMind
✅CodeForces problems DeepSeek-R1 (8,69 ГБ) – отфильтрованные трассировки решений CodeForces
✅International Olympiad in Informatics: Problem statements dataset (2020 - 2024) - уникальный набор из заданий Олимпиады по программированию, разбитый на подзадачи так, чтобы каждый запрос соответствовал решению этих подзадач
✅International Olympiad in Informatics: Problem - DeepSeek-R1 CoT dataset (2020 - 2023) - 11 тыс трассировок рассуждений, выполненных DeepSeek-R1 в ходе решения заданий Олимпиады по программированию

💡 Для чего использовать?
🔹 Предобучение LLM для кодогенерации
🔹 Разработка AI-ассистентов для программистов
🔹 Улучшение решений в компьютерных олимпиадах
🔹 Создание ML-моделей для анализа кода

📊 Как избежать хаоса в данных? Способы обеспечения согласованности метрик в хранилище

Если вы работаете с аналитикой, то наверняка сталкивались с ситуацией, когда одна и та же метрика считается по-разному в разных отделах. Это приводит к путанице, снижает доверие к данным и замедляет принятие решений. В новой статье рассматриваются ключевые причины такой проблемы и два эффективных решения.

🤔 Почему метрики расходятся?
Причина кроется в спонтанном росте аналитики:
🔹 Один аналитик пишет SQL-запрос для вычисления показателя.
🔹 Дальше другие команды создают свои версии на основе этого запроса, внося небольшие изменения.
🔹 Со временем возникают расхождения, а команда аналитиков тратит все больше времени на разбор несоответствий.

Чтобы избежать этой ситуации, стоит внедрить единые стандарты управления метриками.

🛠 Два подхода для обеспечения согласованности

✅Семантический слой (Semantic Layer)
Это промежуточный слой между данными и аналитическими инструментами, где метрики определяются централизованно. Они хранятся в статических файлах (например, YAML) и используются для автоматической генерации SQL-запросов.

💡 Плюсы:
✔️ Гибкость: адаптация к разным запросам без предсоздания таблиц.
✔️ Прозрачность: единые определения доступны всем командам.
✔️ Актуальность: данные обновляются в реальном времени.

⚠️ Минусы:
❌ Требует вложений в инфраструктуру и оптимизацию.
❌ Может увеличивать нагрузку на вычисления (но это решается кэшированием).

📌 Пример инструмента: Cube.js – один из немногих зрелых open-source решений.

✅Предагрегированные таблицы (Pre-Aggregated Tables)
Здесь заранее создаются таблицы с предвычисленными метриками и фиксированными измерениями.

💡 Плюсы:
✔️ Простая реализация, удобная для небольших проектов.
✔️ Экономия вычислительных ресурсов.
✔️ Полный контроль над расчетами.

⚠️ Минусы:
❌ Сложно поддерживать при увеличении числа пользователей.
❌ Возможны расхождения, если метрики определяются в разных таблицах.

🚀 Какой метод выбрать?
Оптимальный подход – гибридное использование:
🔹 Внедрить семантический слой для масштабируемости.
🔹 Использовать предагрегированные таблицы для критичных метрик, где важна минимальная стоимость вычислений.

🔎Подробнее тут

📊 FinMind — открытые финансовые данные мирового уровня для анализа и обучения

FinMind — это не просто коллекция котировок, а целая экосистема финансовых данных, доступных бесплатно и с открытым исходным кодом. Проект ориентирован на исследователей, студентов, инвесторов и энтузиастов, которым важен доступ к качественным, актуальным данным без необходимости платить за дорогие подписки, вроде Bloomberg Terminal или Quandl.

🔍 Что можно найти в FinMind:
📈 Исторические и внутридневные котировки акций (тик-данные, свечи, объемы)
📊 Финансовые метрики: PER, PBR, EPS, ROE и др.
💵 Дивиденды, отчётность компаний, выручка
📉 Данные по опционам и фьючерсам
🏦 Процентные ставки центробанков, инфляция
🛢 Сырьевые рынки и облигации

🧠 Особенности:
✅Данные регулярно обновляются в автоматическом режиме
✅Удобный и лёгкий в освоении Python API
✅Документация и учебные примеры на английском и китайском
✅Возможность быстро построить бэктест или провести исследование рынка

💡FinMind идеально подходит для:
✅Обучающих курсов по анализу временных рядов, эконометрике, ML в финансах
✅Прототипирования стратегий, без риска и затрат
✅Университетских исследований и хакатонов

🤖 GitHub

📚Winning with Data Science — руководство для бизнес-лидеров цифровой эпохи

Авторы: Howard Steven Friedman и Akshay Swaminathan

🔍 О чём книга?

Книга Winning with Data Science — это не о том, как писать код на Python или строить нейросети. Это о том, как бизнесу получать реальную ценность от data science-проектов, даже если вы не технарь.
Авторы объясняют, как быть грамотным «заказчиком» аналитических решений: задавать правильные вопросы, понимать этапы data science-проекта, участвовать в формировании требований и оценке результатов.

💡 Ключевые идеи книги:

✅Data Science ≠ магия. Это инструмент для решения конкретных задач бизнеса, а не повод гнаться за хайпом.
✅Роль бизнеса — ключевая. Бизнес-заказчик должен чётко понимать проблему, ограничения и желаемый результат.
✅Важно задавать правильные вопросы. Не «какой алгоритм лучше?», а «поможет ли это достичь цели в срок и в бюджет?».
✅Технические навыки — не обязательны. Но базовые знания о данных, типах моделей, хранении, качествах и возможностях — желательны.
✅Этика — не в последнюю очередь. Модели не должны закреплять предвзятости или дискриминировать.

🧠 Кому будет полезна:

✅Руководителям, внедряющим аналитику
✅Продакт-менеджерам и основателям стартапов
✅Маркетологам и финансовым директорам
✅Всем, кто хочет эффективно взаимодействовать с data science-командами

🤔Обобщенный вывод:
Эта книга — мост между бизнесом и аналитиками. Без перегруза терминами, но с глубоким пониманием процессов.

🎓 Как студенты используют ИИ в университете — реальное исследование от Anthropic на 1 000 000 сессий

ИИ всё больше проникает в образование, но большинство обсуждений до сих пор строились на опросах и лабораторных экспериментах. В новом отчёте команда Anthropic провела одно из крупнейших исследований реального использования ИИ студентами, проанализировав более 1 миллиона анонимизированных диалогов с Claude.ai.

🤔 Кто использует ИИ чаще всего?

✅Студенты компьютерных наук — вне конкуренции: они составляют 36,8% всех разговоров с Claude, хотя по факту это только 5,4% выпускников США.
✅STEM-дисциплины в целом доминируют — студенты естественных наук, математики и инженерии используют ИИ гораздо активнее, чем студенты бизнеса, медицины или гуманитарных наук.
✅ Бизнес составляет почти 19% всех дипломов, но лишь 8,9% всех ИИ-сессий. Аналогичная картина в здравоохранении и гуманитарной сфере.

🤔 Зачем студенты обращаются к ИИ: самые популярные запросы

✅Создание и редактирование учебных материалов — 39,3%
✅Решение заданий, кодинг, объяснение теории — 33,5%
✅Анализ и визуализация данных — 11%
✅Помощь в исследованиях и разработке инструментов — 6,5%
✅Переводы, корректура, создание диаграмм — оставшиеся проценты.

🤔Как именно студенты взаимодействуют с ИИ?

✅Прямое решение задач
✅Прямое создание контента
✅Совместное решение задач
✅Совместное создание контента

💡Интересно, что все 4 типа встречаются примерно одинаково часто (по 23–29%).

⚠️ Вопрос академической честности и мышления

Исследование показало, что Claude в разговорах со студентами чаще всего выполняет высокоуровневые когнитивные функции по таксономии Блума:

✅Создание — 39,8%
✅Анализ — 30,2%
✅Применение, понимание и запоминание — намного реже

⚡️ Все это переворачивает привычную "пирамиду Блума" с ног на голову — и вызывает беспокойство: не начинают ли студенты слишком рано "делегировать" ИИ важнейшие мыслительные операции?

💡Данное исследование — только начало большого пути, но уже даёт массу материала для размышлений преподавателям, студентам и администраторам вузов.

💻Полный текст статьи — здесь

🌍 Geospatial Reasoning от Google: ИИ, который понимает геоданные — и решает реальные проблемы

Что если бы ИИ не просто "видел" спутниковые снимки, но и понимал, что на них происходит? Google запустил новый масштабный проект Geospatial Reasoning, объединяющий мощные foundation-модели и генеративный ИИ для ускоренного анализа геопространственных данных. Речь идёт не о теории — а о реальных сценариях: от оценки ущерба после урагана до улучшения городского планирования и климатической адаптации.

🔎 Что под капотом Geospatial Reasoning?

✅Population Dynamics Foundation Model (PDFM) — модель, которая моделирует поведение населения и взаимодействие с окружающей средой;
✅Модель мобильности по траекториям — для отслеживания и анализа перемещений;
✅Новые foundation-модели для удалённого зондирования — обученные на огромном массиве спутниковых и аэрофотоснимков с аннотациями.

🧠 Как это работает?

Проект Geospatial Reasoning позволяет объединять возможности моделей Google с вашими собственными данными и создавать агентные рабочие процессы. Пример: после урагана система может:
✅Сравнить снимки «до» и «после»,
✅Определить, какие здания повреждены,
✅Рассчитать предполагаемый экономический ущерб,
✅Оценить социальную уязвимость пострадавших районов,
✅Сформировать приоритеты для оказания помощи

🚀 Кто уже подключился?

✅Airbus — планирует использовать модели для быстрого анализа триллионов пикселей спутниковых данных;
✅Maxar — интегрирует foundation-модели в свою "живую карту Земли";
✅Planet Labs — ускоряет извлечение геоинсайтов для бизнеса и госструктур;
✅WPP (Choreograph) — использует PDFM для усиления медиа-аналитики на основе поведенческих паттернов

📌 Почему это важно?

Геоданные — это один из самых сложных и потенциально полезных классов информации. Их много, они разнородные и часто требуют высокой экспертизы для анализа.

💻Подробнее в этой статье

😎Топ поисковиков датасетов и хранилищ данных

✅Google Dataset Search - открывает доступ к бесплатным публичным наборам данных. Вы можете выбрать данные по различным темам и в различных форматах, включая .pdf, .csv, .jpg, .txt и другие. Использовать его так же просто, как обычный поиск в Google: просто введите название или тему, которая вас интересует, в строку поиска. По мере ввода система будет предлагать наборы данных с нужными ключевыми словами — вы можете случайно наткнуться на что-то новое и интересное.

✅World Bank Open Data - открытые данные Всемирного банка считаются одними из самых обширных и разнообразных источников статистической информации и публичных наборов данных. Вы можете искать данные по различным категориям. Особенность сайта Всемирного банка — бесплатные ресурсы и инструменты для общественного пользования, например Data Bank — удобный инструмент для анализа и визуализации больших наборов данных

✅Data.world - на этой платформе можно получить доступ к бесплатным наборам данных, а также работать с ними прямо на сайте. Всё, что нужно — создать бесплатный аккаунт, после чего вам станут доступны 3 бесплатных проекта. При необходимости можно перейти на платные тарифы с большим объёмом хранилища. С помощью строки поиска вы можете находить ключевые слова, ресурсы, организации или пользователей. А для более точного поиска можно воспользоваться кнопкой «Create advanced filter» (создать расширенный фильтр), чтобы найти именно то, что нужно.

✅DataHub — это платформа для публикации данных (SaaS), разработанная компанией Datopian, где вы можете просматривать одну из самых разнообразных коллекций публичных наборов данных, организованных по темам. На платформе также есть блог с материалами на темы, связанные с Big Data Science.

✅Humanitarian Data Exchange - платформа для поиска датасетов. Здесь вы можете искать бесплатные наборы данных и фильтровать результаты по таким критериям, как местоположение, формат, организация и лицензия. Платформа также позволяет делиться данными по различным категориям.

✅UCI Machine Learning Repository - наименее обширный из всех упомянутых ресурсов, он остаётся полезным для тех, кто хочет построить модель машинного обучения. Несмотря на ограниченное количество наборов данных, здесь также можно искать данные по типу задачи, типу атрибутов, формату данных и области применения.

✅Academic Torrents - если вы занимаетесь научной работой, пишете статью или магистерскую диссертацию, то Academic Torrents станет отличным помощником. Платформа предлагает разнообразные крупные наборы данных из научных публикаций — некоторые из них достигают объёма 2 терабайта. Пользоваться Academic Torrents очень просто: вы можете искать датасеты, статьи, курсы и коллекции, а также загружать свои собственные данные, чтобы другие могли с ними работать. Наборы данных предоставляются бесплатно, но для их загрузки вам понадобится торрент-клиент, установленный на вашем устройстве.

😱Китай задаёт темп в медицинских технологиях

🤖 Роботы в белых халатах

В крупнейших клиниках Китая трудятся десятки медицинских роботов. Они не только дезинфицируют и доставляют лекарства, но и выполняют сложные процедуры:
📌 В больнице Zhongshan при Фуданьском университете робот-флеботомист берёт кровь точнее человека

🧠 ИИ — не ассистент, а полноценный врач

Китай открыл первую в мире AI-больницу, где пациентов консультируют «виртуальные доктора»
⚙️ Система ведёт приём 24/7, анализирует симптомы, ставит предварительные диагнозы и даже назначает лечение.
🔬 Сотни тысяч консультаций в месяц — без усталости и человеческого фактора

🌏 Медтех на экспорт

✅ Китайские роботы и AI-системы уже работают в клиниках Азии, Африки и Латинской Америки.
✅ Ведутся переговоры с Евросоюзом и Ближним Востоком.

🔮 Что это значит?

Китай превращает медицину из перегруженной системы в высокотехнологичный, человекоцентричный сервис. Будущее медицины уже наступило. И оно — made in China😁

💡X-AnyLabeling — профессиональный ИИ-инструмент для автоматической разметки данных

X-AnyLabeling — это расширенная и улучшенная версия популярного open-source проекта AnyLabeling, созданная для индустриального применения. Благодаря поддержке ИИ и десятков моделей CV, инструмент делает разметку в разы быстрее и точнее, чем вручную.

💡 Что умеет X-AnyLabeling:
🔹 Автоматическая и полуавтоматическая аннотация изображений и видео
🔹 Поддержка 20+ моделей компьютерного зрения: YOLO, SAM, DETR и др.
🔹 Работа с видео в реальном времени — включая трекинг объектов на потоках
🔹 Интуитивно понятный интерфейс + режим коллаборации
🔹 Экспорт/импорт в все ключевые форматы аннотаций: COCO, VOC, YOLO, LabelMe и другие

🔧 Для кого:
✅ ML-инженеры и команды CV-проектов
✅ Аналитики данных
✅ Исследователи, работающие с медицинскими изображениями, беспилотниками, безопасностью и др.
✅ Компании, создающие коммерческие датасеты

🌎ТОП майских ивентов в Data Science

14 мая - Linkmeetup. Митап от IT для IT – Москва, Россия - https://linkmeetup.ru/
14 мая - AI да Governance by RPPA.pro – Москва, Россия - https://rppa-pro.timepad.ru/event/3320126/
16 мая - Ural BIM Community 2025 – Екатеринбург, Россия - https://www.ubc-conf.ru/
16-17 мая - IML 2025 - Санкт-Петербург, Россия - https://imlconf.com/
24 мая – 1 июня - Data Fest 2025 – Онлайн - https://ods.ai/events/datafest2025
26-27 мая - TECH WEEK 2025 – Москва, Россия - https://techweek.moscow/
28 мая - Data&ML2Business – Москва, Россия - https://yandex.cloud/ru/events/dataml2b/
28 мая - Data & BI Bridge - Санкт-Петербург, Россия - https://bi.conteq.ru/data-bi-bridge-2025

🔍 5 полезных сервисов для аналитиков данных, которые стоит использовать:

Каждому профессионалу в области Data Science важно использовать передовые инструменты, чтобы оставаться на гребне волны. В этом посте — 5 сервисов, которые могут существенно повысить эффективность работы.

1️⃣ DataRobot — Платформа, которая помогает автоматизировать процессы создания и оптимизации моделей машинного обучения, позволяя даже новичкам быстро внедрять решения для анализа данных.

2️⃣ Hugging Face — Репозиторий и инструменты для работы с моделями NLP и трансформерами. Незаменим для обработки текстовых данных.

3️⃣ RapidMiner — Инструмент для автоматизации процессов анализа данных с минимальными затратами времени. Он включает в себя мощные функции для моделирования и визуализации.

4️⃣ Kaggle Kernels — Платформа для обучения и соревнований, которая предоставляет доступ к большому количеству данных и возможности для работы в облаке.

5️⃣ Neptune.ai — Платформа для отслеживания и визуализации экспериментов с моделями машинного обучения. Идеально подходит для команд, работающих над сложными проектами.

💡 Почему это важно?
Эти инструменты помогают аналитикам и исследователям сэкономить время на рутинных задачах и быстрее достигать нужных результатов. Инвестирование в современные сервисы становится важным фактором для повышения продуктивности в Data Science.

🔹Qwen 3: Китайский ИИ нового поколения

🧠 Гибридное мышление и масштабируемость
Qwen 3 — это третье поколение больших языковых моделей от Alibaba, разработанное с акцентом на гибридное мышление. Модель сочетает в себе способности к логическим рассуждениям и генерации контента, что делает её универсальным инструментом для различных задач. Qwen 3 доступна в различных конфигурациях, включая как плотные модели (от 0.6B до 32B параметров), так и разреженные модели (до 235B параметров), что обеспечивает гибкость в зависимости от потребностей пользователей.

🌍 Многоязычная поддержка и широкое применение
Модель обучена на 36 триллионах токенов и поддерживает 119 языков и диалектов, включая китайский, английский, русский, французский и испанский. Это делает Qwen 3 особенно привлекательной для глобальных предприятий, стремящихся к многоязычной поддержке и локализации своих продуктов. Модель уже применяется в различных сферах, включая разработку программного обеспечения, анализ данных, образование и маркетинг.

📈 Конкуренция на рынке ИИ
С выпуском Qwen 3 Alibaba усиливает конкуренцию на рынке ИИ, особенно в Китае, где стремится обогнать таких соперников, как DeepSeek и Baidu. Компания утверждает, что Qwen 3 превосходит модели конкурентов по ряду показателей, включая способность к логическим рассуждениям и эффективность в выполнении задач.

🧩 Открытый исходный код и доступность
Qwen 3 выпущена под лицензией Apache 2.0, что делает её доступной для широкой аудитории разработчиков и исследователей. Модель можно использовать через платформы chat.qwen.ai, Hugging Face и ModelScope, что упрощает её интеграцию в различные приложения и сервисы.

🔮 Перспективы и влияние
Выпуск Qwen 3 подчеркивает стремление Китая занять лидирующие позиции в области искусственного интеллекта. С расширением функциональности и доступности модели, Alibaba демонстрирует готовность конкурировать с западными технологическими гигантами, предлагая мощные и универсальные решения в сфере ИИ.