🤖Deus in Machina: в швейцарской церкви установили Jesus-AI

В часовне Святого Петра в Люцерне запустили проект AI Jesus, который общается на 100 языках. ИИ установлен в исповедальне, где посетители могут задавать вопросы и получать ответы в реальном времени.

Обученный на богословских текстах, Jesus-AI за два месяца привлек более 1000 человек, две трети из которых назвали опыт "духовным". Однако эксперимент вызвал критику за поверхностность ответов и невозможность полноценных бесед с машиной.

🖥Подробнее здесь

💡 SmolTalk: синтетический англоязычный датасет для обучения LLM

SmolTalk — это синтетический датасет от HuggingFace, созданный для обучения LLM с учителем. Состоит из 2 млн строк и использовался для разработки моделей SmolLM2-Instruct.

🔥Датасет включает как новые, так и существующие наборы данных

😎Новые наборы данных:

✅Smol-Magpie-Ultra (400 тыс. строк)
✅Smol-constraints (36 тыс. строк)
✅Smol-rewrite (50 тыс. строк)
✅Smol-summarize (101 тыс. строк)

⚡️Существующие наборы:

✅OpenHermes2.5 (100 тыс. строк)
✅MetaMathQA (50 тыс. строк)
✅NuminaMath-CoT (1120 тыс. строк)
✅Self-Oss-Starcoder2-Instruct (1120 тыс. строк)
✅SystemChats2.0 (30 тыс. строк)
✅LongAlign (менее 16 тыс. токенов)
✅Everyday-conversations (50 тыс. строк)
✅APIGen-Function-Calling (80 тыс. строк)
✅Explore-Instruct-Rewriting (30 тыс. строк)

📚Результаты обучения:
SmolTalk показал значительные улучшения в производительности модели, особенно в задачах математики, программирования и следования системным промптам. Обучение на SmolTalk дало лучшие результаты по меткам IFEval, BBH, GS8Mk и MATH, в том числе при обучении Mistral-7B.

🌎ТОП декабрьских ивентов в Data Science

2 декабря - Yandex Cup 2024: Финал - Ташкент, Узбекистан - https://yandex.ru/cup/
2-3 декабря - HighLoad++ 2024 - Москва, Россия - https://highload.ru/moscow/2024
4 декабря - BIG StartUp DAY - Москва, Россия - https://bigstartupday.ru/
3 декабря - Cloud Security Day - Москва, Россия - https://yandex.cloud/ru/events/977
5 Декабря - IT Talk by Sber 2.0 - Вологда, Россия - https://developers.sber.ru/kak-v-sbere/events/ittalk_vologda
5 декабря - AI-driver & RecSys Meetup - Владивосток, Новосибирск, Нижний Новгород, Санкт‑Петербург, Россия - https://developers.sber.ru/kak-v-sbere/events/ai_recsys
6 декабря - есom.teсh meetup — Generative AI - Москва, Россия - https://ecom-tech.timepad.ru/event/3136197/
6 декабря - Conversations 2024 - Москва, Россия - https://conversations-ai.com/
11-13 декабря - AIJ 2024 - Москва, Россия - https://aij.ru/

😎🔥Подборка инструментов для обработки Big Data

Timeplus Proton — это SQL-движок, основанный на ClickHouse, предназначенный для обработки, маршрутизации и анализа потоковых данных из таких источников, как Apache Kafka и Redpanda, с возможностью передачи агрегированных данных в другие системы.

qsv — это утилита командной строки, предназначенная для быстрого индексирования, обработки, анализа, фильтрации, сортировки и объединения CSV-файлов. Она предлагает удобные и понятные команды для выполнения этих операций.

WrenAI — это open-source инструмент, который подготавливает существующую базу данных для работы с RAG (Retrieval-Augmented Generation). Он позволяет преобразовывать текстовые запросы в SQL, исследовать данные из БД без написания SQL-кода и выполнять другие задачи.

Groll — это open-source CLI-утилита для управления миграциями схем в PostgreSQL. Она обеспечивает безопасное и обратимое внесение изменений, поддерживая одновременную работу с несколькими версиями схем. Groll поддерживает выполнение сложных миграций, обеспечивая непрерывную работу клиентских приложений во время обновления схемы базы данных.

Valkey — это высокопроизводительное open-source хранилище данных, которое поддерживает кэширование, очереди сообщений и может использоваться как основная база данных. Оно функционирует как автономная фоновая служба или в составе кластера, обеспечивая репликацию и высокую доступность.

DataEase — это open-source BI-инструмент для создания интерактивных визуализаций и анализа бизнес-метрик. Он упрощает доступ к аналитике благодаря интуитивному интерфейсу с поддержкой перетаскивания элементов, что делает работу с данными удобной и понятной.

SurrealDB — это современная многомодельная база данных, объединяющая возможности SQL, NoSQL и графовых систем. Она поддерживает реляционные, документные, графовые, временные и ключ-значение модели данных, предоставляя универсальное решение для управления данными без необходимости использования разных платформ.


LibSQL — это форк SQLite, расширенный такими функциями, как обработка запросов через HTTP и gRPC, а также поддержка прозрачной репликации. Он позволяет создавать распределённые базы данных с записью на основном сервере и чтением с реплик. LibSQL обеспечивает безопасную передачу данных через TLS и предоставляет Docker-образ для удобного развертывания.

Redash — это open-source инструмент для анализа данных, предназначенный для упрощения подключения, запроса и визуализации данных из различных источников. Он позволяет создавать SQL- и NoSQL-запросы, визуализировать результаты в виде графиков и диаграмм, а также делиться дашбордами с командами.

🧐Данные и их разметка в 2024 году: новые тренды и будущие требования

Попалась интересная статья про разметку данных. Вот несколько ключевых моментов:

🤔Текущие тренды:

✅Увеличение сложности наборов данных
✅Переход к разметке в реальном времени
✅Масштабное развитие автоматизированных инструментов, дополняющих ручной труд

🤔Прогнозы рынка:

✅Ожидается рост до $8.22 млрд к 2028 году с CAGR 26.6%
✅Требования к качеству и скорости разметки растут и будут расти в геометрической прогрессии

🤔Технологические тренды:

✅Адаптивный ИИ
✅Метавселенная
✅Отраслевые облачные платформы
✅Улучшение беспроводных технологий

Таким образом, автор указывает на то, что индустрия разметки данных будет стремительно расти благодаря увеличению спроса на точные и надежные данные для ИИ и машинного обучения. Автоматизация, адаптивный ИИ и новые технологические решения позволят улучшить качество и скорость разметки данных.

😎Google представила Willow — квантовый чип с экспоненциальным масштабированием

Google выпустила Willow, первый в мире квантовый чип, способный к экспоненциальному уменьшению ошибок с увеличением числа кубитов. Это стало возможным благодаря эффективной реализации логических кубитов, которые работают ниже границы Quantum Error Correction — метода защиты данных через их распределение по кубитам.

Особенности Willow:

✅Рекордное количество кубитов: 105, что значительно превышает показатели предыдущих квантовых компьютеров.

✅Скорость вычислений: в септилион раз быстрее классических чипов. Willow решает задачи за 300 секунд, на которые обычный чип потратил бы 10 квинтиллионов лет.

✅Минимизация ошибок: при увеличении количества кубитов ошибки снижаются экспоненциально, что решает основную проблему квантовых вычислений последних 30 лет.

Хотя для таких задач, как взлом биткоина, потребуется 300–400 миллионов кубитов, Willow уже устанавливает новую планку в квантовых технологиях.

🔎Подробнее можно узнать тут

🥲ТОП факапов с разными СУБД: боль, слёзы

✅PostgreSQL и вакуум в сюрпризе
Все любят PostgreSQL, пока не сталкиваются с автovacuum. Если забыть настроить его правильно, база начинает тормозить так, что проще мигрировать данные на Excel.

✅Cassandra: мастер шардирования и мастер хаоса
О, этот волшебный мир распределённых данных! Пока всё идёт гладко, Cassandra крута. Но стоит одному узлу выйти из строя, и кластеры превращаются в загадку с сюрпризом: какая часть данных уцелела? А кросс-DC репликация в больших сетях — это вообще лотерея.

✅Firebase Realtime Database
Звучит круто: данные синхронизируются в реальном времени! Но когда у вас десятки тысяч активных пользователей, всё превращается в ад, потому что каждый маленький запрос стоит тонну денег. А обновления без контроля затрагивают все клиенты разом.

✅Redis как основная БД
Легко, быстро, всё в памяти. Звучит круто, пока не осознаёшь, что забыли про механизм восстановления данных. Упс, сервер упал — данные улетели в никуда.

😎🔥Небольшая подборка полезных датасетов

Synthia-v1.5-I - датасет, включающий более 20 тысяч технических вопросов и ответов. В наборе используются системные промпты в стиле Orca для генерации разнообразных ответов, что делает его ценным ресурсом для обучения и тестирования LLM на сложных технических данных.

HelpSteer2 - англоязычный набор данных, предназначенный для обучения reward-моделей, которые улучшают полезность, точность и связность ответов, генерируемых другими LLM.

LAION-DISCO-12M - включает 12 миллионов ссылок на общедоступные треки YouTube с метаданными. Набор данных создан для поддержки исследований в области машинного обучения, разработки базовых моделей обработки звука, анализа музыкальной информации, работы с аудио-данными, а также для обучения рекомендательных систем и приложений.

Universe — это крупномасштабная коллекция, содержащая астрономические данные различных типов: изображения, спектры и кривые блеска. Он предназначен для исследований в области астрономии и астрофизики.

😎📊Тренды данных, которые преобразят бизнес в 2025 году

Автор статьи The Most Powerful Data Trends That Will Transform Business In 2025 выделяет ключевые тенденции, которые будут определять работу с данными в ближайшем будущем.

🤔Вот некоторые из них:

✅Конфиденциальные вычисления: использование блокчейна и гомоморфного шифрования позволит анализировать данные, не раскрывая их содержимое. Это ключевой шаг для совместной аналитики между компаниями с высокой защитой данных

✅Рост рынков данных: компании начнут продавать свои наборы данных, создавая новые потоки доходов. Возникнут специализированные платформы для торговли данными.

✅Расширение edge computing: обработка данных на периферии сети обеспечит минимальные задержки и повышение безопасности. Развитие технологий вроде tinyML изменит индустрии, где критична скорость обработки данных

✅Поведенческие данные как новый актив: анализ эмоциональных и поведенческих данных станет основой для персонализированных решений.

😎Небольшая подборка полезных Big Data репозиториев

Complete-Advanced-SQL-Series — репозиторий, который включает всё необходимое для улучшения навыков работы с SQL: более 100 упражнений и примеров.

ds-cheatsheet — репозиторий на GitHub, содержащий множество полезных шпаргалок по Data Science.

postgres_for_everything — репозиторий, который собирает примеры применения PostgreSQL для решения разнообразных задач: очереди сообщений, аналитика, контроль доступа, GIS, работа с временными рядами, поиск, кэширование и многое другое.

GenAI Showcase — репозиторий, демонстрирующий использование MongoDB в генеративном искусственном интеллекте. Включает примеры интеграции MongoDB с технологиями Retrieval-Augmented Generation (RAG) и различными ИИ-моделями.

Data-and-ML-Projects — репозиторий с более чем 50 проектами, охватывающими области Data Analytics, Data Science, Data Engineering, MLOps и Machine Learning.

🧐Многопоточность PostgreSQL vs. MSSQL Server: преимущества и недостатки

Все мы знаем такие знаменитые СУБД, как PostgreSQL и MSSQL Server, которые часто используются при проектировании различной инфраструктуры веб-приложений. Давайте разберем, как насколько надежно работает многопоточность при выполнении запросов в каждой из этих СУБД.

👍Преимущества многопоточности PostgreSQL:

✅Модель процессов (process-based): каждый клиент работает в отдельном процессе, что минимизирует взаимное влияние соединений.
✅Стабильность и безопасность: независимость процессов уменьшает риск взаимоблокировок.
✅Гибкая настройка: процессная архитектура позволяет эффективно масштабировать ресурсы для отдельных задач.

❌Недостатки:

✅Высокое потребление памяти на каждый процесс
✅Ограниченная производительность при большом количестве соединений
✅Сложности с горизонтальным масштабированием

👍Преимущества многопоточности MSSQL Server:

✅Модель потоков (thread-based): обеспечивает эффективное использование CPU и памяти.
✅Высокая масштабируемость: подходит для большого количества параллельных соединений.
✅Интеграция с Windows: глубокая оптимизация для Windows-серверов
✅Быстрое переключение потоков: повышает производительность в системах с высокой конкуренцией за ресурсы.

❌Недостатки:

✅Сложность диагностики проблем из-за параллельного выполнения задач
✅Высокий риск взаимоблокировок
✅Высокие требования к администрированию для эффективного управления потоками

🤔Что выбрать?

PostgreSQL — для приложений с умеренным числом соединений, стабильной нагрузкой и акцентом на надежность
MSSQL Server — для высоконагруженных систем, требующих максимальной масштабируемости и производительности

😎💡FineMath: новый математический датасет от Hugging Face

Hugging Face выпустили крупный датасет FineMath, предназначенный для обучения моделей на математическом контенте. Датасет был сформирован с использованием CommonCrawl, классификатора, обученного на аннотациях LLama-3.1-70B-Instruct, и последующей фильтрации данных.

По сравнению с OpenWebMath и InfiMM, FineMath демонстрирует более стабильный рост точности моделей с увеличением объема данных. Этот эффект достигается благодаря качеству и разнообразию контента.

На базе FineMath уже создан проект по обучению LLM для математической помощи — репозиторий доступен на GitHub.

🌎Небольшая обзор Data Science ивентов за 2025 год
18 января - Data Ёлка 2024 – Москва, Россия - https://ods.ai/events/data-elka-2024
22-23 января - Data Fusion Awards 2025 – Москва, Россия - https://awards.data-fusion.ru/
30 января - CX Focus 2025 – Москва, Россия - https://cxfocus.ru/
26 февраля - Качество данных 2025 – Москва, Россия - https://www.osp.ru/lp/dataquality2025
27 марта - DATA+AI 2025 – Москва, Россия - https://www.osp.ru/lp/data-ai2025
25 апреля - Merge 2025 – Казань, Россия - https://tatarstan2025.mergeconf.ru/
1 июня - Saint HighLoad++ 2025 - Санкт-Петербург, Россия - https://highload.ru/spb/2025
19 июня - IT IS conf 2025 – Екатеринбург, Россия - https://itisconf.ru/
23 сентября - Data Conf 2025 – Москва, Россия - https://datainternals.ru/2025
15-16 октября - Innovation Tech Days 2025 – Онлайн - https://smartgopro.com/innovation_tech_days/

🤔Чем же отличаются Smart Data от Big Data?

В статье What’s Smart data and how it’s different from Big data? автор рассматривает особенности "Умных Данных". Ниже мы приведем свое видение этой концепции (оно может отличаться, а может и совпадать🥸).

Итак, Smart Data — это концепция, ориентированная на обработку, анализ и использование данных с учетом их актуальности, качества и пользы для принятия решений. В отличие от Big Data, где акцент делается на объем, Smart Data фокусируется на извлечении ценной информации из огромного массива данных.

🤔Особенности Smart Data:
✅Качество данных: Отбор только релевантных, точных и структурированных данных
✅Контекстуальность: Данные обрабатываются с учетом их значимости для конкретной задачи
✅Аналитика в реальном времени: Smart Data используются для возможности быстрого принятия решений

🤔Преимущества:
✅Эффективность: Экономия ресурсов за счет работы только с нужными данными
✅Персонализация: Возможность адаптировать услуги под конкретные потребности
✅Меньше ошибок: Фокус на высоком качестве данных снижает риски получения некорректных результатов

🥸Однако не все так радужно, есть и недостатки:
✅Этические и правовые вопросы: Работа с персональными данными несет риски нарушения конфиденциальности и неправомерного использования информации. Это может привести к штрафам и утрате доверия
✅Высокая зависимость от качества данных: Если исходные данные неполные, неточные или устаревшие, результаты анализа могут вводить в заблуждение и ухудшить принятие решений
✅Высокая стоимость внедрения: Требуется инвестиция в технологии, время и квалифицированный персонал
✅Проблемы интерпретации результатов: Даже с качественными данными аналитика может быть сложной для понимания неэкспертами, что требует дополнительных затрат на обучение сотрудников
✅Технические сбои: Инфраструктура для обработки данных может быть уязвима к сбоям, что особенно критично при работе с реальными процессами, такими как управление в финансовой или медицинской сфере​

🧐Таким образом, Smart Data — это про осмысленное использование данных для достижения конкретных целей. Эта концепция позволяет компаниям не только справляться с информационным шумом, но и получать конкурентные преимущества. Однако внедрение требует продуманной стратегии и ресурсов, иначе есть риск понести огромные убытки

😎💡Топ подборка полезных инструментов для работы с данными

gitingest — это утилита, созданная для автоматизации анализа данных из репозиториев Git. Она позволяет собирать информацию о коммитах, ветках и авторах, а затем преобразовывать её в удобные форматы для интеграции с языковыми моделями (LLM). Инструмент идеально подходит для анализа истории изменений, построения моделей на основе кода и автоматизации работы с репозиториями

datasketch — Python-библиотека для оптимизации работы с большими данными. Она предоставляет вероятностные структуры данных, включая MinHash для оценки схожести Jaccard и HyperLogLog для подсчёта уникальных объектов. Эти инструменты позволяют быстро выполнять задачи, такие как поиск похожих элементов и анализ кардинальности, с минимальными затратами памяти и времени.

Polars — высокопроизводительная библиотека для работы с табличными данными, разработанная на Rust с поддержкой Python. Библиотека интегрируется с NumPy, Pandas, PyArrow, Matplotlib, Plotly, Scikit-learn и TensorFlow. Polars поддерживает фильтрацию, сортировку, слияние, объединение и группировку данных, обеспечивая высокую скорость и эффективность для аналитики и обработки больших объемов данных.

SQLAlchemy — библиотека для работы с базами данных, поддерживающая взаимодействие с PostgreSQL, MySQL, SQLite, Oracle, MS SQL и другими СУБД. Она предоставляет инструменты для объектно-реляционного отображения (ORM), что упрощает управление данными, позволяя разработчикам работать с объектами Python вместо написания SQL-запросов, а также поддерживает гибкую работу с "сырыми" SQL для сложных сценариев.

SymPy — библиотека для работы с символьной математикой в Python. Она позволяет выполнять операции над выражениями, уравнениями, функциями, матрицами, векторами, полиномами и другими объектами. С помощью SymPy можно решать уравнения, упрощать выражения, вычислять производные, интегралы, приближения, подстановки, факторизации, а также работать с логарифмами, тригонометрией, алгеброй и геометрией.

DeepChecks — это Python-библиотека для автоматизированной проверки моделей и данных машинного обучения. Она выявляет проблемы с производительностью моделей, целостностью данных, несоответствием распределений и другими аспектами. DeepChecks позволяет легко создавать кастомные проверки, а результаты визуализируются в удобных таблицах и графиках, упрощая анализ и интерпретацию.

Scrubadub — Python-библиотека, предназначенная для обнаружения и удаления персонально идентифицируемой информации (PII) из текста. Она может распознавать и скрывать такие данные, как имена, номера телефонов, адреса, номера кредитных карт и многое другое. Инструмент поддерживает настройку правил и может быть интегрирован в различные приложения для обработки конфиденциальных данных.

⚔️Kafka 🆚 RabbitMQ: столкновение лбами

В своей статье RabbitMQ vs Kafka: Head-to-head confrontation in 8 major dimensions автор сравнивает два известных инструмента: Apache Kafka и RabbitMQ.

Рассмотрим 2 основных различия между ними:

✅RabbitMQ — это брокер сообщений, обеспечивающий маршрутизацию и управление очередями
✅Kafka — распределённая платформа обработки потоков данных, обеспечивающая хранение и воспроизведение сообщений

🤔Ключевые характеристики:

✅Порядок сообщений: Kafka гарантирует упорядоченность внутри одной темы, тогда как RabbitMQ предоставляет только базовые гарантии
✅Маршрутизация: RabbitMQ поддерживает сложные правила маршрутизации, а Kafka требует дополнительной обработки для фильтрации сообщений
✅Срок хранения сообщений: Kafka сохраняет сообщения независимо от их обработки, в отличие от RabbitMQ, где сообщения удаляются после обработки
✅Масштабируемость: Kafka показывает более высокую производительность и лучше масштабируется

🤔Обработка ошибок:

✅RabbitMQ предлагает встроенные инструменты для управления неудачными сообщениями (например, Dead Letter Exchange)
✅В Kafka обработка ошибок требует реализации дополнительных механизмов на уровне приложени

Таким образом, RabbitMQ подходит для задач с гибкой маршрутизацией, управлением временем сообщений и сложными обработками ошибок, тогда, как Kafka лучше справляется с задачами с жёсткими требованиями к порядку, долговременным хранением сообщений и высокой масштабируемостью.

💡Статья также подчёркивает, что обе платформы могут использоваться вместе для решения разных задач в сложных системах.

🧐Распределённая обработка - пан или пропал

В статье Optimizing Parallel Computing Architectures for Big Data Analytics автор рассказывает, как оптимально распределить нагрузку при обработке Big Data на примере Apache Spark.

🤔Однако автор ничего не говорит про основные преимущества и недостатки распределенных вычислений, с которыми нам так или иначе приходиться мириться.

💡Преимущества:

✅Масштабируемость: легко увеличивать вычислительные мощности за счёт добавления новых узлов
✅Отказоустойчивость: система продолжает работать даже при сбоях отдельных узлов благодаря репликации и резервированию
✅Высокая производительность: одновременная обработка данных на разных узлах ускоряет выполнение задач

⚠️Теперь к недостаткам:

✅Сложность управления: координация между узлами и обеспечение их синхронной работы требует сложной архитектуры
✅Безопасность: распределённость данных усложняет их защиту от утечек и атак
✅Избыточность данных: для обеспечения отказоустойчивости часто создаются реплики данных, что увеличивает объём хранимой информации
✅Проблемы согласованности: в системах с большим количеством узлов сложно обеспечить согласованность данных в реальном времени (CAP-теорема)
✅Сложности обновления: внесение изменений в распределённую систему (например, обновление ПО) может быть длительным и рискованным процессом
✅Ограниченная пропускная способность сети: высокий объём передачи данных между узлами может перегружать сеть и замедлять работу

🥸Таким образом, распределённая обработка данных предоставляет мощные возможности для масштабирования, ускорения вычислений и обеспечения отказоустойчивости. Однако её внедрение связано с рядом технических, организационных и финансовых сложностей, включая управление сложной архитектурой, обеспечение безопасности и согласованности данных, а также высокие требования к сетевой инфраструктуре.

📚Небольшая подборочка книг по Data Science и Big Data

Software Engineering for Data Scientists - в книге объясняются механизмы и практики разработки ПО в Data Science. Здесь также приводится масса примеров реализации на Python

Graph Algorithms for Data Science - книга рассматривает ключевые алгоритмы и методы работы с графами в науке о данных, сопровождая их конкретными рекомендациями по реализации и применению. Для её освоения не требуется опыта работы с графами. Алгоритмы объясняются простым языком без лишнего жаргона и сопровождаются наглядными иллюстрациями, что делает их лёгкими для применения в ваших проектах

Big Data Management and Analytics - книга охватывает все аспекты работы с большими данными: от базового уровня до изучения конкретных примеров. Читатели получат представление о выборе моделей данных, извлечении и интеграции данных для решения задач больших данных, моделировании данных с использованием методов машинного обучения, масштабируемых технологий Spark, преобразовании задачи больших данных в графовую базу данных и выполнении аналитических операций над графами. Также рассматриваются различные инструменты и методы обработки больших данных и их применение, включая здравоохранение и финансы

Advanced Data Analytics Using Python - книга рассматривает архитектурные паттерны в аналитике данных, классификацию текста и изображений, методы оптимизации, обработку естественного языка и компьютерное зрение в облачной среде.

Minimalist Data Wrangling with Python - в книге предлагается как общее представление, так и детальное обсуждение ключевых концепций. Рассматриваются методы очистки данных, собранных из различных источников, их преобразования, выбора и извлечения признаков, проведения разведочного анализа данных и снижения размерности, выявления естественных кластеров, моделирования закономерностей, сравнения данных между группами и представления результатов