🔎💡Полезные репозитории GitHub для разработки мастер-данных и новичков
Awesome Data Engineering - содержит список инструментов, фреймворков и библиотек для инженерии данных, что делает его отличной отправной точкой для тех, кто хочет погрузиться в эту область.
Data Engineering Zoomcamp - это полный курс, позволяющий получить практический опыт в области инженерии данных.
The Data Engineering Cookbook - это сборник статей и учебников, посвященных различным аспектам инженерии данных, включая ввод данных, обработку данных и хранилища данных.
Awesome Open Source Data Engineering - это список инструментов для проектирования данных с открытым исходным кодом, который станет золотой жилой для всех, кто хочет внести свой вклад или использовать их для создания реальных проектов по проектированию данных. Он содержит огромное количество информации об инструментах и фреймворках с открытым исходным кодом, что делает его отличным ресурсом для тех, кто хочет изучить альтернативные решения в области инженерии данных.
Data Engineer Handbook - это всеобъемлющая коллекция ресурсов, охватывающая все аспекты инженерии данных. В него входят учебники, статьи и книги по всем темам, связанным с инженерией данных. Независимо от того, ищете ли вы краткое справочное руководство или глубокие знания, в этом справочнике найдется что-то для инженеров по обработке данных любого уровня.
Репозиторий Data Engineering Wiki - это вики, созданная сообществом, которая представляет собой всеобъемлющий ресурс для изучения инженерии данных. Этот репозиторий охватывает широкий спектр тем, включая конвейеры данных, хранилища данных и моделирование данных.
Data Engineering Practice - предлагает практический подход к изучению инженерии данных. В нем представлены практические проекты и упражнения, которые помогут вам применить свои знания и навыки в реальных сценариях. Выполняя эти проекты, вы получите практический опыт и составите портфолио, демонстрирующее ваши способности в области инженерии данных.

🌎ТОП июньских ивентов в Data Science
4 июня - infra.conf - Москва, Россия - https://infraevents.yandex.ru/event/infraconf2024
20 июня - NexSummIT 2024 - Москва, Россия - https://fcongress.forbes.ru/events/nexsummit-2024
21 - 23 июня - PRACTICE & SCALE AI - Онлайн - https://practice-scale.ru/
24-25 июня - Saint HighLoad++ 2024 - Санкт-Петрбург, Россия - https://highload.ru/spb/2024
26-28 июня - TECH WEEK 2024 - Москва, Россия - https://techweek.moscow/
27 июня - GigaConf - Москва, Россия - https://gigaconf.ru/

💡🔎📉Adversarial Validation: Преимущества и Недостатки
Adversarial Validation (AV) — это метод, который позволяет оценить, насколько тестовые данные отличаются от тренировочных данных. Это особенно полезно в задачах машинного обучения, где качество предсказаний может существенно зависеть от того, насколько хорошо распределения данных совпадают между тренировочной и тестовой выборками. Рассмотрим основные преимущества и недостатки этого подхода.
Преимущества Adversarial Validation:
1. Обнаружение несоответствий в данных:
AV помогает выявить, если тренировочные и тестовые данные сильно различаются по распределению. Это может сигнализировать о потенциальных проблемах с генерализацией модели.
2. Улучшение качества модели: Устранив различия между тренировочными и тестовыми данными, можно значительно повысить качество предсказаний модели на тестовой выборке.
3. Оптимизация выборки данных: Используя AV, можно более точно сформировать тренировочные и валидационные наборы данных, что позволит избежать переобучения и улучшить общее качество модели.
4. Идентификация утечек данных: AV помогает обнаружить случаи, когда информация из тестовой выборки "просачивается" в тренировочную, что может привести к необъективно высоким результатам модели.
Недостатки Adversarial Validation:
1. Увеличение вычислительных затрат: Для выполнения AV требуется обучение дополнительной модели (обычно это классификатор), что увеличивает вычислительные затраты и время, необходимое для анализа данных.
2. Сложность реализации: Настройка и проведение AV могут требовать значительных знаний и опыта в области машинного обучения, что может быть сложным для новичков.
3. Риск переобучения: Слишком частое использование AV для коррекции данных может привести к переобучению модели на тренировочные данные и ухудшению её способности к генерализации.

💡🔎Не очень известные, но очень полезные ETL-сервисы
Astera Centerprise — это готовое к использованию ETL-решение корпоративного уровня, предлагающее возможности интеграции и преобразования данных для необработанные данные любой сложности и размера в различных форматах: от сложных иерархических файлов и неструктурированных документов до отраслевых форматов, таких как EDI, и даже устаревших данных, таких как COBOL.
Talend — это программная платформа с открытым исходным кодом, которая предлагает решения для интеграции и управления данными. Talend специализируется на интеграции больших данных. Этот инструмент предоставляет такие функции, как облако, большие данные, интеграция корпоративных приложений, качество данных и управление основными данными. Он также предоставляет единый репозиторий для хранения и повторного использования метаданных.
Skyvia — это веб-сервис для интеграции облачных данных и резервного копирования. Он предлагает ETL-инструменты для интеграции облачных CRM с другими источниками данных и позволяет пользователям контролировать все свои бизнес-данные. Данные можно просматривать и управлять ими с помощью SQL. Skyvia обеспечивает лёгкую интеграцию данных без навыков программирования.
Pentaho - это инструмент бизнес-аналитики, который предоставляет клиентам широкий спектр решений бизнес-аналитики. Он способен составлять отчеты, анализировать данные, интегрировать данные, извлекать данные и т. д. Pentaho также предлагает полный набор функций BI, которые позволяют повысить производительность и эффективность бизнеса.
Hevo Data — это платформа ETL, которая поддерживает интеграцию, перемещение и обработку данных. Он поддерживает широкий спектр источников данных и предлагает репликацию данных в реальном времени. Этот инструмент облегчает извлечение, преобразование и загрузку данных в назначенные целевые места назначения.

📊💡Датасет взаимодействий с ChatGPT
Wild Chat - датасет, состоящий из 1 миллиона реальных взаимодействий пользователей с ChatGPT, характеризующихся широким спектром языков и разнообразием промптов.
Он был собран путем предоставления бесплатного доступа всем желающим к ChatGPT и GPT-4 в обмен на сбор истории чатов.
Используя этот датасет, разработчики создали бота WildLlama-7b-user-assistant на базе Llama-2, который способен предсказывать как промптов пользователя, так и ответы, которые может выбрать ChatGPT.
Для загрузки датасета также можно использовать следующий скрипт:
from datasets import load_dataset
dataset = load_dataset("allenai/WildChat-1M")

💡🔎Platform Extension Framework (PXF): преимущества и недостатки
Platform Extension Framework (PXF) - это мощный инструмент, предоставляемый многими современными платформами для расширения их функционала. PXF позволяет разработчикам создавать плагины и дополнения, которые интегрируются в основную платформу, обеспечивая гибкость и расширяемость системы.
К его достоинствами можно отнести:
1. Проверенное временем решение на базе открытого исходного кода c возможностью доработки под свои потребности
2. Модульность: PXF позволяет разделить функциональность на независимые модули. Это упрощает разработку, тестирование и обслуживание кода.
3. Расширяемость: С помощью PXF можно легко добавить новые возможности или интегрироваться с внешними сервисами и инструментами, что позволяет платформе эволюционировать вместе с потребностями бизнеса.
4. Ускорение разработки: Платформы с поддержкой PXF часто предоставляют готовые инструменты и API, которые ускоряют процесс разработки и упрощают внедрение новых функций.
5. Доступный «из коробки» набор коннекторов к популярным источникам данных (Hadoop-стек, доступные через JDBC источники данных, облачные хранилища).
Но можно выделить и ряд недостатков:
1. Необходимость поддерживать обособленное решение на базе своего стека.
2. Выделение ресурсов, как правило, на тех же серверах, где развернута сама СУБД.
3. Множественное преобразование и перекладывание одних и тех же данных на пути от представления в СУБД к типам, которыми оперирует сам PXF.
4. Безопасность: Поскольку расширения могут иметь доступ к важным данным и функциям платформы, важно обеспечить их безопасность и предотвратить возможные уязвимости.
5. Совместимость: Обновления платформы могут привести к проблемам совместимости с существующими расширениями, что требует дополнительного тестирования и адаптации.

Platform Extension Framework предоставляет мощные возможности для расширения и адаптации платформ, позволяя разработчикам создавать кастомные решения и улучшать функциональность систем. Однако важно учитывать возможные сложности и риски, связанные с интеграцией и поддержкой расширений, чтобы максимально эффективно использовать потенциал PXF.

💡🔎Что такое NoORM: преимущества и недостатки
NoORM (No Object-Relational Mapping) — это подход к работе с базами данных, который отвергает использование традиционных ORM (Object-Relational Mapping) фреймворков. Вместо этого разработчики напрямую взаимодействуют с базой данных, используя нативные SQL-запросы или другие специализированные методы работы с данными.
Преимущества NoORM:
1. Оптимизация запросов: Поскольку разработчики пишут SQL-запросы вручную, они могут оптимизировать их до мельчайших деталей, что нередко приводит к значительному улучшению производительности по сравнению с запросами, сгенерированными ORM.
2. Минимизация накладных расходов: Использование ORM добавляет дополнительные слои абстракции, которые могут замедлять выполнение операций. NoORM устраняет эти слои, что также может улучшить производительность.
3. Поддержка сложных структур данных: NoORM позволяет работать с нестандартными структурами данных и отношениями, которые могут быть трудны для реализации через ORM.
4. Понимание процессов: Разработчики имеют полное представление о том, как данные запрашиваются и изменяются, что упрощает отладку и оптимизацию.
Недостатки NoORM:
1. Поддержка кода: Изменение схемы базы данных может потребовать обновления большого количества кода, что усложняет поддержание и развитие системы.
2. Пониженная переносимость: Код, написанный для одной СУБД, может потребовать значительных изменений для работы с другой СУБД, что снижает переносимость приложения.
3. Повторяющийся код: Без ORM разработчики могут столкнуться с необходимостью многократно писать однотипные операции с базой данных, что увеличивает объем кода и снижает его читабельность.
4. Риск SQL-инъекций: При написании ручных SQL-запросов выше риск ошибок, ведущих к уязвимостям, таким как SQL-инъекции. Разработчики должны быть особенно внимательны к валидации и экранированию входных данных.

Таким образом, NoORM является мощным подходом для тех, кто хочет иметь полный контроль над взаимодействием с базой данных и оптимизировать производительность своих приложений. Однако он требует большего уровня знаний и внимательности со стороны разработчиков.

💡🔎Интересный и полезный репозиторий
Jailbreak - репозиторий, который содержит датасет, состоящий из 15 140 запросов ChatGPT с Reddit, Discord, курупыных веб-сайтов и наборов данных с открытым исходным кодом (включая 1 405 запросов для взлом ответов gpt).
По словам разработчиков, они собрали 15 140 сообщений с этих четырех платформ в период с декабря 2022 по декабрь 2023 года.

📊Датасет персонажей от реальных до вымышленных

Character Codex - датасет, который содержит данные о 15 939 персонажах из самых разных источников, от аниме до исторических личностей, ученых и популярных персонажей, как вымышленных, так и не вымышленных!

Потенциальные варианты использования - это использование для генерации синтетических данных, анализа данных о ролевых играх и многого другого.
Для загрузки датасета можно использовать скрипт Python:
from datasets import load_dataset
dataset = load_dataset("NousResearch/CharacterCodex")

📊💡Датасет для анализа видео

CinePile — это датасет для понимания видео на основе вопросов и ответов. Он был создан с использованием передовых моделей больших языковых моделей (LLM). Датасет включает примерно 300 000 точек данных для обучения и 5 000 точек данных для тестирования.

Каждая строка в наборе данных состоит из вопроса (dtype: string), пяти вариантов ответа (dtype: list) и ключа ответа (answer_key) (dtype: string). Во вспомогательных столбцах хранятся название фильма, жанр фильма, названия видеоклипов и т. д.
Для загрузки датасета через Python-скрипт можно воспользоваться следующей командой:
from datasets import load_dataset
dataset = load_dataset("tomg-group-umd/cinepile")

😎💡Яндекс разработал и выложил в опенсорс библиотеку YaFSDP — собственное решение для ускорения обучения больших языковых моделей

YaFSDP — это собственная версия Яндекса для реализации подхода FSDP (от англ. Fully Sharded Data Parallel — параллелизм с полным разбиением данных. При этом YaFSDP лучше оптимизирует ресурсы графических процессоров на всех этапах обучения: pre-training (предварительное обучение), supervised fine-tuning (обучение с учителем), alignment (выравнивание модели). Благодаря этому библиотека стала использовать ровно столько памяти GPU, сколько нужно для обучения, а коммуникацию между графическими процессорами теперь ничто не замедляет.

На сегодняшний день это наиболее эффективный метод ускорения коммуникации между графическими процессорами (GPU), так как библиотека позволяет сократить до 25% время обучения языковых моделей (LLM) с открытым исходным кодом — результат зависит от архитектуры и числа параметров нейросети. При этом экономия ресурсов графических процессоров может достигать 20%.

YaFSDP оптимизирует загрузку вычислительных ресурсов графических процессоров (GPU). Библиотека лучше всего работает именно с большими моделями, поскольку их обучение требует и больших затрат вычислительных ресурсов.

Теперь YaFSDP могут применять сторонние компании, разработчики, исследователи и учёные как в России, так и в других странах, кто занимается обучением больших языковых моделей.

YaFSDP особенно пригодится тем, кто не может позволить себе использование мощных компьютерных систем и для тех, кто использует GPU в облаке. Например, это касается небольших стартапов и студенческих проектов.

Какую проблему решает YaFSDP?
Эта библиотека отлично подходит для решения проблемы "узкого горлышка", когда коммуникации между GPU существенно ограничивают скорость обучения модели независимо от скорости вычислений. Коммуникации между GPU при этом часто неэффективны, так как они используют не 100% мощностей. Следовательно, обучение LLM — это очень дорогой этап, а GPU везде сильно ограничены (особенно в РФ). Таким образом, YaFSDP позволяет значительно ускорить процесс обучения за счет оптимального использования ресурсов GPU.

Как итог, можно отметить ,что YaFSDP дает существенный выигрыш в производительности и потреблении памяти. Библиотека лучше всего подойдет для использования в текстовых генеративных моделях с архитектурой трансформера с несколькими слоями (многослойный перцептрон). Для претрейна (первого этапа обучения модели на ранее собранном большом наборе данных) модели в 70 миллиардов параметров, применение библиотеки позволит сэкономить ресурсы порядка 150 GPU.

⚡️💡Open-source cистема оркестрации контейнеров обработки данных для запуска AI-систем

dstack— это механизм оркестрации контейнеров с открытым исходным кодом, предназначенный для рабочих нагрузок ИИ в любом облаке или центре обработки данных.

Поддерживаемые этой технологией поставщики облачных услуг включают AWS, GCP, Azure, OCI, Lambda, TensorDock, Vast.ai, RunPod и CUDO.

Если на устройстве имеются стандартные учетные данные AWS, GCP, Azure или OCI, сервер dstack подхватит их автоматически.

🖥GitHub
🟡Документация

📊Огромный датасет изображений и их подписей

Pixel Prose - набор данных, который содержит более 16 миллионов разнообразных изображений, полученных из трех различных веб-баз данных (commonPool, CC12M, RedCaps), с подписями, созданными с помощью Google Gemini 1.0 Pro Vision.

Для загрузки датасета с помощью API можно использовать следующий Python-скрипт:
from datasets import load_dataset
# for downloading the whole data
ds = load_dataset("tomg-group-umd/pixelprose")

⚔️🔎ACID в Kafka vs ACID в Airflow при обработке Big data: преимущества и недостатки

При рассмотрении двух популярных инструментов для обработки данных, таких как Apache Kafka и Apache Airflow, важно понять, как они справляются с принципами ACID (Atomicity, Consistency, Isolation, Durability). Эти принципы критически важны для обеспечения надежности и предсказуемости обработки данных.

Преимущества Kafka ACID:
1. Долговечность (Durability): Kafka сохраняет данные в дисковой памяти, что обеспечивает их сохранность даже в случае сбоя системы.
2. Консистентность (Consistency): При правильной настройке Kafka обеспечивает, что все потребители получают одни и те же данные в одном и том же порядке.
3. Изолированность (Isolation): Сообщения в Kafka разделены по темам и разделам, что помогает изолировать обработку данных между разными потоками.

Недостатки Kafka ACID:
1. Атомарность (Atomicity): Kafka не всегда гарантирует атомарность на уровне сообщений. В некоторых случаях могут возникнуть дублирующиеся сообщения или пропуски, если не использовать дополнительные инструменты, такие как Kafka Transactions.
2. Сложность настройки: Для достижения ACID-свойств в Kafka требуется сложная настройка и управление, включая конфигурацию репликации и транзакций.

Преимущества Airflow ACID:
1. Атомарность (Atomicity): Airflow обеспечивает атомарность на уровне задач. Если задача завершилась с ошибкой, весь DAG (Directed Acyclic Graph) можно повторно запустить или восстановить с точки сбоя.
2. Консистентность (Consistency): Airflow поддерживает строгую последовательность выполнения задач, обеспечивая консистентное состояние данных.
3. Управление зависимостями: Airflow позволяет управлять зависимостями между задачами, что упрощает обеспечение изолированности и консистентности данных.

Недостатки Airflow ACID:
1. Производительность: В отличие от Kafka, Airflow не предназначен для обработки данных в реальном времени. Его основное назначение – управление долгосрочными и сложными рабочими процессами.
2. Долговечность (Durability): Хотя Airflow сохраняет состояние задач и DAG-ов, он полагается на внешние хранилища данных (например, базы данных) для долговременного хранения данных, что может потребовать дополнительных усилий для обеспечения долговечности.

Таким образом, Apache Kafka лучше подходит для обработки данных в реальном времени с высокой производительностью и долговечностью, но может потребовать сложной настройки для достижения атомарности и консистентности. Apache Airflow, в свою очередь, отлично справляется с управлением и оркестрацией сложных рабочих процессов, обеспечивая атомарность и консистентность на уровне задач, но не предназначен для потоковой обработки данных в реальном времени.

⚡️Гиперконвергентная облачная open-source БД

MatrixOne — это гиперконвергентная облачная распределенная БД со структурой, которая разделяет хранение, вычисления и транзакции, образуя единый движок данных HSTAP.
Этот механизм позволяет единой системе баз данных справляться с различными бизнес-нагрузками, такими как OLTP, OLAP и потоковые вычисления.

MatrixOne поддерживает развертывание и использование в публичных и частных облаках, обеспечивая совместимость с различными инфраструктурами.

🖥 GitHub
🟡 Документация

🌎ТОП июльских ивентов в Data Science
3 июля - DataStart - Онлайн - https://datastart.ru/
4 июля - Data Day - Москва, Россия - https://data-day.ru/
12-14 июля - Volga IT Camp - Самара, Россия - https://volga-it-camp.ru/
5-19 июля - EKF AI Challenge - Онлайн - https://codenrock.com/contests/ekf-ai-challenge#/
26-27 июля - PYCON RUSSIA - Москва, Россия - https://pycon.ru/

🎼Датасеты и проекты для задач генерации и анализа музыки

MAESTRO - (MIDI and Audio Edited for Synchronous Tracks and Organisation) содержит более 200 часов аннотированных записей международных конкурсов пианистов за последние десять лет.

NSynth - датасет состоит из 305 979 музыкальных нот и включает записи 1006 различных инструментов, таких как флейта, гитара, фортепиано и орган. Датасет аннотирован по типу инструмента (акустический, электронный или синтетический) и другим звуковым параметрам.

Lakh MIDI v0.1 - в датасете имеется 176,581 MIDI-файл, из которых 45,129 связаны с образцами из Million Song Dataset. Данный датасет разработан для упрощения поиска музыкальной информации на основе текста и аудио контента в большом масштабе.

Music21 - содержит музыкальные выступления из 21 категории и нацелен на решение исследовательских задач (например, поиска ответа на вопрос :»Какая группа использовала данные аккорды впервые?»)

💻Высокопроизводительная распределенная БД

YugabyteDB - это высокопроизводительная распределенная БД, которая поддерживает все возможности PostgreSQL.

YugabyteDB отлично подходит для облачных OLTP-приложений (т. е. работающих в реальном времени и критически важных для бизнеса), которым необходима абсолютная корректность данных и требуется масштабируемость или высокая устойчивость к сбоям.

🖥 GitHub
🟡 Документация

Создание локального кластера YugabyteDB с Docker:

docker run -d --name yugabyte -p7000:7000 -p9000:9000 -p15433:15433 -p5433:5433 -p9042:9042 \
 yugabytedb/yugabyte:2.21.1.0-b271 bin/yugabyted start \
 --background=false

⚡️💡💻Состоялся релиз СУБД MySQL 9.0.0

Недавно Oracle выпустила СУБД MySQL 9.0.0. Разработчики проекта подготовили и выложили в открытый доступ сборки MySQL Community Server 9.0.0 для основных дистрибутивов Linux, FreeBSD, macOS и Windows.

В 2023 году компания объявила об изменении модели формирования релизов СУБД MySQL. Разработчики начали выпускать два вида веток MySQL: Innovation (новые функции, частое обновление, три месяца поддержки) и LTS (с расширенным временем поддержки и сохранением неизменного поведения).

Как отмечают разработчики, проект MySQL 9.0 отнесён к ветке Innovation, к которым также будут отнесены следующие значительные релизы MySQL 9.1 и 9.2.

Дистрибутивы на базе Innovation-веток рекомендованы для тех пользователей, кто хочет раньше получать доступ к новой функциональности. Они публикуются каждые 3 месяца и поддерживаются только до публикации следующего значительного релиза (например, после появления ветки 9.1 будет прекращена поддержка ветки 9.0).

⚡️Инструмент для значительного усиления БД

WrenAI — open-source инструмент, который делает имеющуюся БД готовой к работе с RAG.

Он позволяет преобразовывать текст в SQL, изучать данные из БД без написания SQL, и делать многое другое

🖥 GitHub
🟡 Документация

💡Очередная небольшая подборка AI-инструментов для Big Data аналитики

KNIME Analytics Platform - является бесплатной платформой с открытым исходным кодом, что позволяет пользователям оставаться на передовой науки о данных, имеет в своем арсенале 300+ коннекторов к различным источникам данных и интегруется со всеми популярными библиотеками машинного обучения.

Polymer - искусственный интеллект для преобразования данных в оптимизированную, гибкую и мощную базу данных. Все, что нужно сделать пользователю, это загрузить свою электронную таблицу на платформу, чтобы мгновенно преобразовать ее в оптимизированную базу данных, которую затем можно изучить для получения информации.

IBM Cognos Analytics - это компонентный онлайн-сервис бизнес-аналитики (BI), обеспечивающий доступ к широкому диапазону функций для создания бизнес-отчётов, анализа данных, мониторинга событий и метрик с целью выработки эффективных бизнес-решений.

Akkio - инструмент бизнес-аналитики и прогнозирования, позволяющий пользователям анализировать свои данные и прогнозировать потенциальные результаты. Инструмент AI позволяет пользователям загружать свой набор данных и выбирать переменную, которую они хотят предсказать, что помогает Akkio построить нейронную сеть вокруг этой переменной. Как и многие другие инструменты, Akkio не требует предварительного опыта программирования.

Monkeylearn - использует функции анализа данных ИИ, чтобы помочь пользователям визуализировать и реорганизовать свои данные. Его также можно использовать для настройки классификаторов текста и экстракторов текста, которые помогают автоматически сортировать данные в соответствии с темой или намерением, а также извлекать характеристики продукта или пользовательские данные.