⚡️💡💻Состоялся релиз СУБД MySQL 9.0.0

Недавно Oracle выпустила СУБД MySQL 9.0.0. Разработчики проекта подготовили и выложили в открытый доступ сборки MySQL Community Server 9.0.0 для основных дистрибутивов Linux, FreeBSD, macOS и Windows.

В 2023 году компания объявила об изменении модели формирования релизов СУБД MySQL. Разработчики начали выпускать два вида веток MySQL: Innovation (новые функции, частое обновление, три месяца поддержки) и LTS (с расширенным временем поддержки и сохранением неизменного поведения).

Как отмечают разработчики, проект MySQL 9.0 отнесён к ветке Innovation, к которым также будут отнесены следующие значительные релизы MySQL 9.1 и 9.2.

Дистрибутивы на базе Innovation-веток рекомендованы для тех пользователей, кто хочет раньше получать доступ к новой функциональности. Они публикуются каждые 3 месяца и поддерживаются только до публикации следующего значительного релиза (например, после появления ветки 9.1 будет прекращена поддержка ветки 9.0).

⚡️Инструмент для значительного усиления БД

WrenAI — open-source инструмент, который делает имеющуюся БД готовой к работе с RAG.

Он позволяет преобразовывать текст в SQL, изучать данные из БД без написания SQL, и делать многое другое

🖥 GitHub
🟡 Документация

💡Очередная небольшая подборка AI-инструментов для Big Data аналитики

KNIME Analytics Platform - является бесплатной платформой с открытым исходным кодом, что позволяет пользователям оставаться на передовой науки о данных, имеет в своем арсенале 300+ коннекторов к различным источникам данных и интегруется со всеми популярными библиотеками машинного обучения.

Polymer - искусственный интеллект для преобразования данных в оптимизированную, гибкую и мощную базу данных. Все, что нужно сделать пользователю, это загрузить свою электронную таблицу на платформу, чтобы мгновенно преобразовать ее в оптимизированную базу данных, которую затем можно изучить для получения информации.

IBM Cognos Analytics - это компонентный онлайн-сервис бизнес-аналитики (BI), обеспечивающий доступ к широкому диапазону функций для создания бизнес-отчётов, анализа данных, мониторинга событий и метрик с целью выработки эффективных бизнес-решений.

Akkio - инструмент бизнес-аналитики и прогнозирования, позволяющий пользователям анализировать свои данные и прогнозировать потенциальные результаты. Инструмент AI позволяет пользователям загружать свой набор данных и выбирать переменную, которую они хотят предсказать, что помогает Akkio построить нейронную сеть вокруг этой переменной. Как и многие другие инструменты, Akkio не требует предварительного опыта программирования.

Monkeylearn - использует функции анализа данных ИИ, чтобы помочь пользователям визуализировать и реорганизовать свои данные. Его также можно использовать для настройки классификаторов текста и экстракторов текста, которые помогают автоматически сортировать данные в соответствии с темой или намерением, а также извлекать характеристики продукта или пользовательские данные.

🔎Архитектура Lakehouse: преимущества и недостатки

Архитектура Lakehouse предназначена для обеспечения более гибкой и эффективной обработки данных, включая хранение, обработку и аналитическую обработку данных. Она представляет собой гибридный подход, объединяющий элементы традиционного хранилища данных (Data Warehouse) и озера данных (Data Lake).

Преимущества Lakehouse:

1. Унификация данных: архитектура Lakehouse позволяет хранить структурированные и неструктурированные данные в одном месте. Это упрощает доступ и анализ данных, устраняя необходимость в отдельных системах для каждого типа данных.
2. Экономическая эффективность: За счёт использования дешёвых решений для хранения данных, таких как облачные объекты хранения, архитектура Lakehouse может быть более экономически эффективной по сравнению с традиционными хранилищами данных.
3. Гибкость и масштабируемость: Lakehouse поддерживает масштабируемость, что позволяет легко увеличивать объём хранимых данных и мощность обработки по мере необходимости. Это особенно важно для компаний, работающих с большими объёмами данных и требующих высокой производительности.
4. Совместимость с современными аналитическими инструментами: Многие современные аналитические инструменты и платформы, такие как Apache Spark, Delta Lake и другие, интегрируются с архитектурой Lakehouse, обеспечивая высокую производительность и надёжность анализа данных.

Недостатки Lakehouse

1. Сложность внедрения: Внедрение архитектуры Lakehouse может потребовать значительных усилий и затрат на планирование, разработку и настройку системы. Это может включать обучение персонала и адаптацию существующих процессов и инструментов.
2. Управление качеством данных: Слияние данных из различных источников может привести к проблемам с качеством данных, особенно если отсутствуют строгие процессы очистки и валидации данных.
3. Безопасность и конфиденциальность: Объединение больших объёмов данных в одном месте увеличивает риски, связанные с безопасностью и конфиденциальностью данных. Необходимы дополнительные меры для защиты данных от несанкционированного доступа и утечек.
4. Потенциальная задержка в доступе к данным: В некоторых случаях архитектура Lakehouse может сталкиваться с задержками в доступе к данным, особенно при обработке больших объёмов неструктурированных данных.

Таким образом, архитектура Lakehouse предлагает множество преимуществ, таких как унификация данных, экономическая эффективность и гибкость, что делает её привлекательной для многих организаций. Однако её внедрение связано с определёнными вызовами, включая сложность интеграции, управление качеством данных и вопросы безопасности.

⚡️🔎Полностью синтетический датасет

На Hugging Face появился огромный датасет, состоящий полностью из синтетических данных.

LLM (в данном случае GPT-4o + VLLM) генерирует ответы, представляя себя каждый раз каким-нибудь персонажем: например, ученым-химиком или музыкантом.

Синтетические данные иногда могут сильно помочь (особенно, когда задача абстрактная и нет структурированной информации), но к ним до сих пор относятся с осторожностью. Они недостаточно реалистичны, разнообразны и в них потенциально кроются галлюцинации. До сих пор неясно, будем ли мы когда-нибудь свободно пользоваться "синтетикой", однако работа над этим активно идет.

💡Крупный датасет видеоданных с большой продолжительностью и структурированными аннотациями

MiraData от Tencent — готовый датасет суммарной продолжительностью видео в 16 тысяч часов, предназначенный для обучения моделей генерации текста в видео. Он включает в себя длинные видеоролики (в среднем 72,1 секунды) с высокой интенсивностью движения и подробными структурированными аннотациями (в среднем 318 слов на ролик).

Для оценки качества датасета была даже специально создана система бенчмарков MiraBench из 17 метрик, оценивающих временную согласованность, движения в кадре, качество видео, и другие параметры. Согласно их результатам, MiroData превосходит другие известные датасеты, доступные в открытых источниках , которые в основном состоят из коротких видеороликов с плавающим качеством и короткими описаниями.

😎Графовая БД, реализованная на фреймворке Apache Apache TinkerPop3

HugeGraph - open-source графовая БД, реализованная на фреймворке Apache TinkerPop3 и полностью совместимая с языком запросов Gremlin.

HugeGraph поддерживает импорт более 10 миллиардов вершин и ребер и может очень быстро обрабатывать запросы (на уровне мс).

Типичные сценарии применения HugeGraph — это исследование связей между объектами, анализ ассоциаций, поиск путей, извлечение признаков, кластеризация данных, обнаружение сообществ, построение графа.

Быстрый старт с Docker:

docker run -itd --name=graph -p 8080:8080 hugegraph/hugegraph
# docker exec -it graph bash

⚡️Крупнейшая коллекция датасетов из ~ 1 млн пар задач и решений для математических соревнований

NuminaMath - датасеты, состоящие из 1 млн пар задач и решений для различных математических задач.

🔎Цепочка рассуждений (CoT): 860 тысяч пар задач и решений, созданных с помощью CoT.

🛠 Инструментально-интегрированные рассуждения (TIR): 73 тысячи синтетических решений, полученных на основе GPT-4, с обратной связью по выполнению кода для разбивки сложных задач на более простые подзадачи, которые могут быть решены с помощью Python.

По словам исследователей, модели, обученные на NuminaMath, демонстрируют лучшие в своем классе показатели среди моделей с открытым весом и приближаются или превосходят собственные модели по показателям математических соревнований

😎💡Бенчмарк для комплексной оценки логического мышления LLM

ZebraLogic - бенчмарк, основанный на логических головоломках и представляет собой набор из 1000 программно сгенерированных заданий различной сложности - с сеткой от 2x2 до 6x6.

Каждая головоломка состоит из N домов (пронумерованных слева направо) и M характеристик для каждого дома. Задача заключается в том, чтобы на основе предоставленных подсказок определить уникальное распределение значений характеристик по домам.
Языковым моделям предоставляется один пример решения головоломки с подробным объяснением хода рассуждений и ответом в формате JSON. Затем модели должны решить новую задачу, предоставив как ход рассуждений, так и окончательное решение в заданном формате.

Метрики оценки:
1. Точность на уровне головоломки (процент полностью правильно решенных головоломок).
2. Точность на уровне ячеек (доля правильно заполненных ячеек в матрице решения).

🟡Страница проекта
🟡Датасет

Локальный запуск ZebraLogic в рамках фреймфорка ZeroEval:

# Install via conda

conda create -n zeroeval python=3.10
conda activate zeroeval

# pip install vllm -U # pip install -e vllm 

pip install vllm==0.5.1
pip install -r requirements.txt
# export HF_HOME=/path/to/your/custom/cache_dir/

# Run Meta-Llama-3-8B-Instruct via local, with greedy decoding on `zebra-grid`
bash zero_eval_local.sh -d zebra-grid -m meta-llama/Meta-Llama-3-8B-Instruct -p Meta-Llama-3-8B-Instruct -s 4

💡🤖ИИ для генерации различных звуков в беззвучных видео

FoleyCrafter - методика, разработанная для автоматического создания звуковых эффектов, синхронизированных с целевым видеорядом
Архитектура метода построена на основе предварительно обученной модели преобразования текста в аудио (Text2Audio).

Система состоит из двух ключевых компонентов:
Семантический адаптер - использует параллельные слои cross-attention для обусловливания генерации аудио на основе видеопризнаков. Выполняет семантическое соответствие генерируемых звуков визуальному контенту.
Временной контроллер - детектор временных меток анализирует и предсказывает интервалы звука и тишины в видео. Временной адаптер синхронизирует аудио с видео на основе выставленных детектором временных меток.

Оба компонента являются обучаемыми модулями, которые принимают видео в качестве входных данных для синтеза аудио. При этом модель Text2Audio остается фиксированной для сохранения ее способности к синтезу аудио постоянного качества.

Разработчики FoleyCrafter провели количественные и качественные эксперименты на наборах данных VGGSound и AVSync15 по метрикам семантического соответствия MKL, CLIP Score, FID и временной синхронизации Onset ACC, Onset AP.
По сравнению с существующими методами Text2Audio (SpecVQGAN, Diff-Foley и V2A-Mapper) FoleyCrafter показал лучшие результаты.

💡Датасеты, использовавшиеся при построении различных ML-базисов

Iphone dataset - набор датасетов, на основе которых были построены более 40 тысяч динамических и более 100 тысяч статических гауссианов, 20 базисов SE(3) с помощью Shape of Motion.

Время обучения на 1хGPU A100 с использованием оптимизатора Adam разрешением 960x720 составило чуть более 2-х часов при скорости рендеринга 40 кадров в секунду.

По результатам тестов в процессе обучения, Shape of Motion показал хорошие результаты по качеству и консистентности построения сцен.
Однако, метод все еще требует оптимизации для каждой конкретной сцены и не может обрабатывать значительные изменения ракурса камеры. Также установлена критическая зависимость от точных параметров камеры и пользовательского ввода для создания маски движущихся объектов.

🌎ТОП августовских ивентов в Data Science
1 августа - SaluteJazz 2.0 - Онлайн - https://softline.ru/events/salutejazz_2_0_masshtabnoe_obnovlenie_ai_platformy_dlya_kommunikatsiy_01_08_2024
1 августа - Погружение в Kubernetes - Онлайн - https://softline.ru/events/vorkshop_pogruzhenie_v_kubernetes_platforma_deckhouse_kak_servis_iz_oblaka_01_08_2024
15 августа - iSpring Tech Data Engineer Meetup - Йошкар-Ола, Россия - https://ispring-tech-event.timepad.ru/event/2972730/
16-19 августа - Искуственный интеллект + Коммуникация - Минск, Беларусь - https://agni-inc.timepad.ru/event/2937612/
19 августа-13 сентября - E-CUP 2024 - Онлайн - https://e-cup-ozon.ru/

💡😎Стратап, перевернувший представление об обработке данных

CRAM - новая технология памяти, позволяющая снизить потребление энергии при обработке данных ИИ в 1000 раз.

Исследователи из Университета Миннесоты разработали новую технологию Computational Random-Access Memory (CRAM) которая способна снизить энергопотребление при обработке данных. В отличие от традиционных решений, где данные перемещаются между памятью и процессором, CRAM позволяет обрабатывать данные непосредственно в ячейках памяти.
Это достигается за счет использования высокоплотной и перенастраиваемой спинтронной структуры, встроенной в ячейки памяти. Таким образом, данные не покидают память, что минимизирует задержки отклика и потребление энергии, связанные с передачей информации.

С помощью CRAM данные никогда не покидают память, вместо этого они полностью обрабатываются в массиве памяти компьютера. По словам исследовательской группы, это позволяет системе, работающей с вычислительным приложением ИИ, снизить энергопотребление “примерно в 1000 раз по сравнению с современным решением”.

💡😎Интересный набор данных Caldera

Датасет Caldera представляет собой сцены с открытым исходным кодом, содержащую большую часть геометрии, найденной в игре Call of Duty®: Warzone™.

Сюда входит геометрия, которую можно визуализировать, а также некоторые альтернативные, обычно невидимые представления, используемые в других расчетах. Например, разработчики включили сюда объемы для помощи в расчетах освещения или простые фигуры для обнаружения столкновений. Исключены многие одноточечные сущности, например, места спавна персонажей или сложные модели, основанные на скриптах. Как отмечают разработчики, они решили не включать в этот выпуск текстуры и материалы. Это добавило бы сложности и размера и без того тяжелой сцене. Они сосредоточились на многочисленных связях между пространственными элементами, которые можно обнаружить в этом наборе, а не на точном визуальном представлении.

💡😎В свободном доступе книга «PostgreSQL 16 изнутри»

Компания-разработчик СУБД Postgres Professional выпустила новую книгу «PostgreSQL 16 изнутри». Электронная версия учебника находится в свободном доступе. Автор книги — Егор Рогов, директор по разработке образовательных программ Postgres Professional.

Первое издание этого учебника, основанное на 14-й версии PostgreSQL, было выпущено в марте 2022 года и обновлено до 15 версии. Из-за большого читательского интереса компания перевела книгу на английский язык. Позже она стала самым популярным тематическим изданием 2023 года по версии Postgres Weekly и вошла в список профессиональной литературы на официальном сайте сообщества PostgreSQL.

В актуальной редакции книги «PostgreSQL 16 изнутри» учтены замечания читателей, исправлены опечатки, а также отражены изменения, произошедшие в версии PostgreSQL 16. Также Postgres Professional обновила локализованную документацию к PostgreSQL 16.

⚡️📊OpenAI теперь предоставляет нормальные структурированные JSON с данными

Хотелось бы напомнить, что режим JSON работает уже примерно год, однако заявленному формату выходы моделек соответствовали менее, чем в половине случаев.

Однако для разработчиков, кому нужна хорошая разметка данных появилась отличная новость. В обновленной версии gpt-4o-2024-08-06 такой проблемы больше нет: в 100% тестов ошибки в формате отсутствуют.

Код и туториал по использованию фичи лежит тут.

⚠️Внимание! Spark = Pandas + поддержка Big Data

Будьте внимательны, применяя свои знания Pandas к работе со Spark!!!

Безусловно, Pandas и Spark оперируют одним и тем же типом данных — таблицами. Однако способ их взаимодействия с ними существенно отличается.
Например, основное отличие в том, что Pandas работает в рамках одного процесса на одной машине и загружает все данные в память, в то время, как Spark предназначен для работы с большими распределенными наборами данных и может обрабатывать терабайты и петабайты данных, не загружая их полностью в память одного узла

Однако, к сожалению, многие программисты часто переносят свои знания из Pandas в Spark, предполагая схожесть архитектуры, что приводит к узким местам в производительности.

Подробнее о решении этой проблемы можно узнать из этой статьи

🧐Алгоритм B-tree: преимущества и недостатки

Алгоритм B-дерева (B-tree) является основой для индексации в большинстве реляционных баз данных. Алгоритм B-tree широко используется в базах данных и файловых системах, так как он оптимизирован для работы с большими объемами данных, минимизируя количество дисковых операций.

Преимущества B-tree:

1. Балансировка и производительность: B-tree всегда остается сбалансированным, что гарантирует, что все листья находятся на одном уровне. Это обеспечивает логарифмическое время поиска, вставки и удаления данных (O(log n)).
2. Минимизация дисковых операций: В B-tree узлы могут содержать множество ключей и дочерних указателей, что позволяет значительно уменьшить количество обращений к диску. Это особенно важно в системах, где чтение и запись на диск — дорогая операция.
3. Эффективное использование памяти: B-tree эффективно использует память, поскольку каждый узел может содержать несколько ключей и дочерних указателей, что уменьшает накладные расходы на хранение

Недостатки B-tree:

1. Вставка и удаление: Хотя вставка и удаление имеют логарифмическую сложность, они могут требовать изменения нескольких узлов и балансировки дерева, что добавляет дополнительные вычислительные накладные расходы.
2. Оверхед на хранение: Для поддержания баланса и структуры B-tree требуется дополнительное пространство для хранения указателей и других метаданных, что может привести к увеличению памяти по сравнению с другими структурами данных, такими как бинарные деревья поиска.
3. Сложность поиска в больших узлах: В узлах, содержащих большое количество ключей, поиск внутри узла может занять время, так как он требует линейного или бинарного поиска внутри узла.

Больше узнать о B-tree можно из видео, где автор достаточно подробно рассказывает про данный алгоритм

👀Смотреть видео

🧐Как победить рутину в Data Science

Недавно наткнулся на прикольную статью, которая рассказывает о том, как автоматизация процессов в Data Science может помочь избавиться от рутины и повысить эффективность бизнеса.

По мнению авторов, хорошая и быстрая автоматизация включает в себя выполнение таких шагов, как:

1. Построение сильного бейзлайна: подход целесообразен при покрытии новых процессов моделями, а также в тех случаях, когда модели приносят небольшой финансовый эффект.
2. Автоматизация валидации результатов: сравнение качества разработанной модели в ручном режиме и в автоматическом может стать элементом предварительной валидации
3. Оценка ценности новых признаков: данные должны пополняться новыми признаками, часть из которых может улучшить уже внедрённые модели
4. Подбор качественного инструмента для аналитиков: необходимо искать инструмент для анализа таким образом, чтобы как можно сильнее снизить для специалистов порог входа в разработку моделей машинного обучения

⚡️Масштабируемый датасет для настройки инструкций в программных математических рассуждениях

Конвейер построения в математических рассуждениях делает акцент на разделении чисел от математических задач для синтеза независимых от чисел программ, что обеспечивает эффективное и гибкое масштабирование при минимизации зависимости от конкретных числовых значений.

Как отмечают авторы в своем исследовании, эксперименты по тонкой настройке с открытым исходным кодом языковых и кодовых моделей, таких как Llama2 и CodeLlama, демонстрируют практические преимущества датасета InfinityMATH.

Кроме того, эти модели показали высокую надежность на тестах GSM8K+ и MATH+, представляющих собой улучшенные версии тестовых наборов с незначительными изменениями числовых значений.

📊Датасет
📖Статья с исследованием