💡Датасеты, использовавшиеся при построении различных ML-базисов

Iphone dataset - набор датасетов, на основе которых были построены более 40 тысяч динамических и более 100 тысяч статических гауссианов, 20 базисов SE(3) с помощью Shape of Motion.

Время обучения на 1хGPU A100 с использованием оптимизатора Adam разрешением 960x720 составило чуть более 2-х часов при скорости рендеринга 40 кадров в секунду.

По результатам тестов в процессе обучения, Shape of Motion показал хорошие результаты по качеству и консистентности построения сцен.
Однако, метод все еще требует оптимизации для каждой конкретной сцены и не может обрабатывать значительные изменения ракурса камеры. Также установлена критическая зависимость от точных параметров камеры и пользовательского ввода для создания маски движущихся объектов.

🌎ТОП августовских ивентов в Data Science
1 августа - SaluteJazz 2.0 - Онлайн - https://softline.ru/events/salutejazz_2_0_masshtabnoe_obnovlenie_ai_platformy_dlya_kommunikatsiy_01_08_2024
1 августа - Погружение в Kubernetes - Онлайн - https://softline.ru/events/vorkshop_pogruzhenie_v_kubernetes_platforma_deckhouse_kak_servis_iz_oblaka_01_08_2024
15 августа - iSpring Tech Data Engineer Meetup - Йошкар-Ола, Россия - https://ispring-tech-event.timepad.ru/event/2972730/
16-19 августа - Искуственный интеллект + Коммуникация - Минск, Беларусь - https://agni-inc.timepad.ru/event/2937612/
19 августа-13 сентября - E-CUP 2024 - Онлайн - https://e-cup-ozon.ru/

💡😎Стратап, перевернувший представление об обработке данных

CRAM - новая технология памяти, позволяющая снизить потребление энергии при обработке данных ИИ в 1000 раз.

Исследователи из Университета Миннесоты разработали новую технологию Computational Random-Access Memory (CRAM) которая способна снизить энергопотребление при обработке данных. В отличие от традиционных решений, где данные перемещаются между памятью и процессором, CRAM позволяет обрабатывать данные непосредственно в ячейках памяти.
Это достигается за счет использования высокоплотной и перенастраиваемой спинтронной структуры, встроенной в ячейки памяти. Таким образом, данные не покидают память, что минимизирует задержки отклика и потребление энергии, связанные с передачей информации.

С помощью CRAM данные никогда не покидают память, вместо этого они полностью обрабатываются в массиве памяти компьютера. По словам исследовательской группы, это позволяет системе, работающей с вычислительным приложением ИИ, снизить энергопотребление “примерно в 1000 раз по сравнению с современным решением”.

💡😎Интересный набор данных Caldera

Датасет Caldera представляет собой сцены с открытым исходным кодом, содержащую большую часть геометрии, найденной в игре Call of Duty®: Warzone™.

Сюда входит геометрия, которую можно визуализировать, а также некоторые альтернативные, обычно невидимые представления, используемые в других расчетах. Например, разработчики включили сюда объемы для помощи в расчетах освещения или простые фигуры для обнаружения столкновений. Исключены многие одноточечные сущности, например, места спавна персонажей или сложные модели, основанные на скриптах. Как отмечают разработчики, они решили не включать в этот выпуск текстуры и материалы. Это добавило бы сложности и размера и без того тяжелой сцене. Они сосредоточились на многочисленных связях между пространственными элементами, которые можно обнаружить в этом наборе, а не на точном визуальном представлении.

💡😎В свободном доступе книга «PostgreSQL 16 изнутри»

Компания-разработчик СУБД Postgres Professional выпустила новую книгу «PostgreSQL 16 изнутри». Электронная версия учебника находится в свободном доступе. Автор книги — Егор Рогов, директор по разработке образовательных программ Postgres Professional.

Первое издание этого учебника, основанное на 14-й версии PostgreSQL, было выпущено в марте 2022 года и обновлено до 15 версии. Из-за большого читательского интереса компания перевела книгу на английский язык. Позже она стала самым популярным тематическим изданием 2023 года по версии Postgres Weekly и вошла в список профессиональной литературы на официальном сайте сообщества PostgreSQL.

В актуальной редакции книги «PostgreSQL 16 изнутри» учтены замечания читателей, исправлены опечатки, а также отражены изменения, произошедшие в версии PostgreSQL 16. Также Postgres Professional обновила локализованную документацию к PostgreSQL 16.

⚡️📊OpenAI теперь предоставляет нормальные структурированные JSON с данными

Хотелось бы напомнить, что режим JSON работает уже примерно год, однако заявленному формату выходы моделек соответствовали менее, чем в половине случаев.

Однако для разработчиков, кому нужна хорошая разметка данных появилась отличная новость. В обновленной версии gpt-4o-2024-08-06 такой проблемы больше нет: в 100% тестов ошибки в формате отсутствуют.

Код и туториал по использованию фичи лежит тут.

⚠️Внимание! Spark = Pandas + поддержка Big Data

Будьте внимательны, применяя свои знания Pandas к работе со Spark!!!

Безусловно, Pandas и Spark оперируют одним и тем же типом данных — таблицами. Однако способ их взаимодействия с ними существенно отличается.
Например, основное отличие в том, что Pandas работает в рамках одного процесса на одной машине и загружает все данные в память, в то время, как Spark предназначен для работы с большими распределенными наборами данных и может обрабатывать терабайты и петабайты данных, не загружая их полностью в память одного узла

Однако, к сожалению, многие программисты часто переносят свои знания из Pandas в Spark, предполагая схожесть архитектуры, что приводит к узким местам в производительности.

Подробнее о решении этой проблемы можно узнать из этой статьи

🧐Алгоритм B-tree: преимущества и недостатки

Алгоритм B-дерева (B-tree) является основой для индексации в большинстве реляционных баз данных. Алгоритм B-tree широко используется в базах данных и файловых системах, так как он оптимизирован для работы с большими объемами данных, минимизируя количество дисковых операций.

Преимущества B-tree:

1. Балансировка и производительность: B-tree всегда остается сбалансированным, что гарантирует, что все листья находятся на одном уровне. Это обеспечивает логарифмическое время поиска, вставки и удаления данных (O(log n)).
2. Минимизация дисковых операций: В B-tree узлы могут содержать множество ключей и дочерних указателей, что позволяет значительно уменьшить количество обращений к диску. Это особенно важно в системах, где чтение и запись на диск — дорогая операция.
3. Эффективное использование памяти: B-tree эффективно использует память, поскольку каждый узел может содержать несколько ключей и дочерних указателей, что уменьшает накладные расходы на хранение

Недостатки B-tree:

1. Вставка и удаление: Хотя вставка и удаление имеют логарифмическую сложность, они могут требовать изменения нескольких узлов и балансировки дерева, что добавляет дополнительные вычислительные накладные расходы.
2. Оверхед на хранение: Для поддержания баланса и структуры B-tree требуется дополнительное пространство для хранения указателей и других метаданных, что может привести к увеличению памяти по сравнению с другими структурами данных, такими как бинарные деревья поиска.
3. Сложность поиска в больших узлах: В узлах, содержащих большое количество ключей, поиск внутри узла может занять время, так как он требует линейного или бинарного поиска внутри узла.

Больше узнать о B-tree можно из видео, где автор достаточно подробно рассказывает про данный алгоритм

👀Смотреть видео

🧐Как победить рутину в Data Science

Недавно наткнулся на прикольную статью, которая рассказывает о том, как автоматизация процессов в Data Science может помочь избавиться от рутины и повысить эффективность бизнеса.

По мнению авторов, хорошая и быстрая автоматизация включает в себя выполнение таких шагов, как:

1. Построение сильного бейзлайна: подход целесообразен при покрытии новых процессов моделями, а также в тех случаях, когда модели приносят небольшой финансовый эффект.
2. Автоматизация валидации результатов: сравнение качества разработанной модели в ручном режиме и в автоматическом может стать элементом предварительной валидации
3. Оценка ценности новых признаков: данные должны пополняться новыми признаками, часть из которых может улучшить уже внедрённые модели
4. Подбор качественного инструмента для аналитиков: необходимо искать инструмент для анализа таким образом, чтобы как можно сильнее снизить для специалистов порог входа в разработку моделей машинного обучения

⚡️Масштабируемый датасет для настройки инструкций в программных математических рассуждениях

Конвейер построения в математических рассуждениях делает акцент на разделении чисел от математических задач для синтеза независимых от чисел программ, что обеспечивает эффективное и гибкое масштабирование при минимизации зависимости от конкретных числовых значений.

Как отмечают авторы в своем исследовании, эксперименты по тонкой настройке с открытым исходным кодом языковых и кодовых моделей, таких как Llama2 и CodeLlama, демонстрируют практические преимущества датасета InfinityMATH.

Кроме того, эти модели показали высокую надежность на тестах GSM8K+ и MATH+, представляющих собой улучшенные версии тестовых наборов с незначительными изменениями числовых значений.

📊Датасет
📖Статья с исследованием

🧐Чем отличаются форматы медицинских снимков DICOM и NIfTI

Прежде чем разбираться в отличиях DICOM и NIfTI, давайте немного подробнее разберемся, что из себя представляет в отдельности каждый из этих форматов

🤔Что такое стандарт DICOM?

Стандарт DICOM — Digital Imaging and Communications in Medicine (DICOM) — используется для обмена снимками и информацией, он популярен уже более десятка лет. Сегодня почти каждое устройство, используемое в радиологии (в том числе КТ, МРТ, УЗИ и рентгенографии), оснащено поддержкой стандарта DICOM. Согласно информации разработчика стандарта, DICOM позволяет передавать медицинские снимки в среде устройств разных производителей и упрощать разработку и расширение систем архивации изображений и коммуникации.

🤔Что такое стандарт NIfTI?

The Neuroimaging Informatics Technology Initiative (NIfTI) был создан для работы с пользователями и производителями медицинских устройств с целью решения некоторых проблем и недостатков других стандартов визуализации. Стандарт NIfTI был специально разработан для устранения этих проблем в сфере нейровизуализации с упором на функциональную магнитно-резонансную томографию (fMRI, ФМРТ). Согласно определению NIfTI, основная задача NIfTI — предоставление скоординированного целевого обслуживания, обучения и исследований для ускорения разработки и повышения удобства информационных инструментов в сфере нейровизуализации. NIfTI состоит из двух стандартов, NIfTI-1 и NIfTI-2, причём второй является 64-битным усовершенствованием первого. Он не заменяет NIfTI-1, а используется параллельно и поддерживается широким ассортиментом медицинских нейровизуальных устройств и операционных систем.

❓В чём разница между DICOM и NIfTI?

1. У файлов NIfTI меньше метаданных: в файле NIfTI не требуется заполнять такое количество тегов, как в файлах снимков DICOM. В них гораздо меньше метаданных для проверки и анализа, однако это в некотором смысле является недостатком, поскольку DICOM предоставляет пользователям различные слои данных о снимке и пациенте.

2. Файлы DICOM часто более громоздкие: передачей данных DICOM руководят строгие правила форматирования, гарантирующие поддержку принимающим устройством классов SOP и синтаксисов передачи, например, формата файла и шифрования, использованного для передачи данных. При передаче файлов DICOM одно устройство переговаривается с другим. Если одно устройство не может обработать информацию, которую пытается отправить другое, оно проинформирует запрашивающее устройство, чтобы отправитель мог откатиться к другому объекту (например, к предыдущей версии) или отправить информацию в другую точку получения. Поэтому обработка, передача, считывание и запись файлов NIfTI обычно выполняются проще и быстрее, чем для файлов снимков DICOM.

3. DICOM работает с 2D-слоями, а NIfTI может отображать 3D-детали: в файлах NIfTI снимки и другие данные хранятся в 3D-формате. Он специально спроектирован таким образом, чтобы преодолеть проблемы пространственной ориентации других форматов файлов медицинских снимков. Файлы снимков DICOM и ассоциированные данные составлены из 2D-слоёв. Это позволяет просматривать различные срезы изображения, что особенно полезно при анализе человеческого тела и различных органов. Однако благодаря NIfTI нейрохирурги могут быстро выявлять в 3D на снимках объекты, например, правое и левое полушарие мозга. Это бесценная возможность при анализе снимков человеческого мозга, оценивать и аннотировать который крайне сложно.

4. В файлах DICOM можно хранить больше информации: как говорилось выше, файлы DICOM позволяют медицинским специалистам хранить в различных слоях больше информации. Можно создавать структурированные отчёты и даже фиксировать снимки, чтобы другие клиницисты и дата-саентисты могли чётко увидеть, на чём основано мнение/рекомендация.

🌎ТОП сентябрьских ивентов в Data Science
4-9 сентября - SmartData 2024 - Москва, Россия - https://smartdataconf.ru/
11-13 сентября - AISUMMIT - Москва, Россия - https://aisummit.ru/
17-25 сентября - Flow 2024 Autumn - Санкт-Петербург, Россия - https://flowconf.ru/
18-27 сентября - PiterPy 2024 - Санкт-Петербург, Россия - https://piterpy.com/
19 сентября - BY DATA - Минск, Беларусь - https://dgline.by/bydata
25 сентября - YANDEX SCALE 2024 - Москва, Россия - https://scale.yandex.cloud/
26 сентября - AiConf 2024 - Москва, Россия - https://aiconf.ru/2024/
26-27 сентября - MARKETING DATA ANALYTICS 2024 - Москва, Россия - https://interforums.ru/mda24/home
28-29 сентября - E-CODE - Москва, Россия - https://ecode.ozon.tech/

⚠️Text2SQL теперь недостаточно

Недавно наткнулся на статейку, в которой авторы подробно описывают инновационный подход TAG.

Генерация с расширением таблиц (TAG) - это унифицированная парадигма общего назначения для ответа на вопросы на естественном языке с использованием баз данных. Суть данного подхода заключается в том, что у нас имеется модель, которая принимает запрос на естественном языке, обрабатывает его и возвращает ответ на естественном языке.

Таким образом, Text2SQL лишь представляет спектр взаимодействий между LM и базой данных. Сама суть этих взаимодействий описывается c помощью TAG.

📚 Статья с подробным описанием
🛠 Реализация подхода

😎Универсальная БД с эмбеддингами

✅txtai — это универсальная база данных эмбеддингов, предназначенная для семантического поиска, оркестрации больших языковых моделей (LLM) и управления рабочими процессами, связанными с машинным обучением. Эта платформа позволяет эффективно обрабатывать и извлекать информацию, использовать семантический поиск для поиска по тексту, а также организовывать и автоматизировать задачи, связанные с обучением и применением моделей машинного обучения.

Ключевые особенности txtai:

— Включает векторный поиск с использованием SQL, хранение объектов, анализ графов и мультимодальное индексирование
— Поддерживает создание эмбеддингов для различных типов данных, включая текст, документы, аудио, изображения и видео
— Позволяет создавать конвейеры на основе языковых моделей для выполнения различных задач, таких как генерация подсказок для LLM, ответы на вопросы, маркировка данных, транскрипция, перевод, резюмирование и многое другое

🖥 GitHub
🟡 Документация

😎3 полезных инструмента для для работы с SQL-таблицами

SQL Fiddle - Инструмент для простого тестирования, отладки и обмена фрагментами SQL. Добавляете текст в панель, а SQL Fiddle превращает его в скрипт для создания необходимой таблицы. Подойдет как для работы с базами данных, так и для практики навыков SQL.

SQL Database Modeler - может создавать структуру новых таблиц и связи между ними, подключаться к уже имеющимся базам данных и проектировать изменения в них. И это все в симпатичном графическом интерфейсе и со ссылкой на гитхаб.

SQLFlow - простой инструмент для визуализации SQL-запросов и отображения зависимостей. Позволяет отслеживать data lineage-происхождение и трансформации в данных при исполнении запросов.

🤔Проведение оценки качества данных в Airbnb

✅Airbnb — онлайн-платформа для размещения и поиска краткосрочной аренды частного жилья по всему миру.

Недавно наткнулся на статью, где автор описывает процесс разработки и внедрения методики оценки качества данных, а также принципы, критерии и параметры, используемые для этой оценки.

Как отмечает автор, составление оценки базируется на следующих принципах:

1. Полный охват — это метод оценки, который может быть применён ко всем данным из целого массива, обеспечивая анализ и обработку информации без пропусков или ограничений. Этот принцип позволяет проводить более полное и точное исследование данных, охватывая весь набор, независимо от его объёма или сложности.
2. Автоматизированность — это процесс, при котором сбор вводных данных, необходимых для проведения оценки, полностью автоматизирован, без необходимости ручного вмешательства. Такой прнцип обеспечивает высокую скорость, точность и эффективность в сборе и обработке данных, что позволяет улучшить качество анализа и сократить время на принятие решений.
3. Действенность — это характеристика, означающая, что оценка качества данных легко доступна и понятна как для производителей, так и для потребителей данных. Это обеспечивает прозрачность и удобство использования результатов оценки, что способствует более эффективному взаимодействию и повышению доверия между всеми сторонами.
4. Многомерность — это свойство оценки, которое позволяет разложить её на различные базовые составляющие качества данных. Это помогает детально анализировать отдельные аспекты, влияющие на общее качество, такие как точность, полнота, актуальность и консистентность, обеспечивая более глубокое понимание и возможность адресного улучшения каждого компонента.
5. Возможность эволюции — это характеристика оценки, означающая, что критерии и их определения могут адаптироваться и изменяться со временем. Такой гибкий подход позволяет оценке оставаться актуальной и эффективной в условиях меняющихся требований, новых данных и технологического прогресса.

💡🤖😎10 терминов и аспектов из области ИИ, которые сегодня необходимо понимать и осознавать каждому
🧐Сегодня разберем 10 аспектов, которые наиболее широко охватывают область ИИ в различных ее проявлениях:
✅ Размышление/планирование: современные ИИ-системы могут решать задачи, используя шаблоны, которые они усвоили из исторических данных, чтобы понять информацию, что напоминает процесс рассуждения. Самые продвинутые системы могут идти дальше, справляясь с более сложными задачами, создавая планы и определяя последовательность действий для достижения цели.
✅ Обучение/инференция: чтобы создать и использовать ИИ-систему, существует два этапа: обучение и инференция. Обучение можно сравнить с процессом образования ИИ, когда ему предоставляют набор данных, и он учится выполнять задачи или делать прогнозы на основе этих данных.
Инференция — это процесс, когда ИИ использует выученные шаблоны и параметры для того, чтобы, например, предсказать цену нового дома, который скоро будет выставлен на продажу.
✅ Малые языковые модели (SLM): компактные версии больших языковых моделей (LLM). Обе этих вида используют методы машинного обучения, чтобы распознавать шаблоны и связи, позволяя им генерировать реалистичные и естественные ответы на языке. Однако в отличие от LLM, которые огромны и требуют больших вычислительных мощностей и памяти, SLM, такие как Phi-3, обучены на меньших, тщательно подобранных наборах данных и имеют меньше параметров.
✅ Заземление: генеративные ИИ-системы могут создавать истории, стихи, шутки и отвечать на исследовательские вопросы. Однако иногда они сталкиваются с трудностями в отделении фактов от вымысла или используют устаревшие данные, что приводит к ошибочным ответам, называемым "галлюцинациями". Разработчики стремятся сделать взаимодействие ИИ с реальным миром более точным через процесс, называемый заземлением (grounding), когда модель связывают с актуальными данными и конкретными примерами, чтобы улучшить точность и выдавать более релевантные результаты.
✅ Ретроспективная генерация с дополнением (RAG): когда разработчики предоставляют ИИ доступ к внешним источникам данных, чтобы он был более точным и актуальным, используется метод, называемый Retrieval Augmented Generation (RAG). Этот подход экономит время и ресурсы, добавляя новые знания без необходимости повторного обучения ИИ.
✅ Оркестрация: ИИ-программы выполняют множество задач при обработке запросов пользователей, слой оркестрации управляет их действиями в правильном порядке для получения наилучшего ответа. Оркестрационный слой также может следовать шаблону RAG, выполняя поиск в интернете для получения свежей информации и добавления контекста.
✅ Память: современные ИИ-модели технически не обладают памятью. Однако они могут иметь оркестрационные инструкции, которые помогают им «запоминать» информацию, выполняя определённые шаги при каждом взаимодействии.
✅ Трансформеры и диффузионные модели: люди десятилетиями обучают ИИ-системы пониманию и генерации языка, но одним из прорывов, который ускорил прогресс, стала модель-трансформер. Среди генеративных ИИ именно трансформеры лучше и быстрее всего понимают контекст и нюансы.
Диффузионные модели, обычно используют для создания изображений. Эти модели продолжают вносить мелкие изменения, пока не создадут желаемый результат.
✅ Модели передового уровня: Frontier models — это масштабные системы, которые раздвигают границы ИИ и могут выполнять широкий спектр задач с новыми и расширенными возможностями. Они становятся ключевыми инструментами для различных отраслей, включая здравоохранение, финансы, научные исследования и образование.
✅ GPU: графический процессор — это мощный вычислительный блок. Изначально их создавали для того, чтобы улучшать графику в видеоиграх, а теперь они стали настоящими "мускулами" в мире вычислений. А поскольку ИИ по сути занимается решением огромного количества вычислительных задач, чтобы понимать язык и распознавать изображения или звуки, GPU незаменимы для ИИ как на этапе обучения, так и при работе с готовыми моделями.