😱YouTube видео превратили в хранилище данных
Алгоритм AKA ISG был создан энтузиастами, чтобы превратить видео на YouTube в бесплатное и практически неограниченное хранилище данных. Суть алгоритма заключается в том, что он позволяет вставлять файлы в видео и загружать их на YouTube как часть видео. Каждый файл состоит из байтов, которые можно представить как числа. В свою очередь, каждый пиксель в видео может быть интерпретирован как белый (1) или чёрный (0).
В итоге получается видео, каждый кадр которого содержит в себе информацию.
По словам разработчиков, YouTube не имеет ограничений на количество видео, которые можно загрузить. Это означает, что, таким образом, это фактически бесконечное облачное хранилище

💥⚡️Сервисы для разметки данных на сегодняшний день
1. Hasty.ai - у этой платформы есть множество «умных» инструментов наподобие GrabCut, Contour и Dextr, распознающих края или контуры объектов, которые можно вручную настроить с пороговым значением для наилучшего сегментирования изображения. Она также поддерживает прогнозирование разметки после аннотирования достаточного объёма данных. Вторая особенность платформы — возможность обучения собственного распознавателя объектов, семантического сегментирования и сегментирования объектов. Единственный недостаток заключается в том, что обработка занимает время (до 10-20 секунд), а его можно было потратить на выполнение самой разметки.
2. Superannotate — это стартап Кремниевой долины, который обеспечивает векторные аннотации (прямоугольники, многоугольники, линии, эллипсы, ключевые точки с шаблонами и кубоиды), и попиксельное аннотирование при помощи кисти. Лучшая часть данного инструмента — это функция суперпикселей. Она способна распознавать края объектов с чрезвычайно большой точностью, что сильно ускоряет семантическую сегментацию и сегментацию объектов по сравнению с другими инструментами. Единственная проблема заключается в том, что если границы между объектом и фоном нечётки, она больше тратит времени на манипуляции с сегментами, чем на выполнение самой работы.
3. Datasaur – программа для разметки данных, в которой акцент делается на разметке текста. Если необходим инструмент разметки данных для обработки естественного языка, то это довольно интересный вариант.
4. Clarifai - предоставляет множество полезных возможностей для обучения ИИ. Он может размечать данные на картинках, в видео и в тексте.
5. V7 Darwin - данный инструмент активно используется для аннотирования изображений. Он позволяет распознавать любой участок или объект. Его даже можно использовать в видео для автоматического аннотирования ключевых кадров.

🧐📝🤖Обработка данных с Clickhouse: преимущества и недостатки
ClickHouse - это открытая колоночная база данных для аналитики и обработки больших объемов данных. Он был разработан компанией Яндекс и предназначен для обработки и анализа Big Data в реальном времени.
Преимущества Clickhouse:
1. Высокая производительность: ClickHouse спроектирован для обработки очень больших объемов данных с высокой скоростью. Он может эффективно справляться с запросами, требующими сложных агрегаций и аналитических операций на миллиардах строк данных.
2. Масштабируемость: ClickHouse обеспечивает горизонтальное масштабирование, что означает, что его можно легко масштабировать, добавляя новые узлы кластера для увеличения производительности и обработки больших объемов данных.
3. Низкая задержка: ClickHouse обеспечивает низкую задержку выполнения запросов благодаря своей колоночной архитектуре, которая позволяет быстро фильтровать и агрегировать данные, необходимые для ответа на запросы.
4. Эффективное использование ресурсов: ClickHouse оптимизирован для работы на высоконагруженных системах и предлагает различные механизмы сжатия данных и управления памятью, что позволяет эффективно использовать ресурсы сервера.
5. Поддержка SQL-запросов: ClickHouse поддерживает стандартный язык запросов SQL, что облегчает разработку и интеграцию существующих инструментов и приложений.

Однако, несмотря на все преимущества, Clickhouse имеет ряд недостатков:
1. Ориентированность на аналитику: ClickHouse является оптимальным выбором для аналитических задач, но может быть менее подходящим для операционных или транзакционных нагрузок, где требуется частое изменение данных или запись большого количества небольших транзакций.
2. Сложность конфигурации и управления: Настройка и управление ClickHouse может быть сложным процессом, особенно для новичков. Некоторые аспекты, такие как распределение данных, требуют тщательного планирования и опыта для достижения оптимальной производительности.
3. Отсутствие полной поддержки для транзакций: ClickHouse не предоставляет полноценную поддержку транзакций, что может быть недостатком для некоторых приложений, требующих согласованности данных и атомарности операций.
4. Сложность внесения изменений в схему данных: Внесение изменений в схему данных в ClickHouse может быть сложным и требовать перезагрузки данных или перестройки таблиц, что может быть затратным по времени и ресурсам.
Таким образом, ClickHouse является мощной и эффективной системой для аналитики на больших объемах данных, но требует тщательного планирования и конфигурации для достижения оптимальной производительности.

🔥💥Достаточно полезные платформы веб-аналитики данных на сегодняшний день
Segment — это веб-платформа и API для веб-аналитики и сбора данных о пользователях для дальнейшей их отправки на сотни инструментов или хранилищ данных. С помощью Segment можно экспортировать данные в любую внутреннюю систему и приложение, воспроизводить исторические данные, просматривать события в режиме реального времени, например, когда кто-то совершает покупку на сайте или в приложении.
Metabase — это инструмент для бизнес-аналитики с открытым исходным кодом. Пользователи задают вопросы о данных, а Metabase отображает ответы в осмысленных форматах, таких как гистограмма или таблица. Вопросы к данным сохраняются и группируются в информативные дашборды, которые использует вся команда.
Matomo — это платформа веб-аналитики, которая включает встроенный менеджер тегов, что позволяет отслеживать и контролировать эффективность различных маркетинговых кампаний. Функции включают пользовательское хранение данных, SAML и LDAP аутентификацию, журналы активности, медиа-аналитику и кастомизируемые отчеты.
SimilarWeb — это облачная платформа для анализа посещаемости веб-сайтов. В число функций входят экспорт данных, показатели эффективности, кастомные дашборды и анализ конверсии. Маркетинговые команды выигрывают от возможности просматривать демографические данные, анализировать поведение клиентов и открывать новые возможности.
Amplitude — это популярный пакет продуктовой аналитики, который отслеживает посетителей сайта с помощью совместного анализа. Программное обеспечение использует кастомные отчеты о поведении и уведомления, чтобы предложить лучшее понимание того, как посетители взаимодействуют, а также предоставить практические инсайты для ускорения разработки продукта. Amplitude также позволяет определять стратегии продукта, улучшать вовлеченность клиентов и оптимизировать конверсии.

💥ТОП-5 июньских ивентов в Data Science
8 июня - VK Cloud Conf 2023 - Москва, Россия - https://mcs.mail.ru/events/vk-cloud-conf23
21 июня - Artificial Intelligence Day - Онлайн - https://www.tadviser.ru/a/710157
26-27 июня - Saint HighLoad++ 2023 - Санкт-Петербург - Россия - https://highload.ru/spb/2023
28-30 июня - TECH WEEK - Москва, Россия - https://techweek.moscow/
29-30 июня - Saint TeamLead Conf 2023 - Санкт-Петербург - Россия - https://teamleadconf.ru/spb/2023

🤖💥🧠Малоизвестные, но достаточно полезные-фреймворки для DL
1. ZenML - это фреймворк MLOps, который позволяет создавать готовые к использованию конвейеры машинного обучения. Он предоставляет высокоуровневые абстракции, позволяющие специалистам по обработке данных полностью управлять конвейером, вплоть до его развертывания в продакшн. В отличие от Airflow, который ориентирован на инженеров данных, ZenML упрощает работу с объектами Pandas и PyTorch, не требуя от пользователя глубокого понимания инфраструктуры и инструментов развертывания. Data Scientistу достаточно описать желаемую структуру конвейера, а ZenML возьмет на себя остальные детали и настройки.
2. MLRun - представляет собой дополнительный фреймворк для управления конвейерами машинного обучения. Он предоставляет стандартизацию для конфигурационных файлов, окружений, параметров и источников данных, тем самым снимая необходимость беспокоиться о месте запуска конвейера.
3. Metaflow - это библиотека, предназначенная для управления проектами в области Data Science, разработанных на языках Python или R. Изначально Metaflow был создан в компании Netflix с целью повышения производительности Data Scientist'ов, которые занимаются разнообразными проектами - от классической статистики до современного глубокого обучения.
4. Kedro разработан для создания многомодульного кода MLOps, который обладает свойствами воспроизводимости и поддерживаемости. Он использует принципы программной инженерии и применяет их к коду машинного обучения. Важные концепции, применяемые в Kedro, включают модульность, разделение задач и управление версиями. Кроме того, Kedro предлагает веб-интерфейс для визуализации конвейеров.
5. Seldon Core является платформой MLOps, разработанной для оптимизации рабочих процессов машинного обучения. Она предоставляет набор инструментов, включающих журналирование, расширенные метрики, возможность тестирования (например, A/B-тестирование), масштабирование и преобразование моделей в микросервисы с использованием протоколов REST или GRPC.
6. Flyte представляет собой MLOps-платформу, предназначенную для отслеживания, обслуживания и автоматизации рабочих процессов машинного обучения, включая процессы, связанные с Kubernetes. Она обеспечивает возможность воспроизводить выполнение моделей машинного обучения путем отслеживания изменений модели, управления версиями и контейнеризации модели вместе с ее зависимостями. Flyte предлагает как интерфейс командной строки (CLI), так и веб-интерфейс для удобного взаимодействия с платформой.

📉📊📈Топ 6 инструментов для анализа данных любой природы
DataRobot - инструмент для масштабирования возможностей машинного обучения. Содержит массивную библиотеку моделей с открытым исходным кодом и собственной разработки. Решает сложные проблемы в области Data Science. Предоставляет полностью объяснимый ИИ с помощью удобных для человека визуальных представлений. К минусу можно отнести цену, однако доступна бесплатная пробная версия
Alteryx объединяет аналитику, машинное обучение, науку о данных и автоматизацию процессов в единую сквозную платформу. Данная платформа принимает данные с сотен других хранилищ (включая Oracle, Amazon и Salesforce), позволяя тем самым тратить больше времени на анализ и меньше на поиск. Alteryx позволяет быстро создавать прототипы моделей машинного обучения и конвейеров с помощью автоматизированных блоков обучения моделей. Она помогает легко визуализировать данные на протяжении всего пути решения задач и моделирования.
H2O - это инструмент машинного обучения с открытым исходным кодом и распределенной памятью, обладающий линейной масштабируемостью. Он поддерживает почти все популярные статистические алгоритмы и алгоритмы машинного обучения, включая обобщенные линейные модели, глубокое обучение и машины с градиентным усилением. H2O принимает данные непосредственно из Spark, Azure, Spark, HDFS и различных других источников в свое распределенное хранилище ключевых значений in-memory.
SPSS Statistics - предназначена для решения деловых и исследовательских задач посредством детального анализа, проверки гипотез и прогнозной аналитики. SPSS может читать и записывать данные из электронных таблиц, баз данных, текстовых файлов ASCII и других статистических пакетов. Она может читать и записывать данные во внешние таблицы реляционных баз данных через SQL и ODBC.
RapidMiner - поддерживает все этапы метода машинного обучения, включая подготовку данных, визуализацию результатов, проверку модели и оптимизацию. Помимо собственной коллекции наборов данных, RapidMiner предоставляет несколько вариантов создания базы данных в облаке для хранения огромных объемов данных. Существует возможность хранить и загружать данные с различных платформ, таких как NoSQL, Hadoop, RDBMS и др.
Weka - это набор инструментов визуализации и алгоритмов для анализа данных и прогностического моделирования. Все они доступны бесплатно по лицензии GNU General Public License. Пользователи могут экспериментировать со своими наборами данных, применяя различные алгоритмы, чтобы увидеть, какая модель дает наилучший результат. Затем они могут использовать инструменты визуализации для изучения данных.

⚔️🤖🧠Spark DataFrame vs Pandas Dataframe: преимущества и недостатки
Spark DataFrame и Pandas DataFrame - это структуры данных, предназначенные для удобной работы с табличными данными в Python, но они имеют некоторые отличия в своем функционале и способе обработки данных.
Spark DataFrame является основным компонентом Apache Spark, распределенной вычислительной платформы для обработки больших объемов данных. Он представляет собой распределенную коллекцию данных, организованную в виде именованных столбцов.
Pandas DataFrame - это структура данных, предоставляемая библиотекой Pandas, которая обеспечивает мощные инструменты для анализа и манипулирования табличными данными. Pandas DataFrame представляет собой двумерный маркированный массив данных, состоящий из рядов и столбцов, и подобен таблице базы данных или электронной таблице.
Преимущества Spark Dataframe:
1. Распределенная обработка данных: Spark Dataframe разработан для обработки больших объемов данных и может работать с данными, которые не помещаются в память одного узла. Он распределяет данные и вычисления по кластеру, что позволяет достичь высокой производительности.
2. Поддержка языков программирования: Spark Dataframe поддерживает несколько языков программирования, включая Python, Scala, Java и R. Это позволяет разработчикам использовать предпочитаемый им язык при работе с данными.
3. Поддержка разных источников данных: Spark Dataframe может работать с различными источниками данных, такими как Hadoop Distributed File System (HDFS), Apache Hive, Apache HBase, Apache Cassandra и многими другими. Он предоставляет удобные API для работы с разными форматами данных.
Недостатки Spark Dataframe:
1. Сложность настройки и управления кластером: Spark требует настройки и управления кластером для распределенной обработки данных. Это может быть сложным для начинающих пользователей или для проектов с ограниченными ресурсами.
2. Медленный запуск: Запуск Spark-кластера может занимать время, особенно если требуется настройка сети и других параметров. В случае маленьких наборов данных это может быть неэффективным и занимать больше времени, чем обработка данных самим Spark.

Преимущества Pandas Dataframe:
1. Простота использования: Pandas Dataframe предоставляет простой и интуитивно понятный API для работы с данными. Он предлагает множество функций для фильтрации, сортировки, группировки и агрегации данных, что делает его удобным для анализа данных.
2. Большое сообщество пользователей: Pandas является очень популярным инструментом в сообществе анализа данных и машинного обучения. Это означает, что есть множество ресурсов, документации и сообществ, где можно получить помощь и поддержку.
3. Высокая производительность на небольших наборах данных: Pandas оптимизирован для работы с относительно небольшими наборами данных, которые могут поместиться в память одного узла. В таких случаях Pandas может быть более быстрым, чем Spark.
Недостатки Pandas Dataframe:
1. Ограничения памяти: Pandas Dataframe хранит все данные в памяти, поэтому работа с большими наборами данных может быть ограничена доступной памятью на компьютере. Это может вызвать проблемы с производительностью или даже привести к сбоям программы.
2. Ограниченная масштабируемость: Pandas предназначен для работы на одном узле и не может эффективно масштабироваться для распределенной обработки данных. Если у вас есть большой объем данных, который не помещается в память одного узла, Pandas может стать неэффективным.
Таким образом, выбор между Spark Dataframe и Pandas Dataframe зависит от конкретных потребностей. Если есть большие объемы данных и требуется распределенная обработка, то Spark Dataframe может быть предпочтительнее. Если же вы работаете с небольшими наборами данных и ищете простой и быстрый способ анализа данных, то Pandas Dataframe может быть лучшим выбором.

📖💡🤔 Топ 6 датасетов для Computer Vision
CIFAR-10 - содержит 60 тысяч цветных изображений размером 32x32 с 10 классами (животные и объекты реального мира). Каждый класс состоит из 6000 изображений. Этот массив данных содержит 50000 обучающих изображений и 10000 тестовых изображений. Классы взаимно исключают друг друга и между ними нет пересечений.
Kinetics-700 - Это большой массив видео, состоящий из 650 тысяч клипов, описывающих 700 классов человеческих действий. В видео включены такие взаимодействия «человек-предмет», как игра на музыкальных инструментах, и такие взаимодействия «человек-человек», как объятия. Каждый класс действий содержит не менее 700 видеоклипов, а каждый клип аннотирован классом действия, длящимся более 10 секунд.
IMDB-Wiki - Один из крупнейших публично доступных массивов данных человеческих лиц с гендером, возрастом и именем. Суммарно он содержит 523051 изображений, 460723 лица представляют собой фотографии 20284 знаменитостей с IMDb и 62328 знаменитостей с Википедии.
Cityscapes — это база данных, содержащая разнообразный набор стереографических видеоклипов, записанных на улицах пятидесяти городов. Клипы снимались в течение длительного времени при различном освещении и погодных условиях. Cityscapes содержит семантическую сегментацию экземпляров объектов с попиксельной точностью для 30 классов, разделённых на 8 категорий. Он обеспечивает попиксельные аннотации 5000 кадров и приблизительные аннотации 20000 кадров.
Fire and Smoke Dataset - Это массив данных из более семи тысяч уникальных изображений в разрешении HD. Он состоит из фотографий начинающихся пожаров и дыма, снятых мобильными телефонами в реальных ситуациях. Снимки сделаны в широком диапазоне освещения и погодных условий. Этот массив данных можно использовать для распознавания и обнаружения огня и дыма, а также распознавания аномалий.
FloodNet Dataset - Этот массив состоит из изображений высокого разрешения, сделанных с беспилотных дронов. Изображения содержат подробные семантические аннотации повреждений, вызванных ураганами.

🤔🤖Так ли хорош Trino: преимущества и недостатки
Trino - это распределенный движок обработки запросов SQL для анализа данных в больших масштабах. Он предназначен для выполнения аналитических запросов на больших объемах данных, которые могут быть распределены по нескольким узлам или кластерам.
Преимущества Trino:
1. Масштабируемость: Trino может эффективно работать с огромными объемами данных, разделенными по нескольким узлам. Он может горизонтально масштабироваться, добавляя новые узлы к кластеру и распределяя нагрузку для обработки запросов.
2. Высокая производительность с Big Data: Trino оптимизирован для выполнения аналитических запросов на больших данных. Он использует параллельную обработку запросов, что позволяет ускорить выполнение сложных запросов и улучшить общую производительность.
3. Гибкость и совместимость: Trino поддерживает стандарт SQL и может работать с различными источниками данных, такими как Hadoop HDFS, Amazon S3, Apache Kafka, MySQL, PostgreSQL и многими другими. Он также интегрируется с различными инструментами и платформами анализа данных.
Недостатки Trino:
1. Сложность настройки: Настройка и управление Trino может быть сложным заданием, особенно для непрофессионалов. Он требует наличия квалифицированных специалистов для правильной настройки и оптимизации производительности.
2. Ограниченная поддержка административных функций: Trino сфокусирован на выполнении аналитических запросов и обработке данных, поэтому у него может быть ограниченная поддержка административных функций, таких как мониторинг, резервное копирование и восстановление данных. Вам может понадобиться дополнительные инструменты или настройки для этих задач.
3. Отсутствие встроенной системы управления ресурсами: Trino не имеет встроенной системы управления ресурсами или планировщика. Это означает, что вы должны использовать сторонние инструменты или настройки для эффективного распределения ресурсов между запросами и контроля за производительностью кластера.
4. Зависимость от сторонних инструментов и платформ: Trino интегрируется с различными инструментами и платформами анализа данных, но его функциональность может зависеть от этих сторонних компонентов. Это может создать сложности в управлении и обновлении всей экосистемы, особенно при использовании новых версий или дополнительных интеграций.
5. Не подходит для транзакционных операций: Trino не предназначен для выполнения транзакционных операций, таких как вставка, обновление и удаление данных. Если вам требуется обработка транзакций, вам следует рассмотреть другие системы, специализирующиеся на этой области.

В целом, Trino является мощным инструментом для анализа данных в больших масштабах, особенно в сфере выполнения аналитических запросов на больших объемах данных. Он обеспечивает высокую производительность и гибкость, позволяет работать с различными источниками данных и интегрироваться с другими инструментами и платформами анализа данных. Однако, при использовании Trino необходимо учитывать его недостатки и принимать во внимание специфические требования проекта и инфраструктуры.

😎🧠⚡️Одни из лучших стартапов для генерации синтетических данных различных отраслей
Hazy — британский стартап по генерации синтетических данных, целью которого является обучение необработанных банковских данных для финтех-отраслей.
Tonic.ai - предлагает автоматизированный и анонимный способ синтеза данных для использования в тестировании и разработке различного ПО. Данная платформа также реализует деидентификацию базы данных, что означает отфильтровывание личных данных (PII) из реальных данных, а также защиту конфиденциальности клиентов.
Mostly.AI — это базирующаяся в Вене платформа синтетических данных, которая обслуживает такие отрасли, как страхование, банковское дело и телекоммуникации. Он обеспечивает передовой ИИ и первоклассную конфиденциальность, извлекая шаблоны и структуру из исходных данных для подготовки совершенно разных наборов данных.
YData — стартап из Португалии, который помогает специалистам по данным решать проблемы низкого качества данных или доступа к большим пользовательским данным с помощью масштабируемых решений ИИ. Выполняя тесты, такие как атаки на вывод, инженеры YData несут ответственность за любые риски утечки или повторной идентификации личности. Поэтому они используют метод TSTR (Train Synthetic Test Real), который оценивает возможность использования данных, сгенерированных ИИ, для обучения моделей прогнозирования.
Anyverse - создает синтетическую 3D-среду. Anyverse визуализирует и настраивает различные сценарии для демонстрационных данных с помощью механизма трассировки лучей. Технология вычисляет взаимодействие световых лучей с объектами сцены на физическом уровне.
Rendered.AI - стартап, который генерирует синтетические наборы данных на основе физики для спутников, автономных транспортных средств, робототехники и здравоохранения.
Oneview — это израильская платформа, основанная на науке о данных, которая использует спутниковые снимки и технологии дистанционного зондирования для оборонной разведки.

⚔️⚡️🤖MDS vs PCA или что лучше использовать при снижении размерности данных
Многомерное шкалирование (Multidimensional Scaling, MDS) и метод главных компонент (Principal Component Analysis, PCA) являются двумя популярными методами анализа данных, которые широко применяются в области статистики, машинного обучения и визуализации данных. Оба метода имеют цель сжать информацию, содержащуюся в многомерных данных, и представить ее в удобном для анализа виде. Несмотря на сходство в их целях, MDS и PCA имеют существенные отличия в своих подходах и применимости.
Метод главных компонент (PCA) - является статистическим методом, используемым для снижения размерности данных. Он ищет линейные комбинации исходных переменных, называемые главными компонентами, которые объясняют наибольшую часть дисперсии в данных.
Преимущества PCA:
1. Устранение мультиколлинеарности: PCA может использоваться для устранения мультиколлинеарности, присущей набору исходных переменных. Он позволяет объединить связанные переменные в главные компоненты, устраняя избыточность информации.
2. Скорость вычислений: PCA обычно является достаточно эффективным с точки зрения вычислительных затрат.
3. Устойчивость к шуму: PCA проявляет большую устойчивость к шуму в данных. В PCA доминирующие компоненты (главные компоненты) объясняют наибольшую часть дисперсии в данных, тогда как менее значимые компоненты могут отображать шум. Это позволяет PCA лучше разделять сигналы и шум, что особенно полезно при анализе данных с низким сигнал-шумом соотношением.
Недостатки PCA:
1. Линейная зависимость: PCA основан на предположении о линейной зависимости между переменными. В случае нелинейной зависимости, PCA может не обнаружить важную структуру данных.
2. Потеря интерпретируемости: после проецирования данных на пространство главных компонент, их интерпретация может быть затруднена, так как новые переменные являются линейными комбинациями исходных переменных.
3. Чувствительность к выбросам: PCA может быть чувствительным к наличию выбросов в данных, так как они могут сильно влиять на распределение главных компонент.

Многомерное шкалирование (MDS) - является методом визуализации данных, который стремится сохранить относительные расстояния между объектами в исходных данных при проецировании их на низкоразмерное пространство.
Преимущества MDS:
1. Учет нелинейной зависимости: MDS не требует предположения о линейной зависимости между переменными и может обнаруживать нелинейные отношения в данных.
2. Сохранение относительных расстояний: MDS стремится сохранить относительные расстояния между объектами в исходных данных при визуализации. Это позволяет обнаружить структуру данных, которая может быть утрачена в процессе снижения размерности.
3. Интерпретируемость: MDS обеспечивает относительно легкую интерпретацию проекций данных на низкоразмерное пространство, так как они сохраняют относительные расстояния исходных данных.
Недостатки MDS:
1. Вычислительная сложность: MDS может быть вычислительно сложным при работе с большими наборами данных, особенно когда требуется сохранение точных относительных расстояний между всеми парами объектов.
2. Зависимость от метрики: MDS требует определения метрики расстояния между объектами. Выбор некорректной метрики может привести к искажению результатов.

Таким образом, PCA и MDS являются достаточно эффективными инструментами анализа данных. PCA широко используется для снижения размерности данных и выявления структуры в линейно зависимых переменных, в то время как MDS предоставляет возможность сохранить относительные расстояния и обнаружить нелинейные отношения между объектами. Выбор между этими методами зависит от специфики данных и целей анализа. При необходимости снижения размерности и обнаружении главных компонент, PCA может быть предпочтительным выбором, в то время как MDS рекомендуется для визуализации и сохранения относительных расстояний в данных.

📊📈📉🤖Pandas AI — ИИ-библиотека для анализа Big Data
Pandas AI — это библиотека Python со встроенным генеративным искусственным интеллектом или языковой моделью.
Принцип работы: в редакторе кода задаете любой вопрос про данные на естественном языке и без написания кода получаете готовый ответ по вашим данным.
Установить Pandas AI можно с помощью следующей команды:
pip install pandasai
После установки необходимо импортировать библиотеку pandasai и функцию LLM (Large Language Model):
import pandas as pd
from pandasai import PandasAI
from pandasai.llm.openai import OpenAI
Однако, Pandas AI при этом не позиционирует себя как замена Pandas. Как отмечают разработчики, это скорее некоторое улучшение для стандартной Pandas.
Также разработчики предупреждают, что весь фрейм данных каждый раз передается вместе с вопросом, поэтому решение далеко не идеально для обработки больших наборов данных.

🔎📝Датасеты для обработки естественного языка
Sentiment analysis - набор различных датасетов, каждый из которых содержит необходимую информацию для анализа тональности текста. Так, данные, взятые с IMDb – это бинарный набор для анализа настроений. Он состоит из 50 000 отзывов из базы данных фильмов (IMDb), помеченных как положительные или отрицательные.
WikiQA - представляет собой набор пар вопросов и предложений. Они были собраны и аннотированы для исследования ответов на вопросы в открытых доменах. WikiQA создана с использованием более естественного процесса. Она включает вопросы, для которых не существует правильных предложений, что позволяет исследователям работать над триггером ответа, критически важным компонентом любой системы QA.
Amazon Reviews dataset - этот набор данных состоит из нескольких миллионов отзывов покупателей Amazon и их оценок. Датасет используется для возможности обучения fastText, анализируя настроения покупателей. Идея состоит в том, что несмотря на огромный объем данных – это реальная бизнес-задача. Модель обучается за считанные минуты. Именно это отличает Amazon Reviews от аналогов.
Yelp dataset - набор данных Yelp – это множество предприятий, отзывов и пользовательских данных, которые можно применить в Pet-проекте и научной работе. Также можно использовать Yelp для обучения студентов во время работы с базами данных, при изучении NLP и в качестве образца производственных данных. Датасет доступен в виде файлов JSON и является «классикой» в обработке естественного языка.
Text classification - классификация текста - это задача присвоения предложению или документу соответствующей категории. Категории зависят от выбранного набора данных и могут варьироваться в зависимости от тем. Так, TREC – это набор данных для классификации вопросов, который состоит из открытых вопросов, основанных на фактах. Они разделены на широкие семантические категории. Датасет имеет шестиклассную (TREC-6) и пятидесятиклассную (TREC-50) версии. Обе версии включают 5452 обучающих и 500 тестовых примеров.

💥📖ТОП июльских ивентов в Data Science
6 июля - E+ Grand Summer Forum - Москва, Россия - https://gsf.eplus.marketing/
11 июля - Data Open Source Day - Москва, Россия - https://cloud.yandex.ru/events/799
12 июля - MarTech Conference 2023 - Москва, Россия - https://mar-tech.org/
28-29 июля - PYCON RUSSIA - Москва, Россия - https://pycon.ru/

😎💥В открытом доступе появился репозиторий YouTube-ASL
В данном репозитории представлена информация о наборе данных YouTube-ASL, который представляет собой обширный датасет с открытым исходным кодом. Он содержит видеоролики, на которых демонстрируется американский жестовый язык с английскими субтитрами.
Данный набор данных включает в себя 11 093 отснятого видео на американском жестовом языке (ASL) и имеет общую продолжительность 984 часа отснятого материала. Кроме того, в наборе присутствует 610 193 английских субтитров.
В репозитории представлена ссылка на текстовый документ с ID данных видеоматериалов.
Данный репозиторий находится по ссылке: https://github.com/google-research/google-research/tree/master/youtube_asl

😎Датасеты, заслуживающие внимания
IMDB reviews — 25 000 отзывов на фильмы в тренировочном наборе и 25 000 в тестовом.
GTSRB (German traffic sign recognition benchmark) Dataset — 50 000 изображений 43 дорожных знаков
Breast Histopathology Images Dataset — датасет содержит изображения образцов рака молочной железы
Cityscapes Dataset — содержит высококачественные аннотации видеопоследовательностей улиц разных городов
Обнаружение мошенничества с кредитными картами - датасет по анонимным транзакциям кредитных карт, помеченные как мошеннические или подлинные.
Европейская футбольная база - Больше 25 тысяч матчей, атрибуты игроков и команд для европейского профессионального футбола
Распознавание цветов - набор данных содержит 4242 изображения цветов. Сбор данных основан на данных Flickr, изображениях Google и «Яндекса»
Ежедневная рыночная цена каждой криптовалюты -  исторические цены на криптовалюту для всех токенов

▪️InteriorAi - позволяет пользователям создавать свежие образы и даже новые элементы для своих интерьеров. В качестве исходного материала приложение использует 2D-изображение интерьера, будь то загруженное из Интернета или сделанное фото. Приложение не бесплатное, но в пробной лицензии сделать 5 бесплатных рендеров.
▪️RoomGPT — недавно разработанная модель искусственного интеллекта, которая помогает в создании дизайна комнат. Room GPT является бесплатным сервисом. Но из-за наплыва желающих разработчики пока установили для пользователей лимит по три генерации в сутки.
▪️Planner 5D — условно-бесплатное веб-приложение, также доступное на мобильных устройствах, предназначенное для проектирования помещений и дизайна интерьера в виде 2D и 3D моделей. В основе сервиса лежит идея предоставления людям без профессиональных инженерных и архитектурных навыков возможности создать наглядный план помещения с трёхмерной визуализацией.

📚📌Книги по NLP, которые актуальны в 2023 году
1. Speech and Language Processing - Книга, написанная двумя профессорами Стэнфордского университета, по обработке речи и языка содержит исчерпывающее введение в мир NLP. Она разбита на 3 раздела: Фундаментальные алгоритмы для НЛП, Приложения НЛП и Аннотирование лингвистической структуры
2. Foundations of Statistical Natural Language Processing - данная книга начинает с основ НЛП и постепенно погружает вас в математические аспекты, необходимые для обработки естественного языка, такие как вероятностные пространства, теорема Байеса, дисперсия и многие другие.
3. Pattern Recognition and Machine Learning - книга представляет собой детальное введение в область распознавания образов и машинного обучения.В конце каждой главы есть упражнение, подобранное таким образом, чтобы лучше объяснить читателю каждую концепцию.
4. Neural Network Methods in Natural Language Processing - в данной книге изучаются такие основы, как линейные модели, перцептроны, feed-forward, обучение нейронных сетей и тд.  Автор использовал математический подход для объяснения этих фундаментальных элементов вместе с практическими примерами.
5. Practical Natural Language Processing - в книге рассказывается о том, как NLP используется в реальном мире, о конвейере моделей NLP, а также о текстовых данных и примерах использования, таких как чат-боты типа ChatGPT.

📊⚡️Генераторы данных в открытом доступе с открытым исходным кодом
Benerator - программное решение для генерации тестовых данных для тестирования и обучения моделей машинного обучения
DataFactory - это проект, который позволяет легко генерировать тестовые данные для заполнения базы данных, а также тестирования AI-моделей
MockNeat - предоставляет простой API, который позволяет разработчикам программно создавать данные в форматах json, xml, csv и sql.
Spawner - генератор данных для различных баз данных и AI-моделей. Он включает в себя множество типов полей, в том числе настраиваемых пользователем вручную

📝💡Несколько советов по подготовке датасетов для видеоаналитики
1. Не ставьте жесткие критерии для включения данных в сет: обеспечьте разнообразие кадров, чтобы модель могла научиться обрабатывать разные ситуации. Чем выше разнообразие датасета, тем лучше модель будет генерализировать сущность детектируемого объекта.
2. Планируйте испытания в реальных условиях: подготовьте список объектов и контакты, где вы потенциально можете провести съемки.
3. Аннотируйте данные: при подготовке данных для видеоаналитики может быть полезно проаннотировать объекты или события на видеозаписи. Это поможет обучающимся моделям распознавать и классифицировать объекты более точно.
4. Синхронизация времени: убедитесь, что все камеры в системе синхронизированы по времени. Это поможет восстановить последовательность событий и связать действия, происходящие на разных камерах.
5. Разделение видео на сегменты: если ваша система обрабатывает большие видеофайлы, разделите их на более маленькие сегменты. Это поможет упростить обработку и анализ данных, а также улучшит производительность системы.
6. Метаданные видео: создайте метаданные для видеозаписей, включая временные метки, информацию о местоположении и другие соответствующие данные. Это поможет в организации и поиске видеофайлов и событий при последующем анализе.