⚔️⚡️Сравнение Spark Dataframe и Pandas Dataframe: преимущества и недостатки
Датафреймы - это структурированные объекты данных, которые позволяют анализировать и манипулировать большими объемами информации. Два наиболее популярных инструмента для работы с датафреймами - это Spark Dataframe и Pandas Dataframe.
Pandas - это библиотека для анализа данных на языке программирования Python. Pandas Dataframe предоставляет простой и интуитивно понятный способ для анализа и манипулирования табличными данными.
Преимущества Pandas Dataframe:
1. Простота использования: Pandas предлагает интуитивный и легкий в использовании интерфейс для анализа данных. Он позволяет быстро загружать, фильтровать, преобразовывать и агрегировать данные.
2. Богатая интеграция с экосистемой Python: Pandas интегрируется хорошо с другими библиотеками Python, такими как NumPy, Matplotlib и Scikit-Learn, что делает его удобным инструментом для анализа данных и построения моделей.
3. Поддержка временных рядов: Pandas предоставляет отличные средства для работы с временными рядами, включая функции для ресемплинга, временных окон, выравнивания и агрегирования данных.
Недостатки Pandas Dataframe:
1. Ограниченная масштабируемость: Pandas работает в одном потоке и может столкнуться с ограничениями по производительности при работе с большими объемами данных.
2. Память: Pandas требует загрузки всего набора данных в память, что может стать проблемой при работе с очень большими таблицами.
3. Не подходит для распределенных вычислений: Pandas не предназначен для распределенных вычислений на кластерах серверов и не обеспечивает автоматического масштабирования.

Apache Spark - это распределенная вычислительная платформа, предназначенная для эффективной обработки больших объемов данных. Spark Dataframe - это абстракция данных, которая предоставляет интерфейс, аналогичный Pandas Dataframe, но с некоторыми критичными отличиями.
Преимущества Spark Dataframe:
1. Масштабируемость: Spark Dataframe обеспечивает распределенные вычисления, что позволяет эффективно обрабатывать большие объемы данных на кластерах серверов.
2. Ин-моментные вычисления: Spark Dataframe поддерживает операции "в памяти", что позволяет значительно ускорить выполнение запросов и манипуляций с данными.
3. Языковая поддержка: Spark Dataframe поддерживает несколько языков программирования, включая Scala, Java, Python и R.
Недостатки Spark Dataframe:
1. Немного более низкая производительность для небольших объемов данных: Из-за накладных расходов на распределенные вычисления Spark Dataframe может показывать немного более низкую производительность при обработке небольших объемов данных по сравнению с Pandas.
2. Издержки памяти: В силу своей распределенности, Spark Dataframe требует больше оперативной памяти по сравнению с Pandas Dataframe, что может потребовать более мощных серверов для обработки данных.

🔉💥Открыли доступ к более 1,5 ТБ размеченных наборов аудиоданных
В Wonder Technologies было затрачено значительное количество времени разработчиками на формирование систем глубокого обучения, способных воспринимать мир через звуковые сигналы. От применения глубокого обучения, основанного на анализе звуковых данных, до обучения компьютеров распознаванию эмоций в звуке, компания использовала широкий набор данных для создания API, способных эффективно функционировать даже в экстремальных звуковых условиях. Как отмечают разработчики, на сайте приведен перечень наборов данных, которые оказались весьма полезными в ходе исследований и которые использовались для улучшения производительности звуковых моделей в реальных сценариях.

🔎📝Фреймворк DBT: преимущества и недостатки
DBT (Data Build Tool) - это открытый фреймворк для анализа данных, который облегчает процесс подготовки и обработки данных перед аналитическими запросами. DBT был разработан с учетом особенностей современных аналитических практик и ориентирован на работу с данными в среде хранилищ данных и аналитических баз данных. Основной целью DBT является обеспечение практичных инструментов для управления и преобразования данными в процессе подготовки аналитической среды.
Преимущества DBT:
1. Модульность и управляемость: DBT позволяет создавать модули данных, которые могут быть легко переиспользованы и расширены. Это облегчает управление и обслуживание аналитической инфраструктуры.
2. Версионирование и управление изменениями: DBT поддерживает версионирование кода и документации, что делает управление изменениями и совместной работой более эффективными.
3. Автоматизация процесса ETL: DBT предоставляет инструменты для автоматизации процесса извлечения, преобразования и загрузки данных (ETL). Это позволяет сократить затраты времени и усилий на рутинные задачи.
4. Отслеживание зависимостей: DBT автоматически управляет зависимостями между различными частями данных, что облегчает обновления и поддержание консистентности аналитической среды.
5. Использование SQL: DBT использует SQL для описания преобразований данных, что делает его доступным для аналитиков и разработчиков.

Недостатки DBT:
1. Ограничения сложных вычислений: DBT больше подходит для трансформации и подготовки данных, чем для сложных вычислений или машинного обучения.
2. Усложнение для крупных проектов: Для крупных проектов с большим количеством данных и сложными зависимостями между таблицами может потребоваться дополнительная настройка и управление.
3. Сложность внедрения: Внедрение DBT может потребовать времени и ресурсов для настройки и обучения сотрудников.

Общий вывод: DBT - это мощный инструмент для управления и подготовки данных в аналитической среде. Он предоставляет множество преимуществ, но может быть менее подходящим для сложных вычислений и больших проектов. Перед использованием DBT рекомендуется тщательно изучить его функциональные возможности и адаптировать под конкретные потребности организации.

💥😎Недавно в сети появился датасет для сегментации видео с помощью выражений движения
MeViS — это крупномасштабный набор данных для сегментации видео, управляемой выражениями движения, который фокусируется на сегментации объектов в видеоконтенте на основе предложения, описывающего движение объектов. Набор данных содержит множество выражений движения для обозначения целевых объектов в сложных средах.

📚⚡️Вертикальное масштабирование: преимущества и недостатки
Вертикальное масштабирование данных - это подход к масштабированию баз данных, при котором увеличение производительности достигается путем добавления ресурсов (например, процессоров, памяти) к существующим узлам системы. Этот подход ориентирован на улучшение производительности системы путем увеличения ее ресурсов внутри каждого узла, а не добавления новых узлов.
Преимущества вертикального масштабирования данных:
1. Улучшенная производительность: Добавление ресурсов к существующим узлам позволяет обрабатывать больше данных и запросов на одном сервере. Это может привести к улучшению отклика и общей производительности системы.
2. Простота управления: По сравнению с горизонтальным масштабированием (добавление новых серверов), вертикальное масштабирование менее сложно в управлении, так как оно не требует такой же степени настройки и синхронизации между разными узлами.
3. Экономия на затратах на инфраструктуру: Добавление ресурсов к существующим серверам может быть экономически более выгодным, чем покупка и поддержка дополнительных серверов.

Недостатки вертикального масштабирования данных:
1. Ограничение по ресурсам: Вертикальное масштабирование имеет пределы, определяемые максимальной производительностью и ресурсами отдельного узла. Рано или поздно можно достичь точки, когда дальнейшее увеличение ресурсов не приведет к значительному улучшению производительности.
2. Сингл-пойнт-оф-фейлур: Если узел, к которому добавляются ресурсы, выходит из строя, это может повлечь за собой серьезные проблемы с доступностью всей системы. В горизонтальном масштабировании потеря одного узла не оказывает столь существенного влияния.
3. Ограниченная масштабируемость: По мере роста нагрузки может потребоваться добавление все большего количества ресурсов, что в конечном итоге может стать неэффективным или дорогостоящим.
4. Предел ресурсов: При вертикальном масштабировании ресурс, который оказывается наиболее узким местом, может быть увеличен только до определенного предела. Если это именно тот ресурс, который ограничивает производительность, то дополнительные ресурсы могут быть затрачены неэффективно.

🌎ТОП сентябрьских ивентов в Data Science
2 сентября - Yandex Go Infra Meetup #2 – Москва, Россия - https://events.yandex.ru/events/go/infra-2/
4-5 сентября – Flow 2023 – Онлайн - https://flowconf.ru/
6-7 сентября – SmartData – Онлайн - https://smartdataconf.ru/
12 сентября - Yandex DataSphere для образования – Онлайн - https://cloud.yandex.ru/events/817
14 сентября – конференция «Большие данные и бизнес-аналитика 2023» - https://events.cnews.ru/events/bolshie_dannye_i_biznes_analitika__chto_jdet_rynok_k_koncu_2024_goda.shtml
15 сентября - CrossConf 2023 – Москва, Россия - https://crossconf.com/
21 сентября - Управление данными 2023 – Москва, Россия - https://www.osp.ru/lp/dm2023

🔎🤔📝Немного про неструктурированные данные: преимущества и недостатки
Неструктурированные данные представляют собой информацию, которая не имеет четкой организации или формата, что отличает их от структурированных данных, таких как базы данных и таблицы. Такие данные могут быть представлены в разнообразных форматах, таких как текстовые документы, изображения, видео, аудиозаписи и многое другое. Примерами неструктурированных данных являются электронные письма, социальные медиа сообщения, фотографии, транскрипции разговоров и многое другое.
Преимущества неструктурированных данных:
1. Больше информации: Неструктурированные данные могут содержать ценную информацию, которая не может быть представлена в структурированной форме. Это может включать в себя нюансы, контекст и эмоциональные аспекты, которые могут быть упущены в структурированных данных.
2. Реалистичное представление: Неструктурированные данные могут отражать реальный мир и естественное поведение людей. Они позволяют уловить сложные взаимодействия и проявления, которые могут быть утеряны в упрощенных структурированных данных.
3. Инновации и исследования: Неструктурированные данные предоставляют огромные возможности для инноваций и исследований. Анализ таких данных может привести к обнаружению новых паттернов, связей и инсайтов.

Недостатки неструктурированных данных:
1. Сложность обработки: Из-за отсутствия четкой структуры обработка неструктурированных данных может быть сложной и требовать использования специализированных методов и инструментов.
2. Трудности в анализе: Извлечение смысла из неструктурированных данных может быть более сложным процессом, чем из структурированных данных. Требуется разработка алгоритмов и моделей для эффективной интерпретации информации.
3. Проблемы конфиденциальности и безопасности: Неструктурированные данные могут содержать конфиденциальную информацию, и их управление с точки зрения безопасности и конфиденциальности может быть более сложным.

Таким образом, необходимость работы с неструктурированными данными зависит от конкретных задач и целей организации. В некоторых случаях анализ и использование неструктурированных данных может привести к ценным инсайтам и преимуществам, в то время как в других ситуациях они могут быть менее полезными или даже излишними.

🔎📖📝Немного про структурированные данные: преимущества и недостатки
Структурированные данные представляют собой информацию, организованную в определенной форме, где каждый элемент имеет четко определенные свойства и значения. Эти данные обычно представлены в виде таблиц, баз данных или других форматов, которые обеспечивают упорядоченное и легко читаемое представление.
Преимущества структурированных данных:
1. Легкая организация и обработка: Структурированные данные обладают четкой и упорядоченной структурой, что делает их легкими для организации и обработки. Это позволяет быстро выполнять поиск, сортировку и анализ информации.
2. Удобство для хранения: Структурированные данные легко хранить в базах данных, таблицах Excel или других специализированных системах хранения данных. Это обеспечивает структурированным данным высокую доступность и сохранность.
3. Высокая точность: Структурированные данные обычно подвергаются контролю качества и валидации, что способствует минимизации ошибок и неточностей.

Недостатки структурированных данных:
1. Ограничение в типах информации: Структурированные данные хорошо работают для хранения и обработки данных с четкими структурами, но могут быть неэффективными для хранения информации, которая не поддается жесткой структуризации, такой как текст, изображения или аудио.
2. Зависимость от заранее определенной структуры: Для работы с структурированными данными требуется четко определенная схема или структура данных. Это ограничивает их применимость в случаях, когда структура данных может изменяться динамически.
3. Сложность интеграции: Объединение данных из разных источников с разной структурой может быть сложной задачей, требующей много времени и усилий.
4. Неэффективность для некоторых типов задач: Для некоторых типов анализа и обработки данных, особенно связанных с неструктурированной информацией, структурированные данные могут быть неэффективными или даже неприменимыми.

⚡️🔥😎Инструменты для аннотирования изображений в 2023 году
V7 Labs - инструмент для создания точных высококачественных датасетов для проектов машинного обучения и компьютерного зрения. Широкий набор функций аннотирования позволяет использовать его во множестве различных областей.
Labelbox — самый мощный инструмент векторной разметки, нацеленный на простоту, скорость и различные сценарии использования. Его можно настроить за считанные минуты, масштабировать под любой размер команды и быстро выполнять итерации для создания точных данных обучения.
Scale - при помощи данного инструмента аннотирования пользователи могут добавлять шкалы или линейки, позволяющие определять размеры объектов на изображении. Это особенно полезно при изучении фотографий сложных структур, например, микроскопических организмов или геологических формаций.
SuperAnnotate — мощное приложение для аннотирования, позволяющее пользователям быстро и точно аннотировать фотографии и видео. Оно предназначено для команд разработчиков машинного зрения, исследователей ИИ и дата-саентистов, аннотирующих модели компьютерного зрения. Кроме того, SuperAnnotate имеет инструменты контроля качества, например, автоматическую проверку и проверку консенсуса, обеспечивающие высокое качество аннотаций.
Scalabel - помогает пользователям повышать точность при помощи автоматизированных аннотаций. Он нацелен на масштабируемость, адаптируемость и удобство пользования. Благодаря поддержке совместной работы и контроля версий Scalabel над одним проектом одновременно может работать множество пользователей.

Gradio - позволяет создавать и разворачивать веб-приложения для машинного обучения используя всего лишь несколько строк кода. Данная библиотека также даёт возможность дальнейшей валидации модели. Он позволяет проводить интерактивные тесты различных входных данных модели.
BentoML - это универсальная библиотека для поддержки, упаковки и развёртывания ML-моделей любого фреймворка любому облачному провайдеру в качестве API-сервисов.
NannyML - данная библиотека помогает мониторить производительность моделей машинного обучения. Используя разработанный алгоритм оценки производительности на основе достоверности и нескольких других надёжных статистических тестов, она может обнаруживать снижение производительности или тихие сбои модели в производстве.
Weights & Biases - это платформа отслеживания ML-экспериментов. Данная библиотека также позволяет легко оптимизировать гиперпараметры

👱‍♂️⚡️В открытом доступе появился датасет DeepFakeFace
DeepFakeFace(DFF) - датасет, который служит основой для обучения и тестирования алгоритмов, предназначенных для обнаружения дипфейков. Этот набор данных создан с помощью различных усовершенствованных диффузионных моделей.
Авторы утверждают, что ими был проведен анализ набора данных DFF и предложено два метода оценки, позволяющие оценить эффективность и адаптивность инструментов распознавания дипфейков.
Первый метод проверяет, может ли алгоритм, обученный на одном типе поддельных изображений, распознавать изображения, созданные другими методами.
Второй метод оценивает производительность алгоритма на неидеальных изображениях, например размытых, низкого качества или сжатых.
Учитывая различные результаты этих методов, авторы подчеркивают необходимость в более совершенных детекторах дипфейков.

🧐 HF: https://huggingface.co/datasets/OpenRL/DeepFakeFace

🖥 Github: https://github.com/OpenRL-Lab/DeepFakeFace

📕 Paper: https://arxiv.org/abs/2309.02218

🔎📝Стандартизация данных: преимущества и недостатки
Стандартизация данных - это процесс преобразования данных так, чтобы они имели стандартное распределение с нулевым средним и стандартным отклонением равным 1. Этот процесс является важной частью предварительной обработки данных и часто используется в анализе данных и машинном обучении.
Преимущества стандартизации данных:
1. Улучшение сходимости алгоритмов: Многие алгоритмы машинного обучения и статистические методы лучше работают с данными, которые имеют стандартное распределение. Стандартизация может помочь улучшить сходимость алгоритмов и ускорить процесс обучения моделей.
2. Улучшение интерпретируемости: Когда данные стандартизированы, коэффициенты в регрессионных моделях или веса в нейронных сетях становятся более интерпретируемыми. Это упрощает анализ влияния каждой переменной на результат.
3. Устранение масштабных различий: Стандартизация помогает избежать проблем, связанных с масштабными различиями между переменными. Если одна переменная имеет значения в тысячи раз больше, чем другая, это может исказить результаты анализа.
4. Работа с некоторыми алгоритмами: Некоторые алгоритмы, такие как метод опорных векторов (SVM) и метод градиентного спуска, чувствительны к масштабу данных. Стандартизация может помочь сделать эти алгоритмы более стабильными и эффективными.

Недостатки стандартизации данных:
1. Потеря информации: При стандартизации данных мы теряем информацию о фактических единицах измерения переменных. В некоторых случаях это может быть важной информацией для интерпретации результатов.
2. Влияние на выбросы: Стандартизация может усилить влияние выбросов, если они присутствуют в данных. Это может повлиять на стабильность и точность моделей.
3. Зависимость от выбора метода: Существует несколько методов стандартизации, таких как Z-преобразование, мин-макс шкалирование и др. Выбор неверного метода может сильно влиять на результаты анализа.

В целом, стандартизация данных - это важный инструмент в анализе данных и машинном обучении, который может улучшить производительность алгоритмов и упростить интерпретацию результатов. Однако ее применение следует рассматривать с учетом конкретной задачи и особенностей данных.

🤔Numexpr: преимущества и недостатки
NumExpr - это библиотека для выполнения быстрых и эффективных вычислений с использованием выражений NumPy в Python. Она предназначена для ускорения вычислений, особенно при работе с большими массивами данных.
Преимущества:
1. Высокая производительность: NumExpr обеспечивает высокую производительность благодаря компиляции и оптимизации выражений, что позволяет выполнять операции с массивами данных значительно быстрее, чем с помощью чистого Python или даже NumPy.
2. Поддержка многопоточности: NumExpr поддерживает многопоточность, что позволяет использовать многопоточные вычисления и улучшить производительность при обработке параллельных задач.
3. Минимальное использование памяти: Библиотека позволяет выполнять вычисления с минимальным использованием оперативной памяти, что особенно важно при работе с большими данными.
4. Интеграция с NumPy: NumExpr легко интегрируется с библиотекой NumPy, что делает ее удобной для использования в существующих кодовых базах.
5. Простота использования: Синтаксис NumExpr очень похож на синтаксис NumPy, поэтому для многих пользователей нет необходимости изучать новый язык или API.

Недостатки:
1. Ограниченная функциональность: NumExpr предоставляет только ограниченный набор операторов и функций, поэтому не все операции могут быть оптимизированы с его помощью. Например, нельзя использовать произвольные пользовательские функции.
2. Сложность отладки: Поскольку код NumExpr выполняется внутри специализированного виртуального стека, отладка может быть сложной задачей в случае возникновения ошибок.
3. Не всегда оптимальный выбор: Не всегда целесообразно использовать NumExpr. В некоторых случаях, особенно при небольших объемах данных или сложных операциях, использование чистого Python или NumPy может быть более удобным и читаемым.

😎💥Крутые AI-сервисы для работы с Big Data
AskEdith - Работает в режиме "Чат с данными", где вы можете подключиться к вашему источнику данных и задавать вопросы на естественном языке. AskEdith предоставляет ответы в различных форматах, включая визуализацию. Способен анализировать обширные объемы данных и поддерживает подключение к различным базам данных и CRM-системам, таким как Google Sheets, Airtable, PostgreSQL, MySQL, SQL Server, Snowflake, BigQuery, Redshift и другим.
Tomat.AI - позволяет проводить анализ крупных CSV-файлов без необходимости в программировании или создании специальных формул. Вы можете легко фильтровать, сортировать, объединять несколько файлов и создавать визуализации всего в несколько кликов.
Coginiti - Создает SQL-запросы, разъясняет их смысл и, при необходимости, оптимизирует производительность. Поддерживает доступ к разным хранилищам данных, включая Redshift, Microsoft, Snowflake, IBM, BigQuery, Yellowbrick, Databricks и другие. Кроме того, имеется репозиторий для хранения SQL-запросов.
Formula God - Искусственный интеллект, который интегрируется в Google Таблицы, облегчает работу с данными без необходимости владения формулами. Вы можете создавать запросы, используя обычный естественный язык.
Simple ML for Sheets - с помощью данного расширения каждый может использовать машинное обучение в Google Sheets, не зная программирования и ML. Но и экспертам также подойдет, если они хотят быстро выполнить задачу на небольшом объеме данных. Разработан командой TensorFlow Decision Forests.

📝🤔📊 One Hot Encoding: преимущества и недостатки
One Hot Encoding (OHE) - это метод представления категориальных данных в виде бинарных векторов. Этот метод широко используется в машинном обучении для работы с данными, которые содержат категориальные признаки, то есть признаки, которые не являются числовыми. При One Hot Encoding каждая категория превращается в бинарный вектор, где все значения равны нулю, кроме одного, который соответствует категории данного признака.
Преимущества One Hot Encoding:
1. Подходит для алгоритмов машинного обучения: Многие алгоритмы машинного обучения, такие как линейная регрессия, деревья решений и нейронные сети, работают с числовыми данными. One Hot Encoding позволяет преобразовать категориальные признаки в числовые, делая их пригодными для анализа алгоритмами.
2. Полезно для категориальных признаков без упорядоченных значений: Если категории не имеют естественного порядка или распределены неравномерно, One Hot Encoding может быть более предпочтительным методом представления по сравнению с кодированием меток (Label Encoding).

Недостатки One Hot Encoding:
1. Размерность данных: Преобразование категориальных признаков с большим количеством уникальных категорий может привести к значительному увеличению размерности данных, что может ухудшить производительность алгоритмов машинного обучения и потребовать больше памяти.
2. Мультиколлинеарность: При наличии нескольких категориальных признаков с большим числом уникальных категорий могут возникнуть проблемы мультиколлинеарности, когда один признак линейно зависит от других. Это может усложнить интерпретацию моделей.
3. Увеличение вычислительной сложности: Увеличение размерности данных также может привести к увеличению времени обучения моделей и усложнению задачи отбора признаков.

Таким образом, выбор между One Hot Encoding и другими методами кодирования категориальных признаков зависит от конкретной задачи и алгоритма машинного обучения, который вы планируете использовать.

🌎ТОП октябрьских ивентов в Data Science
1-20 октября - C:\DISGroup\DATA \Hackathon - Онлайн - https://dis-group.ru/events/datahack/
5 октября - На шаг впереди! - Москва, Россия - https://globalcio.ru/apps/one_step_ahead/
5 октября - Диалог с AI 2023 - Онлайн - https://ai-conf.bitrix24.events/
12 октября - DEEP CLOUD DIVE - Онлайн - https://cloud.beeline.ru/events/deep_cloud_dive_12_10_23/
12 октября - VK Data Meetup - Москва, Россия - https://mcs.mail.ru/events/vk-data-meetup
12-13 октября - Digital Bridge 2023 - Астана, Казахстан - https://digitalbridge.kz/?lang=RU
23-25 октября - Digital Exploration 2023 - Сочи, Россия - https://digitalexploration.ru/

⚔️🤔Greenplum vs Hive: преимущества и недостатки
Greenplum и Hive - это две различные технологии для обработки и анализа данных, используемые в области больших данных и аналитики.
Преимущества Greenplum:
1. Высокая производительность: Greenplum предоставляет многопользовательский аналитический движок с распределенной архитектурой. Это обеспечивает высокую скорость обработки запросов и агрегаций, что делает его отличным выбором для аналитики в режиме реального времени.
2. Масштабируемость: Greenplum спроектирован для масштабирования горизонтально. Вы можете легко добавлять новые узлы для увеличения производительности и хранения данных по мере необходимости.
3. Управление данными: Greenplum предоставляет инструменты для управления данными, включая репликацию, резервное копирование и мониторинг, что делает его более подходящим для бизнес-задач, требующих надежности и доступности данных.
Недостатки Greenplum:
1. Сложная настройка: Установка и настройка Greenplum может быть сложной задачей. Требуется опыт и знание архитектуры системы для оптимальной работы.
2. Не подходит для всех случаев использования: Greenplum наилучшим образом подходит для аналитических задач и хранения структурированных данных, но не является оптимальным выбором для обработки полу и неструктурированных данных.

Преимущества Hive:
1. Простота использования и настройки: Hive создан поверх Hadoop и предоставляет SQL-подобный интерфейс для запросов данных. Это делает его более доступным для аналитиков и разработчиков, не имеющих опыта работы с большими данными.
2. Совместимость с Hadoop: Hive интегрирован с Hadoop и может использовать его для хранения и обработки данных. Это делает его хорошим выбором для проектов, использующих Hadoop.
3. Поддержка для разнообразных форматов данных: Hive поддерживает различные форматы данных, включая JSON, Parquet, Avro и другие, что делает его удобным для анализа разнообразных данных.
Недостатки Hive:
1. Низкая производительность: Hive работает медленнее Greenplum из-за того, что запросы переводятся в задачи MapReduce, что может привести к значительным задержкам.
2. Ограниченная поддержка сложных аналитических запросов: Hive не так хорошо подходит для выполнения сложных аналитических запросов, как Greenplum, из-за его ограниченных возможностей оптимизации запросов.
3. Не подходит для реального времени: Hive наилучшим образом подходит для пакетной обработки данных и не является подходящим выбором для аналитики в режиме реального времени.

📖📚Подборка книг для аналитиков данных
Анализ данных с помощью Python - Полное руководство по науке о данных, аналитике и метрикам с Python.
Математика для машинного обучения - в книге рассматриваются основы математики (линейная алгебра, геометрия, векторы и др), а также основные проблемы машинного обучения.
Интерпретируемое машинное обучение - руководство по созданию объяснимых моделей черного ящика
Понимание статистики и экспериментального дизайна - данный учебник предоставляет основы, необходимые для правильного понимания, интерпретации статистики.
Этика и наука о данных - в этой книге автор знакомить нас с принципами работы с данными и что сделать, чтобы внедрить их уже сегодня.
Использование науки о данных в здравоохранении - в книге рассматриваются вопросы использования информационных технологий и машинного обучения для борьбы с болезнями и в укреплении здоровья.

📊📉📈Анализ пользователей с помощью датасета от Яндекса
Яндекс выкладывает в открытый доступ крупнейший русскоязычный датасет отзывов об организациях, опубликованных на Яндекс Картах. Он содержит порядка полумиллиона отзывов пользователей на различные организации, собранных в январе-июне 2023 года.
Особенности датасета:
500 000 уникальных отзывов
Тексты очищены от персональных данных (номеров телефонов, адресов почты)
Датасет не содержит коротких односложных отзывов
Достаточно свежие отзывы: с января по июль 2023 года

📋💡🔎Подборка датасетов для NLP
КартаСловСент — слова и выражения, снабжённые тональной меткой («положительное», «отрицательное», «нейтральное») и скалярным значением силы эмоционально-оценочного заряда из непрерывного диапазона [-1, 1].
WikiQA - представляет собой набор пар вопросов и предложений. Они были собраны и аннотированы для исследования ответов на вопросы в открытых доменах
Amazon Reviews dataset - этот набор данных состоит из нескольких миллионов отзывов покупателей Amazon и их оценок. Датасет используется для возможности обучения fastText, анализируя настроения покупателей. Идея состоит в том, что несмотря на огромный объем данных – это реальная бизнес-задача. Модель обучается за считанные минуты. Именно это отличает Amazon Reviews от аналогов.
Yelp dataset – это множество предприятий, отзывов и пользовательских данных, которые можно применить в Pet-проекте и научной работе. Также можно использовать Yelp для обучения студентов во время работы с базами данных, при изучении NLP и в качестве образца производственных данных. Датасет доступен в виде файлов JSON и является «классикой» в обработке естественного языка.