💡📉Программирование датасетов теперь не проблема
Сноркель - фреймворк для программирования данных (data programming). Подход данного фреймворка заключается в в использовании разных эвристик и априорных знаний для автоматической разметки датасетов. Проект стартовал в Стэнфорде как инструмент для помощи в разметке датасетов для задачи information extraction, а сейчас разработчики делают платформу для пользования внешними заказчиками.
Арсенал Сноркеля включает в себя три ключевых инструмента:
-разметочные функции для создания датасета;
-преобразующие функции для аугментации датасета;
-срезающие (slicing) функции, выделяющие подмножества в датасете, которые критичны для производительности обучающихся моделей.

💡📊Подборка библиотек для анализа данных
Lux — дополнение к популярному пакету анализа данных Pandas. Она даёт возможность быстро создавать наглядные представления наборов данных и применять базовый статистический анализ при минимальном количестве кода.
Pandas-profiling - помогает сформировать отчёт о профилировании . Этот отчёт даёт подробный обзор переменных в вашем наборе данных. Он даёт представление о статистике для отдельных характеристик данных, таких как распределение, а также среднее, минимальное и максимальное значения. Тот же отчёт даёт представление о корреляциях и взаимодействиях между переменными.
Sweet-Viz - предоставляет быструю визуализацию и анализ данных. Основной козырь Sweet-Viz — обширный HTML-дашборд с полезными представлениями и сводками данных, который генерируется выполнением всего одной строки кода.
D-Tale - это библиотека Python, которая предоставляет интерактивный и удобный интерфейс для визуализации и анализа структур данных Pandas. Она использует Flask в качестве серверной части и React в качестве интерфейса, что упрощает просмотр и изучение фреймов данных Pandas, объектов Series, MultiIndex, DatetimeIndex и RangeIndex. Она легко интегрируется с Jupyter, терминалами Python и ipython.
AutoViz - это библиотека Python, предоставляющая возможности автоматической визуализации данных, позволяющая пользователям визуализировать наборы данных любого размера всего одной строкой кода. Программа автоматически генерирует отчёты в различных форматах, включая HTML и Bokeh, и позволяет пользователям взаимодействовать с созданными HTML-отчетами.
KLib - это библиотека Python, которая предоставляет возможности автоматического разведочного анализа данных (EDA) и профилирования данных. Она предлагает различные функции и визуализации для быстрого изучения и анализа наборов данных.
SpeedML - это библиотека Python, целью которой является ускорение процесса разработки конвейера машинного обучения. Она объединяет часто используемые пакеты ML, такие как Pandas, NumPy, Scikit-learn, XGBoost и Matplotlib. SpeedML также предоставляет функциональные возможности для автоматизированного EDA

😎💡📊В поисках скрытого: малоизвестные библиотеки Python для аналитик данных
PyCaret - Автоматизированная библиотека машинного обучения, упрощающая переход от подготовки данных к моделированию. PyCaret включает в себя функции для автоматического сравнения моделей, предобработки данных, а также интеграцию с MLflow для удобного ведения экспериментов.
Vaex - Библиотека для ленивой загрузки и эффективной обработки очень больших данных. Отлично подходит для анализа больших датасетов с ограниченными вычислительными ресурсами. aex позволяет эффективно работать с датасетами, содержащими миллиарды строк, минимизируя использование памяти и оптимизируя производительность.
Streamlit - Инструмент для быстрого создания интерактивных веб-приложений для аналитики данных. Streamlit можно использовать для разработки приложений, которые демонстрируют результаты машинного обучения, таких как классификация изображений или прогнозирование временных рядов.
Dask- Предназначена для параллельных вычислений и работы с большими датасетами. Идеально подходит для масштабирования аналитических операций и обработки данных большого объема. Dask обеспечивает совместимость с такими инструментами, как Pandas и Numpy, и позволяет выполнять сложные вычисления на кластерах.
Dash by Plotly - Фреймворк для создания аналитических веб-приложений. Идеален для создания интерактивных дэшбордов и комплексных визуализаций данных. Dash позволяет создавать многогранные веб-приложения для анализа данных, например, для визуализации финансовых показателей компаний или трендов рыночных данных.

😎💡Малоизвестные, но весьма полезные СУБД
TimescaleDB берет функционал PostgreSQL и добавляет в него временные ряды! Созданная как расширение к PostgreSQL, эта база данных проявляет себя, когда вы имеете дело с крупномасштабными данными, которые изменяются во времени – например, данные с устройств IoT
FaunaDB – это база данных с распределенной обработкой транзакций онлайн, обладающая свойствами ACID. За счет этого достигается высокая скорость работы с данными и надежность. FaunaDB основана на технологии, впервые примененной в Twitter и была создана в качестве стартапа выходцами из команды разработчиков этой социальной сети.
KeyDB — это форк Redis, разработанный канадской компанией и распространяемый под свободной лицензией BSD. Существует поддержка многопоточности
Riak (KV) - это распределённая NoSQL база данных типа «ключ-значение(key-value)». Riak CS спроектирована так, чтобы обеспечить простоту, доступность, распределённость облачного хранилища любого масштаба, и может использоваться для построения облачных архитектур — как публичных, так и частных — или как инфраструктурного хранилища для высоко нагруженных приложений и сервисов.
InfluxData предназначена для мониторинга метрик и событий в инфраструктуре. Основной фокус — хранение больших объёмов данных с метками времени (таких, как данные мониторинга, метрики приложений и показания датчиков), и их обработка в условиях высокой нагрузки на запись.

📚💡ТОП февральских ивентов в Data Science
1-3 февраля - STARTUP DISTRICT & INDUSTRY X - Алматы, Казахстан - https://district.almatydigital.kz/
8 февраля - ITM-AI 2024 - Онлайн - https://itm-ai.ru/
8 февраля - PGMEETUP.СПБ/24 - Санкт-Петербург, Россия - https://pgconf.ru/20240208
10 февраля - ФОРУМ STARTUPHUB - САНКТ-ПЕТЕРБУРГ, Россия - https://forum-show100224.angelsyndicate.ru/
14 февраля - Конференция «Качество данных 2024» - Москва, Россия - https://www.osp.ru/lp/dataquality2024
17 февраля - AISUMMIT 2024 - Москва, Россия - https://aisummit.ru/
29 февраля - FinCore 2024 - Москва, Россия - https://fincore.ru/

🧐💡СУБД Firebird: преимущества и недостатки
Firebird - это открытая реляционная база данных с высокой производительностью и расширенными возможностями.
Преимущества:
1. Открытый исходный код: Firebird распространяется под лицензией с открытым исходным кодом (InterBase Public License). Это позволяет пользователям свободно использовать, модифицировать и распространять программное обеспечение без ограничений.
2. Многопользовательская поддержка: Firebird обеспечивает эффективную работу в многопользовательском режиме, что делает его подходящим для развертывания в больших корпоративных средах.
3. Транзакционная безопасность: Firebird поддерживает ACID-свойства (атомарность, согласованность, изолированность, устойчивость) для обеспечения транзакционной целостности данных.
4. Многоуровневая архитектура транзакций: Firebird использует многоуровневую архитектуру транзакций, что позволяет одновременно выполнять множество транзакций и предотвращает блокировки данных.
5. Поддержка стандарта SQL: Firebird соответствует стандартам SQL и обладает расширенными возможностями, такими как поддержка вложенных транзакций и триггеров.
Недостатки:
1. Ограниченная экосистема и инструментарий: У Firebird может быть более ограниченная экосистема и инструментарий сравнительно с более распространенными СУБД, такими как MySQL, PostgreSQL или Microsoft SQL Server.
2. Ограниченная поддержка графических интерфейсов: Firebird может не иметь таких продвинутых инструментов управления базой данных, как у некоторых конкурентов.
3. Ограниченное сообщество: В сравнении с некоторыми другими СУБД, у Firebird может быть менее обширное сообщество пользователей и разработчиков, что может повлиять на доступность поддержки и ресурсов для разработчиков.
В целом, выбор СУБД зависит от конкретных требований проекта, и Firebird может быть хорошим вариантом для определенных сценариев использования, особенно когда важны открытость и надежность.

💡Airbyte: преимущества и недостатки
Airbyte - это открытая платформа для интеграции данных, предназначенная для упрощения процесса сбора, трансформации и передачи данных (ETL). Он разработан для того, чтобы помочь компаниям легко обмениваться данными между различными источниками и целями.
Преимущества Airbyte:
1. Открытый исходный код: Airbyte предоставляет открытый исходный код, что позволяет пользователям изменять и настраивать платформу в соответствии с их требованиями.
2. Простота использования: Интерфейс Airbyte дружелюбен и интуитивно понятен. Пользователи могут создавать и управлять коннекторами для различных источников данных без необходимости в глубоких технических знаниях.
3. Масштабируемость: Платформа предоставляет масштабируемую архитектуру, что делает ее пригодной для обработки больших объемов данных.
4. Поддержка большого количества коннекторов: Airbyte поставляется с множеством встроенных коннекторов для популярных источников данных, таких как базы данных, API, облачные сервисы и другие.
5. Графический интерфейс и управление версиями: Визуальные инструменты и возможность управления версиями облегчают создание, отслеживание и управление вашими конфигурациями интеграции.
Недостатки:
1. Отсутствие некоторых коннекторов: Несмотря на широкий спектр поддерживаемых источников данных, могут возникнуть ситуации, когда нужный коннектор отсутствует.
2. Не поддерживает реального времени: В настоящее время Airbyte не обеспечивает полноценную поддержку реального времени для всех источников данных.
В целом, Airbyte представляет собой перспективный инструмент для интеграции данных, который может быть полезен в случаях, когда важны простота использования, открытость и масштабируемость.

💡Хранилище данных vs. Data Lake: преимущества и недостатки
Хранилища данных и Data Lake представляют собой два различных подхода к управлению и хранению данных в организации. Рассмотрим основные аспекты каждого из них.
Хранилище данных:
Преимущества:
1. Структурированные данные: Хранилища данных обычно предназначены для хранения структурированных данных, что облегчает их анализ и обработку.
2. Производительность: В хранилищах данных используются оптимизированные структуры для быстрого доступа к данным, что обеспечивает высокую производительность запросов.
3. Готовность к использованию: Данные в хранилище предварительно обрабатываются и организованы, что делает их готовыми к использованию для бизнес-аналитики и отчетности.
Недостатки:
1. Ограниченность типов данных: Хранилища данных могут быть менее гибкими при работе с разнообразными типами данных, такими как неструктурированные или полуструктурированные данные.
2. Сложность масштабирования: При увеличении объема данных их хранение и обработка в хранилище может стать более сложной задачей, требующей дополнительных ресурсов.
Data Lake:
Преимущества:
1. Гибкость в типах данных: Data Lake предоставляет возможность хранения неструктурированных и полуструктурированных данных, что делает его подходящим для разнообразных данных.
2. Масштабируемость: Data Lake легко масштабируется с ростом объема данных, обеспечивая увеличение производительности и хранение больших объемов информации.
3. Обработка данных на лету: Возможность проводить анализ данных в реальном времени позволяет оперативно использовать информацию для принятия решений.
Недостатки:
1. Сложность управления: Управление Data Lake может потребовать более сложных процессов и стратегий, чтобы избежать беспорядка и поддерживать качество данных.
2. Неоптимизированный доступ: Поскольку данные в Data Lake хранятся в их первоначальной форме, доступ к ним может потребовать дополнительных усилий для оптимизации запросов.
Таким образом, выбор между хранилищем данных и Data Lake зависит от уникальных потребностей бизнеса и характера данных. В некоторых случаях оптимальным решением может быть комбинация обоих подходов, что обеспечит комплексный подход к управлению данными в организации.

💡📊Стартап для общение с базами данных
Команда стартапа groql из Новосибирска, победителя осенней сессии А:СТАРТ 2023 года разработала приложение, которое позволяет пользователю общаться с базами данных на естественном (русском) языке без опыта в области программирования и получать визуализации в виде графиков, диаграмм и графов. Еще одно преимущество программы — в работе на основе ИИ. Groql помогает перевести запрос с естественного языка на SQL. Пользователь может описать особенности баз данных и ИИ учтет их при работе.
Главное преимущество этого стартапа — в визуальном представлении данных. После обработки запроса пользователь увидит графическое представление данных, которое поможет лучше понять связи между различными данными. Как отмечают разработчики, это может помочь работодателю сократить издержки — за счет сокращения времени и упрощения работы с данными.
Подробнее: https://habr.com/ru/articles/791358/

📉📊💡Рекомендации по работе данными от Яндекс
На сайте Yandex Cloud запустился новый раздел — Data Platform Solution Library. Там можно найти примеры и рекомендации по работе с данными с разбивкой по аналитическим сценариям.
Для каждого сценария в одном месте собраны практические примеры и руководства в свободном доступе на GitHub, а также все полезные материалы: статьи, кейсы, вебинары и документацию.
Библиотека продолжает пополняться решениями и сценариями.

📉📊💡Recommendations for working with data from Yandex
A new section has been launched on the Yandex Cloud website -Data Platform Solution Library. There you can find examples and recommendations for working with data, broken down by analytical scenarios.
For each scenario, practical examples and tutorials are collected in one place, freely available on GitHub, as well as all useful materials: articles, cases, webinars and documentation.
The library continues to be updated with solutions and scenarios.

📊💡Датасет для настройки математических моделей
OpenMathInstruct-1 представляет собой свежий синтетический датасет от компании NVIDIA, созданный для обучения математических моделей. Данный датасет включает в себя 1,8 миллиона пар "задача-решение", предназначенных для обучения.
Как отмечают разработчики, данный набор данных создан путем синтеза решений для интерпретатора кода для GSM8K и MATH, двух популярных тестов математического анализа, с использованием недавно выпущенной и имеющей разрешительную лицензию модели Mixtral.

💡📊😎Датасет для виртуальной реальности
Мета объявила о новых проектах в области искусственного интеллекта (ИИ) и обновлении своей инициативы Ego-Exo, направленной на решение проблем, связанных с технологиями, ориентированными на предоставление перспективы от первого лица.
Компания выпустила датасет под названием Ego-Exo4D. Как отмечают, разработчики, проект помочь качественному обучению моделей ИИ сложными человеческими навыками и подойдет для создания приложений систем виртуальной реальности, робототехники, и многого другого.
Ego-Exo4D содержит три, тщательно синхронизированных датасета естественного языка в сочетании с видео и комментариями экспертов, включают в себя более 1400 часов видео, а также аннотации для бенчмарков.

💡😎ТОП мартовских ивентов в Data Science
5 марта - AI 360: Вебинар по машинному обучению - Новосибирск, Россия - https://my.mts-link.ru/rdtex/ml1
6 марта - VK JT - Москва, Россия - https://vkjt.ru/
6-7 марта - OpenTalks.AI 2024 - Тбилиси, Грузия - https://opentalks.ai/
12 марта - Flow 2024 Spring - Онлайн - https://flowconf.ru/#media
14 марта - CX Tech Day 2024 - Москва, Россия - https://www.naumen.ru/products/phone/cx-day-2024/
12-14 марта - Epic AI Conference - Онлайн - https://epicgrowth.io/ai-conference
18-22 марта - Podlodka Product Crew - Онлайн - https://podlodka.io/productcrew
28 марта - DATA&AI 2024 - Москва, Россия - https://www.osp.ru/lp/data-ai2024

📊💡DeltaLake: преимущества и недостатки
Delta Lake - это уровень абстракции для работы с данными в хранилищах данных. Delta Lake предоставляет дополнительные возможности и гарантии целостности данных для хранения и обработки больших объемов данных.
Преимущества Delta Lake:
1. Транзакционная согласованность: Delta Lake предоставляет ACID-транзакции, обеспечивая транзакционную согласованность данных. Это гарантирует надежность операций и управление целостностью данных.
2. Партиционирование: Delta Lake поддерживает партиционирование данных, что улучшает производительность запросов и управление данными. Партицирование позволяет эффективно фильтровать данные на основе определенных критериев.
3. Улучшенная производительность: Delta Lake оптимизирует выполнение запросов и операций на данных, что ведет к улучшенной производительности в сравнении с обычными хранилищами данных.
4. Обработка потоковых данных: Delta Lake поддерживает потоковую обработку данных, что позволяет мгновенно обновлять и анализировать данные в реальном времени.
Недостатки Delta Lake:
1. Сложность настройки: Некоторые пользователи могут столкнуться с трудностями при настройке и использовании Delta Lake из-за его расширенных функциональных возможностей.
2. Совместимость: Вопросы совместимости могут возникнуть при интеграции Delta Lake с другими инструментами и системами хранения данных.
В целом, Delta Lake предоставляет мощные инструменты для управления и обработки данных, но использование его следует рассматривать с учетом конкретных требований проекта и опыта команды.

📊💡OAC: преимущества и недостатки
Oracle Analytics Cloud (OAC) представляет собой мощный инструмент для анализа данных, предоставляющий возможности бизнес-аналитики в облаке.
Преимущества Oracle Analytics Cloud:
1. Обширные возможности анализа данных: OAC предоставляет широкий спектр инструментов для визуализации данных, создания отчетов и анализа трендов. Он объединяет данные из различных источников, обеспечивая всесторонний взгляд на бизнес-процессы.
2. Использование облачных технологий: Oracle Analytics Cloud строится на облачных технологиях, что обеспечивает масштабируемость и гибкость в обработке больших объемов данных. Это также уменьшает нагрузку на внутренние ИТ-ресурсы компании.
3. Интеграция с другими продуктами Oracle: OAC хорошо интегрируется с другими продуктами Oracle, такими как Oracle Database, Oracle Cloud Infrastructure и другие. Это обеспечивает единое рабочее пространство для данных и обеспечивает совместимость с существующими системами.
4. Безопасность данных: Oracle Analytics Cloud обеспечивает высокий уровень безопасности данных, включая механизмы шифрования и управление доступом.
5. Автоматизированный анализ и машинное обучение: OAC предоставляет возможности автоматизированного анализа данных и интеграции машинного обучения, что позволяет компаниям выявлять скрытые тренды и прогнозировать будущие события.
Недостатки Oracle Analytics Cloud:
1. Сложность внедрения: Развертывание Oracle Analytics Cloud может быть сложным процессом, требующим определенных технических навыков. Это может вызвать трудности для небольших компаний или организаций с ограниченными ресурсами.
2. Стоимость использования: Платные лицензии и обслуживание OAC могут оказаться дорогими для малых предприятий. Необходимо тщательно оценить бюджетные возможности перед принятием решения об использовании данной платформы.
3. Ограниченная гибкость пользовательского интерфейса: Несмотря на обширные возможности, пользовательский интерфейс OAC может быть менее гибким по сравнению с некоторыми конкурентами, что может усложнить адаптацию для определенных бизнес-потребностей.
В целом, Oracle Analytics Cloud представляет собой мощное аналитическое решение, но компании должны внимательно взвесить его преимущества и недостатки, учитывая свои бизнес-цели и технические возможности.

🌲💡Новый датасет о лесах
FinnWoodlands - это датасет, который включает в себя 4226 объектов, аннотированных вручную, из которых 2562 объекта (60,6%) соответствуют стволам деревьев, классифицированным в три различные категории экземпляров, а именно "Ель", "Береза" и "Сосна".
Помимо стволов деревьев, существуют аннотации объектов "Препятствия", а также семантические классы "Озеро", "Земля" и "Дорожка".
Этот датасет может быть использован в различных приложениях, где важно целостное представление окружающей среды. В нем предоставлен начальный бенчмарк, используя три модели для сегментации экземпляров, паноптической сегментации и заполнения глубины.
В целом, FinnWoodlands состоит из стереоизображений RGB, облаков точек и карт разреженной глубины, а также справочных аннотаций для семантической сегментации.

😎📊Готовый набор аннотированных изображений
Набор данных ImageNet включает в себя 14 197 122 аннотированных изображений, структурированных в соответствии с иерархией WordNet.
С начала 2010 года этот набор данных используется в конкурсе ImageNet Large Scale Visual Recognition Challenge (ILSVRC) и служит стандартом для задач классификации изображений и обнаружения объектов.
Этот обширный публичный набор данных содержит изображения, которые были вручную аннотированы для целей обучения.

💡⚔️Sensei подскажет
Sensei - это сравнительно новый Python-инструмент генерации синтетических данных с использованием таких систем, как OpenAI, MistralAI or AnthropicAII.
Для запуска необходимо произвести следующую предустановку:
pip install openai mistralai numpy
Разработчики также написали подробную инструкцию по настройке.

📊😎💡Подборка сервисов для работы с Big Data и интеграции с различными СУБД
DBeaver - сервис, который подходит для интеграции с различными БД, такими как MySQL или Oracle. Данное приложение предназначено ля управления базами данных. Взаимодействовать с реляционными базами данных ему помогает интерфейс JDBC. Редактор DBeaver позволяет применять большое количество дополнительных плагинов и дает подсказки по заполнению кода, подсвечивая синтаксис. Менеджер приложения поддерживает свыше 80 баз данных.
Mixpanel — это система для аналитики и анализа поведения пользователей. Она включает в себя такие функции, как:
1. Сегментирование пользователей
2. Отправка своим пользователям уведомлений внутри приложений
3. A/B тестирование для различных уведомлений
4. Интеграция пользовательских опросов в приложения через Mixpanel Surveys
App Annie — это сервис для аналитики и получения достоверных данных, чтобы принимать важные решения на всех этапах бизнеса мобильных приложений. App Annie поможет изучить конкурентов, состояние рынка, отследить загрузки приложений, доходы, использование, вовлеченность и рекламу. Сервис также позволяет оптимизировать продукты для магазинов приложений и повысить эффективность методов продвижения, показатель удержания и эффективно поддерживать целевую аудиторию. App Annie включает в себя рыночную аналитику, аналитику приложений по нескольким магазинам и аналитику конкурентов.
Adjust — оптимизатор всех процессов продвижения продукта. Собирает сведения о том, откуда пользователи перешли на страницу вашего приложения. Он представляет собой набор инструментов для измерений и аналитики, с помощью которых маркетологи могут наблюдать за развитием своих приложений и направлять его в течение всего жизненного цикла продукта

⚔️😎💡ClickHouse vs Greenplum
Clickhouse и GreenPlum - это известные СУБД для анализа больших данных , которые пользуются большой популярностью. Однако существуют критерии, по которым необходимо однозначно выбрать, какую из данных СУБД использовать в той или ино ситуации. Для этого рассмотрим их основные преимущества и недостатки.
Преимущества ClickHouse:
1. Высокая производительность: ClickHouse спроектирован для аналитических задач и обладает высокой скоростью выполнения запросов на чтение больших объемов данных. Это делает его идеальным выбором для аналитики данных и OLAP (аналитической обработки онлайн)
2. Эффективное сжатие данных: ClickHouse использует различные методы сжатия данных, что позволяет значительно сократить объем хранимой информации без потери производительности.
3. Горизонтальное масштабирование: ClickHouse легко масштабируется горизонтально, что позволяет увеличивать производительность системы путем добавления новых узлов.
Недостатки ClickHouse:
1. Ограниченная поддержка транзакций: ClickHouse в основном ориентирован на аналитические задачи и не обладает полноценной поддержкой транзакций, что может быть проблемой для некоторых приложений.
2. Ограниченный набор функций: несмотря на свою производительность, ClickHouse может оказаться недостаточным для некоторых сложных аналитических задач из-за ограниченного набора встроенных функций.
Преимущества Greenplum:
1. Поддержка транзакций: Greenplum предоставляет полноценную поддержку транзакций и ACID (атомарность, согласованность, изолированность, долговечность), что делает его идеальным выбором для OLTP (онлайн-транзакционной обработки) и OLAP приложений.
2. Широкий набор функций: Greenplum предлагает богатый набор встроенных функций и возможностей аналитической обработки, что делает его подходящим для различных типов аналитических задач.
3. Поддержка распределенных транзакций: Greenplum обеспечивает поддержку распределенных транзакций и масштабируется горизонтально, что позволяет обрабатывать большие объемы данных.
Недостатки Greenplum:
1. Сложность управления: Greenplum может потребовать больше усилий и опыта для управления и настройки, особенно при работе с крупными кластерами.
2. Менее эффективное сжатие данных: По сравнению с ClickHouse, Greenplum может не обеспечивать такое же высокое уровень сжатия данных, что может привести к более высокому использованию дискового пространства и меньшей производительности
В конечном итоге, выбор между ClickHouse и Greenplum зависит от конкретных потребностей задачи. ClickHouse лучше подходит для аналитических задач с высокими требованиями к производительности, в то время как Greenplum может быть предпочтительным выбором для приложений, где важна поддержка транзакций и широкий набор функций.