😩Неопределенность в данных: распространенные баги
Сейчас активно обсуждают «подготовку данных» и «очистку данных», но что отличает высококачественные данные от низкокачественных?
В большинстве систем машинного обучения сегодня применяется контролируемое обучение. Это значит, что данные обучения состоят их пар (input, output), и мы хотим, чтобы система могла получать входные данные и сопоставлять их с выходными. Например, входными данными может быть аудиоклип, а выходными — транскрипция речи. Для создания таких наборов данных необходимо грамотно их размечать. Если в разметке данных присутствует неопределённость, то для достижения высокой точности модели машинного обучения может понадобиться больше данных. Сбор и аннотирование данных могут оказаться некорректными по следующим причинам:
1. Простые ошибки аннотирования. Простейший тип ошибки — это неправильное аннотирование. Аннотатор, уставший от большого количества разметки, случайно помещает пример данных не в тот класс. Хоть это и простая ошибка, она встречается довольно часто, и может иметь огромное отрицательное влияние на производительность системы ИИ.
2. Несоответствия в руководствах по аннотированию. В аннотировании элементов данных часто присутствуют различного вида тонкости. Например, можно представить, что необходимо читать посты в социальных сетях и аннотировать, являются ли они обзорами продуктов. Задача кажется простой, но если начать аннотировать, можно осознать, что «продукт» — это довольно расплывчатое понятие. Нужно ли считать продуктами цифровые медиа, например, подкасты или фильмы? Один специалист может сказать «да», другой «нет», поэтому точность системы ИИ может сильно снижаться.
3. Несбалансированные данные или отсутствующие классы. Способ сбора данных сильно влияет на состав наборов данных, что в свою очередь может повлиять на точность моделей на конкретных классах или подмножествах данных. В большинстве наборов данных из реального мира количество примеров в каждой категории, которые мы хотим классифицировать (баланс классов) может сильно варьироваться. Это может приводить к снижению точности, а также к усугублению проблем баланса и перекосам. Например, система распознавания лиц ИИ Google была печально известна тем, что плохо распознавала лица цветных людей, что в большой степени было результатом использования набора данных с недостаточно разнообразными примерами (среди множества прочих проблем).

😳Опубликован датасет для обучения усовершенствованной альтернативы LLaMa
Группа исследователей из различных организаций и университетов (Together, ontocord.ai, ds3lab.inf.ethz.ch, crfm.stanford.edu, hazyresearch.stanford.edu, mila.quebec) работает над созданием open-source альтернативы модели LLaMa и уже опубликовали датасет, релевантный использованному для создания последней. Несвободная, но хорошо сбалансированная LLaMa использовалась в качестве основы для таких проектов как Alpaca, Vicuna и Koala.
Сейчас в открытом доступе опубликован RedPajama – датасет текстов, содержащий более 1,2 трлн токенов. Следующим шагом,  по словам разработчиков, будет создание самой модели, что потребует серьёзных вычислительных мощностей.

😎ТОП-7 майских ивентов в Data Science
19-20 мая - Positive Hack Days 12 - Москва, Россия - https://www.phdays.com/ru/
22-24 мая - SPATIAL DATA - Москва, Россия - https://scidata.ru/
24 мая - РИФ 2023 - Москва, Россия - https://rif.ru/
25 мая - Дата Саммит «Вселенная ваших данных» - Москва, Россия - https://data-summit.ru/
27-28 мая - CodeFest 13 - Новосибирск, Россия - https://13.codefest.ru/
30 мая - TAdviser SummIT - Москва, Россия - https://summit.tadviser.ru/
31 мая - TECH WEEK - Москва, Россия - https://techweek.moscow/

😎Книги по DS для самых "новеньких"
1. Наука о данных. Джон Келлехер, Брендан Тирни - в книгу включены основные аспекты, от момента становления сбора и анализа данных, до решения этических конфликтов, нарастающих из-за политики конфиденциальности. Читателю расскажут, как ведут работу нейронные сети и машинное обучение, приведут примеры изучения бизнес-проблем и покажут пути их решения. Дополнительно расскажут о тех областях, на которые наука о данных может повлиять в большей степени.
2. Практическая статистика для специалистов Data Science. Питер Брюс, Эндрю Брюс - Практический учебник представлен для специалистов в сфере данных, обладающих навыком работы с языком программирования и знакомых с определением математической статистики. Здесь в доступном виде представлены основные моменты из статистики науки о данных, также объясняется, какие критерии необходимы и полезны со стороны анализа данных.
3. Изучаем Spark. Холден Карау, Матей Захария, Патрик Венделл, Энди Конвински - Авторами книги являются разработчики системы Spark. Они расскажут об организации параллельного выполнения заданий с помощью нескольких строчек кода, также помогут разобраться в системе на примерах.
4. Data Science. Наука о данных с нуля. Джоэл Грас - Джоэл Грас рассказывает о языке Python, элементах линейной алгебры, математической статистике, методах сбора, нормализации и обработки данных. Дополнительно даёт информационную базу для машинного обучения. Описывает математические модели и пути их разработки по принципу «k».
5. Основы Data Science и Big Data. Дэви Силен, Арно Мейсман, Мохамед Али - Читателя познакомят с теоретической основой, последовательностью машинного обучения, работой с большими массивами данных, NoSQL, детальным анализом текстов и визуальной информацией. В качестве примеров представлены сценарии Data Science на Python.

🤓🧐Согласованность данных и ее виды
Понятие согласованности данных является сложным и многозначным, и его определение может различаться в зависимости от контекста. В своей статье, которую перевела команда VK Cloud, автор обсуждает понятие "согласованность" в контексте распределенных баз данных и предлагает свое определение этого термина. В данной статье автор выделяет 3 вида согласованности данных:
1. Согласованность в теореме Брюера - В соответствии с данной теоремой, в распределенной системе возможно гарантировать только два из трех следующих свойств:
Согласованность: система обеспечивает предоставление актуальной версии данных при их чтении
Доступность: каждый запрос к узлу, функционирующему должным образом, завершается получением правильного ответ
Устойчивость к разделению: Система продолжает функционировать, даже если возникают сбои в сетевом трафике между некоторыми узлами
2. Согласованность в ACID-транзакциях - В данной категории согласованность означает, что транзакция не может привести к недопустимому состоянию, так как необходимо соблюдение следующих составляющих:
Атомарность: любая операция будет выполнена полностью или вообще не будет выполнена
Согласованность: после завершения транзакции база данных находится в корректном состоянии
Изолированность: при выполнении одной транзакции все остальные параллельные транзакции не должны оказывать на нее никакого результата
Надежность: даже в случае сбоя (неважно, какого) завершенная транзакция сохраняется
3. Модели согласованности данных - данное определение термина также относится к базам данных и связано с концепцией моделей согласованности. В модели согласованности базы данных существует два основных элемента:
Linearizability - репликация отдельного фрагмента данных на нескольких узлах влияет на его обработку в базе данных
Serializability - одновременное выполнение транзакций, работающих с несколькими фрагментами данных, влияет на их обработку в базе данных
Подробнее можно узнать в источнике: https://habr.com/ru/companies/vk/articles/723734/

⚡️Время покорять Москву вместе проектом «Цифровой прорыв. Сезон: Искусственный интеллект»

Открыта регистрация на первый хакатон третьего сезона проекта «Цифровой прорыв. Сезон: Искусственный интеллект»!
📌Мероприятие пройдет 19-21 мая в Центральном федеральном округе в Москве.

На хакатоне участники в командах будут решать социальную или бизнес-проблему с использованием искусственного интеллекта за ограниченное время.

Всех участников ждут:
— 5 кейсов от ведущих организаций нашей страны;
— Гибридный формат участия: можно онлайн или офлайн;
— Профессиональное комьюнити инициативных и амбициозных коллег;
— Призовой фонд в 3 000 000 рублей.

💡 Регистрация на первый хакатон продлится до 15 мая 23:59
Участниками могут стать и новички, и опытные ИТ-специалисты в возрасте от 14 лет.

Сейчас тебе необходимо:
✅ Зарегистрироваться на хакатон на сайте: https://hacks-ai.ru
✅ Собрать бомбическую команду, включающую в себя от 3 до 5 участников
✅ Выбрать кейс для решения
✅ Подготовиться к плодотворной командной работе

Успей собрать команду, выбрать кейс и войти в ИТ-историю нового сезона самого масштабного конкурса!

😳😱Сбер опубликовал датасет для распознавания эмоций на русском языке
Dusha - огромный открытый датасет для распознавания эмоций в устной речи на русском языке.
Dusha подходит для распознавания эмоций в устной речи на русском языке. Набор данных состоит из более 300 000 аудиозаписей с расшифровками и эмоциональными метками. Длительность составляет около 350 часов аудио. Команда выбрала четыре основных эмоции, которые обычно появляются в диалоге с голосовым помощником: радость, грусть, злость и нейтральную эмоцию. Так как каждая запись размечалась несколькими аннотаторами, которые время от времени ещё выполняли различные контрольные задания, то в разметке получилось около 1,5 млн записей.
Подробнее о датасете Dusha в публикации: https://habr.com/ru/companies/sberdevices/articles/715468/

⚔️🤖Pandas vs Datatable: сравнение особенностей при работе с Big Data
Pandas и Datatable - это две популярные библиотеки для работы с данными в языке программирования Python. Однако, у них есть некоторые ключевые отличия, которые могут повлиять на выбор той или иной библиотеки для конкретной задачи.
Pandas - это одна из самых распространенных и популярных библиотек для работы с данными в Python. Она предоставляет мощный и гибкий инструментарий для работы с различными типами данных, включая таблицы, ряды временных рядов, многомерные массивы и многое другое. Pandas также предоставляет множество функций для работы с данными, таких как фильтрация, сортировка, группировка, агрегация и многое другое.
Преимущества Pandas:
1. Мощный инструментарий для работы с различными типами данных, включая таблицы, ряды временных рядов, многомерные массивы и многое другое.
2. Широкая поддержка сообщества, что обеспечивает быстрые исправления ошибок и обновления библиотеки.
3. Богатый набор функций для работы с данными, таких как фильтрация, сортировка, группировка, агрегация и многое другое.
4. Достаточно подробная документация
Недостатки Pandas:
1. Низкая производительность при работе с большими объемами данных.
2. Неудобство при работе с большим количеством столбцов.

Datatable - это библиотека, созданная для улучшения производительности и эффективности работы с данными в Python. Она предоставляет более быструю работу с данными, чем Pandas, особенно при работе с большими объемами данных. Datable предоставляет синтаксис, очень похожий на Pandas, что делает переход с одной библиотеки на другую более легким.
Преимущества Datatable:
1. Достаточно высокая производительность при работе с большими объемами данных.
2. Синтаксис, очень похожий на Pandas, что делает переход с одной библиотеки на другую более легким.
Недостатки Datatable:
1. Более ограниченная функциональность, чем Pandas
2. Ограниченная кроссплатформенность: Некоторые функции в Datatable могут работать по-разному на разных операционных системах, что может вызвать проблемы при разработке и тестировании.
3. Небольшое сообщество: Datatable не так широко используется, как Pandas, что означает, что сообщество разработчиков и пользователей, которые могут помочь с проблемами и вопросами, связанными с библиотекой, относительно мало.

Таким образом, выбор между Pandas и Datatable зависит от конкретной задачи и требований к производительности. Если необходимо работать с большими объемами данных и требуется максимальная производительность, то Datatable может быть лучшим выбором. Если же требуется работать с более сложными типами данных и операциями, то Pandas будет лучшим выбором.

😎🔎Несколько полезных Python-библиотек для работы с геоданными
gmaps - библиотека для работы с Google-картами. Предназначена для визуализации и взаимодействия с геоданными Google.
Leafmap – это пакет Python с открытым исходным кодом для создания интерактивных карт и геопространственного анализа. Он позволяет анализировать и визуализировать геоданные за несколько строчек кода в среде Jupyter (Google Colab, Jupyter Notebook и JupyterLab)
ipyleaflet – интерактивная библиотека виджетов, которая позволяет визуализировать карты
Folium – это библиотека Python для легкой визуализации геоданных. Она предоставляет Python-интерфейс для leaflet.js, одной из лучших библиотек JavaScript для создания интерактивных карт. Данная библиотека также дает возможность работать с файлами GeoJSON и TopoJSON, создавать фоновые картограммы с различными палитрами, настраивать всплывающие подсказки и интерактивные карты-врезки.
geopandas - библиотека, предназначенная для работы с пространственными данными в Python. Основной объект модуля GeoPandas – геодатафрейм, он полностью совпадает с определением датафрейма Pandas, но также включает в себя поле Geometry, в котором содержится определение пространственного объекта.

😱YouTube видео превратили в хранилище данных
Алгоритм AKA ISG был создан энтузиастами, чтобы превратить видео на YouTube в бесплатное и практически неограниченное хранилище данных. Суть алгоритма заключается в том, что он позволяет вставлять файлы в видео и загружать их на YouTube как часть видео. Каждый файл состоит из байтов, которые можно представить как числа. В свою очередь, каждый пиксель в видео может быть интерпретирован как белый (1) или чёрный (0).
В итоге получается видео, каждый кадр которого содержит в себе информацию.
По словам разработчиков, YouTube не имеет ограничений на количество видео, которые можно загрузить. Это означает, что, таким образом, это фактически бесконечное облачное хранилище

💥⚡️Сервисы для разметки данных на сегодняшний день
1. Hasty.ai - у этой платформы есть множество «умных» инструментов наподобие GrabCut, Contour и Dextr, распознающих края или контуры объектов, которые можно вручную настроить с пороговым значением для наилучшего сегментирования изображения. Она также поддерживает прогнозирование разметки после аннотирования достаточного объёма данных. Вторая особенность платформы — возможность обучения собственного распознавателя объектов, семантического сегментирования и сегментирования объектов. Единственный недостаток заключается в том, что обработка занимает время (до 10-20 секунд), а его можно было потратить на выполнение самой разметки.
2. Superannotate — это стартап Кремниевой долины, который обеспечивает векторные аннотации (прямоугольники, многоугольники, линии, эллипсы, ключевые точки с шаблонами и кубоиды), и попиксельное аннотирование при помощи кисти. Лучшая часть данного инструмента — это функция суперпикселей. Она способна распознавать края объектов с чрезвычайно большой точностью, что сильно ускоряет семантическую сегментацию и сегментацию объектов по сравнению с другими инструментами. Единственная проблема заключается в том, что если границы между объектом и фоном нечётки, она больше тратит времени на манипуляции с сегментами, чем на выполнение самой работы.
3. Datasaur – программа для разметки данных, в которой акцент делается на разметке текста. Если необходим инструмент разметки данных для обработки естественного языка, то это довольно интересный вариант.
4. Clarifai - предоставляет множество полезных возможностей для обучения ИИ. Он может размечать данные на картинках, в видео и в тексте.
5. V7 Darwin - данный инструмент активно используется для аннотирования изображений. Он позволяет распознавать любой участок или объект. Его даже можно использовать в видео для автоматического аннотирования ключевых кадров.

🧐📝🤖Обработка данных с Clickhouse: преимущества и недостатки
ClickHouse - это открытая колоночная база данных для аналитики и обработки больших объемов данных. Он был разработан компанией Яндекс и предназначен для обработки и анализа Big Data в реальном времени.
Преимущества Clickhouse:
1. Высокая производительность: ClickHouse спроектирован для обработки очень больших объемов данных с высокой скоростью. Он может эффективно справляться с запросами, требующими сложных агрегаций и аналитических операций на миллиардах строк данных.
2. Масштабируемость: ClickHouse обеспечивает горизонтальное масштабирование, что означает, что его можно легко масштабировать, добавляя новые узлы кластера для увеличения производительности и обработки больших объемов данных.
3. Низкая задержка: ClickHouse обеспечивает низкую задержку выполнения запросов благодаря своей колоночной архитектуре, которая позволяет быстро фильтровать и агрегировать данные, необходимые для ответа на запросы.
4. Эффективное использование ресурсов: ClickHouse оптимизирован для работы на высоконагруженных системах и предлагает различные механизмы сжатия данных и управления памятью, что позволяет эффективно использовать ресурсы сервера.
5. Поддержка SQL-запросов: ClickHouse поддерживает стандартный язык запросов SQL, что облегчает разработку и интеграцию существующих инструментов и приложений.

Однако, несмотря на все преимущества, Clickhouse имеет ряд недостатков:
1. Ориентированность на аналитику: ClickHouse является оптимальным выбором для аналитических задач, но может быть менее подходящим для операционных или транзакционных нагрузок, где требуется частое изменение данных или запись большого количества небольших транзакций.
2. Сложность конфигурации и управления: Настройка и управление ClickHouse может быть сложным процессом, особенно для новичков. Некоторые аспекты, такие как распределение данных, требуют тщательного планирования и опыта для достижения оптимальной производительности.
3. Отсутствие полной поддержки для транзакций: ClickHouse не предоставляет полноценную поддержку транзакций, что может быть недостатком для некоторых приложений, требующих согласованности данных и атомарности операций.
4. Сложность внесения изменений в схему данных: Внесение изменений в схему данных в ClickHouse может быть сложным и требовать перезагрузки данных или перестройки таблиц, что может быть затратным по времени и ресурсам.
Таким образом, ClickHouse является мощной и эффективной системой для аналитики на больших объемах данных, но требует тщательного планирования и конфигурации для достижения оптимальной производительности.

🔥💥Достаточно полезные платформы веб-аналитики данных на сегодняшний день
Segment — это веб-платформа и API для веб-аналитики и сбора данных о пользователях для дальнейшей их отправки на сотни инструментов или хранилищ данных. С помощью Segment можно экспортировать данные в любую внутреннюю систему и приложение, воспроизводить исторические данные, просматривать события в режиме реального времени, например, когда кто-то совершает покупку на сайте или в приложении.
Metabase — это инструмент для бизнес-аналитики с открытым исходным кодом. Пользователи задают вопросы о данных, а Metabase отображает ответы в осмысленных форматах, таких как гистограмма или таблица. Вопросы к данным сохраняются и группируются в информативные дашборды, которые использует вся команда.
Matomo — это платформа веб-аналитики, которая включает встроенный менеджер тегов, что позволяет отслеживать и контролировать эффективность различных маркетинговых кампаний. Функции включают пользовательское хранение данных, SAML и LDAP аутентификацию, журналы активности, медиа-аналитику и кастомизируемые отчеты.
SimilarWeb — это облачная платформа для анализа посещаемости веб-сайтов. В число функций входят экспорт данных, показатели эффективности, кастомные дашборды и анализ конверсии. Маркетинговые команды выигрывают от возможности просматривать демографические данные, анализировать поведение клиентов и открывать новые возможности.
Amplitude — это популярный пакет продуктовой аналитики, который отслеживает посетителей сайта с помощью совместного анализа. Программное обеспечение использует кастомные отчеты о поведении и уведомления, чтобы предложить лучшее понимание того, как посетители взаимодействуют, а также предоставить практические инсайты для ускорения разработки продукта. Amplitude также позволяет определять стратегии продукта, улучшать вовлеченность клиентов и оптимизировать конверсии.

💥ТОП-5 июньских ивентов в Data Science
8 июня - VK Cloud Conf 2023 - Москва, Россия - https://mcs.mail.ru/events/vk-cloud-conf23
21 июня - Artificial Intelligence Day - Онлайн - https://www.tadviser.ru/a/710157
26-27 июня - Saint HighLoad++ 2023 - Санкт-Петербург - Россия - https://highload.ru/spb/2023
28-30 июня - TECH WEEK - Москва, Россия - https://techweek.moscow/
29-30 июня - Saint TeamLead Conf 2023 - Санкт-Петербург - Россия - https://teamleadconf.ru/spb/2023

🤖💥🧠Малоизвестные, но достаточно полезные-фреймворки для DL
1. ZenML - это фреймворк MLOps, который позволяет создавать готовые к использованию конвейеры машинного обучения. Он предоставляет высокоуровневые абстракции, позволяющие специалистам по обработке данных полностью управлять конвейером, вплоть до его развертывания в продакшн. В отличие от Airflow, который ориентирован на инженеров данных, ZenML упрощает работу с объектами Pandas и PyTorch, не требуя от пользователя глубокого понимания инфраструктуры и инструментов развертывания. Data Scientistу достаточно описать желаемую структуру конвейера, а ZenML возьмет на себя остальные детали и настройки.
2. MLRun - представляет собой дополнительный фреймворк для управления конвейерами машинного обучения. Он предоставляет стандартизацию для конфигурационных файлов, окружений, параметров и источников данных, тем самым снимая необходимость беспокоиться о месте запуска конвейера.
3. Metaflow - это библиотека, предназначенная для управления проектами в области Data Science, разработанных на языках Python или R. Изначально Metaflow был создан в компании Netflix с целью повышения производительности Data Scientist'ов, которые занимаются разнообразными проектами - от классической статистики до современного глубокого обучения.
4. Kedro разработан для создания многомодульного кода MLOps, который обладает свойствами воспроизводимости и поддерживаемости. Он использует принципы программной инженерии и применяет их к коду машинного обучения. Важные концепции, применяемые в Kedro, включают модульность, разделение задач и управление версиями. Кроме того, Kedro предлагает веб-интерфейс для визуализации конвейеров.
5. Seldon Core является платформой MLOps, разработанной для оптимизации рабочих процессов машинного обучения. Она предоставляет набор инструментов, включающих журналирование, расширенные метрики, возможность тестирования (например, A/B-тестирование), масштабирование и преобразование моделей в микросервисы с использованием протоколов REST или GRPC.
6. Flyte представляет собой MLOps-платформу, предназначенную для отслеживания, обслуживания и автоматизации рабочих процессов машинного обучения, включая процессы, связанные с Kubernetes. Она обеспечивает возможность воспроизводить выполнение моделей машинного обучения путем отслеживания изменений модели, управления версиями и контейнеризации модели вместе с ее зависимостями. Flyte предлагает как интерфейс командной строки (CLI), так и веб-интерфейс для удобного взаимодействия с платформой.