Forwarded from Бизнес-анализ | ИТ | ИИ
20 мая Сбер впервые проведет масштабную технологическую конференцию SmartDev, чтобы рассказать о максимуме возможностей для разработчиков и всего техно-сообщества.
💥 3000+ участников.
💥 50+ спикеров.
💥 6 параллельных стримов от техно-активов Сбера.
💥 Dev to dev.
На стриме платформы ML Space, эксперты и грандмастера Kaggle расскажут о возможностях ML Space — единственной облачной платформе в мире, позволяющей организовать распределенное обучение на 1000+ GPU. Впервые для российских разработчиков будут представлены новые модули платформы и инструменты oneAPI от Intel.
Конференция пройдет онлайн, участие бесплатное, по предварительной регистрации на сайте.
💥 3000+ участников.
💥 50+ спикеров.
💥 6 параллельных стримов от техно-активов Сбера.
💥 Dev to dev.
На стриме платформы ML Space, эксперты и грандмастера Kaggle расскажут о возможностях ML Space — единственной облачной платформе в мире, позволяющей организовать распределенное обучение на 1000+ GPU. Впервые для российских разработчиков будут представлены новые модули платформы и инструменты oneAPI от Intel.
Конференция пройдет онлайн, участие бесплатное, по предварительной регистрации на сайте.
С 18 мая 2021 года Google объединяет все свои Cloud-сервисы для машинного обучения в рамках единого интерфейса и API в рамках общедоступного Vertex AI - управляемой MLOps-платформы для развертывания и обслуживания ИИ-моделей. Vertex AI включает AutoML и AI-платформа в единый API, клиентскую библиотеку и пользовательский интерфейс. Пользователи могут самостоятельно управлять данными и прототипами, развертывать и интерпретировать свои модели с помощью инструментов Vertex: Vizier, Feature Store, Experiments, Continuous Monitoring и Pipelines.
Кроме того, Vertex AI интегрируется со многими open-source фреймворками (TensorFlow, PyTorch и scikit-learn), а также поддерживает все ML-фреймворки с помощью настраиваемых контейнеров для обучения и прогнозирования. Кроме того, можно подключать BigQuery, использовать стандартные SQL-запросы в существующих инструментах бизнес-аналитики и электронных таблиц, и экспортировать датасеты из BigQuery в Vertex AI. А Vertex Data Labeling позволит точно разметить данные.
Узнать больше и попробовать новую DS-платформу от корпорации добра можно здесь: https://cloud.google.com/vertex-ai
Кроме того, Vertex AI интегрируется со многими open-source фреймворками (TensorFlow, PyTorch и scikit-learn), а также поддерживает все ML-фреймворки с помощью настраиваемых контейнеров для обучения и прогнозирования. Кроме того, можно подключать BigQuery, использовать стандартные SQL-запросы в существующих инструментах бизнес-аналитики и электронных таблиц, и экспортировать датасеты из BigQuery в Vertex AI. А Vertex Data Labeling позволит точно разметить данные.
Узнать больше и попробовать новую DS-платформу от корпорации добра можно здесь: https://cloud.google.com/vertex-ai
Google Cloud
Gemini Enterprise Agent Platform (formerly Vertex AI)
Gemini Enterprise Agent Platform (formerly Vertex AI) is a comprehensive platform for developers to build, scale, govern and optimize agents.
🙌🏻Нужны чистые данные? Попробуйте PClean - новая система от исследователей MIT, написанная на предметно-ориентированном вероятностном языке программирования для автоматической очистки данных. Она удаляет опечатки, дубликаты, пропущенные значения, орфографические ошибки и несоответствия, облегчая подготовку датасета к анализу и ML-моделированию. Примечательно, что PClean не просто механически очищает данные, а учитывает их семантику с помощью обобщенных моделей здравого смысла для суждений, которые можно настроить для конкретных баз данных и типов ошибок.
Идея вероятностной очистки данных на базе декларативного и обобщенного знания о контексте исследований – не новая. Впервые она прозвучала в статье 2003 года сотрудников Калифорнийского университета Беркли с предположением, что такой подход потенциально может обеспечить гораздо большую точность, чем другие популярные методы машинного обучения. PClean развивает эту мысль с учетом тренда на «объяснимый ИИ» – применение реалистичных моделей человеческих знаний для интерпретации данных. Исправления в PClean основаны на байесовских рассуждениях, когда каждому альтернативному объяснению неоднозначных данных присваивается некоторый вес и к имеющимся данным применяются вероятности, основанные на предварительных знаниях. Дополнительным преимуществом PClean является возможность чистить действительно большие объемы данных, причем сравнительно быстро. Например, недавнее исследование 2021 года на таблице с медицинскими данными из 2,2 миллионов строк, PClean нашел более 8000 ошибок всего за 7,5 часов. Наконец, благодаря принципу байесовской вероятности, PClean может давать откалиброванные оценки своей неопределенности, которые можно подкорректировать вручную, обучая таким образом ИИ-систему.
https://news.mit.edu/2021/system-cleans-messy-data-tables-automatically-0511
Идея вероятностной очистки данных на базе декларативного и обобщенного знания о контексте исследований – не новая. Впервые она прозвучала в статье 2003 года сотрудников Калифорнийского университета Беркли с предположением, что такой подход потенциально может обеспечить гораздо большую точность, чем другие популярные методы машинного обучения. PClean развивает эту мысль с учетом тренда на «объяснимый ИИ» – применение реалистичных моделей человеческих знаний для интерпретации данных. Исправления в PClean основаны на байесовских рассуждениях, когда каждому альтернативному объяснению неоднозначных данных присваивается некоторый вес и к имеющимся данным применяются вероятности, основанные на предварительных знаниях. Дополнительным преимуществом PClean является возможность чистить действительно большие объемы данных, причем сравнительно быстро. Например, недавнее исследование 2021 года на таблице с медицинскими данными из 2,2 миллионов строк, PClean нашел более 8000 ошибок всего за 7,5 часов. Наконец, благодаря принципу байесовской вероятности, PClean может давать откалиброванные оценки своей неопределенности, которые можно подкорректировать вручную, обучая таким образом ИИ-систему.
https://news.mit.edu/2021/system-cleans-messy-data-tables-automatically-0511
MIT News
New system cleans messy data tables automatically
A new machine learning system from MIT uses probabilistic programming to clean dirty datasets, filling in blank cells accurately and quickly. Because it’s Bayesian, the artificial intelligence system can also tell you how confident it is in its answers.
🎂Обучение с подкреплением (RL, Reinforcement learning) отлично подходит для задач с четко определенной функцией вознаграждения, что подтверждается успешным опытом AlphaZero для Go, OpenAI Five для Dota и AlphaStar для StarCraft. Но на практике четко определить функцию вознаграждения не всегда возможно. Например, в простом кейсе уборки комнаты найденная под кроватью старая визитка или использованный билет на концерт могут представлять ценность и не должны быть выкинуты как мусор. Впрочем, даже если задать четкие критерии оценки анализируемого объекта, преобразовать их в вознаграждение не так просто: если вы даете агенту подкрепляющее его поведение вознаграждение каждый раз при сборе мусора, он может выбросить его назад, чтобы снова собрать и получить подкрепление.
Предупредить такое поведение AI-системы можно, формируя функцию вознаграждения на основе отзывов о поведении агента. Но этот подход требует много ресурсов: в частности, для обучения Deep RL-модели Cheetah от OpenAI Gym и MujoCo нужно около 700+ сравнений, проведенных человеком.
Поэтому исследователи калифорнийского университета Беркли David Lindner и Rohin Shah предложили алгоритм, который может без человеческого надзора или явно заданной функции, сформировать политику вознаграждения на основе неявной информации. Они назвали его RLSP (Reward Learning by Simulating the Past), т.к. подкрепляющее обучение формируется путем моделирования прошлого, на основе суждений, позволяющих агенту делать выводы о человеческих предпочтениях без явной обратной связи. Главная трудность масштабирования RLSP в том, как рассуждать о предыдущем опыте в случае множества данных. Авторы предлагают выбирать наиболее вероятные прошлые траектории развития событий вместо их полного перечисления, чередуя предсказание прошлых действий с предсказанием прошлых состояний, из которых эти действия были предприняты.
Алгоритм RLSP использует градиентный подъем для непрерывного обновления линейной функции вознаграждения для объяснения наблюдаемого состояния. Масштабирование этой идеи возможно через функциональное представление каждого состояния и моделирование линейной функции вознаграждения по этим характеристикам с последующей аппроксимацией градиента RLSP путем выборки более вероятных прошлых траектории. Градиент поощряет функцию вознаграждения, так что обратные траектории (что должно было быть сделано в прошлом) и прямые траектории (что агент сделал бы, используя текущее вознаграждение) согласовывались друг с другом. Как только траектории согласованы, градиент становится равным нулю, и становится известной функция вознаграждения, которая, вероятней всего, вызовет наблюдаемое состояние. Суть RLSP-алгоритма в выполнении градиентного подъема с использованием этого градиента. Алгоритм был проверен в симуляторе MujoCo – среде для тестирования RL-алгоритмов на задаче обучения смоделированных роботов двигаться по оптимальной траектории или наилучшим способом из возможных. Результаты показали, что сформированные RLSP политики подкрепления работают не хуже, тех, которые непосредственно обучены истинной функции вознаграждения.
https://bair.berkeley.edu/blog/2021/05/03/rlsp/
Предупредить такое поведение AI-системы можно, формируя функцию вознаграждения на основе отзывов о поведении агента. Но этот подход требует много ресурсов: в частности, для обучения Deep RL-модели Cheetah от OpenAI Gym и MujoCo нужно около 700+ сравнений, проведенных человеком.
Поэтому исследователи калифорнийского университета Беркли David Lindner и Rohin Shah предложили алгоритм, который может без человеческого надзора или явно заданной функции, сформировать политику вознаграждения на основе неявной информации. Они назвали его RLSP (Reward Learning by Simulating the Past), т.к. подкрепляющее обучение формируется путем моделирования прошлого, на основе суждений, позволяющих агенту делать выводы о человеческих предпочтениях без явной обратной связи. Главная трудность масштабирования RLSP в том, как рассуждать о предыдущем опыте в случае множества данных. Авторы предлагают выбирать наиболее вероятные прошлые траектории развития событий вместо их полного перечисления, чередуя предсказание прошлых действий с предсказанием прошлых состояний, из которых эти действия были предприняты.
Алгоритм RLSP использует градиентный подъем для непрерывного обновления линейной функции вознаграждения для объяснения наблюдаемого состояния. Масштабирование этой идеи возможно через функциональное представление каждого состояния и моделирование линейной функции вознаграждения по этим характеристикам с последующей аппроксимацией градиента RLSP путем выборки более вероятных прошлых траектории. Градиент поощряет функцию вознаграждения, так что обратные траектории (что должно было быть сделано в прошлом) и прямые траектории (что агент сделал бы, используя текущее вознаграждение) согласовывались друг с другом. Как только траектории согласованы, градиент становится равным нулю, и становится известной функция вознаграждения, которая, вероятней всего, вызовет наблюдаемое состояние. Суть RLSP-алгоритма в выполнении градиентного подъема с использованием этого градиента. Алгоритм был проверен в симуляторе MujoCo – среде для тестирования RL-алгоритмов на задаче обучения смоделированных роботов двигаться по оптимальной траектории или наилучшим способом из возможных. Результаты показали, что сформированные RLSP политики подкрепления работают не хуже, тех, которые непосредственно обучены истинной функции вознаграждения.
https://bair.berkeley.edu/blog/2021/05/03/rlsp/
The Berkeley Artificial Intelligence Research Blog
Learning What To Do by Simulating the Past
The BAIR Blog
Пишем на Python еще проще: как создать свой класс за пару строчек с модулем dataclass
Аналитики данных и Data Scientist’ы очень любят Python – удобный в изучении и простой в использовании объектно-ориентированный язык, который содержит множество встроенных функций и позволяет создавать собственные. Согласно принципу DRY (Don’t Repeat Yourself), современным стандартом разработки является упаковка кода в классы, которые предоставляют API для использования их методов. На практике создавать собственные классы в Python приходится достаточно часто, с последующим дополнением и расширением их по мере работы. Делать это быстрее поможет стандартный модуль dataclasses, который сперва следует импортировать. Затем нужно задекорировать пользовательский класс специальной функцией dataclass, а внутри этого класса перечислить необходимые атрибуты, предварительно их аннотировав, т.е. задав типы. Например, для пользовательского класса Person с целочисленным идентификатором и строковым именем это будет выглядеть так:
from dataclass import dataclass
@dataclass
class Person:
id: int
name: str
Модуль dataclasses предоставляет декоратор и функции для автоматического добавления сгенерированных специальных методов, таких как init () и repr (), в определенные пользователем классы. Впрочем, пользоваться модулем dataclasses нужно с умом и знать о следующих особенностях:
• по умолчанию модуль не проверяет тип, указанный в аннотации переменной;
• декоратор dataclass() добавляет в пользовательский класс некоторые методы, которые могут быть лишними и дублировать поведение уже существующих в классе;
• при использовании декоратора dataclass(), все базовые классы просматриваются в обратном порядке, начиная с объекта и для каждого найденного класса добавляются атрибуты его родителя в упорядоченное отображение полей. Все сгенерированные методы будут использовать это комбинированное вычисляемое упорядоченное сопоставление полей. А, поскольку поля расположены в порядке их вставки, производные классы переопределяют базовые.
Аналитики данных и Data Scientist’ы очень любят Python – удобный в изучении и простой в использовании объектно-ориентированный язык, который содержит множество встроенных функций и позволяет создавать собственные. Согласно принципу DRY (Don’t Repeat Yourself), современным стандартом разработки является упаковка кода в классы, которые предоставляют API для использования их методов. На практике создавать собственные классы в Python приходится достаточно часто, с последующим дополнением и расширением их по мере работы. Делать это быстрее поможет стандартный модуль dataclasses, который сперва следует импортировать. Затем нужно задекорировать пользовательский класс специальной функцией dataclass, а внутри этого класса перечислить необходимые атрибуты, предварительно их аннотировав, т.е. задав типы. Например, для пользовательского класса Person с целочисленным идентификатором и строковым именем это будет выглядеть так:
from dataclass import dataclass
@dataclass
class Person:
id: int
name: str
Модуль dataclasses предоставляет декоратор и функции для автоматического добавления сгенерированных специальных методов, таких как init () и repr (), в определенные пользователем классы. Впрочем, пользоваться модулем dataclasses нужно с умом и знать о следующих особенностях:
• по умолчанию модуль не проверяет тип, указанный в аннотации переменной;
• декоратор dataclass() добавляет в пользовательский класс некоторые методы, которые могут быть лишними и дублировать поведение уже существующих в классе;
• при использовании декоратора dataclass(), все базовые классы просматриваются в обратном порядке, начиная с объекта и для каждого найденного класса добавляются атрибуты его родителя в упорядоченное отображение полей. Все сгенерированные методы будут использовать это комбинированное вычисляемое упорядоченное сопоставление полей. А, поскольку поля расположены в порядке их вставки, производные классы переопределяют базовые.
🗣Новый движок глубокого обучения от NVIDIA Research для создания 3D-моделей объектов из стандартных 2D-изображений на базе GAN-нейросетей и платформы NVIDIA Omniverse.
Приложение GANverse3D, разработанное исследовательской лабораторией NVIDIA AI Research Lab в Торонто, преобразует плоские изображения в реалистичные 3D-модели. Результаты их рендеринга можно использовать в виртуальных средах, позволяя разработчикам игр и дизайнерам легко добавлять новые объекты в свои макеты без опыта в 3D-моделировании и больших бюджетов на визуализацию. Например, одну фотографию автомобиля можно превратить в 3D-модель, которая может объезжать виртуальную сцену с реалистичными фарами, задними фонарями и поворотниками. Обучающий датасет создается с использованием GAN-нейросетей, которые синтезируют изображения одного и того же объекта с разных точек углов.
Предыдущие модели инверсной графики полагались на трехмерные формы в качестве обучающих данных. Новый подход без помощи 3D-ресурсов превращает GAN-модель в эффективный генератор данных для создания трёхмерного объекта из двумерных изображений. Обученная на реальных изображениях, а не на типичных синтетических данных, эта ИИ-модель лучше обобщается на реальные приложения, экономя время и бюджет на моделирования сложных виртуальных объектов. В частности, с обученным приложением GANverse3D реальные фото автомобилей, зданий или даже людей и животных можно преобразовать в трехмерные фигуры, чтобы затем настроить и анимировать их в Omniverse.
Для визуализации одного и того же объекта с разных точек обзора нейросеть имеет следующую структуру: первые 4 слоя открыты, а оставшиеся 12 – заморожены. И наоборот, если заморозить первые 4 слоя, а остальные 12 – изменять, нейронная сеть генерировала разные изображения с одной и той же точки обзора. Назначая вручную стандартные точки обзора (высота и расстояние от камеры), исследователи смогли быстро создать датасет с несколькими ракурсами из отдельных 2D-изображений.
Эти многовидовые изображения включены в структуру рендеринга для инверсной графики, чтобы получить модели 3D-сетки из 2D-изображений. После обучения на многовидовых двумерных картинках GANverse3D нужно только одно двухмерное изображение, чтобы сформировать сетку трехмерной модели. Эту 3D-модель можно использовать с трехмерным нейронным рендерером, позволяющим разработчикам настраивать объекты и менять фоны. А импорт в качестве расширения на платформу NVIDIA Omniverse и запуск на графических процессорах NVIDIA RTX, GANverse3D пригодится для воссоздания любого 2D-изображения в 3D.
Результаты тестирования последней GAN-модели от NVIDIA, обученной на 55000 изображений автомобилей, превзошли нейросеть обратной графики, обученную на популярном наборе данных Pascal3D.
https://blogs.nvidia.com/blog/2021/04/16/gan-research-knight-rider-ai-omniverse/
Приложение GANverse3D, разработанное исследовательской лабораторией NVIDIA AI Research Lab в Торонто, преобразует плоские изображения в реалистичные 3D-модели. Результаты их рендеринга можно использовать в виртуальных средах, позволяя разработчикам игр и дизайнерам легко добавлять новые объекты в свои макеты без опыта в 3D-моделировании и больших бюджетов на визуализацию. Например, одну фотографию автомобиля можно превратить в 3D-модель, которая может объезжать виртуальную сцену с реалистичными фарами, задними фонарями и поворотниками. Обучающий датасет создается с использованием GAN-нейросетей, которые синтезируют изображения одного и того же объекта с разных точек углов.
Предыдущие модели инверсной графики полагались на трехмерные формы в качестве обучающих данных. Новый подход без помощи 3D-ресурсов превращает GAN-модель в эффективный генератор данных для создания трёхмерного объекта из двумерных изображений. Обученная на реальных изображениях, а не на типичных синтетических данных, эта ИИ-модель лучше обобщается на реальные приложения, экономя время и бюджет на моделирования сложных виртуальных объектов. В частности, с обученным приложением GANverse3D реальные фото автомобилей, зданий или даже людей и животных можно преобразовать в трехмерные фигуры, чтобы затем настроить и анимировать их в Omniverse.
Для визуализации одного и того же объекта с разных точек обзора нейросеть имеет следующую структуру: первые 4 слоя открыты, а оставшиеся 12 – заморожены. И наоборот, если заморозить первые 4 слоя, а остальные 12 – изменять, нейронная сеть генерировала разные изображения с одной и той же точки обзора. Назначая вручную стандартные точки обзора (высота и расстояние от камеры), исследователи смогли быстро создать датасет с несколькими ракурсами из отдельных 2D-изображений.
Эти многовидовые изображения включены в структуру рендеринга для инверсной графики, чтобы получить модели 3D-сетки из 2D-изображений. После обучения на многовидовых двумерных картинках GANverse3D нужно только одно двухмерное изображение, чтобы сформировать сетку трехмерной модели. Эту 3D-модель можно использовать с трехмерным нейронным рендерером, позволяющим разработчикам настраивать объекты и менять фоны. А импорт в качестве расширения на платформу NVIDIA Omniverse и запуск на графических процессорах NVIDIA RTX, GANverse3D пригодится для воссоздания любого 2D-изображения в 3D.
Результаты тестирования последней GAN-модели от NVIDIA, обученной на 55000 изображений автомобилей, превзошли нейросеть обратной графики, обученную на популярном наборе данных Pascal3D.
https://blogs.nvidia.com/blog/2021/04/16/gan-research-knight-rider-ai-omniverse/
NVIDIA Blog
Knight Rider Rides a GAN with AI, NVIDIA Omniverse | NVIDIA Blog
NVIDIA Research’s latest model, featuring GANs under the hood, turns 2D images into 3D objects for artists, designers, architects.
💥Уже завтра вечером, 31 мая в 22:00 МСК состоится AI/ML-митап от Яндекс.Cloud, успеваем зарегистрироваться на онлайн-встречу с руководителями направлений и крутыми DS-спецами https://cloud.yandex.ru/events/363
yandex.cloud
about:cloud — ML&AI
about:cloud — митап про технологии и большую любовь к ним.
🏂Ищете среду моделирования роботов? Попробуйте MuJoCo - Multi-Joint Dynamics with Contact. Сперва он использовался в Лаборатории управления движением Вашингтонского университета, а теперь принят широким сообществом исследователей и разработчиков. MuJoCo - это физический движок для облегчения исследований и разработок в области робототехники, биомеханики, графики и анимации, а также в других областях AI/ML/DS. Он предлагает уникальное сочетание скорости, точности и мощности, а также оптимизацию на основе модели с помощью контактов. MuJoCo позволяет масштабировать ресурсоемкие вычислительные техники и применять их к сложным динамическим системам в поведении, требующем большого количества контактов. Он также обеспечивает тестирование и проверку схем управления перед развертыванием на физических роботах, интерактивную научную визуализацию, виртуальные среды, анимацию и игры. Базовый модуль (MuJoCo 2.0 - динамическая библиотека с C / C ++ API, включает анализатор XML, компилятор моделей, симулятор и интерактивный визуализатор OpenGL, совместимый с 64-битными Windows, Linux и macOS) распространяется по пробной лицензии 30 дней бесплатно, затем вы можете купить индивидуальную или институциональную лицензию. Остальные модули доступны бесплатно для скачивания на официальном сайте https://www.roboti.us/index.html
🌸☀️Встречаем лето-2021! Первый летний месяц порадует нас множеством интересных DS-событий: онлайн и офлайн митапы, конференции, форумы и прочие познавательные мероприятия по технологиям Big Data, Machine Learning, а также другим методам AI и Data Science. Выбирайте подходящий ивент, участвуйте, развивайтесь в профессии и заводите новые знакомства!
1-3 июня - мультиформатная конференция c 17 тематическими потоками Tech Week 2021 в технопарке Сколково: 350 спикеров, 150 компаний https://it-events.com/events/20329
4-6 июня - Weekend Offer от X5 Retail Group для для Data Analyst/Data Scientist – отправьте заявку, пройдите интервью и получите job-офер в группу компаний одного из крупнейших ритейлеров России https://your.gms.tech/v/v6xoYc1w
8 июня 19:00 - 21:00 МСК – вебинар «Использование игрового AI в Online CO-OP и Competitive играх» https://itvdn.com/ru/webinars/description/ai-online-coop
11-14 июня - Онлайн-хакатон Агентства инноваций Москвы по разработке цифровых решений и сервисов для города – 5 задач от Сбер Cloud, Нетологии, ЭР Телеком, ДИТ Москвы и Московского инновационного кластера для команд из 2-5 человек и денежным призом 2 млн рублей https://moscityhack.innoagency.ru/
12-26 июня - четвертая онлайн-олимпиада по биоинформатике Bioinformatics Contest от Института биоинформатики, Университета ИТМО, Stepik и Rosalind при поддержке JetBrains, Genotek, Яндекс и Serokell https://bioinf.me/en/contest
15 июня 19:00 - 21:00 МСК – вебинар «Обзор фреймворков Django, Flask, FastAPI. Что лучше для веб разработки на Python» https://itvdn.com/ru/webinars/description/django-flask-fastapi
16 июня в 11:00 МСК - вебинар "Развитие цифровой трансформации в финансовых учреждениях с помощью данных, аналитики и искусственного интеллекта" от Cloudera https://ru.cloudera.com/about/events/webinars/advancing-digital-transformation-in-financial-services-with-data-analytics-and-ai.html
22 мая – 19 июня – онлайн-марафон с DataFest: месяц докладов, трансляций и нетворкинга – митапы, хакатоны, теория + практика на https://datafest.ru/2021/
1-3 июня - мультиформатная конференция c 17 тематическими потоками Tech Week 2021 в технопарке Сколково: 350 спикеров, 150 компаний https://it-events.com/events/20329
4-6 июня - Weekend Offer от X5 Retail Group для для Data Analyst/Data Scientist – отправьте заявку, пройдите интервью и получите job-офер в группу компаний одного из крупнейших ритейлеров России https://your.gms.tech/v/v6xoYc1w
8 июня 19:00 - 21:00 МСК – вебинар «Использование игрового AI в Online CO-OP и Competitive играх» https://itvdn.com/ru/webinars/description/ai-online-coop
11-14 июня - Онлайн-хакатон Агентства инноваций Москвы по разработке цифровых решений и сервисов для города – 5 задач от Сбер Cloud, Нетологии, ЭР Телеком, ДИТ Москвы и Московского инновационного кластера для команд из 2-5 человек и денежным призом 2 млн рублей https://moscityhack.innoagency.ru/
12-26 июня - четвертая онлайн-олимпиада по биоинформатике Bioinformatics Contest от Института биоинформатики, Университета ИТМО, Stepik и Rosalind при поддержке JetBrains, Genotek, Яндекс и Serokell https://bioinf.me/en/contest
15 июня 19:00 - 21:00 МСК – вебинар «Обзор фреймворков Django, Flask, FastAPI. Что лучше для веб разработки на Python» https://itvdn.com/ru/webinars/description/django-flask-fastapi
16 июня в 11:00 МСК - вебинар "Развитие цифровой трансформации в финансовых учреждениях с помощью данных, аналитики и искусственного интеллекта" от Cloudera https://ru.cloudera.com/about/events/webinars/advancing-digital-transformation-in-financial-services-with-data-analytics-and-ai.html
22 мая – 19 июня – онлайн-марафон с DataFest: месяц докладов, трансляций и нетворкинга – митапы, хакатоны, теория + практика на https://datafest.ru/2021/
it-events.com
Tech Week 2021 / Конференция / Москва, Россия / 1 июня 2021 - 3 июня 2021
IT-Events.com Конференция "Tech Week 2021" - организатор ""
💥Пара новых полезных каналов про Big Data Science:
1) Школа Больших Данных https://t.me/BigDataSchool_ru - для тех, кто интересуется и профессионально занимается разработкой и администрированием Apache Hadoop, Spark, Kafka, Greenplum и прочих технологий Big Data
2) Deep Dive 2 Deep Learning https://t.me/ddtodl - глубокое обучение для всех, от новичков до профи
1) Школа Больших Данных https://t.me/BigDataSchool_ru - для тех, кто интересуется и профессионально занимается разработкой и администрированием Apache Hadoop, Spark, Kafka, Greenplum и прочих технологий Big Data
2) Deep Dive 2 Deep Learning https://t.me/ddtodl - глубокое обучение для всех, от новичков до профи
Telegram
Школа Больших Данных
Канал Школы Больших Данных https://www.bigdataschool.ru/ - обучение технологиям Big Data: разработка приложений и администрирование кластеров Hadoop, Kafka, Spark, NoSQL, Python, ML и DS.
Тел: +7 (495) 41-41-121
Контакты: @Bigdataschool_msk @olga_burykh
Тел: +7 (495) 41-41-121
Контакты: @Bigdataschool_msk @olga_burykh
😜Цены растут, а зарплата? Анонимный отчет и открытые наборы данных о зарплатах в сфере AI/ML and Big Data. Делитесь своими данными и/или скачивайте CSV/JSON-датасеты с ответами коллег со всего мира https://salaries.ai-jobs.net/download/
ai-jobs.net
Download all data from our salary survey for free
We collect salary information anonymously from professionals all over the world in the AI, ML, Data Science space and make it publicly available for anyone to use, share and play around with.
🥁AI в ритейле: 7 примеров
eBay - ценообразование и формирование товарных запасов, оптимизация внешнего вида карточек товара, чтобы повысить его привлекательность и увеличить продажи
Sephora – рекомендательная система подбора цветов декоративной косметики (губной помады, теней и пудры): камера сканирует цвет кожи, анализирует данные и генерирует уникальный номер цвета и подбирает товар из продуктовой линейки, который подойдет этому клиенту лучше всего.
Tesco - управление запасами: их прогнозирование и пополнение с погоды и региональных особенностей, а также данных с камер видеонаблюдения, направленных на полки магазинов. А алгоритмы маршрутизации помогают формировать онлайн-заказы в Tesco Online.
OTTO – прогнозирование будущих покупок на основе анализа 3 миллиардов исторических транзакций и 200 дополнительных переменных (погода, поисковые запросы по сайту и пр.). Точность прогноза, какой товар будет продан в течение месяца, достигает 90%. Это помогает оптимизировать складские запасы и повысить оборачиваемость товара.
Simbe Robotics создает роботов, которые фиксируют нарушение план расстановки товаров, их отсутствие товара и не соответствие ценникам с помощью систем компьютерного зрения. Она не только распознает товары, но и рекомендует, чем их заполнить.
Vekia разработала решение для управления логистическими цепочками Leroy Merlen, Etam, Okaidi и Jacadi: контроль товаров в каждом магазине с ежедневной оценкой ассортимента. Система несколько раз в день вычисляет оптимальный уровень запасов для каждой локации и может автоматически сформировать заказ на нужные позиции.
Diwo – определение факторов снижения продаж у отдельных товаров. ML-система также предлагает набор рекомендуемых стратегий улучшения ситуации, подсказывая идеальное время для начала промо-акций и прочие атрибуты рекламных кампаний.
eBay - ценообразование и формирование товарных запасов, оптимизация внешнего вида карточек товара, чтобы повысить его привлекательность и увеличить продажи
Sephora – рекомендательная система подбора цветов декоративной косметики (губной помады, теней и пудры): камера сканирует цвет кожи, анализирует данные и генерирует уникальный номер цвета и подбирает товар из продуктовой линейки, который подойдет этому клиенту лучше всего.
Tesco - управление запасами: их прогнозирование и пополнение с погоды и региональных особенностей, а также данных с камер видеонаблюдения, направленных на полки магазинов. А алгоритмы маршрутизации помогают формировать онлайн-заказы в Tesco Online.
OTTO – прогнозирование будущих покупок на основе анализа 3 миллиардов исторических транзакций и 200 дополнительных переменных (погода, поисковые запросы по сайту и пр.). Точность прогноза, какой товар будет продан в течение месяца, достигает 90%. Это помогает оптимизировать складские запасы и повысить оборачиваемость товара.
Simbe Robotics создает роботов, которые фиксируют нарушение план расстановки товаров, их отсутствие товара и не соответствие ценникам с помощью систем компьютерного зрения. Она не только распознает товары, но и рекомендует, чем их заполнить.
Vekia разработала решение для управления логистическими цепочками Leroy Merlen, Etam, Okaidi и Jacadi: контроль товаров в каждом магазине с ежедневной оценкой ассортимента. Система несколько раз в день вычисляет оптимальный уровень запасов для каждой локации и может автоматически сформировать заказ на нужные позиции.
Diwo – определение факторов снижения продаж у отдельных товаров. ML-система также предлагает набор рекомендуемых стратегий улучшения ситуации, подсказывая идеальное время для начала промо-акций и прочие атрибуты рекламных кампаний.
Forwarded from ML in Marketing - events & meetups
Всем привет, Дата Фест продолжается!
Ждем всех в четверг (начало в 19:00) на нашем митапе.
🗓 10 июня ЧТ.
@MLinMarketing
=============
🔸19:00 - 20:00 (msk)
Алексей Чернобровов, Ph.D., Data science consultant at chernobrovov.com
тема:
Автоматизация построения Customer Journey Map с помощью Data Science
описание:
Из доклада вы узнаете, что такое модели пользовательского взаимодействия в том числе и Customer Journey Map. Затем мы поговорим о том, как автоматизировать Customer Journey Map с помощью современных методов Data Science. Обсудим, когда это делать и когда не нужно. И закончим рассмотрением кейсов.
🔸20:00 - 21:00 (msk)
Михаил Печатов, Data Scientist at Тинькофф
тема:
Как мы научились предсказывать следующую покупку клиента. Персонализация контента на сайте/в приложении.
описание:
В докладе я расскажу о том, как мы решали задачу предсказания следующей покупки. Обсудим, откуда возникла такая задача в банке, какие подходы мы использовали, с какими проблемами столкнулись и какие результаты получили.
==============
Ссылка для входа (https://live.ods.ai/) (пароль от спейса на странице регистрации (https://ods.ai/events/datafest2021) доступен всем, кто прошел регистрацию).
Ждем всех в четверг (начало в 19:00) на нашем митапе.
🗓 10 июня ЧТ.
@MLinMarketing
=============
🔸19:00 - 20:00 (msk)
Алексей Чернобровов, Ph.D., Data science consultant at chernobrovov.com
тема:
Автоматизация построения Customer Journey Map с помощью Data Science
описание:
Из доклада вы узнаете, что такое модели пользовательского взаимодействия в том числе и Customer Journey Map. Затем мы поговорим о том, как автоматизировать Customer Journey Map с помощью современных методов Data Science. Обсудим, когда это делать и когда не нужно. И закончим рассмотрением кейсов.
🔸20:00 - 21:00 (msk)
Михаил Печатов, Data Scientist at Тинькофф
тема:
Как мы научились предсказывать следующую покупку клиента. Персонализация контента на сайте/в приложении.
описание:
В докладе я расскажу о том, как мы решали задачу предсказания следующей покупки. Обсудим, откуда возникла такая задача в банке, какие подходы мы использовали, с какими проблемами столкнулись и какие результаты получили.
==============
Ссылка для входа (https://live.ods.ai/) (пароль от спейса на странице регистрации (https://ods.ai/events/datafest2021) доступен всем, кто прошел регистрацию).
🙌🏻Математика для Data Scientist’а, часть 1: Закон Бенфорда
Закон Бенфорда (Ньюкома-Бенфорда) - закон первой цифры описывает вероятность появления определённой первой значащей цифры в распределениях величин, взятых из реальной жизни. Этот математический закон верен для многих распределений, позволяет предсказать частоту встречаемости второй и третьей цифры в наборе данных.
Впервые этот закон обнаружил американский астроном Саймон Ньюком в 1881 году, анализируя степень изношенности книжных страниц. А в 1938 году физик Фрэнк Бенфорд сделала подобные выводы по результатам анализа таблиц о характеристиках рек, химических соединений и номеров домов в городском справочнике. Анализ чисел показал, что единица является первой значащей цифрой с вероятностью не 1/9, как кажется на первый взгляд, а около 1/3.
Закон Бенфорда применим ко множествам чисел, которые могут расти экспоненциально, т.е. темп роста величины пропорционален её текущему значению, например, остатки товаров на складах, цены на акции, численность населения, длина рек, площади стран.
Набор чисел удовлетворяет закону Бенфорда, если в уравнении встречается первая цифра d (𝑑∈1,…, 9). С помощью этого распределения можно предсказать, какая цифра встречается чаще всего в наборе данных. Закон обычно не действует для распределений с заданными минимальными или максимальными значениями, а также тех, которые охватывают только один или два порядка величин. Также закон Бенфорда не применим ко множеству букв. Объём выборки для закона первой цифры должен быть достаточен для применения статистических методов. На практике закон первой цифры применяется в приложениях обнаружения мошенничества в налоговых формах, результатах выборов, экономических показателях и данных бухгалтерского учета.
Закон Бенфорда (Ньюкома-Бенфорда) - закон первой цифры описывает вероятность появления определённой первой значащей цифры в распределениях величин, взятых из реальной жизни. Этот математический закон верен для многих распределений, позволяет предсказать частоту встречаемости второй и третьей цифры в наборе данных.
Впервые этот закон обнаружил американский астроном Саймон Ньюком в 1881 году, анализируя степень изношенности книжных страниц. А в 1938 году физик Фрэнк Бенфорд сделала подобные выводы по результатам анализа таблиц о характеристиках рек, химических соединений и номеров домов в городском справочнике. Анализ чисел показал, что единица является первой значащей цифрой с вероятностью не 1/9, как кажется на первый взгляд, а около 1/3.
Закон Бенфорда применим ко множествам чисел, которые могут расти экспоненциально, т.е. темп роста величины пропорционален её текущему значению, например, остатки товаров на складах, цены на акции, численность населения, длина рек, площади стран.
Набор чисел удовлетворяет закону Бенфорда, если в уравнении встречается первая цифра d (𝑑∈1,…, 9). С помощью этого распределения можно предсказать, какая цифра встречается чаще всего в наборе данных. Закон обычно не действует для распределений с заданными минимальными или максимальными значениями, а также тех, которые охватывают только один или два порядка величин. Также закон Бенфорда не применим ко множеству букв. Объём выборки для закона первой цифры должен быть достаточен для применения статистических методов. На практике закон первой цифры применяется в приложениях обнаружения мошенничества в налоговых формах, результатах выборов, экономических показателях и данных бухгалтерского учета.
💃🏼🕺🏼Умная одежда – новая мода ближайших лет: цифровая ML-ткань от исследователей MIT с памятью, датчиками температуры и обученной нейросетью
Сотрудники MIT создали первое волокно с цифровыми возможностями, которое может определять, хранить, анализировать и определять физическую активность после того, как оно зашито в рубашку. Цифровые волокна расширяют возможности тканей по выявлению скрытых структур в человеческом теле, которые можно использовать для мониторинга физической работоспособности, медицинских заключений и раннего обнаружения заболеваний, а также сохранения впечатлений. Например, запомнить свадебную музыку в платье, которое было на вас в тот день.
До сих пор электронные волокна были аналоговыми, передающими непрерывный электрический сигнал, а не цифровыми. Это первая реализация структуры с возможностью хранения и обработки данные в цифровом виде позволяет добавлять новое измерение информационного содержания к текстилю, чтобы программировать ткани.
Новое волокно было создано путем помещения сотен квадратных кремниевых микрочипов цифровых микросхем в преформу, которая затем использовалась для создания полимерного волокна. Точно контролируя поток полимера, исследователи смогли создать волокно с непрерывным электрическим соединением между чипами на протяжении десятков метров.
Само волокно тонкое и гибкое, его можно пропускать через иглу, вшивать в ткань и стирать не менее 10 раз без разрушения, а также оно совсем не ощущается. Благодаря методу цифровой адресации, можно включить функциональность одного элемента, не затрагивая остальные элементы. Цифровое волокно также может хранить в памяти большой объем информации. Исследователи смогли записывать, хранить и считывать информацию о волокне, включая 767-килобитный полноцветный короткий видеофайл и 0,48-мегабайтный музыкальный файл. Файлы можно хранить в течение двух месяцев без питания.
Волокно включает в память ткани нейросеть из 1650 соединений, которая может обучаться данным в режиме реального времени прямо на человеке, анализируя информацию о температуре тела с учетом физических нагрузок. Благодаря этому в будущем одежда сможет обнаруживать и предупреждать людей в реальном времени об изменениях показателей здоровья (частота дыхания и сердцебиения) и передавать данные об активации мышц спортсменам во время тренировок. Сейчас умная ткань управляется небольшим внешним устройством, а в перспективе планируется разработать новый чип в качестве микроконтроллера, подключенного к самому волокну.
https://news.mit.edu/2021/programmable-fiber-0603
Сотрудники MIT создали первое волокно с цифровыми возможностями, которое может определять, хранить, анализировать и определять физическую активность после того, как оно зашито в рубашку. Цифровые волокна расширяют возможности тканей по выявлению скрытых структур в человеческом теле, которые можно использовать для мониторинга физической работоспособности, медицинских заключений и раннего обнаружения заболеваний, а также сохранения впечатлений. Например, запомнить свадебную музыку в платье, которое было на вас в тот день.
До сих пор электронные волокна были аналоговыми, передающими непрерывный электрический сигнал, а не цифровыми. Это первая реализация структуры с возможностью хранения и обработки данные в цифровом виде позволяет добавлять новое измерение информационного содержания к текстилю, чтобы программировать ткани.
Новое волокно было создано путем помещения сотен квадратных кремниевых микрочипов цифровых микросхем в преформу, которая затем использовалась для создания полимерного волокна. Точно контролируя поток полимера, исследователи смогли создать волокно с непрерывным электрическим соединением между чипами на протяжении десятков метров.
Само волокно тонкое и гибкое, его можно пропускать через иглу, вшивать в ткань и стирать не менее 10 раз без разрушения, а также оно совсем не ощущается. Благодаря методу цифровой адресации, можно включить функциональность одного элемента, не затрагивая остальные элементы. Цифровое волокно также может хранить в памяти большой объем информации. Исследователи смогли записывать, хранить и считывать информацию о волокне, включая 767-килобитный полноцветный короткий видеофайл и 0,48-мегабайтный музыкальный файл. Файлы можно хранить в течение двух месяцев без питания.
Волокно включает в память ткани нейросеть из 1650 соединений, которая может обучаться данным в режиме реального времени прямо на человеке, анализируя информацию о температуре тела с учетом физических нагрузок. Благодаря этому в будущем одежда сможет обнаруживать и предупреждать людей в реальном времени об изменениях показателей здоровья (частота дыхания и сердцебиения) и передавать данные об активации мышц спортсменам во время тренировок. Сейчас умная ткань управляется небольшим внешним устройством, а в перспективе планируется разработать новый чип в качестве микроконтроллера, подключенного к самому волокну.
https://news.mit.edu/2021/programmable-fiber-0603
MIT News
Engineers create a programmable fiber
MIT researchers have created the first fabric-fiber to have digital capabilities, ready to collect, store and analyze data using a neural network.
Forwarded from ML in Marketing - events & meetups
🧞♂️ВИДЕО с DataFest’21
@MLinMarketing
📋 Тема: Автоматизация построения Customer Journey Map с помощью Data Science
📋 Описание: Из доклада вы узнаете, что такое модели пользовательского взаимодействия в том числе и Customer Journey Map. Затем мы поговорим о том, как автоматизировать Customer Journey Map с помощью современных методов Data Science. Обсудим, когда это делать и когда не нужно. И закончим рассмотрением кейсов.
🎤 Спикер: Алексей Чернобровов, Data science consultant at chernobrovov.com
🎬 Видео
📥 Презентация
@MLinMarketing
📋 Тема: Автоматизация построения Customer Journey Map с помощью Data Science
📋 Описание: Из доклада вы узнаете, что такое модели пользовательского взаимодействия в том числе и Customer Journey Map. Затем мы поговорим о том, как автоматизировать Customer Journey Map с помощью современных методов Data Science. Обсудим, когда это делать и когда не нужно. И закончим рассмотрением кейсов.
🎤 Спикер: Алексей Чернобровов, Data science consultant at chernobrovov.com
🎬 Видео
📥 Презентация
☀️Повысить качество картинки с помощью нейросетей? Легко! ML-технология DeepHD от Яндекса: GAN-сети делают изображения лучше, убирая с них помехи и шумы. https://yandex.ru/company/technologies/deephd/
Компания Яндекс
Компания Яндекс — DeepHD
Официальный сайт компании «Яндекс». Последние новости о сервисах Яндекса: Алиса, поиск, умные устройства, Карты, Погода, Такси, Переводчик, Браузер и другие продукты и технологии компании. Полезная информация для пользователей, рекламодателей и партнёров.
Forwarded from Deep Dive 2 Deep Learning
👀Cоздать собственный Deep Fake без долгого обучения нейросетей? Легко!
4 бесплатных сервиса:
- https://reface.app/
- https://avatarify.ai/
- https://www.wombo.ai/
- https://www.myheritage.com/deep-nostalgia?lang=RU
Достаточно просто загрузить фотографию или сделать селфи с мобильного телефона, чтобы получить правдоподобное видео с лицом другого человека. Например, MyHeritage, генеалогический веб-сайт, позволяет «оживить» давно ушедших родственников, генерируя мини-видео, на котором они смотрят и улыбаются. Однако, помните, что генерация фальшивок с целью скомпрометировать кого-то может рассматриваться как клевета и преследуется по закону!👆🏻
4 бесплатных сервиса:
- https://reface.app/
- https://avatarify.ai/
- https://www.wombo.ai/
- https://www.myheritage.com/deep-nostalgia?lang=RU
Достаточно просто загрузить фотографию или сделать селфи с мобильного телефона, чтобы получить правдоподобное видео с лицом другого человека. Например, MyHeritage, генеалогический веб-сайт, позволяет «оживить» давно ушедших родственников, генерируя мини-видео, на котором они смотрят и улыбаются. Однако, помните, что генерация фальшивок с целью скомпрометировать кого-то может рассматриваться как клевета и преследуется по закону!👆🏻
reface.app
Reface: be anyone with reface
Turn your creative ideas into reality.
🥁ML Space от SberCloud стал призером премии IT World Awards 2021
Облачная платформа ML Space от SberCloud (Сбер) признана лучшим Data Science и AI продуктом в мире по версии организаторов международной премии IT World Awards 2021, организации Globee Awards. ML Space является мощным MLOps-инструментом для Data Scientist’ов, поддерживающая все процессы цикла разработки ML-моделей, включающий тестирование и развертывание. В платформу интегрированы все нужные фреймворки и библиотеки, которые позволяют ускорить, оптимизировать и упростить процессы создания ML-продуктов.
https://globeeawards.com/it-world-awards/winners/
Облачная платформа ML Space от SberCloud (Сбер) признана лучшим Data Science и AI продуктом в мире по версии организаторов международной премии IT World Awards 2021, организации Globee Awards. ML Space является мощным MLOps-инструментом для Data Scientist’ов, поддерживающая все процессы цикла разработки ML-моделей, включающий тестирование и развертывание. В платформу интегрированы все нужные фреймворки и библиотеки, которые позволяют ускорить, оптимизировать и упростить процессы создания ML-продуктов.
https://globeeawards.com/it-world-awards/winners/
Globee® Business Awards
Winners | Leadership Awards
Winners of the 11th Annual 2023 Globee Awards for Leadership The Grand Globee winners in the 2023 Globee Awards for Leadership in alphabetical order Best Version MediaGolden HourHALKBANKPowerSchoolSan Diego Zoo […]
🤣Общение с фото- и видео-ботами: исследование, как люди отражают эмоции виртуальных собеседников, доверяя их внешности и эмоциям. Выводы ученых удивят вас: зеркалирование – совсем не показатель приятной беседы, а индикатор сложности в понимании оппонента. https://techxplore.com/news/2021-06-features-virtual-agents-affect-humans.html
Tech Xplore
Features of virtual agents affect how humans mimic their facial expressions
In recent years, computer scientists have developed a broad variety of virtual agents, artificial agents designed to interact with humans or assist them with various tasks. Some past findings suggest ...