💥Уже завтра вечером, 31 мая в 22:00 МСК состоится AI/ML-митап от Яндекс.Cloud, успеваем зарегистрироваться на онлайн-встречу с руководителями направлений и крутыми DS-спецами https://cloud.yandex.ru/events/363

🏂Ищете среду моделирования роботов? Попробуйте MuJoCo - Multi-Joint Dynamics with Contact. Сперва он использовался в Лаборатории управления движением Вашингтонского университета, а теперь принят широким сообществом исследователей и разработчиков. MuJoCo - это физический движок для облегчения исследований и разработок в области робототехники, биомеханики, графики и анимации, а также в других областях AI/ML/DS. Он предлагает уникальное сочетание скорости, точности и мощности, а также оптимизацию на основе модели с помощью контактов. MuJoCo позволяет масштабировать ресурсоемкие вычислительные техники и применять их к сложным динамическим системам в поведении, требующем большого количества контактов. Он также обеспечивает тестирование и проверку схем управления перед развертыванием на физических роботах, интерактивную научную визуализацию, виртуальные среды, анимацию и игры. Базовый модуль (MuJoCo 2.0 - динамическая библиотека с C / C ++ API, включает анализатор XML, компилятор моделей, симулятор и интерактивный визуализатор OpenGL, совместимый с 64-битными Windows, Linux и macOS) распространяется по пробной лицензии 30 дней бесплатно, затем вы можете купить индивидуальную или институциональную лицензию. Остальные модули доступны бесплатно для скачивания на официальном сайте https://www.roboti.us/index.html

🌸☀️Встречаем лето-2021! Первый летний месяц порадует нас множеством интересных DS-событий: онлайн и офлайн митапы, конференции, форумы и прочие познавательные мероприятия по технологиям Big Data, Machine Learning, а также другим методам AI и Data Science. Выбирайте подходящий ивент, участвуйте, развивайтесь в профессии и заводите новые знакомства!
1-3 июня - мультиформатная конференция c 17 тематическими потоками Tech Week 2021 в технопарке Сколково: 350 спикеров, 150 компаний https://it-events.com/events/20329
4-6 июня - Weekend Offer от X5 Retail Group для для Data Analyst/Data Scientist – отправьте заявку, пройдите интервью и получите job-офер в группу компаний одного из крупнейших ритейлеров России https://your.gms.tech/v/v6xoYc1w
8 июня 19:00 - 21:00 МСК – вебинар «Использование игрового AI в Online CO-OP и Competitive играх» https://itvdn.com/ru/webinars/description/ai-online-coop
11-14 июня - Онлайн-хакатон Агентства инноваций Москвы по разработке цифровых решений и сервисов для города – 5 задач от Сбер Cloud, Нетологии, ЭР Телеком, ДИТ Москвы и Московского инновационного кластера для команд из 2-5 человек и денежным призом 2 млн рублей https://moscityhack.innoagency.ru/
12-26 июня - четвертая онлайн-олимпиада по биоинформатике Bioinformatics Contest от Института биоинформатики, Университета ИТМО, Stepik и Rosalind при поддержке JetBrains, Genotek, Яндекс и Serokell https://bioinf.me/en/contest
15 июня 19:00 - 21:00 МСК – вебинар «Обзор фреймворков Django, Flask, FastAPI. Что лучше для веб разработки на Python» https://itvdn.com/ru/webinars/description/django-flask-fastapi
16 июня в 11:00 МСК - вебинар "Развитие цифровой трансформации в финансовых учреждениях с помощью данных, аналитики и искусственного интеллекта" от Cloudera https://ru.cloudera.com/about/events/webinars/advancing-digital-transformation-in-financial-services-with-data-analytics-and-ai.html
22 мая – 19 июня – онлайн-марафон с DataFest: месяц докладов, трансляций и нетворкинга – митапы, хакатоны, теория + практика на https://datafest.ru/2021/

💥Пара новых полезных каналов про Big Data Science:
1) Школа Больших Данных https://t.me/BigDataSchool_ru - для тех, кто интересуется и профессионально занимается разработкой и администрированием Apache Hadoop, Spark, Kafka, Greenplum и прочих технологий Big Data
2) Deep Dive 2 Deep Learning https://t.me/ddtodl - глубокое обучение для всех, от новичков до профи

😜Цены растут, а зарплата? Анонимный отчет и открытые наборы данных о зарплатах в сфере AI/ML and Big Data. Делитесь своими данными и/или скачивайте CSV/JSON-датасеты с ответами коллег со всего мира https://salaries.ai-jobs.net/download/

🥁AI в ритейле: 7 примеров
eBay - ценообразование и формирование товарных запасов, оптимизация внешнего вида карточек товара, чтобы повысить его привлекательность и увеличить продажи
Sephora – рекомендательная система подбора цветов декоративной косметики (губной помады, теней и пудры): камера сканирует цвет кожи, анализирует данные и генерирует уникальный номер цвета и подбирает товар из продуктовой линейки, который подойдет этому клиенту лучше всего.
Tesco - управление запасами: их прогнозирование и пополнение с погоды и региональных особенностей, а также данных с камер видеонаблюдения, направленных на полки магазинов. А алгоритмы маршрутизации помогают формировать онлайн-заказы в Tesco Online.
OTTO – прогнозирование будущих покупок на основе анализа 3 миллиардов исторических транзакций и 200 дополнительных переменных (погода, поисковые запросы по сайту и пр.). Точность прогноза, какой товар будет продан в течение месяца, достигает 90%. Это помогает оптимизировать складские запасы и повысить оборачиваемость товара.
Simbe Robotics создает роботов, которые фиксируют нарушение план расстановки товаров, их отсутствие товара и не соответствие ценникам с помощью систем компьютерного зрения. Она не только распознает товары, но и рекомендует, чем их заполнить.
Vekia разработала решение для управления логистическими цепочками Leroy Merlen, Etam, Okaidi и Jacadi: контроль товаров в каждом магазине с ежедневной оценкой ассортимента. Система несколько раз в день вычисляет оптимальный уровень запасов для каждой локации и может автоматически сформировать заказ на нужные позиции.
Diwo – определение факторов снижения продаж у отдельных товаров. ML-система также предлагает набор рекомендуемых стратегий улучшения ситуации, подсказывая идеальное время для начала промо-акций и прочие атрибуты рекламных кампаний.

​​Всем привет, Дата Фест продолжается!
Ждем всех в четверг (начало в 19:00) на нашем митапе.

🗓 10 июня ЧТ.
@MLinMarketing

=============

🔸19:00 - 20:00 (msk)

Алексей Чернобровов, Ph.D., Data science consultant at chernobrovov.com

тема:
Автоматизация построения Customer Journey Map с помощью Data Science

описание:
Из доклада вы узнаете, что такое модели пользовательского взаимодействия в том числе и Customer Journey Map. Затем мы поговорим о том, как автоматизировать Customer Journey Map с помощью современных методов Data Science. Обсудим, когда это делать и когда не нужно. И закончим рассмотрением кейсов.

🔸20:00 - 21:00 (msk)

Михаил Печатов, Data Scientist at Тинькофф

тема:
Как мы научились предсказывать следующую покупку клиента. Персонализация контента на сайте/в приложении.

описание:
В докладе я расскажу о том, как мы решали задачу предсказания следующей покупки. Обсудим, откуда возникла такая задача в банке, какие подходы мы использовали, с какими проблемами столкнулись и какие результаты получили.

==============

Ссылка для входа (https://live.ods.ai/) (пароль от спейса на странице регистрации (https://ods.ai/events/datafest2021) доступен всем, кто прошел регистрацию).

🙌🏻Математика для Data Scientist’а, часть 1: Закон Бенфорда
Закон Бенфорда (Ньюкома-Бенфорда) - закон первой цифры описывает вероятность появления определённой первой значащей цифры в распределениях величин, взятых из реальной жизни. Этот математический закон верен для многих распределений, позволяет предсказать частоту встречаемости второй и третьей цифры в наборе данных.
Впервые этот закон обнаружил американский астроном Саймон Ньюком в 1881 году, анализируя степень изношенности книжных страниц. А в 1938 году физик Фрэнк Бенфорд сделала подобные выводы по результатам анализа таблиц о характеристиках рек, химических соединений и номеров домов в городском справочнике. Анализ чисел показал, что единица является первой значащей цифрой с вероятностью не 1/9, как кажется на первый взгляд, а около 1/3.
Закон Бенфорда применим ко множествам чисел, которые могут расти экспоненциально, т.е. темп роста величины пропорционален её текущему значению, например, остатки товаров на складах, цены на акции, численность населения, длина рек, площади стран.
Набор чисел удовлетворяет закону Бенфорда, если в уравнении встречается первая цифра d (𝑑∈1,…, 9). С помощью этого распределения можно предсказать, какая цифра встречается чаще всего в наборе данных. Закон обычно не действует для распределений с заданными минимальными или максимальными значениями, а также тех, которые охватывают только один или два порядка величин. Также закон Бенфорда не применим ко множеству букв. Объём выборки для закона первой цифры должен быть достаточен для применения статистических методов. На практике закон первой цифры применяется в приложениях обнаружения мошенничества в налоговых формах, результатах выборов, экономических показателях и данных бухгалтерского учета.

💃🏼🕺🏼Умная одежда – новая мода ближайших лет: цифровая ML-ткань от исследователей MIT с памятью, датчиками температуры и обученной нейросетью
Сотрудники MIT создали первое волокно с цифровыми возможностями, которое может определять, хранить, анализировать и определять физическую активность после того, как оно зашито в рубашку. Цифровые волокна расширяют возможности тканей по выявлению скрытых структур в человеческом теле, которые можно использовать для мониторинга физической работоспособности, медицинских заключений и раннего обнаружения заболеваний, а также сохранения впечатлений. Например, запомнить свадебную музыку в платье, которое было на вас в тот день.
До сих пор электронные волокна были аналоговыми, передающими непрерывный электрический сигнал, а не цифровыми. Это первая реализация структуры с возможностью хранения и обработки данные в цифровом виде позволяет добавлять новое измерение информационного содержания к текстилю, чтобы программировать ткани.
Новое волокно было создано путем помещения сотен квадратных кремниевых микрочипов цифровых микросхем в преформу, которая затем использовалась для создания полимерного волокна. Точно контролируя поток полимера, исследователи смогли создать волокно с непрерывным электрическим соединением между чипами на протяжении десятков метров.
Само волокно тонкое и гибкое, его можно пропускать через иглу, вшивать в ткань и стирать не менее 10 раз без разрушения, а также оно совсем не ощущается. Благодаря методу цифровой адресации, можно включить функциональность одного элемента, не затрагивая остальные элементы. Цифровое волокно также может хранить в памяти большой объем информации. Исследователи смогли записывать, хранить и считывать информацию о волокне, включая 767-килобитный полноцветный короткий видеофайл и 0,48-мегабайтный музыкальный файл. Файлы можно хранить в течение двух месяцев без питания.
Волокно включает в память ткани нейросеть из 1650 соединений, которая может обучаться данным в режиме реального времени прямо на человеке, анализируя информацию о температуре тела с учетом физических нагрузок. Благодаря этому в будущем одежда сможет обнаруживать и предупреждать людей в реальном времени об изменениях показателей здоровья (частота дыхания и сердцебиения) и передавать данные об активации мышц спортсменам во время тренировок. Сейчас умная ткань управляется небольшим внешним устройством, а в перспективе планируется разработать новый чип в качестве микроконтроллера, подключенного к самому волокну.
https://news.mit.edu/2021/programmable-fiber-0603

🧞‍♂️ВИДЕО с DataFest’21

@MLinMarketing

📋 Тема: Автоматизация построения Customer Journey Map с помощью Data Science

📋 Описание: Из доклада вы узнаете, что такое модели пользовательского взаимодействия в том числе и Customer Journey Map. Затем мы поговорим о том, как автоматизировать Customer Journey Map с помощью современных методов Data Science. Обсудим, когда это делать и когда не нужно. И закончим рассмотрением кейсов.

🎤 Спикер: Алексей Чернобровов, Data science consultant at chernobrovov.com

🎬 Видео

📥 Презентация

☀️Повысить качество картинки с помощью нейросетей? Легко! ML-технология DeepHD от Яндекса: GAN-сети делают изображения лучше, убирая с них помехи и шумы. https://yandex.ru/company/technologies/deephd/

👀Cоздать собственный Deep Fake без долгого обучения нейросетей? Легко!
4 бесплатных сервиса:
- https://reface.app/
- https://avatarify.ai/
- https://www.wombo.ai/
- https://www.myheritage.com/deep-nostalgia?lang=RU
Достаточно просто загрузить фотографию или сделать селфи с мобильного телефона, чтобы получить правдоподобное видео с лицом другого человека. Например, MyHeritage, генеалогический веб-сайт, позволяет «оживить» давно ушедших родственников, генерируя мини-видео, на котором они смотрят и улыбаются. Однако, помните, что генерация фальшивок с целью скомпрометировать кого-то может рассматриваться как клевета и преследуется по закону!👆🏻

🥁ML Space от SberCloud стал призером премии IT World Awards 2021
Облачная платформа ML Space от SberCloud (Сбер) признана лучшим Data Science и AI продуктом в мире по версии организаторов международной премии IT World Awards 2021, организации Globee Awards. ML Space является мощным MLOps-инструментом для Data Scientist’ов, поддерживающая все процессы цикла разработки ML-моделей, включающий тестирование и развертывание. В платформу интегрированы все нужные фреймворки и библиотеки, которые позволяют ускорить, оптимизировать и упростить процессы создания ML-продуктов.
https://globeeawards.com/it-world-awards/winners/

🤣Общение с фото- и видео-ботами: исследование, как люди отражают эмоции виртуальных собеседников, доверяя их внешности и эмоциям. Выводы ученых удивят вас: зеркалирование – совсем не показатель приятной беседы, а индикатор сложности в понимании оппонента. https://techxplore.com/news/2021-06-features-virtual-agents-affect-humans.html

🎂Подводим итоги ДатаФеста https://datafest.ru/2021/, который состоялся в 2021 году в виде месячного онлайн-марафона с 22 мая по 19 июня. ТОП-10 лучших докладов из разных треков:
1. Никита Минаев: Применение моделей look-alike в X5 Retail Group – анализ данных о покупках в магазинах «Пятерочка» и использование результатов в маркетинговых коммуникациях https://www.youtube.com/watch?v=t-Ju3fbinJ8&list=PLTlO6nV_TaGCFj1Y-f7Qb5MCm8oq256iR&index=123
2. Алексей Чернобровов: Автоматизация построения Customer Journey Map с помощью Data Science https://www.youtube.com/watch?v=O8Vp9777EqE
3. Михаил Печатов из Тинькофф-банка: Как мы научились предсказывать следующую покупку клиента. Персонализация контента на сайте/в приложении https://www.youtube.com/watch?v=7dCf9s4ZAv8&list=PLTlO6nV_TaGCFj1Y-f7Qb5MCm8oq256iR&index=126
4. Всеволод Светлов из Яндекса: Трансформерные модели для поисковой персонализации https://www.youtube.com/watch?v=yzV5ZQB850s&list=PLTlO6nV_TaGCFj1Y-f7Qb5MCm8oq256iR&index=87
5. Александр Мамаев: Россети и Mail.ru в поисках чёрных майнеров” – https://www.youtube.com/watch?v=00UUnC3l9Jg&list=PLTlO6nV_TaGCFj1Y-f7Qb5MCm8oq256iR&index=85
6. Марина Чижкова из Яндекса: Как поиск аномалий, нейронки и кластеризация помогают антифроду https://www.youtube.com/watch?v=aBckDgtG0Zs&list=PLTlO6nV_TaGCFj1Y-f7Qb5MCm8oq256iR&index=99
7. Фёдор Жданов: Как управление Data Science строится в западных технологических компаниях https://www.youtube.com/watch?v=Wz9JSDejldQ&list=PLTlO6nV_TaGCFj1Y-f7Qb5MCm8oq256iR&index=120
8. Юлия Антохина из МТС: Тренды REProducible ML https://www.youtube.com/watch?v=VfcU7gpGmXM&list=PLTlO6nV_TaGCFj1Y-f7Qb5MCm8oq256iR&index=111
9. Екатерина Кондратьева: Нейронные сети на снимках МРТ мозга - https://www.youtube.com/watch?v=YPxSKYkQpIQ&list=PLTlO6nV_TaGCFj1Y-f7Qb5MCm8oq256iR&index=113
10. Евгений Макаров из X5 Retail Group: Как нанять Junior Data Scientist https://www.youtube.com/watch?v=gquvRzQ7Vlc&list=PLTlO6nV_TaGCFj1Y-f7Qb5MCm8oq256iR&index=52

🎯Математика для Data Scientist’а, часть 2: Закон Ципфа
Эта эмпирическая закономерность распределения частоты слов естественного языка часто используется в количественной лингвистике и NLP-задачах. Закон Ципфа гласит: если все слова в большом тексте упорядочить по убыванию частоты их использования, то частота n-го слова в этом списке будет обратно пропорциональна его порядковому номеру n (рангу). Например, второе по используемости слово встречается примерно в два раза реже, чем первое, третье — в три раза реже, чем первое, и т.д.
Впервые закономерность была открыта французским стенографистом Жан-Батистом Эсту в 1908 году. На практике закон был применён для описания распределения размеров городов немецким физиком Феликсом Ауэрбахом в 1913 году. А американский лингвист Джордж Ципф в 1949 году активно популяризировал эту закономерность, предложив использовать её для описания распределения экономических сил и социального статуса: самый богатый человек имеет вдвое больше денег, чем следующий богач, и т.д. Объяснение закона Ципфа на основе корреляционных свойств аддитивных марковских цепей (со ступенчатой функцией памяти) дано в 2005 году. Математически закон Ципфа описывается распределением Парето (всем известный принцип 80 на 20).
Разные области применения закона (не только лингвистика) объяснены американским специалистом по биоинформатике Вэньтянь Ли, который доказал, что случайная последовательность символов также подчиняется этому закону Ципфа. Ли утверждает, что закон Ципфа - статистический феномен, который не имеет отношения к семантике текста, а вероятность случайного появления какого-либо слова длиной n в цепочке случайных символов уменьшается с ростом n в той же пропорции, в какой растёт ранг этого слова в частотном списке (порядковой шкале). Потому произведение ранга слова на его частоту есть константа.

😜На работу – с улыбкой!
Пропускные биометрические системы от корпорации Canon пускают в китайские офисы и на другие рабочие территории только тех сотрудников, которые улыбаются: в модуль распознавания лиц в видеокамерах на проходной встроена функция идентификации улыбки. Ожидается, что это поднимет корпоративный дух и уровень лояльности работников)
https://www.theverge.com/2021/6/17/22538160/ai-camera-smile-recognition-office-workers-china-canon

👍🏻Достаточно одного слова: Facebook AI анонсировал новый проект TextStyleBrush, способный копировать стиль рукописного или печатного текста на изображении по одному слову. Это пригодится для изменения и замены текста на фотографиях. В отличие от предыдущих ИИ-системам, способных копировать текст с фотографий, TextStyleBrush может работать со всеми типами каллиграфии и типографики, интерпретируя различные повороты и преобразования текста, от изогнутых символов до естественной деформации бумаги от нажатия ручки. Важно, что Facebook понимает возможность неправомерного применения TextStyleBrush для злонамеренных действий, типа текстовых дипфейков. Чтобы предотвратить такие атаки, соцсеть поделится результатами исследований с набором данных Deepfake Detection Challenge, внося вклад в широкую базу знаний о DL-подделках. https://techxplore.com/news/2021-06-facebook-ai-word-mimic-text.html

💥Будущее ИИ-чипов: длинная история сотрудничества и противоборства AI-гигантов по разработке DS-решений. NVIDIA против Google, перспективы развития глубоких нейросетей и микросхем, а также деньги, котики и интернет. https://www.wired.co.uk/article/nvidia-ai-chips

🦋Июль – время прогулок, жарких встреч с друзьями и новых знакомств! 2-ой месяц лета 2021 предлагает нам много интересных DS-событий и не только в онлайн-режиме:
• 1 июля в 12.00 МСК – бесплатный онлайн-круглый стол «Данные – магический шар или чуткий радар: Как использовать данные, чтобы предсказывать поведение потребителей?». Спикеры из Oracle, ГК «Просвещение», IDS Borjomi International https://new-retail.ru/webinar/2021-06-30/Dannie-magicheski-shar-ili-chutkii-radar/
• 1 июля в 18.00 МСК - вебинар «Data Lakehouse: быстрые данные для всех на примерах S7 и Henkel»: как S7 удалось значительно упростить доступ к данным, data discovery и созданию self-service отчётности. Зачем нужен Dremio: от упрощения архитектуры данных до применения в командных проектах для совместной работы. https://oez-innopolis.timepad.ru/event/1685249/
• 2 июля в 18:00 - Встреча русскоязычных администраторов экосистемы Hadoop. Бесплатный митап для профессионалов на проспекте Андропова, 18 к. 1, офис МТС. Проведите вечер пятницы с единомышленниками, пообщайтесь с коллегами и послушайте доклады ведущих специалистов из МТС, Яндекса, Swisscom https://hadoop-admins.ru/
• 2 июля – онлайн-конференция «Цифровая трансформация колл-центра» от группы «Просперити Медиа» и портала CFO-Russia.ru – практические кейсы от 10 спикеров из крупных компаний с глубокой DS-экспертизой https://www.cfo-russia.ru/meropriyatiya/callcenter
• 8 июля – пятый ежегодный международный саммит Machines Can See от компании VisionLabs: опыт ведущих мировых специалистов в сфере компьютерного зрения и машинного обучения, обсуждение технологических трендов и обмена знаниями. Москва, Цветной б-р, дом 15, строение 1 (этаж 7), Omega Rooftop. https://machinescansee.com/
• 10 июля – AI-Men бесплатная международная онлайн-конференция по Artificial Intelligence, Data Science, Big Data и Machine Learning – спикеры из России, Украины, Беларуси, Израиля и Польши расскажут о новых исследованиях и поделятся практическими кейсами https://ai-men.by/
• 14-15 июля – онлайн-конференция «Digital Manufacturing Online Conf: на пути к Индустрии 4.0» для руководителей крупнейших предприятий промышленного сектора: опыт построения цифровых фабрик и промышленных производств, основанных на технологии промышленного интернета вещей, искусственного интеллекта, робототехники и когнитивной автоматизации для повышения эффективности промышленных и бизнес процессов предприятия. https://smartgopro.com/manufacturing2021/
• 23 июля - 6-й ежегодный профессиональный форум скоринговых технологий Scoring Case Forum 2021. Всесторонняя экспертиза современных методов, технологий и возможностей оценки физических лиц и малого и среднего бизнеса в online и offline-каналах. Москва, Центр международной торговли ул. Краснопресненская наб.,12 Офисное здание — 2, Подъезд 7 Конгресс-центр «Ладога», 4 эт. https://scoring-forum.ru/