🎯Математика для Data Scientist’а, часть 2: Закон Ципфа
Эта эмпирическая закономерность распределения частоты слов естественного языка часто используется в количественной лингвистике и NLP-задачах. Закон Ципфа гласит: если все слова в большом тексте упорядочить по убыванию частоты их использования, то частота n-го слова в этом списке будет обратно пропорциональна его порядковому номеру n (рангу). Например, второе по используемости слово встречается примерно в два раза реже, чем первое, третье — в три раза реже, чем первое, и т.д.
Впервые закономерность была открыта французским стенографистом Жан-Батистом Эсту в 1908 году. На практике закон был применён для описания распределения размеров городов немецким физиком Феликсом Ауэрбахом в 1913 году. А американский лингвист Джордж Ципф в 1949 году активно популяризировал эту закономерность, предложив использовать её для описания распределения экономических сил и социального статуса: самый богатый человек имеет вдвое больше денег, чем следующий богач, и т.д. Объяснение закона Ципфа на основе корреляционных свойств аддитивных марковских цепей (со ступенчатой функцией памяти) дано в 2005 году. Математически закон Ципфа описывается распределением Парето (всем известный принцип 80 на 20).
Разные области применения закона (не только лингвистика) объяснены американским специалистом по биоинформатике Вэньтянь Ли, который доказал, что случайная последовательность символов также подчиняется этому закону Ципфа. Ли утверждает, что закон Ципфа - статистический феномен, который не имеет отношения к семантике текста, а вероятность случайного появления какого-либо слова длиной n в цепочке случайных символов уменьшается с ростом n в той же пропорции, в какой растёт ранг этого слова в частотном списке (порядковой шкале). Потому произведение ранга слова на его частоту есть константа.

😜На работу – с улыбкой!
Пропускные биометрические системы от корпорации Canon пускают в китайские офисы и на другие рабочие территории только тех сотрудников, которые улыбаются: в модуль распознавания лиц в видеокамерах на проходной встроена функция идентификации улыбки. Ожидается, что это поднимет корпоративный дух и уровень лояльности работников)
https://www.theverge.com/2021/6/17/22538160/ai-camera-smile-recognition-office-workers-china-canon

👍🏻Достаточно одного слова: Facebook AI анонсировал новый проект TextStyleBrush, способный копировать стиль рукописного или печатного текста на изображении по одному слову. Это пригодится для изменения и замены текста на фотографиях. В отличие от предыдущих ИИ-системам, способных копировать текст с фотографий, TextStyleBrush может работать со всеми типами каллиграфии и типографики, интерпретируя различные повороты и преобразования текста, от изогнутых символов до естественной деформации бумаги от нажатия ручки. Важно, что Facebook понимает возможность неправомерного применения TextStyleBrush для злонамеренных действий, типа текстовых дипфейков. Чтобы предотвратить такие атаки, соцсеть поделится результатами исследований с набором данных Deepfake Detection Challenge, внося вклад в широкую базу знаний о DL-подделках. https://techxplore.com/news/2021-06-facebook-ai-word-mimic-text.html

💥Будущее ИИ-чипов: длинная история сотрудничества и противоборства AI-гигантов по разработке DS-решений. NVIDIA против Google, перспективы развития глубоких нейросетей и микросхем, а также деньги, котики и интернет. https://www.wired.co.uk/article/nvidia-ai-chips

🦋Июль – время прогулок, жарких встреч с друзьями и новых знакомств! 2-ой месяц лета 2021 предлагает нам много интересных DS-событий и не только в онлайн-режиме:
• 1 июля в 12.00 МСК – бесплатный онлайн-круглый стол «Данные – магический шар или чуткий радар: Как использовать данные, чтобы предсказывать поведение потребителей?». Спикеры из Oracle, ГК «Просвещение», IDS Borjomi International https://new-retail.ru/webinar/2021-06-30/Dannie-magicheski-shar-ili-chutkii-radar/
• 1 июля в 18.00 МСК - вебинар «Data Lakehouse: быстрые данные для всех на примерах S7 и Henkel»: как S7 удалось значительно упростить доступ к данным, data discovery и созданию self-service отчётности. Зачем нужен Dremio: от упрощения архитектуры данных до применения в командных проектах для совместной работы. https://oez-innopolis.timepad.ru/event/1685249/
• 2 июля в 18:00 - Встреча русскоязычных администраторов экосистемы Hadoop. Бесплатный митап для профессионалов на проспекте Андропова, 18 к. 1, офис МТС. Проведите вечер пятницы с единомышленниками, пообщайтесь с коллегами и послушайте доклады ведущих специалистов из МТС, Яндекса, Swisscom https://hadoop-admins.ru/
• 2 июля – онлайн-конференция «Цифровая трансформация колл-центра» от группы «Просперити Медиа» и портала CFO-Russia.ru – практические кейсы от 10 спикеров из крупных компаний с глубокой DS-экспертизой https://www.cfo-russia.ru/meropriyatiya/callcenter
• 8 июля – пятый ежегодный международный саммит Machines Can See от компании VisionLabs: опыт ведущих мировых специалистов в сфере компьютерного зрения и машинного обучения, обсуждение технологических трендов и обмена знаниями. Москва, Цветной б-р, дом 15, строение 1 (этаж 7), Omega Rooftop. https://machinescansee.com/
• 10 июля – AI-Men бесплатная международная онлайн-конференция по Artificial Intelligence, Data Science, Big Data и Machine Learning – спикеры из России, Украины, Беларуси, Израиля и Польши расскажут о новых исследованиях и поделятся практическими кейсами https://ai-men.by/
• 14-15 июля – онлайн-конференция «Digital Manufacturing Online Conf: на пути к Индустрии 4.0» для руководителей крупнейших предприятий промышленного сектора: опыт построения цифровых фабрик и промышленных производств, основанных на технологии промышленного интернета вещей, искусственного интеллекта, робототехники и когнитивной автоматизации для повышения эффективности промышленных и бизнес процессов предприятия. https://smartgopro.com/manufacturing2021/
• 23 июля - 6-й ежегодный профессиональный форум скоринговых технологий Scoring Case Forum 2021. Всесторонняя экспертиза современных методов, технологий и возможностей оценки физических лиц и малого и среднего бизнеса в online и offline-каналах. Москва, Центр международной торговли ул. Краснопресненская наб.,12 Офисное здание — 2, Подъезд 7 Конгресс-центр «Ладога», 4 эт. https://scoring-forum.ru/

👁Подготовка к код-ревью, ускорение разработки и тестирования с Copilot для Visual Studio от OpenAI
Пишите быстрее и лучше на Python, JavaScript, TypeScript, Ruby, Go и десятке других языков. Copilot работает на Codex, новой ИИ-системе от OpenAI и понимает больше контекста, чем IDE- помощников. Cтрока документации, комментарий, имя функции или сам код, Copilot использует контекст и синтезирует нужные инструкции, помогая разработчику создавать качественный продукт. https://copilot.github.com/

🏸Теория игр как движок крупномасштабного анализа данных
Новый взгляд на анализ главных компонентов как на соревновательную игру, где каждый приближенный собственный вектор контролируется игроком, цель которого - максимизировать свою собственную функцию полезности. Как мультиагентная перспектива позволила разработать новые идеи и алгоритмы с эффективным использованием новейших вычислительных ресурсов, глобально масштабируя наборы данных. Краткий обзор https://deepmind.com/blog/article/EigenGame и подробная статья https://openreview.net/forum?id=NzTU59SYbNq

Как искусственный интеллект помог в транспортировке доставки вакцины от COVID-19? Как и любые другие скоропортящиеся вакцины, вакцины для коронавируса портятся, если становятся слишком теплыми или слишком холодными. Для преодоления логистических трудностей распространения вакцины компания Pfizer разработала специальную транспортную коробку пригодную для 5000 доз вакцин, заполненную сухим льдом и снабженную GPS-трекерами. Skymind, первый в мире специализированный разработчик экосистемы искусственного интеллекта, разработал сверхнизкую технологию AIoT, которая позволяет контролировать температуру вакцины на протяжении всего пути доставки с помощью технологии Bluetooth intelligent mesh. Небольшое устройство помещается в коробку рядом с вакциной и отслеживает температуру, влажность и местоположение контрольно-пропускного пункта на протяжении всего путешествия. Устройство может делиться температурой и передавать ее на любой ноутбук или мобильный телефон, если у него есть Bluetooth. https://artificialintelligence-news.com/2021/06/28/how-ai-has-helped-in-the-transportation-of-vaccine-delivery-for-covid-19/

🥁NetHack Challenge на NeurIPS 2021 от Facebook: open-source проект для обучения с подкреплением в игровой форме
Многие успехи в области обучения с подкреплением (RL, Reinforcement Learning) были достигнуты благодаря имитационным средам в таких играх, как Dota 2, Minecraft и StarCraft II. Но это требует большого объема вычислений на тысячах графических процессоров одновременно только для одного эксперимента. Чтобы снизить стоимость RL-моделирования, Facebook в 2020 году инициировал разработку open-source проекта NetHack Learning Environment. А в 2021 году Facebook объявил о конкурсе NeurIPS 2021 в рамках NetHack Challenge совместно с краудсорсинговой ИИ-организацией AIcrowd. Конкурс длится с начала июня по 15 октября 2021 года, а победители будут объявлены на NeurIPS в декабре.
Интересно, что сама игра NetHack существует с 1980-х годов. Она визуально проста и полностью бесплатна, но на порядок сложнее StarCraft II: из-за очень запутанного взаимодействия игроков со своей средой и связанными объектами, пользователям приходится мыслить нестандартно или обращаться к NetHack Wiki. А главная трудность NetHack в том, что после смерти персонажа игровая сессия этого игрока заканчивается. Поэтому в рамках этой RL-среды исследователи надеются найти новые способы управления агентами, чтобы в будущем ИИ мог мыслить творчески в сложных ситуациях, помогая людям. Поскольку NetHack работает на терминале, игроки могут быстро моделировать игровой процесс, обучая миллиарды агентов в день лишь на 2-х графических процессорах. Так NetHack Challenge тестирует новейшие ИИ-методы в сложной среде без огромных мощностей суперкомпьютера. https://techxplore.com/news/2021-06-facebook-nethack-neurips.html

🕸Что такое крупномасштабные сверточные нейросети на основе графов (GCN, large-scale graph convolutional networks) и чем они хороши
Читайте обзор недавно предложенной распределенной обучающей структуры для крупномасштабных сверточных сетей на основе графов. Это называется обучением подсетей, не зависящих от графа (GIST, graph independent subnetwork training). GIST ускоряет процесс обучения GCN для любой архитектуры и может использоваться для обучения крупномасштабных моделей, которые превышают возможности одного графического процессора. Машинное обучение на графах полезно, когда данные невозможно представить в евклидовом пространстве. Кроме того, графы – это интуитивно понятная структура данных в социальных сетях, химии, биологии и других прикладных областях, где объекты связаны друг с другом. (т.е. узлы графа - это люди, а ребра - социальные связи) или химия (т.е. узлы графа представляют атомы, а ребра представляют химические связи). GCN реализует обобщение операции свертки для графов, но большинство моделей GCN ограничены по размеру из-за проблемы чрезмерного сглаживания в более глубоких сетях. Подход GIST стремится сократить этот разрыв между возможностями GCN и масштабами глубокого обучения, обучая часть GCN, что гораздо быстрее и эффективнее по сравнению с тренировкой всей большой модели. https://towardsdatascience.com/effortless-distributed-training-of-ultra-wide-gcns-6e9873f58a50

✍🏻Нужен быстрый рерайт? Попробуйте NLPAug!
NLPAug – Python-библиотека, позволяющая повышать эффективность нейросетей в NLP-задачах без изменения их архитектуры и тонкой настройки. С ней можно синтезировать новый текст на основе имеющихся данных, заменив некоторые слова синонимами, в т.ч. по принципу косинусного сходства в векторных представлениях аналогично word2vec или GloVe. Также NLPAug выполняет замену слов на основе контекста с использованием трансформеров в виде BERT-сетей и делает двойной перевод текста на другой язык и обратно. https://github.com/makcedward/nlpaug

☀️ML для агрономов: предсказание солнечной радиации
С точки зрения практической агрономии, точная оценка солнечной радиации жизненно важна, т.к. это ключевой фактор в развитии сельскохозяйственных культур. Большинство существующих метеорологических станций по всему миру имеют датчики температуры и дождя, но очень немногие измеряют солнечную радиацию. Обычно измерение солнечной радиации обходится очень дорого из-за сложных датчиков (пиранометров и радиометров) и нехватки надежных данных. Поэтому группа исследователей из Университета Кордовы разработала ML-модели для прогнозирования солнечной радиации на юге Испании и в США.
Созданные ML-модели базируются не только на фактических измерениях, а обогащены данными о геоклиматических условиях местности (засушливость, расстояние до моря, высота и др). Для оценки суточной солнечной радиации предложенным нейросетевым алгоритмам из текущих данных нужна только информация о температуре воздуха, что обходится сравнительно дешево благодаря недорогим сенсорам и технологиям IoT. Для оптимизации гиперпараметров используются байесовские алгоритмы, а сами модели могут быть адаптированы к любой местности, в зависимости от ее засушливости. https://techxplore.com/news/2021-07-machine-based-thermal-solar.html

Всем привет! Кому интересна тема микромобильности и data science?
Проводим хакатон, есть возможность пообщаться с фаундерами WHOOSH. Будет много инсайтов, денежные призы, а еще фаундеры будут менторить команды участников.

Whoosh Mobility Hack
https://whoosh.bike/mobilityhack

🌦Почему идет дождь не по прогнозу и как Метеум 2.0 от Яндекса справляется с этим
История о замене MatrixNet на CatBoost и новые датасеты для обучения NN-моделей. Теперь нейросетки Метеум учатся не только на данных с профессиональных метеостанций, но и на информации об особенностях местности и сообщениях пользователей. https://habr.com/ru/company/yandex/blog/565238/

✈️AI составит расписание летных экипажей для ВВС США
ИИ-система от MIT помогает пилотам ВВС США планировать загрузку персонала в грузовых рейсах с учетом множества факторов: доступность воздушного пространства, допуски летчиков, требований к режиму труда и отдыха и др. Сочетая оптимизацию через целочисленное программирование с RL-нейросетями, система формирует летные графики на основе явных и неявных ограничений. https://news.mit.edu/2021/us-air-force-pilots-artificial-intelligence-assist-scheduling-aircrews-0708

🔥16 июля 2021 года Яндекс показал первый в мире прототип машинного перевода видео на базе ИИ-технологий биометрии, распознавания и синтеза речи. С ее помощью уже сегодня пользователи десктопного Яндекс.Браузера могут смотреть ролики на английском языке с закадровым переводом. В будущем продукт поддержит и другие языки. https://yandex.ru/company/services_news/2021/2021-07-16
Для тех, кто любит видео – ролик о новой технологии:
https://disk.yandex.ru/d/7DYUm9QSfTPn5A
https://www.youtube.com/playlist?list=PLkMNi_iVG-shtwkqd918VUJ80NIOJ2pQf

👀Ищите корпоративное ИИ-решение?
Попробуйте Каталог NGC™ от NVIDIA —реестр ПО, оптимизированного под GPU, для высокопроизводительных вычислений и анализа больших данных в различных отраслях: от чат-ботов ритейла до медицинской визуализации и рекомендательных систем. NGC содержит контейнеры приложений корпоративного уровня, предварительно обученные модели ИИ и отраслевые SDK, которые можно развернуть на локальных системах, в облаке или на границе сети. Например, NVIDIA TAO — это платформа для обучения, адаптации и оптимизации ИИ-моделей, которая позволяет создавать AI-приложения корпоративного уровня без глубоких экспертных знаний и больших датасетах для их обучения. https://www.nvidia.com/ru-ru/gpu-cloud/

😎Нейросети сервиса Облако Mail.ru помогут сохранить воспоминания
ML-алгоритмы автоматически найдут снимки, сделанные в определённый день, и отобразят их в виде stories, чтобы сформировать пользовательский фотокалендарь, иллюстрирующий памятные события. Благодаря методам распознавания образом, в результат попадут только удачные кадры. А если картинка не понравится пользователю, ее можно удалить прямо из видео-истории. Поделиться анимированной фотогалереей с друзьями можно, отправив ее сообщением или расшарить в VK и Instagram. Обновление уже доступно в мобильном приложении на iOS и Android. https://corp.mail.ru/ru/press/releases/10947/

💦Из чего состоит ML-pipeline: 3 главных компонента
Если абстрагировать достижения современной ML-инженерии, то для построения эффективного конвейера машинного обучения нужны всего 3 основных инструмента:
• Хранилище фичей (Feature Store) для обработки офлайн- и онлайн-преобразований функций. Feature Store поддерживает контроль версий и должно быть интегрировано с озерами данных и КХД. Также оно должно обеспечивать возможность быстрого обслуживания фичей и оперативного развертывания кода в production. Примеры: Tecton, Hopsworks, Michelangelo Palette, Zipline, Feature Store от Amazon SageMaker и Databricks.
• Хранилище моделей (Model Store) в качестве центрального реестра моделей и отслеживания экспериментов. Оно обеспечивает воспроизводимость версий и отслеживание истории изменений каждой ML-модели, а также связанных артефактов, такие как Git коммиты, pickle-файлы, оценки, регрессия и пр. Примеры: Weights & Biases, MLFlow, Neptune.ai, EthicalML, а также решения от Amazon, Azure, Google.
• Хранилище оценок (Evaluation Store) для мониторинга и повышения производительности моделей. Оно обеспечивает выявление показателей производительности для каждой ML-модели в любой среде, от обучения до production, включая инструменты A/B тестирования и средства построения наглядных дэшбордов. Например, Arize и Neptune.ai.
Дополнительно будут полезны платформы аннотирования данных (Appen), обслуживания ML-моделей (Kubeflow, Algorithmia) и AI-оркестрации (Spell) для координации всех команд, участвующих в MLOps-процессах.
https://towardsdatascience.com/the-only-3-ml-tools-you-need-1aa750778d33

🙌🏻🚗22 июля 2021 года Яндекс открыл крупнейший в мире датасет беспилотных автомобилей: более 1600 часов движения, разбитых на 600 000 размеченных фрагментов поездок на дорогах России, Израиля и США в разных погодных условиях. Датасет опубликован для конкурса Shifts Challenge в рамках международной конференции NeurIPS 2021, чтобы привлечь внимание к проблеме «сдвига данных» в машинном обучении и снизить неопределенность применения ML-моделей в новых условиях. Все данные обезличены. Датасет содержит высокоточные карты маршрутов и треки всех окружающих машин и пешеходов (их положение, скорость, ускорение и пр.), без персональных данных (номера машин или лица прохожих). Нужно обучить ML-алгоритмы на предоставленных данных и проверить качество их работы в условиях сдвига. Разработчики алгоритмов с лучшим качеством получат денежные призы в 5, 3 и 1 тысяч долларов.
Сайт конкурса: https://research.yandex.com/shifts
Датасет на github: https://github.com/yandex-research/shifts
Подробное описание на habr: https://habr.com/ru/company/yandex/blog/568672/
Новость на официальном сайте Яндекса: https://yandex.ru/company/press_releases/2021/2021-07-22

👆🏻Что такое AUC - ROC Curve и почему это так важно для оценки качества ML-модели?
Это площадь под кривой ошибок (ROC-кривой) используется как метрика оценки качества алгоритмов классификации. Ее значение лежит в диапазоне [0, 1].
Кривая AUC - ROC измеряет эффективность классификации при различных пороговых значениях. ROC - это кривая вероятности, а AUC - степень или мера разделимости, которая говорит о том, насколько ML-модель способна различать классы. Чем выше AUC, тем лучше модель. Например, при AUC близкой к 1, ML-модель будет хорошо отличать больных пациентов от здоровых. Плохая модель имеет AUC около 0, что означает худший показатель разделимости, что означает, что объекты разных классов будут классифицированы неверно. Если AUC равен 0,5, то модель вообще не может выделять классы.
Чувствительность и специфичность обратно пропорциональны друг другу: увеличивая чувствительность, мы уменьшает специфичность, и наоборот. Снижая порог, мы получаем больше положительных значений, что увеличивает чувствительность и уменьшает специфичность. Наоборот, увеличив порог, получим больше отрицательных значений и более высокую специфичность с низкой чувствительностью.
В мультиклассовой модели можно построить N кривых AUC ROC для N числовых классов, используя методологию One vs ALL. Так, например, если у вас есть три класса с именами X, Y и Z, у вас будет один ROC для X, классифицированный по Y и Z, другой ROC для Y, классифицированный по X и Z, и третий для Z, классифицированный по Y и X.
https://towardsdatascience.com/understanding-auc-roc-curve-68b2303cc9c5