🕸Автоматизация веб-скрепинга: 3 популярных инструмента
Хотите отслеживать цены в интернет-магазине или автоматизировать заказ еды в ресторане? Попробуйте следующие средства:
• Selenium – известный фреймворк для автоматизации тестирования, который можно использовать его имитации пользовательского поведения и выполнения действий на веб-сайтах, таких как заполнение форм, нажатие кнопок и пр. https://selenium-python.readthedocs.io/
• Beautiful Soup – Python-пакет для анализа HTML- и XML-документов. Создает дерево синтаксического анализа, которое можно использовать для извлечения данных при парсинге веб-страниц. Очень хорош для простых проектов. https://pypi.org/project/beautifulsoup4/
• Scrapy – быстрый высокоуровневый фреймворк для сканирования и сканирования веб-сайтов, используемый для извлечения структурированных данных с целью их интеллектуального анализа, мониторинга и автоматического тестирования. Он отлично подходит для сложных проектов и значительно быстрее вышеуказанных аналогов. https://docs.scrapy.org/en/latest/

😎Нужно разработать приложение распознавания эмоций по видео в реальном времени?
Используйте Face Recognition API! Open-source проект для распознавания лиц и управления ими из Python или командной строки. ML-модель создана с помощью DL-алгоритма распознавания лиц и имеет точность 99,38% в тесте Labeled Faces in the Wild.
С Face Recognition API разработка приложения состоит из 5 шагов:
• прием видео в реальном времени
• применение Python-функций готового API для обнаружения лиц и эмоций на объектах в видеопотоке;
• классификация эмоций по категориям;
• построение рекомендательной системы;
• сборка приложения и развертывание на Heroku, Dash или веб-сервере.
https://github.com/ageitgey/face_recognition

🗣4 практики повышения эффективности от использования Google Cloud Translation API
Веб-сервис, который динамически переводит между языками с помощью ML-моделей Google поддерживает более 100 языков и активно используется на практике. А если знать полезные лайфхаки, можно снизить затраты, повысить производительность и улучшить безопасность этого API для перевода на веб-сайтах.
1. Кэширование переведенного контента не только сокращает количество обращений к Google Cloud Translation API, но и снижает нагрузку и использование вычислений на внутренних веб-серверах и базах данных. Это оптимизирует производительность приложений и снижает стоимость доставки. Настроить кэширование в архитектуре приложения можно на разных уровнях приложения. Например, на уровне прокси-сервера (NGINX или HAProxy), самого приложения в памяти на веб-серверах или внешнюю службу кэширования памяти, а также через CDN.
2. Безопасный доступ по принципу наименьших привилегий. В случае доступа к Google Cloud Translation API, рекомендуется использовать учетную запись Google Cloud Service, а не ключи api. Учетная запись сервиса - это особый тип аутентификации, который представляет собой пользователя, не являющегося человеком, и может быть авторизован для доступа к данным в API Google. Учетным записям служб не назначаются пароли, и они не могут использоваться для входа в систему через браузер, сводя к минимуму этот вектор угрозы. Следуя принципу минимальных привилегий, можно предоставить роль с минимальными привилегиями и набором разрешений для доступа к API перевода.
3. Настройка переводов. Если контент включает термины предметной области и контекста, Google Cloud Translation API Advanced поддерживает настраиваемую терминологию с помощью глоссария. Можно создавать и использовать собственные модели перевода с помощью Google AutoML Translation. Благодаря предупреждению, которое Google выводит пользователям, о том, что контент был переведен автоматически, клиенты понимают потенциальные риски наличия ошибок и неточностей.
4. Контроль бюджета. Затраты, связанные с Google Cloud Translation API, в основном зависят от количества символов, отправленных в API. Например, по прейскуранту $10 за миллион символов, если веб-страница включает из 20 миллионов символов и нужно перевести на 10 языков, затраты составят $10*20 = $200. Следить за бюджетом поможет настойка оповещений в рабочей среде.
https://cloud.google.com/blog/products/ai-machine-learning/four-best-practices-for-translating-your-website

🚀Data Science в городе: продолжаем серию митапов Ситимобила про Data Science в геосервисах, логистике, приложениях Smart City и т.д. Приглашаем на 2-ю онлайн-встречу 23 сентября в 18:00 МСК. Вас ждут интересные доклады DS-практиков из Ситимобила, Optimate AI и Яндекс.Маршрутизации:
🚕Максим Шаланкин (Data Scientist в гео-сервисе Ситимобил) расскажет о жизненном цикле ML-модели прогнозирования времени в пути с учетом большой нагрузки
🚚Сергей Свиридов (CTO из Optimate AI) объяснит, что не так с классическими эвристиками и методами комбинаторной оптимизации для построения оптимальных маршрутов, и как их можно заменить динамическим программированием
🚛Даниил Тарарухин (Руководитель группы аналитики в Яндекс.Маршрутизации) поделится, как автомобильные пробки влияют на поиск оптимального маршрута и имитационное моделирование этой задачи.
После докладов спикеры ответят на вопросы слушателей.
Ведущий мероприятия – Алексей Чернобровов🛸
Регистрация для бесплатного участия: https://citymobil.timepad.ru/event/1773649/

🍏Еще 3 полезных Python-библиотеки для Data Scientist’а
• JMESPath - библиотека, которая помогает запрашивать JSON. Пригодится в работе с большим многоуровневым JSON-документом или словарем. JMESPath дает доступ к объекту доступу в стиле «JavaScript», упрощая разработку и тестирование кода. Это также безопасно - если какой-либо из путей не существует, функция поиска JMESPath вернет None. https://github.com/jmespath/jmespath.py
• Inflection - это библиотека, пришедшая из Ruby, которая помогает обрабатывать сложную логику обработки строк. Она переводит английские слова в единственное и множественное число, а также преобразует строки из CamelCase в строку с подчеркиванием. Пригодится, когда есть имена переменных или точек данных, сгенерированы на другом языке или в другой системе, которые нужно перевести в питонический стиль в соответствии со стандартами PEP. https://github.com/jpvanhal/inflection
• more-itertools – библиотека, включающая целый набор полезных функций, которые можно использовать в разных задачах разработки. Например, быстро и изящно написать код разделения одного словаря на несколько списков на основе общего повторяющегося ключа или циклически объединить несколько списков. Эта библиотека автоматически организует реализацию регулярных выражений и настроит рекурсивные ограничения. https://github.com/more-itertools/more-itertools

«Лидеры цифровой трансформации» 2021 - больше, чем хакатон!

Выбирай одну из 10 актуальных задач и разрабатывай новые цифровые продукты для города!

Что ждет участников?
🏆Призовой фонд - 10 000 000 рублей
🌐 Online-формат
✅ 10 интересных задач
⏰ Доступ к датасетам для команд c 10 октября
⚡️ Дополнительные подарки партнеров: промокоды на пиццу, мерч для лучших команд, гранты на обучение и многое другое.

👤Если команды нет, то организаторы тебе помогут ее найти!
⚠️Cейчас участники активно ищут к себе в команды разработчиков.

Выбирай задачу и регистрируйся прямо сейчас:
🔗 https://bit.ly/3tY2pi9
И вступай в наш телеграмм-чат:
🔗 https://t.me/leaders21

С 24 по 26 сентября пройдет пятый хакатон по искусственному интеллекту в городе Ростов-на-Дону. Участники хакатона имеют шанс внести свой вклад в борьбу с незаконным выловом водных биологических ресурсов в территориальных водах России.

Основная задача - создание алгоритма, способного фиксировать данные о положении рыболовного трала - поднят или опущен - в момент получения спутникового снимка.

Эта информация позволит специалистам сделать вывод о характере деятельности конкретного судна (группы судов) в момент времени, либо временной интервал, а также о законности её осуществления.

Результаты хакатона будут использованы для разработки моделей прогнозирования
потенциальных мест правонарушений и выработке рекомендаций по оптимизации маршрута работы контрольно-надзорных органов, сокращению числа правонарушений,
уменьшению экологического ущерба.

🚀Спешите зарегистрироваться https://hacks-ai.ru/hakaton/rostov-na-donu

25 сентября в Москве (ресторан Ketch Up, м.Кузнецкий мост) пройдет первый в этом году офлайн-митап от Яндекс.Дзена. Поговорим про объяснимость рекомендаций.

К сожалению, количество мест ограничено, поэтому пригласим тех, кому мероприятие ближе всего по интересам и опыту. Подать заявку на участие можно здесь: https://events.yandex.ru/events/zen-meetup-exploration

Для всех, кто не сможет присоединиться офлайн, будут специальные записи докладов, но для этого нужно зарегистрироваться.

👀Как оценить качество мультиобъектной ML-модели компьютерного зрения?
Слежение за несколькими объектами в реальной среде – сложная задача, в т.ч. из-за метрик оценки качества ML-модели, цель которой оценить точность слежения и проверить траекторию движущегося объекта. Предположим, для каждого кадра в видеопотоке система отслеживания выводит гипотезу 'n', а в кадре есть 'm' основных истинных объектов. Тогда процесс оценки показателей выглядит следующим образом:
• Найти и сопоставить наилучшее совпадение между гипотезой и основной истиной на основе их координат и с помощью различных алгоритмов сопоставления.
• Для каждой совпавшей пары найдите ошибку в положении объекта.
• Рассчитайте сумму нескольких ошибок, таких как промахи (трекер не смог выдвинуть гипотезу для объекта), ложные срабатывания (когда трекер выдал гипотезу, но объект отсутствовал) и ошибки несоответствия (когда гипотеза следящего за достоверной информацией изменила текущий кадр).
Так производительность ML-модели может быть выражена двумя метриками:
• MOTP (Multi-Object Tracking Precision) показывает, насколько точно оцениваются точные положения объекта. Это общая ошибка в оценке местоположения для совпадающих пар наземной истины-гипотезы по всем кадрам, усредненная по общему количеству сделанных совпадений. Эта метрика не отвечает за распознавание конфигураций объектов и оценку траекторий объектов. Метрика находится в диапазоне от 0 до 1. Если значение MOTP равно 1, то точность системы низкая. А если он близок к нулю, значит точность системы хорошая.
• MOTA (Multi-Object Tracking Accuracy) показывает, сколько ошибок система слежения сделала (промахи, ложные срабатывания, ошибок несоответствия). Метрика варьируется от –inf до 1. Если MOTA равен 1, то точность системы хорошая. Если MOTA около нуля или меньше нуля, то точность системы низкая.
https://pub.towardsai.net/multi-object-tracking-metrics-1e602f364c0c

😜Нужна аналитика настроений в комментариях на YouTube?
Более 2 миллиардов пользователей смотрят видео на YouTube хотя бы раз в месяц. Популярные ютуб-блогеры собирают миллиарды просмотров. Но всем подписчикам не угодишь и общественное мнение постоянно меняется. Постройте свою модель анализа пользовательских настроений с Youtube-Comment-Scraper - Python-библиотеки для получения комментариев к YouTube-роликам с помощью автоматизации браузера (пока работает только в Windows). Этот open-source проект поможет создать дэшборд, анализирующую отношение подписчиков к видеороликам популярных ютуберов. Работа сведется к следующим шагам:
• сбор нужных комментариев к видео от пользователей YouTube;
• использование предварительно обученной ML-модели, чтобы делать прогнозы по каждому комментарию;
• визуализация прогнозов модели на дэшборде, в т.ч. с помощью Dash на Python или Shiny на R.
Можно добавить интерактивности, позволив пользователям фильтровать результаты анализа настроений по времени выпуска, автору и жанру видео.
https://pypi.org/project/youtube-comment-scraper-python/

Регистрация на бесплатную международную онлайн-конференцию DataArt IT NonStop 2021 открыта!

IT NonStop продлится с 18 по 20 ноября. Главные темы: машинное обучение и искусственный интеллект, работа с данными, облачные технологии. Рабочий язык — английский, но секции, ориентированные на начинающих специалистов, — на русском. Программа одного дня полностью состоит из воркшопов и ознакомительных лекций для начинающих IT-специалистов.

В программе — более 30 докладов и воркшопов специалистов из Microsoft, AWS, Ocado, Codete, Ciklum, Eleks, SoftServe, Toloka, Yandex, DataArt и других компаний. Мы не смогли уместить в один пост всех, поэтому вот несколько тем воркшопов:
— "Creating Real-Time Data Streaming powered by SQL on Kubernetes" Albert Lewandowski, Big Data DevOps Engineer, GetInData.
— "Create your own cognitive portrait in 60 minutes", Dmitry Soshnikov, Cloud Developer Advocate, Microsoft.
— "Training unbiased and accurate AI models", Robert Yenokyan, AI Lead, Pinsight.
Все темы можно посмотреть на сайте. И да, мы все еще добавляем новых докладчиков.

Кратко про IT NonStop 2021:
Когда: 18–20 ноября.
Где: онлайн. Участие бесплатное.
Регистрация по ссылке: https://it-nonstop.net/register-to-the-conference/?utm_source=bdscience&utm_medium=referral

🔥30 сентября 2021 г. в 10.00 (мск) состоится онлайн-мероприятие «Цифровой четверг X5 — открытый разговор». Спикеры из Яндекса, X5 Retail Group, Крок, Ростелекома и Мегафона расскажут, как и зачем становиться Data-Driven компанией, почему иногда кейсы работы с данными не приносят реальной пользы бизнесу и могут ли алгоритмы заменить людей или за цифрами все же нужен человек.
Регистрация https://x5-retail-group-event.timepad.ru/event/1743630/

🍁ТОП-10 DS-событий в октябре:
1. 1 октября - Marketing Data Analytics 2021 – всероссийский форум по сбору и анализу данных в маркетинге https://interforums.ru/mda/registration
2. 2 октября 13:00 - 17:00 (МСК) – онлайн-митап Яндекса, посвященный библиотеке CatBoost https://events.yandex.ru/events/catboost/02-10-2021
3. 5 октября 19:00-21:00 (МСК) – онлайн ML-party от Яндекса https://events.yandex.ru/events/ml-party-05-10-2021
4. 6-7 октября – онлайн-конференция «Умные решения — умная страна: вызовы и перемены»: 36 спикеров из ВУЗов, правительства, ритейла и промышленных предприятий поделятся своим опытом построения Data-driven решений https://smart-conference.ru/
5. 8 октября - Х Отраслевая конференция «IT в ритейле: Большие перемены» http://infor-media.ru/events/111/2871/
6. 11-14 октября - Smart Data - конференция по Data Engineering –стриминговые технологии, СУБД и DWH, облачные решения, оркестрация data pipeline’ов на Kafka, Spark, Flink, NiFi, AirFlow и других технологиях Big Data https://smartdataconf.ru/
7. 15 октября - BiNE 2021: II Международная научно-практическая конференция «Большие данные в образовании: доказательное развитие образования» https://conferences.science/conferences/bine-2021.html
8. 19-21 октября – LoginomDay 2021 – практическая онлайн-конференция по анализу данных, Data Science и Machine Learning https://day.loginom.ru/
9. 28 октября – Citymobil Data Meetup №3 – очередной митап о Data science в городских и геосервисах, логистике и технологиях умных городов https://citymobil.timepad.ru/events/
10. 31 октября - I Открытый Чемпионат по искусственному интеллекту «SPb AI Champ'21» для студентов российских технических вузов https://spbaichamp.ru/
🍂

🗣3 факта об использовании памяти в Python, о которых вы не знали
Поскольку Python является основным языком программирования в задачах Data Science, каждому DS-специалисту пригодятся следующие особенности этого инструмента:
• Получение адреса объекта в памяти - для этого Python использует функция id(), которая возвращать адрес памяти для переменной в виде целого числа.
• Сборка мусора - Python использует метод подсчета ссылок, чтобы решить, когда объект должен быть удален из памяти. Python вычисляет количество ссылок на каждый объект, и когда объект не имеет ссылки, запускается Garbage Collection. Для сложных случаев, можно вручную изменить поведение сборки мусора с помощью модуля gc в Python.
• Интернирование или целочисленное кэширование - чтобы сэкономить время и затраты на память, Python всегда предварительно загружает все целые числа в диапазоне [-5, 256]. Когда объявляется новая целочисленная переменная в этом диапазоне, Python просто ссылается на нее кэшированное целое число и не создает никаких новых объектов. Поэтому независимо от того, сколько переменных было создано, если они относятся к целому числу 256 в диапазоне [-5, 256], все они будут указывать на один и тот же адрес памяти кэшированного целого числа. Аналогично в Python есть механизмы интернирования для коротких строк.
https://medium.com/techtofreedom/memory-management-in-python-3-popular-interview-questions-bce4bc69b69a

🕸Анализ американского рынка Data Science 2021: веб-скрейпинговый проект на Selenium по открытым вакансиям с наглядными результатами и выводами. Также в обзоре вы узнаете о популярности языков программирования и ML-фреймворков у работодателей США.
https://pub.towardsai.net/current-data-science-job-market-trend-analysis-future-4184f03a04ca

Всем привет!

В эту пятницу (1 октября) митап 'ml in marketing'

🔥 Будет доклад про аналитику зарплат :)

🔸19:00 - 20:00
🎤 Егор Борисов, Lead DS at DataWise

📋 Зарплаты и вакансии в Data Science: инсайты и тренды по данным чата ODS

📋 По мотивам этой статьи. Обзор рынка Data Science по данным из чатов ODS. Спрос на специалистов растет, или рынок уже насытился, какие технологии теряют, а какие набирают популярность, размер зарплатных вилок и от чего они зависят? Авторы исследования поделятся подходом, результатами и своими мыслями. Будет полезно каждому, кого волнует какие вакансии востребованы сегодня, куда и как расти.

— — —

🗓 1 октября, начало в 19:00 мск, Пятница

🌐 ОНЛАЙН

Регистрация на мероприятие тут

🤦🏼‍♀️Машинное забывание– новая задача в ML
Иногда ML-алгоритмы должны забывать то, чему научились. Например, искусственный интеллект может разрушить конфиденциальность. Регулирующие органы по всему миру имеют право заставлять компании удалять неправомерно полученную информацию. Граждане ЕС и Калифорнии могут потребовать, чтобы компания удалила их данные. Недавно регулирующие органы США и Европы заявили, что владельцы систем искусственного интеллекта иногда должны удалять системы, обученные на конфиденциальных данных. А в 2020 году британский регулятор данных предупредил компании, что на некоторые ML-программы могут распространяться права GDPR, поскольку они содержат персональные данные. В начале 2021 года Федеральная торговая комиссия США вынудила стартап по распознаванию лиц Paravision удалить коллекцию неправильно полученных фотографий лиц и ML-алгоритмов, обученных на них.
Таким образом, мы приходим к новой области DS под названием машинного разучивания, которая ищет способы вызвать избирательную амнезию для ИИ, чтобы удалить все следы определенного человека или точки данных из ML-системы, не влияя на ее производительность. Некоторые исследования показали, что при определенных условиях можно заставить ML-алгоритмы забыть что-то, но этот метод еще не готов для использования в production. В частности, в 2019 году ученые из университетов Торонто и Висконсин-Мэдисон предложили разделять исходные данные для машинного обучения на несколько частей, каждая из которых обрабатывается отдельно, прежде чем результаты будут объединены в окончательную ML-модель. Если позднее потребуется забыть одну точку данных, нужно повторно обработать только часть исходного датасета. Тестирование показало, что подход работает с данными об онлайн-покупках и коллекцией из более чем миллиона фотографий. Однако, система разобучения выйдет из строя, если отправленные запросы на удаление будут поступать в определенной последовательности. Теперь исследователи ищут, как решить эту проблему. Впрочем, методы машинного разобучения являются скорее демонстрацией технической проницательности, чем серьезным сдвигом в защите данных. Ведь, даже если машины научатся забывать, пользователям придется помнить о том, с кем они делятся своими данными.
https://www.wired.com/story/machines-can-learn-can-they-unlearn/

Премиум-EDA с Lux
Продолжаем рассказывать о полезных DS-инструментах, которые пригодятся в ежедневной работе. Например, Python-библиотека Lux, которая упрощает и ускоряет исследование данных за счет автоматизации процесса визуализации и анализа данных. Для датафрейма в Jupyter Notebook, Lux рекомендует набор визуализаций, выделяющих интересные тенденции и закономерности в наборе данных. Визуализации отображаются с помощью интерактивного виджета, который позволяет быстро просматривать большие коллекции визуализаций и разбираться в данных. Будучи глубоко интегрированным с Pandas, Lux поддерживает различные типы географических и временных данных в этой библиотеке, а также SQL-запросы к Postgres.
Центральная часть модели данных Lux Dataframe – подкласс Pandas dataframe, который поддерживает все операции с данными, а также содержит другие переменные и функции для генерации визуальных рекомендаций.
https://github.com/lux-org/lux
https://lux-api.readthedocs.io/en/latest/source/getting_started/overview.html

☂️Обратный ETL: что это и как использовать
Обратный ETL - это процесс копирования данных из хранилища данных в операционные системы, включая SaaS для маркетинга, продаж и поддержки. Это позволяет любой команде специалистов, от продавцов до инженеров, получить доступ к нужным данным в системах, которые они используют. Выделяют 3 основных варианта использования обратного ETL:
• Операционная аналитика - предоставление аналитических сведений бизнес-командам в их обычных рабочих процессах и инструментах, чтобы принимать решения на основе данных
• Автоматизация данных - автоматизация специальных запросов данных от других команд, например, когда финансисты запрашивают данные об использовании продуктов для выставления счетов
• Персонализация взаимодействия с клиентов в разных приложениях.

Сегодня наиболее популярными средствами обратного ETL можно назвать следующие:
• Hightouch - платформа данных, которая позволяет синхронизировать данные из хранилищ с инструментами CRM, маркетинга и клиентской поддержки https://hightouch.io/docs/
• Census - платформа оперативной аналитики, которая синхронизирует хранилище данных с разными приложениями https://www.getcensus.com/
• Octolis – облачный сервис, позволяющий отделам маркетинга и продаж легко развертывать сценарии использования, активируя свои данные в своих операционных инструментах, например, CRM или ПО для автоматизации маркетинга https://octolis.com/
• Grouparoo - обратный ETL с открытым исходным кодом, который легко запускается на ноутбуке или в облаке, позволяя разрабатывать локально, фиксировать изменения и развертывать https://www.grouparoo.com/docs/config
• Polytomic – ETL-решение, которое позволяет за пару минут создавать в реальном времени все необходимые данные о клиентах в Marketo, Salesforce, HubSpot и других бизнес-системах https://www.polytomic.com/
• RudderStack - платформа клиентских данных для разработчиков, где инструменты обратного ETL упрощают развертывание конвейеров, собирающих данные о клиентах из каждого приложения, веб-сайта и SaaS-платформ, чтобы активировать их в DWH и в прикладных системах https://rudderstack.com/
• Workato – средство автоматизации бизнес-процессов в облачных и локальных приложениях https://www.workato.com/
• Omnata – инструмент интеграции данных для современных архитектур https://omnata.com/
• Smart ETL Tool от Rivery – платформа автоматизации ETL-процессов с помощью любой облачной СУБД, включая Redshift, Oracle, BigQuery, Azure и Snowflake https://rivery.io/

Reverse ETL