💥5 англоязычных YOUTUBE-каналов для дата-инженера от популярных DS-блогеров
• Ken Jee https://www.youtube.com/c/KenJee1/videos - 183 тысячи подписчиков и около 200 видео про Data Science, инженерию больших данных, ML и аналитику в спорте
• Karolina Sowinska https://www.youtube.com/c/KarolinaSowinska/videos 30+ тысяч подписчиков и почти 60 отличных роликов про AirFlow, ИИ, ETL и карьеру дата-инженера;
• Shashank Mishra https://www.youtube.com/c/LearningBridge/video 40+ тысяч подписчиков и более 150 видео о буднях дата-инженеры, отзывы о DS-курсах, рекомендации по прохождению интервью и личный опыт автора, работавшего в Amazon, McKinsey&Company, PayTm и других крупных корпорациях, а также в стартапах.
• Seattle Data Guy https://www.youtube.com/c/SeattleDataGuy/videos почти 20 тысяч подписчиков и более 100 видео про soft и hard skills дата-инженера, лайфхаки для решения ежедневных задач по сбору и агрегации данных с помощью Python и не только, лучшие практики SQL, введение в R и еще много всего интересного/
• Andreas Kretz https://www.youtube.com/c/andreaskayy/videos около 27 тысяч подписчиков и более 500 роликов ванильные и проприетарные Hadoop, Spark, Kafka, сервисы AWS и другие облачные платформы, основы ETL, тонкости установки и практического использования разных технологий Big Data и особенности профессии дата-инженера.

🏸Комбо Zingg + TigerGraph для удаления дублей и графовой аналитики больших данных
Графовые базы данных со встроенными шаблонами связей отлично подходят для устранения неоднозначности записей и разрешения сущностей. Например, TigerGraph – мощная система графовой аналитики. А если дополнить ее открытым ML-инструментом Zingg (https://github.com/zinggAI/zingg), можно найти дублированные и неоднозначные записи еще быстрее.
Например, один и тот же человек в разных системах записан по-разному. Поэтому проанализировать его пользовательское поведение, например, для генерации персонального маркетингового предложения или включения в программы лояльности, очень сложно. Zingg, имеют встроенные механизмы блокировки, которые вычисляют попарное сходство только для выбранных записей. Это сокращает время вычислений и помогает масштабироваться на большие наборы данных. Не нужно беспокоиться об связывании-группировке записей вручную: об этом позаботится внутренняя структура разрешения сущностей. Так с Zingg и TigerGraph можно объединить лучшее простое и масштабируемое разрешение сущностей и дальнейший анализ графа.
https://towardsdatascience.com/entity-resolution-with-tigergraph-add-zingg-to-the-mix-95009471ca02

🙌🏻LaMDA: безопасная, объективная и высококачественная языковая модель от Google AI
LaMDA создается путем точной настройки семейства нейронных языковых моделей на основе Transformer, специализированных для диалога, с параметрами модели до 137B и обучения моделей использованию внешних источников знаний. LaMDA преследует три ключевые цели:
• Качество (Quality), которое измеряется через Разумность (Sensibleness), Специфичность (Specificity) и Интересность (Interestingness). Эти показатели оцениваются людьми. Разумность говорит о наличии смысла в контексте диалога, например, отсутствие со стороны ML-модели абсурдных ответов и противоречий с более ранними ответами. Специфичность показывает, является ли ответ системы специфичным для контекста предыдущего диалога. Интересность измеряет эмоциональную реакцию собеседника на ответы ML-модели.
• Безопасность (Safety), чтобы ответы модели не содержали оскорбительных и опасных высказываний.
• Объективность (Groundedness) – современные языковые модели часто генерирует утверждения, которые кажутся правдоподобными, но на самом деле противоречат истинным фактам во внешних источниках. Объективность определяется как процент ответов с утверждениями о внешнем мире, которые могут быть подтверждены авторитетными внешними источниками. Родственная метрика, Информативность (Informativeness), определяется как процент ответов с информацией о внешнем мире, которая может быть подтверждена известными источниками.
Модели LaMDA проходят двухэтапное обучение: предварительное обучение и тонкая настройка. Первый этап выполнен на наборе данных из 1,56 тыс. слов из общедоступных данных диалогов и публичных веб-документов. После токенизации набора данных в 2,81T токенов модель была обучена предсказывать каждый следующий токен в предложении с учетом предыдущих. Предварительно обученная модель LaMDA также широко использовалась для NLP-исследований в Google, включая синтез программ, обучение с нулевым выстрелом и пр.
На этапе тонкой настройки LaMDA обучается комбинировать выполнение генеративных задач для создания ответов на естественном языке в заданных контекстах и задач классификации чтобы определить безопасность и качество модели. Так получается единая многозадачная модель: генератор LaMDA обучен прогнозировать следующий токен в наборе данных диалога, а классификаторы обучены прогнозировать оценки безопасности и качества ответа в контексте с использованием аннотированных данных.
Результаты тестирования показали, что LaMDA значительно превосходит предварительно обученную модель в каждом измерении и любом масштабе. Показатели качества улучшаются с увеличением количества параметров модели, с тонкой настройкой и даже без нее. Безопасность не улучшается только за счет масштабирования модели, но компенсируется при точной настройке. Объективность улучшается по мере роста размера модели, благодаря способности запоминать необычные знания. А точная настройка позволяет модели получать доступ к внешним источникам и эффективно переносить на них часть нагрузки по запоминанию знаний. С помощью точной настройки разрыв качества с человеческим уровнем может быть сокращен, хотя производительность модели остается ниже человеческого уровня в плане безопасности и объективности.
https://ai.googleblog.com/2022/01/lamda-towards-safe-grounded-and-high.html

сравнение метрик LAMDA с человеческими оценками

👀Повышаем разрешение в видеоиграх с DLDSR от NVIDIA
DLDSR (Deep Learning Dynamic Super Resolution) – технология улучшения картинки в видеоиграх, которая использует многослойную нейросеть, требующую меньше пикселей. DLDSR с коэффициентом разрешения 2.25X сопоставим по качеству с 4X-разрешением технологии предыдущего поколения DSR. При этом производительность DLDSR намного выше благодаря тензорным ядрам видеокарт RTX, которые ускоряют нейросети в несколько раз. Попробовать DLDSR можно на своем игровом компьютере, обновив драйвер видеокарты и выставив нужные настройки.
https://ru.blogs.nvidia.com/blog/2022/01/14/uluchshaem-proizvoditelnost-s-dldsr/

☄️Друзья! 1 марта в NewProLab стартует флагманский 12-недельный онлайн-курс "Специалист по большим данным".

А это значит, вас вновь ждет самая глубокая и объемная программа на рынке Big Data, заслужившая множество восторженных отзывов!

👉Оставляйте заявку и задавайте вопросы: https://clck.ru/apR8H 👈

Вы:
☑️Владеете основами Python?
☑️Уже умеете создавать SQL-запросы?
☑️ Знакомы с прикладными понятиями мат. анализа и линейной алгебры?
☑️Понимаете базовые операции ОС Linux?

Тогда мы приглашаем вас систематизировать текущие навыки и получить полное практическое руководство для подготовки собственных полноценных проектов.

Вы научитесь: строить модели машинного обучения, писать MapReduce-джобы, используя Hadoop Streaming и Python, работать с данными на HDFS, проводить анализ при помощи Apache Spark, строить алгоритмы рекомендательных систем.
❗️И все это на реальных дата-сетах и живых бизнес-кейсах с преподавателями и нетворком в сообществе единомышленников❗️

Эту программу уже прошли более 300 дата аналитиков и разработчиков. Присоединяйтесь и вы!

🌦Новогодняя спячка закончилась, пора выбираться на конференции, митапы и прочие DS-события. Февральский дайджест 2022:
1. 1 февраля в 12.00 МСК - онлайн-конференция «Цифровизация нефтегазовой отрасли: инструменты повышения доходности, эффективности и безопасности» https://www.tbforum.ru/vizit
2. 2 февраля в 16:00 МСК Online-митап компании «Синимекс» по работе с PostGIS, Hadoop и Spark: разбор реальных бизнес-кейсов и технологическая начинка https://www.cinimex.ru/meetup/
3. 3 февраля в 16:00 МСК Online-митап Яндекс.Cloud «Как и для чего решать задачи сбора, репликации и интеграции данных» https://cloud.yandex.ru/events/479
4. 10 февраля в 10:00 МСК - конференция "Искусственный интеллект 2022" от CNews https://events.cnews.ru/events/iskusstvennyi_intellekt_2022.shtml
5. 10 февраля в 11:00 МСК - онлайн-конференция «Интеллектуальное видеонаблюдение и машинное зрение в системах безопасности на крупных объектах» в рамках форума «Технологии безопасности 2022» https://www.tbforum.ru/vizit
6. 12 февраля в 10:00 МСК - New IT Fest: онлайн-фестиваль информационных технологий от Accenture: кейсы по внедрению ML, DS, AI решений https://newitfest.ru/
7. 16 февраля в 10:00 МСК – офлайн-конференция «Качество данных 2022» - по стратегиям и практикам обеспечения качества данных, гарантирующего высокий уровень сервисов и бизнес-процессов. Москва, Отель Palmira Business Club https://www.osp.ru/static/2021121039
8. 17 февраля в 11:00 МСК - Forum.Digital Telecom 2022 - II ежегодная онлайн-конференция по цифровой трансформации телекоммуникационной отрасли https://forum.digital/telecom2022
9. 17-18 февраля - OpenTalks.AI – 5-я ведущая независимая открытая конференция по ИИ в России: лучшие российские докладчики по ML/DL на одной площадке. Конференция пройдет в оффлайне, но с ограниченным количеством участников. Начало 17.02.2022 в 10:00, Москва, Конференц-зал гостиницы "Космос" , Проспект Мира, 150. https://opentalks.ai/
10. 28 февраля Citymobil Data Meetup №7 https://citymobil.timepad.ru/events/

🚗Роботы-курьеры Яндекса в Сеуле
Еще в прошлом году автономные роботы-курьеры Яндекса начали доставлять заказы в России, еду из ресторанов в американском городе Энн-Арбор в штате Мичиган и другие студенческие кампусы США. А в январе 2022 Яндекс заключил соглашение о намерениях с крупной южнокорейской телекоммуникационной компаний KT Corporation на доставку автономными роботами в Сеуле. Так уже в этом году Южная Корея станет первой страной в Восточной Азии, где работают роверы Яндекса. Также компания готовится запустить эту технологию в Дубае.
https://yandex.ru/company/press_releases/2022/2022-01-18

🎂Terality - сверхбыстрый serverless-движок вместо медленного Pandas
Terality — это бессерверный механизм обработки данных, работающий на гигантских кластерах для работы с наборами данных любого размера. Благодаря парадигме serverless можно не беспокоиться о масштабировании ресурсов в кластерах или прочей инфраструктуре: практически нет ограничений на память, а значит, и на размер набора данных. Для работы нужно только хорошее подключение к Интернету для обработки сотен ГБ, даже на простом офисном ноутбуке с 4 ГБ ОЗУ. Terality позволяет запускать код Pandas в 10 раз быстрее: синтаксис Terality аналогичен Pandas. Достаточно изменить лишь одну строку кода, чтобы переключиться с Pandas на Terality:
import teratiyu as te.
Пакет Python отправляет HTTPS-запросы движку Terality, когда вы вызываете функции Pandas. Механизм обрабатывает данные и команду и возвращает результат. Однако, Terality – это не просто Python-пакет, а freemium-ПО с бесплатным планом на 1 ТБ. При этом учитывается каждый вызов API, а не только чтение данных.
https://docs.terality.com/
https://towardsdatascience.com/good-bye-pandas-meet-terality-its-evil-twin-with-identical-syntax-455b42f33a6d

🥁🥁Undouble - Python-библиотека для обнаружения дубликатов изображений с помощью хеш-функций
Поиск идентичных или похожих фотографий вручную – долгая и утомительная задача. Ее не решить просто сравнением размера и имени файлов, т.к. фото берутся из разных источников (мобильные устройства, приложения для социальных сетей и пр.), что приводит к различиям в этих атрибутах и создает разницу в разрешении, масштабировании, сжатии и яркости. Хеш-функции идеально подходят для обнаружения идентичных и похожих фото из-за устойчивости к незначительным изменениям. На этой идее основана Undouble - Python-библиотека, которая работает с использованием многоэтапного процесса предварительной обработки изображений (оттенки серого, нормализация и масштабирование), вычисления хэша изображения и группировки изображений. Порог 0 будет группировать изображения с идентичным хешем изображения. Результаты можно легко изучить с помощью функции построения графика, а изображения можно перемещать с помощью функции перемещения. При перемещении изображений копируется изображение из группы с наибольшим разрешением, а все остальные изображения перемещаются в подкаталог «undouble».
Чтобы попробовать эту библиотеку c открытым кодом (https://github.com/erdogant/undouble), ее сперва надо установить: pip install undouble, затем импортировать пакет в свой проект: from undouble import Undouble. Затем, установив метод хэширования и размер хэша, можно выявляться дубли с помощью undouble. При этом выполняются следующие шаги: рекурсивное чтение всех изображений из каталога с указанными расширениями, вычисление хэша и группировка похожих изображений.
Пример с объяснениями смотрите здесь: https://towardsdatascience.com/detection-of-duplicate-images-using-image-hash-functions-4d9c53f04a75

😜Как создать исполняемый файл из py-скрипта?
Хотя можно запустить Python-скрипт в терминале или текстовом редакторе, иногда нужно скрыть весь код в py-файле, обернув его внутрь исполняемого файла (.exe). Например, чтобы запланировать задание, которое запускает исполняемый файл в определенное время. Это можно сделать 2-мя способами:
• через GUI пакета auto-py-to-exe (https://pypi.org/project/auto-py-to-exe/), который сперва следует установить через pip install auto-py-to-exe, затем запустить и последовательно выполнить 4 шага.
• в терминале с библиотекой PyInstaller, которую тоже следует сперва установить: pip install pyinstaller, а затем перейти в каталог с нужным py-файлом и создать на его основе исполняемый с помощью команды pyinstaller --onefile name_of_script.py
По сути, первый способ представляет собой визуализацию 2-го в наглядном GUI. А те, кто работает с CLI-интерфейсом могут сразу использовать PyInstaller безо всяких дополнительных оберток.
https://towardsdatascience.com/how-to-easily-convert-a-python-script-to-an-executable-file-exe-4966e253c7e9

😜Нейросети для селфи на Google Pixel 6: точное альфа-матирование в портретном режиме
Матирование изображения — это процесс извлечения точной альфа-маски, которая разделяет объекты переднего плана и фона картинки. Это нужно не только профессиональным дизайнерам при оформлении рекламных фото, но и стало популярным развлечением для пользователей смартфонов. Отправить друзьям селфи на фоне Эйфелевой башне, находясь в комнате с бабушкиным ковром? Легко с помощью Google Pixel 6: сверточная нейросеть из последовательности блоков кодировщика-декодера, для постепенной оценки высококачественного альфа-матирования сохранит все детали, включая тонкие волосинки.
Входное изображение RGB объединяется с грубой альфа-подложкой (сгенерированной с помощью сегментатора людей с низким разрешением), которая передается в качестве входных данных в сеть. В новой модели Portrait Matting используется магистраль MobileNetV3 и неглубокий декодер с небольшим количеством слоев, чтобы сначала предсказать усовершенствованную альфа-маску с низким разрешением. Затем применяется неглубокий кодер-декодер и серия остаточных блоков для обработки изображения с высоким разрешением и уточненной альфа-маски из предыдущего шага. Неглубокий кодер-декодер больше полагается на функции более низкого уровня, чем предыдущая магистраль MobileNetV3, фокусируясь на структурных функциях высокого разрешения для прогнозирования окончательных значений прозрачности для каждого пикселя. Так модель может уточнить исходную альфа-маску переднего плана и точно извлечь очень мелкие детали. Эта архитектура нейросети эффективно работает на Pixel 6 с использованием Tensorflow Lite. Также ML-модель использует разнообразные обучающие наборы данных, которые охватывают широкий спектр оттенков кожи и причесок.
https://ai.googleblog.com/2022/01/accurate-alpha-matting-for-portrait.html

🍏Clustimage – Python-библиотека для кластеризации изображений
Кластеризация без учителя при распознавании изображений — это многоэтапный процесс. Он включает предварительную обработку, извлечение признаков, кластеризацию по сходству и оценку оптимального количества кластеров с использованием меры качества. Все эти шаги реализуются в Python-пакете Clustimage, которому в качестве входных данных нужны только пути или необработанные значения пикселей.
Цель clustimage – обнаружить естественные группы или кластеры изображений, используя методы ilhouette, dbindex и их производные, в сочетании с методами кластеризации (agglomerative, kmeans, dbscan и hdbscan). Clustimage помогает определить наиболее надежную кластеризацию путем эффективного поиска по параметру и оценки кластеров. Кроме кластеризации изображений, модель также можно использовать для поиска наиболее похожих изображений для новой невидимой выборки.
Чтобы попробовать эту библиотеку c открытым кодом (https://github.com/erdogant/clustimage), ее сперва надо установить: pip install clustimage, затем импортировать пакет в свой проект: from clustimage import Clustimage.
Пример с объяснениями смотрите здесь: https://towardsdatascience.com/a-step-by-step-guide-for-clustering-images-4b45f9906128

Бесплатный онлайн-митап «Как создаются роботы. Мультиагентная архитектура и фреймворки построения нейронных сетей» 🤖

24 февраля, 19:00 (Мск, GMT+3)

На следующей неделе при нашей поддержке пройдет онлайн-митап от РТЛабс — команды, которая разрабатывает портал и мобильное приложение «Госуслуги», Единую систему идентификации и аутентификации и другие сервисы электронного правительства. Вас ждут два доклада на тему машинного обучения и виртуальных помощников, а также круглый стол со спикерами митапа.

В программе:
– Никита Устриков и Юрий Миронов, «Эволюция робота Макса: от виджета до высоконагруженной мультиагентной системы».
– Андрей Татаринов, «Чат-боты. Бесплатно и без смс».
– Круглый стол «Роботы на службе человечества: как сделать ассистента, который реально полезен».

Кроме того, вы сможете поучаствовать в Zoom-дискуссии и розыгрышах призов.

Регистрируйтесь и присоединяйтесь по ссылке.

👍🏻Не любите документировать код? Предоставьте это ИИ!
AI Doc Writer – это расширение VS Code, которое документирует код с использованием ИИ. Достаточно просто выбрать в среде разработки нужные строки кода и нажать Cmd/Ctrl +. AI Doc Writer создаст краткое описание каждой функции и параметров. Инструмент от Microsoft (https://marketplace.visualstudio.com/items?itemName=mintlify.document) поддерживает языки Python, JavaScript, TypeScript, PHP и Java, а также JSX и TSX файлы. Разумеется, это нельзя назвать программной документацией в том виде, как ее понимает Заказчик, однако, наличие понятных комментариев делает код поддерживаемым и читабельным. Посмотреть примеры: https://betterprogramming.pub/too-lazy-to-write-documentation-let-the-ai-write-it-for-you-8574f7cd11b2

📝ИИ-разработчик: AlphaCode от DeepMind
AI-система AlphaCode пишет компьютерные программы на конкурентоспособном уровне: она вошла в число 54% лучших участников соревнований по программированию, решая новые задачи, требующие сочетания критического мышления, логики, алгоритмов, кодирования и понимания естественного языка.
Эта языковая трансформерная модель содержит 41,4 миллиарда параметров, что в четыре раза больше Codex. AlphaCode обучена 715,1 Гб кодов и их описаний из общедоступных репозиториях GitHub на языках программирования C++, C#, Go, Java, JavaScript, Lua, PHP, Python, Ruby, Rust, Scala и TypeScript.
https://www.deepmind.com/blog/article/Competitive-programming-with-AlphaCode

📆 28 февраля в 19:00 МСК состоится очередная онлайн встреча Citymobil Data Meetup!

В этот раз мы решили не звать гостей, поскольку в Ситимобил происходит очень много всего. Расскажем об этом)

🚖 Ольга Цветкова аналитик данных Ситимобил выступит с докладом «Сбор и валидация субъективных данных на примере заказов по пути домой»
Ольга расскажет об инструментах, с помощью которых можно собирать субъективные данные о том, как избавляться от человеческого фактора в полученной выборке с помощью semi – supervised learning. Затем покажет результаты на реальном кейсе.

🚖 Даниил Казанцев специалист по машинному обучению и анализу данных Ситимобил выступит с докладом «Антифрод на рынке такси. Определение мошеннических действий через анализ связности графа поездок»
Даниил ответит на такие вопросы:
🚕 Как мошенники могут заработать на рынке такси?
🚕 Что такое фрод в такси и как его найти?
🚕 Как в Ситимобил создаются модели, определяющие мошеннические действия, и правила, сокращающие нам объем фрода?
🚕 Как определять качество таких моделей и делать масштабируемые решения?
Также будет рассмотрен полный путь создания конкретного правила, использующего алгоритмы кластеризации на графах. И еще некоторые интересные вопросы будут затронуты в этом докладе.

Ведущий Алексей Чернобровов Head of Data Science Ситимобил

После докладов будет сессия Q&A

Регистрация для бесплатного участия https://bit.ly/3GLJTyj

🔥Спрятать от посторонних пикантное фото? Легко с Nudity Detection API!
Python-программа от DeepAI (https://deepai.org/machine-learning-model/nsfw-detector)
оценивает изображение и определяет вероятность того, что оно содержит обнаженные участки человеческого тела, которые обычно принято скрывать под одеждой. Поскольку нагота — это динамическая метка, алгоритм возвращает истинное или ложное процентное значение. Пользователь может установить разный порог в своем приложении, что считается наготой, а алгоритм распознавания изображений вернет процент вероятности, что картинка содержит обнаженную натуру. Эта ML-система применима не только к фото, но и к видео: нейросети анализируют видеопоток и выдают вероятностную оценку «взрослости» визуального контента.
Пример использования API смотрите здесь: https://medium.com/mlearning-ai/i-tried-a-python-nude-detector-with-my-photo-446dba1bbfc8

😎3 API ML-сервисов для распознавания лиц: выбирайте то, что нужно
• API IBM Watson Visual Recognition для идентификации сцен, объектов и лиц на изображениях, загружаемых в сервис. Может обрабатывать неструктурированные данные в большом объеме и подходит в качестве системы поддержки принятия решений. Но дорог в техническом обслуживании и не обрабатывает структурированные данные напрямую. Метод распознавания лиц не поддерживает общее биометрическое распознавание, а максимальный размер изображения составляет 10 МБ с минимальной рекомендуемой плотностью 32x32 пикселя на дюйм. Походит для классификации изображений с помощью встроенных классификаторов, позволяет создавать собственные классификаторы и обучать ML-модели. https://www.ibm.com/watson
• API распознавания лиц Kairos позволяет разработчикам ML-приложений добавлять в них возможности распознавания лиц, написав всего несколько строк кода. Kairos Face Recognition API показывает высокую точность в реальных сценариях и хорошо работает в условиях низкой освещенности, а также частичного скрытия лица. Применяет этический подход к идентификации лиц, учитывая разнообразие. Это расширяемый инструмент: пользователи могут применять дополнительные интеллектуальные функции для работы с видео и фото в реальном мире. Подходит для работы с большими объемами изображений и обеспечивает конфиденциальность за счет безопасного хранения собранных данных и регулярного аудита. Однако, поддерживает только типы файлов BMP, JPG и PNG, файлы GIF не поддерживаются. В работе немного медленнее, чем API AWS. https://www.kairos.com/docs/getting-started-with-kairos-face-recognition
• API компьютерного зрения Майкрософт в Azure предоставляет разработчикам доступ к расширенным алгоритмам обработки изображений. После загрузки изображения или указания его URL-адреса алгоритмы Microsoft Computer Vision анализируют его визуальное содержимое различными способами в зависимости от пользовательского выбора. Дополнительным преимуществом этого быстрого API является наглядные руководства, учебные пособия и примеры. Высокий уровень SLA гарантирует доступность не менее 99,9 % времени. Благодаря тесной интеграции с другими облачными сервисами Microsoft Azure, API можно упаковать в комплексное решение. Но при превышении лимита транзакций в секунду, время отклика будет сокращено до согласованного предела. Модель ценообразования зависит от спроса, поэтому сервис может оказаться дорогим, если количество запросов резко возрастает. Microsoft Computer Vision API отлично подходит для классификации изображений с объектами, живыми существами, декорациями и действиями, включая их идентификацию, категоризацию и тегирование изображений. Поддерживает распознавание лиц, настроения, возраста и сцен, оптическое распознавание символов для обнаружения текстового содержимого в изображениях. Также обеспечивает интеллектуальное управление фотографиями и ограничение показа модерируемого контента. https://azure.microsoft.com/en-us/services/cognitive-services/computer-vision/