Статья написана по мотивам работы "Forecasting SQL Query Cost at Twitter", 2021 («Прогнозирование стоимости SQL-запросов в Twitter»), представленной на IX Международной конференции IEEE по облачной инженерии (IC2E). Обзор Команда Interactive Query в Twitter…

Как быть уверенным в своих рабочих процессах, конвейер за конвейером В преддверии старта онлайн-курса "Data Engineer" подготовили перевод материала. Если вы начинающий дата-инженер, вот несколько...

Data Science – область очень перспективная . За прошлый год мы в ЕРАМ получили 210 резюме от людей, которые хотят заниматься Data Science. Из них на техническое интервью мы пригласили 43 человека, а...

Введение Для обучения моделей ML необходимо множество размеченных данных. Хотя это не всегда обязательно, но иногда вам приходится самостоятельно размечать данные для обучения модели. Процесс аннотирования данных в проекте ML — это важная и затратная по времени…

В настоящее время, в сфере анализа данных и BI, уже не возможно не встретить такое понятия как DATA VAULT. Однако, на мой взгляд, есть некоторый недостаток информации по этой теме, особенно в русскоязычном сегменте интернета. Можно найти интересные статьи…

Страховому агенту нужно около часа, чтобы оценить и описать повреждения авто после аварии. Осмотреть каждую деталь, оформить документы. А если посчитать время на дорогу, то оценка и вовсе затянется на полдня.  Нейросеть же справляется за 30 секунд. 29 из…

Перевод подготовлен в рамках курса " Machine Learning. Professional ". Также приглашаем всех желающих принять участие в двухдневном онлайн-интенсиве «Деплой ML модели: от грязного кода в ноутбуке к...

Рассказываем про опыт участия команды Napoleon IT под кодовым названием Night-stress-testing в хакатоне "Цифровой прорыв" и решение кейса от республики Тыва по детекции источников лесных пожаров.  В Napoleon IT есть идейный генератор и любитель хакатонов…

Всем привет! В недавней статье мы рассказали, как мы шли к построению нашей Data Platform. Сегодня хотелось бы глубже погрузиться в «желудок» нашей платформы и попутно рассказать вам о том, как мы...

Human-in-the-loop AI — это технология автоматизации, устраняющая многие проблемы разработки и внедрения машинного обучения. Большинство проектов создания ИИ завершается провалом. 80% никогда не доберётся до стадии внедрения. Ещё большее количество никогда…

Про colab знают, наверное, все. Этот инструмент позволяет независимым исследователям использовать облачную инфраструктуру с GPU и TPU бесплатно или почти бесплатно. Как всегда, проблемы возникают на больших данных. Если ваш датасэт лежит в google drive (он…

Data science, big data, машинное обучение – вы наверняка слышали эти громкие слова, но насколько понятным был для вас их смысл? Для кого-то они являются красивыми маркетинговыми приманками. Кто-то думает, что data science – это магия, которая бесплатно заставит…

Привет, чемпион! Возможно, перед тобой сейчас стоит задача построить предиктивную модель, или ты просто фармишь Kaggle, и тебе не хватает идей, тогда эта статья будет тебе полезна! Наверное, уже только ленивый не слышал про Data Science и то, как модели машинного…

Прежде чем стать достоянием общества, беспилотные автомобили, роботы и автономные системы должны обеспечить высокий уровень восприятия и понимания окружающего их мира. Как же достичь этого уровня? Сегодня мы реализуем его при помощи компьютерного зрения,…

В общих чертах рассмотрим два подхода к анализу и обработке данных — обучение контролируемое (с учителем) и неконтролируемое (без учителя). Основная разница в том, что в первом случае используются...

В обзоре представлены краткие руководства по библиотекам Data Science и в частности Machine Learning для популярных языков. Список: 1. Keras Source: https://github.com/kailashahirwar/cheatsheets-ai/blob/master/PDFs/Keras.pdf 2. Numpy Source: https://gith…

В октябре 2020 года Cloudera приобрела компанию Eventador, а в начале 2021 года был выпущен продукт Cloudera Streaming Analytics (CSA) 1.3.0. Это был первый релиз, который включал в себя SQL Stream Builder (SSB), полученный в результате интеграции наработок…

Машинное обучение выходит из зоны хайпа. И сложно однозначно сказать насколько это хорошо или плохо, но что совершенно точно видно - все больше людей задаются во...