​Для анализа данных и машинного обучения требуется много данных. Но где их взять? Рассказываем

Конечно же, можно было бы собрать их самостоятельно. Но это долго, дорого, а иногда и вообще невозможно. А тем временем, есть огромное количество открытых датасетов по самым разным категориям, о которых вы могли не знать. Некоторыми из них открыто делятся госструктуры, банки, международные организации и крупные компании. Более того, для их поиска уже давно разработали удобные инструменты.

В статье рассказываем о лучших местах для поиска качественных датасетов: tproger.ru/translations/the-best-datasets-for-machine-learning-and-data-science/

#datascience #ml

ИИ научили боксировать за неделю — для ИИ прошло миллиард лет симуляции

Я не боюсь ИИ, который знает миллиард ударов. Я боюсь ИИ, который тренирует 1 удар миллиард лет.

Интересно, что всё, что «видел» алгоритм перед стартом обучения, это 90 секунд данных захвата движения. И хотя результаты всё равно пока оставляют желать лучшего, эти наработки могут пригодиться для более точной тренировки роботов с помощью машинного обучения. Или, как минимум, для создания новых интересных механик в играх.

#ии #ml

​Вот уж действительно проблема уровня искусственного интеллекта — новый робот-пылесос использует ML и ИИ, чтобы не наезжать на фекалии домашних животных

Смех смехом, а время показало, что для роботов-пылесосов это действительно большая проблема, которую с трудом удавалось решить без применения высоких технологий. Конечно, специальная камера, куча вспомогательного ПО и нейронка на борту понадобилось не только для этого. Так, с помощью машинного обучения и искусственного интеллекта в робот-пылесос удалось добавить целый комбайн для отслеживания и обработки неожиданных препятствий.

Но именно эта функциональность стала ключевым моментом в официальном релизе устройства. Директор компании iRobot заявил, что гарантирует безукоризненную работу фичи в сравнении с конкурентами. А его обещание даже назвали «POOP» — Pet Owner Official Promise.

#кек #ии #ml

В блоге TensorFlow поделились интересным инструментом для 3D-трекинга тела и лица прямо в браузере

Он реализован с помощью MediaPipe BlazePose GHUM и TensorFlow. И его можно использовать в своем проекте через API: https://tprg.ru/tT2C

А потрогать уже работающий трекинг можно по ссылке: https://tprg.ru/Q4hk

#ml #tensorflow #веб

​Насколько хорошо нужно знать математику алгоритмы и программирование тому, кто хочет шарить в машинном обучении?

Спросили у экспертов, какие навыки нужны ML-специалисту, чтобы писать что-то серьёзнее, чем if-else:

https://tproger.ru/experts/required-ml-skills/

#ml #эксперты

​Google опубликовала исследование с тенденциями в мире машинного обучения года

Из хороших новостей стоит отметить, что эффективность обучения в целом повышается, ML становится полезнее и люди стали лучше понимать ИИ. Правда, когда уже ИИ заменит кожаных, в исследовании не сообщается.

Будет интересно почитать людям, близким к ML и ИИ. А также просто чтобы убедиться, что это все эти ваши нейросети — не игрушки, интерес к которым скоро утихнет. А мощный инструмент, который сильно интегрировался в повседневную жизнь человека:

https://russia.googleblog.com/2022/01/google-2021.html

#тренды #ml

MediaPipe — фреймворк от Google, использующий технологии машинного обучения для распознавания объектов в режиме реального времени

Способен распознавать глаза, лица, руки, волосы и позы как по отдельности, так и вместе в режиме "Holistic". Работа с объектами возможна в 2D и 3D, в отдельных режимах положение объектов можно зафиксировать при движении камеры или дублировать их с помощью паттернов. Распознавание движений пригодится для работы с AR.

Подробнее о том, как его установить и использовать, по ссылке: https://github.com/google/mediapipe

#ml

​Как разобраться в машинном обучении без сложных формул, теорем и сказках о волшебных дата-сайентистах?

Статьи о машинном обучении делятся на два типа: это либо трёхтомники с формулами и теоремами, которые сложно дочитать даже до середины, либо сказки об искусственном интеллекте, профессиях будущего и волшебных дата-саентистах. Но что делать тем, кто хочет наконец разобраться в машинном обучении простым языком, без формул-теорем, с примерами реальных задач и их решений?

Специально для таких людей есть огромный лонгрид. И хотя Вастрик написал его ещё 4 года назад, он до сих пор не потерял актуальности.

Так что если ещё не видели, советуем к прочтению: https://vas3k.ru/blog/machine_learning/

#ml #начинающим

​​Подборка полезных материалов для уверенного старта в Data Science

— Курс по машинному обучению от ШАД Яндекса
— Курс по анализу данных и нейросетям на Python от Computer Science Center (часть 1)
— Курс по анализу данных и нейросетям на Python от Computer Science Center (часть 2)
— Самый знаменитый курс по нейронным сетям CS231n от университета Stanford
— Стартовые библиотеки для анализа данных и ML на Python (Pandas, NumPy, TensorFlow)
— Полный курс по искусственному интеллекту CS221 от университета Stanford
— Лучшие датасеты для машинного обучения и анализа данных
— Полный курс по ML на языке R

#начинающим #datascience #нейросети #ml

​Сегодня новости о прорывах ИИ, нейросетей и машинного обучения появляются чуть ли не каждый день. И их стало уже столько много, что сложно выцепить главное. Чтобы вам было легче сориентировться, собрали топ-5 самых важных новостей из мира Data Science с комментариями эксперта: https://tproger.ru/articles/top-5-novostej-iz-mira-data-science-dajdzhest-mts/

Картинку, кстати, сгенерировала нейросеть ruDALL-E Malevich по запросу «Иллюстрация для поста Типичный программист» — писали о ней раньше.

#datascience #нейросети #ml #эксперты

​Годнота для начинающих ML-специалистов: курс по машинному обучению от Стэнфордского университета

Курс рассчитан на 11 недель обучения, так что придётся запастись терпением. Тем не менее, это действительно стоящий курс от университета, выпускники которого основали HP, Nvidia, Yahoo!, TSMC, Google и множество других технологических корпораций.

Курс доступен бесплатно и с русскими субтитрами: https://www.coursera.org/learn/machine-learning#syllabus

#курсы #ml

​Нетривиальная задачка для программистов про маркетплейс

Представьте, что вы — разработчик маркетплейса. У вас есть 2 миллиона товаров от продавцов из разных стран. Вам нужно сравнить товары от разных продавцов, распределить по категориям и попасть в ожидания покупателя.

Решение: https://tprg.ru/TyLI

#задачки #ml #нейросети

​Как сэкономить 5 млн рублей в месяц на техподдержке с помощью машинного обучения?

Типичного сотрудник технической поддержки — многозадачный человек, который в пике загрузки разрывается между письмами в почте, звонками на телефоне и заявками в service desk.

И когда дело доходит до тысяч сотрудников, а количество обращений переваливается за сотни тысяч, любой бизнес задумывается, как разгрузить специалиста, освободить его время для более сложных и интересных задач, и вместе с тем снизить затраты на обработку обращений.

Интересная статья, в которой на реальном примере показали, как внедрить машинное обучение для службы поддержки с миллионом обращений в месяц: https://tproger.ru/articles/mashinnoe-obuchenie-sjekonomilo-5-mln-rublej-v-mesjac-na-tehpodderzhke/

#ml

​Как готовиться к собеседованиям на Machine Learning Engineer?

Инервью на ML-инженера — это не только решать карточки с литкода. Есть много интересных этапов, которые также часто встречаются на собеседованиях. Вам нужно будет уметь пояснить за Machine Learning System Design, ответить на вопросы по теории, найти и исправить ошибки в коде и просто пообщаться за жизнь и сходить в бар.

Ибрагим прошёл кучу собеседований на позицию ML-инженера и получил несколько офферов от компаний в Европе, стартапов из Англии и Азии, и Яндекса. В статье он рассказывает, на что обратить внимание при подготовке. И делится полезными материалами, которые ему помогли:

https://tproger.ru/articles/kak-gotovitsja-k-sobesedovanijam-na-machine-learning-engineer/

#ml #собеседование

​Как устроена RecTools — OpenSource–библиотека для рекомендательных систем

В этой статье мы рассмотрим открытую библиотеку RecTools для рекомендательных систем, позволяющую разработчикам и исследователям создавать эффективные алгоритмы машинного обучения.

Рассказываем о достоинствах и недостатках RecTools и как она может быть использована в ваших проектах: https://tprg.ru/A0hZ

#python #ml

​Почему ChatGPT «врёт»?

Почему нейросетевые языковые модели вроде ChatGPT порой выдают ложные факты, легко принимают на веру то, в чём их убеждает пользователь, и что с этим делает бизнес, использующий нейросети?

Спросили об этом у экспертов по ML: https://tprg.ru/4EQa

#ml #нейросети

​В чём разница между дата-аналитиком и ML-инженером?

Разбираем обязанности вместе с реальными специалистами: https://tprg.ru/KmMS

#datascience #ml

​Посмотрите, какой алмаз мы для вас нашли: интерактивная визуализация устройства нейросетей

Сделано очень качественно. Всё объясняют по порядку от структуры, вычислительных узлов до «нейронов» и «слоёв». Гифки на высшем уровне, а объяснения очень доступные, хоть и на английском. Сохраните себе, чтобы не потерять: https://mlu-explain.github.io/neural-networks/

Кстати, если интересуетесь нейросетями, обязательно подпишитесь на тему «Нейросети». Так вы точно не пропустите самые свежие материалы из мира нейросетей: https://tproger.ru/tag/neural-network/

#ml #нейросети #инструменты

​Совместимы ли завод и современный IT?

В статье айтишники рассказывают, как придумали внедрить ML для решения рабочих задач завода. И про то, что из этого вышло: https://habr.com/ru/companies/omk-it/articles/770786/

#ml