😢 Не было бы так смешно, если бы не было так грустно

До сих пор вертишь ручки алгоритмов ML без глубокого понимания их принципов и математики?

👉 Проходите тестирование по ML и получайте бесплатные рекомендации по прокачке навыков по книгам и доступным на рынке курсам.

Автор находки: Денис С.
// выпускник практических курсов BigData Team

BigData Team: the way you learn best
Py4BDA | Python | Machine Learning | Big Data | BD/ML Engineer

#meme

✍️ Подготовка к собеседованиям: от Junior до Middle+
рубрика pro #bigdata

Подготовили резюме тем и полезных вопросов по теме работы в Big Data (профессия Data Engineer):
— ч.1 Гарантии в IT проектах
— ч.2 Функциональная парадигма и Fault Tolerance
— ч.3 Spark MapReduce vs Hadoop MapReduce
— ч.4 Hive, оптимизация вычислений и хранения данных
— ч.5 Spark, RDD, типы кешей и оптимизации
— ч.6 Spark vs pandas, SQL, DataFrames и PySpark оптимизации
— ч.7 Косые данные, оптимизации группировок и shuffle
— ч.8 Real-Time vs NRT, брокеры сообщений и почему Kafka
— ч.9 NoSQL, CAP теорема, кольцо всевластия и денормализация
— ч.10 Parquet, ORC, сжатие и эффективная укладка данных

Изучить можно в рамках:
👉 Практического курса по Big Data

Полезная информация

✍️ Сохраните и подпишитесь, если хотите быть востребованным в IT
✍️ Переносим механику с последней публикации на пост-резюме: когда данная публикация наберет 1k+ просмотров, 25+ лайков или 10+ комментариев, то мы дополнительно выложим чек-лист по подготовке к собеседованиям на позицию Data Engineer. Доступ к знаниям — в ваших руках.

BigData Team: the way you learn best
Py4BDA | Python | Machine Learning | Big Data | BD/ML Engineer

#study #BigDataTeam

👨‍🎓 Преподаватели по ML be like... (часть 3)

Продолжим рубрику:

Если ваши преподаватели объясняют работу алгоритмов по ML по-другому, то даже и не зовите меня на ваши курсы.

🗓 27 апреля начнется интенсив по погружению в нейронные сети и Deep Learning, где Илья из науки и Илья из индустрии расскажут наглядно и понятно про LLM, их использование, обучение и fine-tuning под ваши задачи.

Сохраните полезное:
— записаться на Практический курс по Machine Learning
— пройти тестирование по ML
— узнать про наших преподавателей
Остались вопросы? Напишите нам в [WA / TG]

BigData Team: the way you learn best
Py4BDA | Python | Machine Learning | Big Data | BD/ML Engineer

#meme

✍️ Готовимся к работе в Data Science, pro #ml (ч.1)

Если вы готовы погрузиться в мир Machine Learning, научиться делать не только fit/predict, но и писать исправлять код ИИ-агентов для решения поставленных перед вами задач в мире анализа данных, то усаживайтесь поудобнее, подписывайтесь на канал (чтобы не пропустить новые выпуски) и запасайте несколько часов в неделю в вашем графике для изучения полезного.

Знакомство с библиотеками ML для Python мы начнем с научного подхода для работы с векторами и матрицами. Если звучит страшно – не переживайте, нам главное научить этого зверя работать по заданному нами шаблону и понимать его реакции.

Многие ругают Python за его скорость, но несмотря на это, он все равно прекрасно себя чувствует в мире ML и разработки. Фокус в том, что можно использовать оптимизированные вычисления на C/C++ (или даже Fortran), а на Python использовать только обертку для интеграции.

Почти наверняка вы слышали или уже работали с библиотекой pandas (Excel в мире Python для работы с табличными данными). Или использовали предобученные нейронные сети (например, популярные LLM, утащенные с Hugging Face). Каждый из этих подходов под капотом будет использовать операции по работе с тензорами и этот подход отличается от привычного в Python подхода работы со списками (банально отличаются сложения и "broadcasting"). Даже если вы будете писать верхнеуровневый код, для поиска багов и их исправления вам нужно научиться работать с этими принципами.

Рекомендуем потратить несколько часов, чтобы этому научиться на примере библиотеки NumPy (которая используется под капотом pandas): the absolute basics for beginners.

И это только одна из 6 библиотек, которые мы разбираем в первом учебном модуле Практического курса по Machine Learning.
Список авторов и инструкторов курса.

Автор 1-го модуля "Введение в машинное обучение и библиотеки ML для Python" — Алексей Драль.

✍️ Сохраните и подпишитесь, если хотите быть востребованным в IT.

BigData Team: the way you learn best
Py4BDA | Python | Machine Learning | Big Data | BD/ML Engineer

#study #BigDataTeam

🎱🧙 Почему специалисты по DE нужны больше, чем DS

История в картинках: когда хотел стать Data Scientist'ом, но стал Data Engineer'ом.

Знакомо? Ставьте лайк и заходите в комментарии.

Желаем всем чистых данных и хороших выходных!

BigData Team: the way you learn best
Py4BDA | Python | Machine Learning | Big Data | BD/ML Engineer

#meme

✍️ Готовимся к работе в Data Science, pro #ml (ч.2)

Тема выпуска: базовые принципы ML и простые алгоритмы обучения.

Если пробежаться галопом по Европе, то после того, как вы освоили базовые операции в библиотеках numpy, pandas, sklearn и смогли сделать свою первую учебную посылку в соревновании на kaggle, то можно переходить на более глубокий уровень понимания происходящего. Это непосредственно сами алгоритмы (математика) и инженерная чуйка (практика использования).

Вам необходимо познакомиться с различными семействами алгоритмов и понять интуицию их работы:
1. Метрические алгоритмы (e.g. kNN)
2. Логические алгоритмы (e.g. деревья)
3. Вероятностные алгоритмы (e.g. Naive Bayes)
4. Линейные модели и их расширения

С точки зрения математики вам нужно понять, что именно делает процедура кросс-валидации (подсказка #1: не все это понимают; подсказка #2: но мы вам можем объяснить доступным языком на занятиях, что такое оценка математического ожидания эмпирического риска 🤯).

Вишенкой на торте (и вашей отличительной чертой в портфолио) может стать опыт использования и глубокого понимания полезных трюков для получения качественных моделей машинного обучения (см. скриншот). Очень простой и мощный подход, называемый Learning Curves (кривые обучения), на удивление, довольно малоизвестен. Чтобы получить теорию и практический опыт по этой части мы рекомендуем посмотреть mini-tutorial от sklearn: Plotting Learning Curves and Checking Models’ Scalability.

А для закрепления понимания, научиться отвечать и дискутировать на вопросы:

Что нужно делать (и нужно ли), когда:
1. Ошибка на обучении высокая?
2. Ошибка на обучении низкая?
3. Ошибка на обучении немного ниже, чем на тесте?
4. Ошибка на обучении существенно ниже, чем на тесте?

С уважением, Алексей, Кирилл, Эмели — авторы 2-го учебного модуля "Базовые принципы ML и простые алгоритмы обучения" и ваши инструкторы Практического курса по Machine Learning.

Полезная информация

Прошлые выпуски:
— ч.1 введение в ML и библиотеки ML для Python

✍️ Сохраните и подпишитесь, если хотите быть востребованным в IT

BigData Team: the way you learn best
Py4BDA | Python | Machine Learning | Big Data | BD/ML Engineer

#study #BigDataTeam

🤓 Хочешь научиться проходить собеседования по ML?

Учим не повторять, а думать. Закрепляем необходимые концепты из мира ML не только теоретическими задачами, но и понятными практическими примерами.

Один из полезных вопросов для подготовки к собеседованиям (на изображении): приведите примеры алгоритмов машинного обучения и природы данных (можно даже датасетов, с которыми вам приходилось работать), для которых указанная замена пропусков в данных вредна, полезна или бессмысленна?

Практический курс по Machine Learning:
— выучиться на специалиста по Machine Learning
— пройти тестирование по ML
— узнать про наших преподавателей

BigData Team: the way you learn best
Py4BDA | Python | Machine Learning | Big Data | BD/ML Engineer

#meme

😅 А что? Все правильно сделал

👉 Если не понимаете шутку, то вы знаете куда идти.
🤗 Всем хороших выходных и прекрасного настроения!

BigData Team: the way you learn best
Py4BDA | Python | Machine Learning | Big Data | BD/ML Engineer

#meme