🚨АНОНС DS-КВИЗА🚨

👉Дорогие подписчики, всей командой SCiDS с радостью готовы сообщить Вам о запуске квиза по Data Science!

Что вас ждёт:
- Возможность бесплатно получить одну из книг по Data Science (см. ниже) и в добавок консультацию от админа-канала - Ромы Васильева
- Каверзные вопросы и задачки, от которых закипит ваш процессор, разделенные на три секции: Python, Machine Learning, Deep Learning
- Возможность понять свой технический уровень по основным темам в Data Science

Формат:
📅 Длительность: 1 неделя (начало завтра)
📚 Темы: Python, Machine Learning, Deep Learning
📝 3 поста по каждой теме (всего 15 вопросов)

Как участвовать:
1️⃣ Следите за постами в течение недели
2️⃣ Для участия достаточно ответить на вопросы хотя бы в рамках одного квиза из трех
3️⃣ Ответы опубликуй в комментариях под постом
4️⃣ Готово! Вы в танцах игре!

Выбор победителей и призы:
🎲 2 счастливчика будут выбраны случайным образом - победить сможет каждый!
🔝И ещё один победитель будет выбран по максимальному количеству набранных очков
📘 Каждый из победителей фиксировано получит одну из книг по Data Science:
1. "Практическая статистика для специалистов Data Science"
2. "Грокаем глубокое обучение"
3. "Математические основы Машинного обучения"

👨‍🏫 А финалист, набравший наибольшее количество очков, также в подарок получит персональную консультацию от админа канала Ромы Васильева

🏆Даже одно решение может принести вам победу, поэтому не упускайте шанс поучаствовать!
Ставьте лайки❤️ и огоньки🔥 если ждете начала!

🔥Квиз №1 по «Python»🔥

📢Правила следующие:

◽️Квиз содержит 5 каверзных вопросов по Python, которые также часто можно встретить на собеседованиях
◽️Верные ответы будут прикреплены в комментариях под постом через 24 часа после его публикации
◽️Свои ответы оставляйте также под постом
◽️Ответ засчитывается при схожести с нашими заготовленными ответами
◽️Мы также учитываем скорость ответа: более ранний ответ будет иметь больший вес, если мы столкнёмся с одинаковым количеством верных ответов нескольких участников
◽️В комментариях также будут добавлены ссылки на материалы, с которыми можно будет ознакомиться, чтобы лучше разобраться в вопросах

🐍Начнем!

1. Можно ли извлечь элемент генератора по индексу?

2. Как создать tuple с одним элементом?

3. В чем разница между оператором «is» и оператором равенства «==»?

4. Что лучше «import module» или «from module import»?

5. Как передать в функцию декоратора аргументы?

Ставьте ❤️ и 🔥, если понравились вопросы!

👇Участвуйте в опросе и пишите свои варианты в комментариях!
⌚️Совсем скоро мы опубликуем правильные ответы!

🔥Квиз №2 по «Data Science и Machine Learning»🔥

💯Рады сообщить, что сегодня запускаем вторую часть нашего квиза с вопросами на понимание ключевых концепций Data Science и Machine Learning!
👆Первую часть квиза вы можете найти тут

☑️Основные правила остаются теми же, а мы приступаем к вопросам!

1. Можно ли использовать accuracy, recall или precision как функцию потерь? И если да/нет, то почему?
2. Каким способом можно любое распределение превратить в нормальное?
3. После обучения Random Forest и Gradient Boosting только на положительных величинах, на тестовом примере модель выдала отрицательный прогноз. Возможно ли это? Если да, то с какой моделью и почему?
4. Существуют ли ситуации, когда cross-validation не будет работать?
5. Возможно ли, что при уменьшении CrossEntropy (функция потерь) accuracy (метрика качества) тоже уменьшится? Приведите пример, если это возможно.

❗️Напоминаем, что у вас есть возможность написать свои ответы в течении ближайших 24 часов под постом в комментариях

🤗А мы ждём ваши решения!
Ставьте обязательно ❤️ и 🔥 за интересные вопросы

🔥 ТОП-10 вопросов из собеседований по NLP

🔎 Знание основ NLP и умение работать с LLM становятся ключевыми навыками для Data Scientistа и ML-Engineerа.
Рынок труда активно требует опытных специалистов в этой области, и чтобы чувствовать себя уверенно на собеседовании, мы подготовили список основных вопросов на подобных секциях и готовы поделиться им с вами!
❗️К каждому вопросу прилагаются полезные ресурсы для углубления знаний по данной теме.

1. Что такое Tf-IDF и как он работает?
2. Как обучается word2vec?
3. Какие виды токенизаторов есть и как они обучаются? Как оценить качество токенизатора?
4. Для чего используется позиционная кодировка, почему мы не можем просто кодировать индексами токенов?
5. Основное отличие BERT и GPT моделей?
6. Как можно решить проблему галлюцинаций в LLM?
7. Можно ли подать модели с входным контекстом 8к токенов последовательность с 32к токенами? Что произойдет?
8. Сравни вычислительную сложность у RNN/LSTM и Attention блоков в трансформерах?
9. Как можно оптимизировать расчет attention-оценок в трансформерах? Какие есть подходы?
10. Какие есть гиперпараметры генерации в GPT моделях?

📚Дополнительные ресурсы для лучшей подготовке к собеседованиям по NLP и LLM:

▫️Русский курс по NLP от Hugging Face с самого нуля.
▫️Также отличный курс от Лены Войты по базовым концепциям NLP.
▫️Онлайн-ресурс с объяснением ключевых терминов и того, что сейчас используется в индустрии, начиная с базовых вещей.
▫️100 вопросов и ответов для интервью по NLP
▫️Топ-50 вопросов из собеседований по NLP
▫️Вопросы по NLP 2024 года

Ставьте лайки❤️ и огоньки🔥
Обязательно пишите комментарии под постом и добавляйте свои варианты вопросов из собеседований!
До встречи👋🏻

💯 Встречайте вопросы третьего квиза по «Deep Learning»

❗️В рамках текущей серии постов квизов больше не будет.
🏆 Воспользуйтесь последним шансом, ответив на вопросы, чтобы получить возможность выиграть призы

⬆️ Посты с вопросами на первый и второй квизы

🪄А мы приступаем к тематическим вопросам, связанные с «Deep Learning»:

1. Чем отличаются виды нормализации в нейронных сетях: BatchNorm, LayerNorm, RMSNorm?
2. Как работает Dropout при инференсе?
3. Какие существуют способы инициализации весов в нейронной сети?
4. Как хитро можно решить задачу multilabels в нейронных сетях?
5. Какие существуют способы решения проблемы затухания градиента?


👇Ждём ваших ответов под постом!
Также награждайте нас ❤️ и 🔥 за интересные вопросы!

🚨ИТОГИ DS-КВИЗА🚨

🔥🏆 Дорогие подписчики, рады сообщить об окончании квиза в нашем канале и поздравить участников и победителей этого небольшого соревнования!

Результаты получились следующие:
*Мы немного изменили правила, победителей будет больше! Вы молодцы!

🥇 Шесть финалистов:

▫️По набранным баллам:
1. @RCinderblock
2. @LoneD1gger
3. @IlyaZakharov8
4. @pilnen

▫️Выбранные рандомайзером:
5. @al_bratkov
6. @sprflv
Получают в подарок книги!

🏆 Один победитель:
@IlyaZakharov8 получает персональную консультацию от админа-канала - Ромы Васильева!

💬 Ребята, мы придем ко всем в личку в ближайшее время, просьба открыть доступы

🫶 Спасибо всем участникам за активные ответы!
🧠 Надеемся вам было полезно и вы узнали много нового

Ставьте ❤️, если было интересно и 🔥, если нужны ещё подобные активности в канале!
🚀 Победители и все участники принимают поздравления в комментариях

✏️ Подборка актуальных стажировок по анализу данных на осень 2024

🔹 Young&Yandex
Сроки подачи заявки: набор идет круглый год
Особые условия: скорее всего не будет удалёнки, стажировку можно пройти в офисах Яндекса в Москве, Санкт-Петербурге, Екатеринбурге, Сочи, Новосибирске и Нижнем Новгороде

🔹 Ozon Camp
Сроки подачи заявки: набор откроется осенью 2024
Особые условия: кроме скрининга и тестового, нужно написать мотивационное письмо, локация - Москва

🔹 WB техношкола, курс-стажировка по направлению Дата Сайенс от Wildberries
Сроки подачи заявки: набор открыт
Особые условия: неоплачиваемая стажировка, 3 месяца. Лучших студентов, которые пройдут все этапы и защитят итоговый проект, пригласят на работу в Wildberries

🔹 Sber Seasons
Сроки подачи заявки: набор откроется в сентябре 2024
Особые условия: нужно быть действующим студентом очной формы обучения

🔹 Т-банк Старт
Сроки подачи заявки: до 16 сентября 2024 включительно
Особые условия: занятость от 20 часов в неделю

Вакансии для стажёров:
МТС Старт
Сбер
AlfaStudents от Альба банка

Ставьте 🔥, если было полезно! Желаем удачи в поисках стажировки 🫶

Автор нашего канала Рома Васильев дал интервью для новой рубрики канале Карьера в Data | LEFT JOIN — Завтра в Data

В мини-интервью можно узнать про первую работу Романа, подводные камни в профессии и как развиваться в Data новичку 🙂

🔎 Аналитик данных и data scientist — в чём разница?

Data Science это совокупность различных дисциплин. Термином data scientist работодатели в описании вакансий обозначают большой спектр навыков и задач: работа в Excel, написание скриптов в SQL, визуализация данных, а/б тесты, создание рекомендательных систем, создание систем компьютерного зрения и тд.

Мы предлагаем поделить профессии согласно схеме на картинке по 3 параметрам: domain (сфера бизнеса, экспертные знания), math (метрики, ав-тесты, математизация процессов), dev (разработка, технические инструменты). Разберем три самые распространенные направления:

▪️ ML Engineer — сконцентрирован на построении моделей машинного обучения.
Глубоко разбирается в своём направлении с точки зрения техники, изучает статьи по нужной тематике, спокойно может реализовывать новые подходы

▪️ Data Analyst — работает на стыке бизнеса и данных.
Разбирается в доменной области, проводит исследования на данных, разрабатывает дашборды и сетапит АВ-тесты. Как правило, не погружается глубоко в технические задачи

▪️ Data Engineer — управляет потоками данных.
Эти ребята, как правило, отвечают за потоки данных: настраивают процессы обновления витрин, следят за полнотой доезжающих данных, пишут сложные Data-пайплайны.

Но важно понимать, что от компании к компании роли могут меняться кардинально.
Где-то Data Analyst может строить модели, а где-то ML-инженеров припрягают разбираться в бизнес-проблемах 🙂

Хорошие материалы на поизучать:
- Видео Валерия Бабушкина, в котором он рассказывает про напрввления в Data Science
- Статья Евгения Смирнова на Хабре, в которой он пишет про то, что нужно спросить у работодателя на собеседовании, в том числе про роль дата сайентиста в компании

📊 Метрики качества в задаче мультиклассовой классификации [2/2]

🎯 Расширяя ваш кругозор в решении задачи мультиклассовой классификации из первой части, сегодня поговорим про то, как в подобных задачах правильно оценивать качество работы нашей модели.

☑️ Метрики, используемые для оценки качества модели в задачах с множеством классов, никак не отличаются от задачи с бинарными метками: все также используется Accuracy, Recall, Precision, F1-measure, ROC-AUC.
Однако, из-за наличия нескольких классов меняется подход к их расчету, где существует: micro-усреднение, macro-усреднение и weighted-усреднение.
Разберем каждый по порядку:

1. Micro-average:
Означает долю верных срабатываний по всем классам, что аналогично метрике accuracy. Потому micro-усреднение любой метрики будет выдавать одинаковое значение равное accuracy.
Подходит, когда важно общее количество правильных предсказаний без учета дисбаланса классов.

2. Macro-average:
Вычисляет конкретную метрику, например, recall для каждого класса отдельно и затем берет среднее арифметическое, что и будет финальной величиной метрики по macro-усреднению. Работает аналогично для любой другой метрики классификации.
Подходит для оценки производительности модели одинаково по всем классам, независимо от дисбаланса классов в датасете.

3. Weighted-average:
Также вычисляет целевую метрику для каждого класса отдельно, как в п.2, но усреднение происходит по взвешенному способу, в зависимости от количества объектов в каждом классе.
Применяется, когда классы несбалансированы и важно учесть их численность в итоговой оценке.

❗️Чтобы поменять подход к расчету метрики в sklearn, требуется использовать параметр average (default="binary"), передав в него один из следующих аргументов {‘micro’, ‘macro’, ‘samples’, ‘weighted’, ‘binary’}:

from sklearn.metrics import precision_score

y_true = [0, 1, 2, 0, 1, 2]
y_pred = [0, 2, 1, 0, 0, 1]
precision_score(y_true, y_pred, average='macro’)

# Output: 0.22...

📚 В каких местах ещё можно погрузиться в эту тему:

- База по метрикам в любых задачах, включая по multiclass, от ЯндексУчебника
- Отличная визуализация принципов усреднения различных F-мер для нескольких классов
- Про все разновидности метрик классификации читай тут
- Очень доступное объяснение на русском языке для новичков на YouTube
- Обширная лекция по метрикам качества в многоклассовой задаче

Ставьте ❤️ и 🔥 если данная информация была вам полезна!
Пишите свои комментарии и вопросы под постом👇