Библиотека собеса по Data Science | вопросы с собеседований
4.26K subscribers
468 photos
15 videos
1 file
566 links
Вопросы с собеседований по Data Science и ответы на них.

По рекламе: @proglib_adv

Учиться у нас: https://proglib.io/w/7dfb7235

Для обратной связи: @proglibrary_feeedback_bot

Наши каналы: https://t.me/proglibrary/9197
Download Telegram
🧠 Курс «Математика для Data Science»

Математика лежит под капотом не только алгоритмов, но и всего, что мы создаём — от систем рекомендаций до маршрутизации такси.

Но главное, математика понятна, если объяснить её на языке разработки.

📘 Курс «Математика для Data Science»:

— от основ до реальных задач из собесов;
— линейная алгебра, статистика, теория вероятностей;
— визуализации, практика и живые уроки;
— поддержка менторов и комьюнити в чате.

Сегодня последний день, чтобы получить подарок: курс по базовой математике!

🗓️ Старт курса → 6 ноября

👉 Записаться на курс
🐁 Как современные архитектуры нейронных сетей обрабатывают коррелированные признаки по сравнению с линейными моделями

Глубокие нейронные сети способны учиться представлениям входных данных, которые уменьшают избыточность коррелированных признаков. Например, первые слои могут автоматически комбинировать сильно коррелированные признаки в более независимые внутренние представления.

Однако корреляция всё равно влияет на несколько аспектов:
✔️ Оптимизация: если два признака почти идентичны, обучение может требовать больше эпох или особой инициализации весов для стабильной сходимости.
✔️ Переобучение: избыточные признаки увеличивают риск переобучения, если не применять регуляризацию (dropout, weight decay, BatchNorm).
✔️ Интерпретация: высокая гибкость сети усложняет понимание того, какие признаки реально важны, особенно когда они коррелированы.

🐸 Библиотека собеса по Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
➡️ Чем Adam отличается от адаптивных методов, таких как RMSProp или Adagrad

Adam объединяет идеи из предыдущих оптимизаторов:

➡️ RMSProp отслеживает экспоненциальное скользящее среднее квадратов градиентов, чтобы адаптировать скорость обучения по каждому параметру, но не учитывает среднее значение самих градиентов.

➡️ Adagrad накапливает сумму квадратов градиентов, что также адаптирует шаги, но может приводить к слишком малым скоростям обучения на поздних этапах.

💡 Чтобы глубже понимать, как работают оптимизаторы и почему математика так важна в ML, посмотри курс Математика для Data Science — сейчас на него действует скидка –40%.

🐸 Библиотека собеса по Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍1
Как часто нужно переобучать или перекалибровывать модели на основе наблюдаемых метрик

Частота переобучения зависит от скорости изменения данных, степени выявленного дрейфа и затрат на повторное обучение.

В быстро меняющихся областях (например, обнаружение мошенничества в реальном времени) модели могут обновляться ежедневно или еженедельно. В стабильных доменах достаточно квартального или даже более редкого обновления.

Хорошей практикой считается использование метрик-триггеров: если ошибки или показатели дрейфа систематически превышают порог, автоматически запускается процесс переобучения.

Такой подход сочетает реактивные меры (переобучение при ухудшении производительности) и проактивные меры (периодическое обновление модели для учёта новых данных).

🐸 Библиотека собеса по Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
🔎 Собес сам себя не пройдет

Ты готов к собеседованию? А если проверю?

Залетай к нам и забирай курсы со скидкой 40%. Только до конца октября можно узнать много нового и отточить навыки.

🎯 Забирай курсы:

🐍 python для разработчиков;
🧮 алгоритмы и структуры данных;
📝 архитектуры и шаблоны проектирования;
🧩 основы IT для новичков.

Не упусти скидку и получи долгожданный оффер!
🤓 Существуют ли разные стратегии калибровки (преобразования «сырых» выходов модели в хорошо откалиброванные вероятности) для параметрических и непараметрических моделей

Да, подходы к калибровке отличаются в зависимости от типа модели.

Для непараметрических моделей (например, k-NN) вероятность часто аппроксимируется долей соседей каждого класса среди ближайших k точек. Такая оценка может быть шумной, особенно в высокоразмерных или разреженных данных. Для улучшения калибровки применяют изотоническую регрессию или другие постобработки, которые отображают эти частотные оценки в более гладкие вероятности.

ℹ️ При малых k или сильном дисбалансе классов возможны крайние вероятности (например, 0/5 или 5/5), что ухудшает калибровку. В таких случаях полезно использовать сглаживание, например, добавляя псевдосчётчики (Laplace smoothing).

🔥 Также важно учитывать, что непараметрические модели формируют вероятности локально, и структура окрестностей может сильно меняться. Иногда стоит нормализовать эти локальные области или использовать специализированные непараметрические методы оценки плотности (например, оценку плотности ядром), после чего уже применять калибровку.

ℹ️ Для параметрических моделей (например, логистической регрессии) исходные вероятности обычно уже калиброваны, но при переобучении или при работе с несбалансированными данными также применяют методы вроде Platt scaling или изотонической регрессии.

🐸 Библиотека собеса по Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2