🔥 Конкурс: 30 000 ₽ за самую смешную IT-новость

Напоминаем о конкурсе «Библиотеки программиста»: напишите самую смешную версию реальной новости про технологии.

👾 Правила просты:
1. Берете настоящую новость из мира технологий.
2. Переписываете ее так, чтобы смеялись все.
3. Получаете деньги и славу.

🎁 Призы:
- 1 место: 30 000 ₽ + статус ведущего нового юмористического IT-канала
- 2 и 3 место: по 5 000 ₽ + вечный почет в IT-сообществе

🏆 Как будем оценивать:
Мы выложим новости всех участников в одном из наших телеграм-каналов. Те новости, которые наберут больше всего охвата, войдут в шорт-лист. Из шорт-листа подписчики и жюри выберут победителя.

📅 Сроки: прием новостей до 11 мая включительно

Для участия отправьте свою смешную новость в гугл-форму: https://forms.gle/6YShjgfiycfJ53LX8

Осталась неделя — ждем ваших новостей!

🤔 Как принять решение: удалять выбросы или оставлять их

Всё зависит от природы выбросов — являются ли они реальными редкими случаями или ошибками в данных.

🔹 Если выброс отражает действительно существующее, но редкое наблюдение (например, необычно высокая цена на товар, которая действительно была на рынке), то удаление такого значения может привести к модели, игнорирующей важные, хоть и редкие, сценарии.

🔹 Если же выброс возник из-за ошибки ввода, дублирования или другого рода артефакта — его можно удалить без особого риска.

✅ Как принять обоснованное решение

Постройте три версии модели:
1. С выбросами.
2. Без выбросов.
3. С обработанными выбросами (например, винзоризацией или логарифмической трансформацией).

Сравните их по кросс-валидации: точности, стабильности, интерпретируемости.
Выберите подход, который даёт наилучший баланс между производительностью и объяснимостью.

📌 Контекст имеет значение

В медицине, например, выброс может указывать на критическое состояние пациента — и его ни в коем случае нельзя игнорировать. А в пользовательских логах выброс может быть признаком бот-активности.

Библиотека собеса по Data Science

❓Как обнаружить и смягчить эффект популярности (popularity bias) в рекомендательной системе

Алгоритмы рекомендаций часто усиливают популярность уже популярных видео — их всё чаще показывают, в то время как новые или нишевые остаются незамеченными. Это создает эффект «богатые становятся богаче».

🔍 Как обнаружить

Посмотрите на логи рекомендаций — если небольшая доля контента получает основную массу показов, это тревожный сигнал. Обычно это «голова» распределения (head), тогда как «хвост» (long tail) игнорируется.

🛠 Методы смягчения

• Нормализация метрик (например, watch-time) с учетом числа показов — чтобы не усиливать положительную обратную связь.

• Поддержка длинного хвоста: в механизме отбора кандидатов добавить специальную логику, продвигающую менее популярные видео.

• Умное переупорядочивание (re-ranking): резервировать часть позиций в выдаче для менее популярных видео.

⚠️ Важно

• Слишком сильное наказание популярных видео может снизить удовлетворенность пользователя.

• Нельзя наказывать все тематики одинаково: специализированный контент может иметь честно низкие метрики, не из-за предвзятости, а из-за ниши.

Библиотека собеса по Data Science

🧩 Почему важно устранять первопричину искажения десятичных данных, а не ограничиваться их очисткой

В задачах машинного обучения и аналитики недостаточно просто очищать обучающие или производственные данные от некорректных значений. Особенно это касается десятичных чисел, поскольку их искажение может происходить незаметно, но приводить к существенному снижению качества моделей и принятию ошибочных бизнес-решений.

📉 Типовой сценарий:
Обнаруживается, что значения теряют дробную часть — например, «12,5» становится «125». После этого данные очищаются, модель переобучается, однако через некоторое время проблема возникает снова.

🎯 Рекомендованный подход — поиск и устранение первоисточника:

— Проверить, каким образом данные изначально собираются (веб-формы, скрипты импорта и пр.).
— Проанализировать промежуточные этапы обработки: возможно, ошибка возникает при парсинге CSV-файлов, при приведении типов или из-за некорректного округления.
— Ознакомиться с системными журналами и логами: не исключено, что ошибка началась после обновления компонентов, изменения конфигурации или внедрения новых версий ПО.

🛠 После выявления причины необходимо внести корректировки на уровне источника данных:
— Обеспечить сохранение числовой точности.
— Внедрить строгие проверки форматов и типов.
— Настроить автоматические уведомления о появлении подозрительных или выходящих за допустимые границы значений.

⚠️ Важно учитывать, что подобные ошибки могут проявляться непостоянно, а лишь в отдельных случаях. Именно поэтому требуется постоянный мониторинг распределения значений и логов.

Библиотека собеса по Data Science