Channel created
Channel photo updated
🎉 Свежие новости для Data Scientist'ов, Аналитиков и всех, кто проводит пилоты!

Сегодня мы рады представить HypEx - новый аддон для LightAutoML, специально разработанный для решения задачи Causal Inference, в частности мэтчинга.

Мы все знаем, как важно быстро и точно оценивать результаты пилотных проектов. Именно здесь HypEx может стать незаменимым помощником. Этот инструмент позволяет анализировать результаты пилотов и проверять продуктовые гипотезы на наличие причинно-следственных связей на исторических данных. Для проверки качества мэтчинга предоставлены все необходимые метрики для объективного и наглядного анализа, а также различные способы валидации результата.

Более того, HypEx превосходит большинство аналогов в области Causal Inference по скорости и объему обрабатываемых данных. Что позволяет оценивать пилоты намного точнее, быстрее и качественнее.

С помощью HypEx можно:
1️⃣ Быстрее и точнее анализировать результаты пилотов.
2️⃣ Находить скрытые взаимосвязи в данных.
3️⃣ Улучшить качество прогнозирования, работая с большими объемами данных без потери скорости.


Ссылка на аддон: https://github.com/sb-ai-lab/LightAutoML/tree/master/lightautoml/addons/hypex
Туториал: https://github.com/sb-ai-lab/LightAutoML/blob/master/examples/tutorials/Tutorial_12_Matching.ipynb

Чатик в телеге: t.me/lamahypex


Также новую версию уже можно поставить из PyPi: pip install lightautoml==0.3.8b1

Давайте сделаем нашу работу ещё более эффективной вместе с HypEx и LightAutoML!
1🔥1🤩1
Привет, коллеги! 👋
Мы рады поделиться с вами нашей последней статьей на Хабре, посвященной HypEx - Open Source проекту для Python. 🚀 Эта библиотека - настоящий прорыв в области анализа данных и проведения экспериментов: Как АБ-тестирования, так и мэтчинга!

В статье мы подробно рассматриваем, как HypEx может помочь вам в анализе данных, используя метод мэтчинга для получения точных и чистых результатов. 📊 Вы узнаете о теоретических основах мэтчинга, его практическом применении и уникальных преимуществах нашей библиотеки.

🔗 Читать статью

Не забудьте также посетить наш GitHub, чтобы узнать больше о проекте и поддержать нас звездочкой! ⭐️

🔗 GitHub

Будем рады вашим отзывам и предложениям!
❤‍🔥5👍21
🎉🚀 Новогоднее Обновление HypEx 0.0.4: Встречаем 2024 с Новыми Возможностями! 🎄

Привет, друзья! Накануне Нового 2024 Года мы рады подарить вам значительное обновление HypEx до версии 0.0.4. Это обновление приносит не только новые функции и улучшения, но и праздничное настроение в наши аналитические процессы!

🌟 Новые Функции
- Функция Расчета Минимального Обнаруживаемого Эффекта (MDE):
- Расчет Размера Выборки с MDE: Найдите оптимальный размер выборки для ваших целей.
- Функция Расчета Мощности Теста: Убедитесь в эффективности ваших тестов.

🌲 Улучшения в AA Тестах
- Упрощенный Pipeline: Одна функция process для всех ваших аналитических потребностей.
- Оптимизация Стратификации: Более точный анализ с улучшенной стратификацией.
- Улучшенная Интерпретация Тестов:
- Таблицы с тестовой статистикой для глубокого понимания результатов.
- Сводные таблицы и визуализации результатов.
- Улучшенный Анализ Разделения:
- Аналитические графики и статистические тесты для однородности групп.
- Краткое резюме результатов.

Общие Улучшения
- Исправления Ошибок: Прощайте, баги 2023 года!
- Рефакторинг Кода: Новый год - новый код.
- Оптимизация Процесса: Больше эффективности в каждом анализе.

📚 Документация и Взаимодействие с Сообществом
- Обновленный README: Погружение в HypEx стало еще приятнее.
- Шаблоны для Issues и Pull Request: Структурированность и порядок в каждой детали.
- Руководство для Участников: Ваш компас в мире HypEx.
- Новые Учебные Материалы: Всё для вашего профессионального роста.

📦 Установите новую версию уже сейчас через PyPi!

🔗 GitHub проекта

🥳 Поздравляем с наступающим Новым Годом! Пусть он принесет вам много успешных проектов, интересных аналитических задач и, конечно, радости от использования HypEx.
❤‍🔥5🔥3🎉2👍1😎1
Forwarded from NoML Digest (Pavel Snurnitsyn)
Семинар про A/B и мэтчинг

▫️ 6 марта (среда), 17:00 МСК
▫️ Подключение→

Выступает: Дмитрий Тихомиров, DS в блоке Финансы Сбера

Тема: HypEx — A/B тестирование и мэтчинг в Python

Аннотация
На семинаре
▫️ Поговорим о задаче оценки пилотов и проверки бизнес гипотез, и как её можно решить с помощью Python.
▫️ Разберёмся, как правильно создать дизайн A/B-теста и зачем нужны A/A-тесты.
▫️ Поговорим про задачу мэтчинга и библиотеку HypEx как высокопроизводительную альтернативу библиотеке Causal Inference.


Перед семинаром можно почитать вот этот пост:
▫️ HypEx и мэтчинг. Эксперимент без A/B-тестирования? 2023 (10 минут).
👍5🔥2🤩1
🌟Весенний Релиз HypEx Версии 0.1.0 🌸

Мы рады представить новую версию HypEx, включающую в себя ряд новых функций, значительные улучшения и критические исправления ошибок, направленные на повышение удобства использования, функциональности и надежности фреймворка. Ниже представлен обзор основных изменений:

🆕Новые Функции и Улучшения🆕

🛠 Интеграция Выбора Признаков: Использование CatBoost, LightGBM, Ridge для интеграции алгоритмов важности признаков, напрямую влияющих на задачи сопоставления в HypEx.

📊Улучшения Класса AATest: Рефакторинг критических методов в классе AATest, упрощение взаимодействия с пользователем и расширение функциональности.

🧹 Автоматизированная Обработка Выбросов: Автоматическое обнаружение и управление экстремальными выбросами, с возможностью настройки методов обработки, тем самым улучшая надежность анализа данных.

🐞Исправления Ошибок🐞

🛠 Если вы сталкивались с LinAlgError при разложении Холецкого, то такого больше не произойдёт! Пофиксили историю, когда одинаковые колонки при разложении и теперь всё всегда работает :)

🛠 Ошибка при валидации с group_col: Пофиксили баг, когда при валидации со строгой стратификацией группы разбивались так, что не было среди кого искать контрольную группу

Документация и Предупреждения

⚠️ Добавлены предупреждения и руководства относительно функциональности Мэтчинга, такой как мультитаргет, выбор признаков и валидация.

📚 Улучшенная документация, включая предупреждения о выборе признаков, предоставляющая более полное понимание потенциальных подводных камней и соображений.
Методологические Инновации

🌐 Совместно с коллегами из Тинькофф добавили метод для A/B тестов, основанный на предельном распределении!

Обо всём подробно читайте в нашем GitHub

Можете уже обновляться до последней версии и пробовать новые функции :)
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7🦄431👍1
🌟 Обновление HypEx версии 0.1.1! 🚀

🆕Новые Функции и Улучшения🆕

👩‍💻Добавлена поддержка Python 3.11 и 3.12. Теперь вы можете использовать все преимущества последних версий Python в своих проектах с HypEx.👩‍💻

✏️Улучшена обработка параметра group_col. Пофикшены баги, которые возникли в прошлом релизе. Теперь работает идеально :)✏️

〰️Введена возможность автоматического заполнения пропущенных значений в категориальных столбцах. По умолчанию выбрасываем ошибку, но если надо, то заполним отдельной категории все nan'ы〰️

⬆️Добавлен параметр max_categories, предотвращающий создание избыточно широких таблиц при работе с переменными, имеющими большое количество уникальных значений.⬆️

🎸Оптимизирована функция limit_distribution, значительно ускорена её работа и исправлены выявленные ошибки в расчетах гипотез.🎸

❗️Новые функции ABn тестирования перенесены в отдельную папку❗️

🤑Добавлен новый пример использования в Jupyter Notebook, демонстрирующий предсказание финансового эффекта от модели.🤑

🙁Временно убрали мультитаргет и валидацию в Мэтчинге. Нашли математические проблемы, которые побежали исправлять. Ожидайте в ближайшие релизы🙁

📌Подробнее про ABn тестирование смотрите здесь и здесь 📌 (И благодарим ребят из Тинькофф за сотрудничество)

✔️Все изменения можно посмотреть тут✔️

Ждём ваши звёздочки, если ещё нет:)
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥4🔥4👍2🤩1
Друзья, привет!

Уже завтра состоится D-people Camp!
На мероприятии коллеги поделятся лучшими практиками и ответят на ваши вопросы.

Что вас ждет в программе:
10:00 — Открытие (Евгения Минаева).
10:05 — Сокращаем трудозатраты при выводе витрин на Hadoop (Олег Васильев).
10:45 — Как вывести модель в ПРОМ за 3 дня? (Олег Васильев).
11:25 — Запусти бизнес-пилот на не ПРОМ версии модели с экспериментальными данными (Александр Будник).
12:05 — HypEx: A/B-тесты и мэтчинг, Или как защитить фин. эффект (Дмитрий Тихомиров).
12:35 — Фуршет и розыгрыш призов 🎁 для очных участников.

📌Приходите очно по адресу: Кутузовский пр-кт, 32к1, 4 этаж, 4.А.13.
Или подключайтесь онлайн.
Всем привет!👻
Для развития HypEx проводим небольшой опрос по A/B тестированию и мэтчингу данных. 💻

➡️https://public.oprosso.sberbank.ru/p/p6teccu3 ⬅️

Ваш опыт очень важен для улучшения HypEx: можете рассказать, что вам больше всего понравилось или какие были основные сложности.

🙂Спасибо!
Please open Telegram to view this post
VIEW IN TELEGRAM
🔤🔤🔤🔤🔤🔤😄

Несколько месяцев назад у нас случилась коллаборация с Тинькофф, где мы вместе сделали новый метод, который позволяет выбрать лучшую из n выборок при проведении 🅰️🅱️ ⚛️✝️🆑⚛️🅾️🆎

Сегодня ребята выпустили статью в которой рассказывают про метод, доказывают его.✏️

А также показывают как его использовать в HypEx и выбирать лучшую выборку, не теряя качества :)🌞
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3👏3
В 15:30 будем рассказывать про HypEx
Forwarded from ODS Events
Привет!

Понедельник — день тяжелый онлайна! 😁
Приглашаем присоединиться к активностям Data Fest 2024 в ODS Spatial Chat спейсе.

Сегодня в программе:
Open Source секция, старт в 14:00, (6 докладов 🦾)
GeoML секция, старт в 15:00, (5 докладов 🦾)
Advanced LLM секция, старт в 17:50, (4 доклада 🦾)

Полное расписание доступно на странице мероприятия 🤗

Ссылка на спейс: link
Пароль сегодня: parrotsfortheparrotthrone
Ссылка на эфир (для тех кто не сможет подключиться в Spatial Сhat): link

Ждём вас!
Привет, друзья! 🎉

🌟 Есть новость, от которой у нас просто космос! Наш проект HypEx выиграл награду "Перспективный проект" в премии Гравитация! 🚀

Огромное спасибо всей нашей команде за труд и энтузиазм. Вы супер! 👩‍💻👨‍💻 И благодарим наших замечательных внешних контрибьюторов, а также пользователей за их фидбек и новые идеи. Без вас ничего бы не получилось! 🌟

Спасибо премии Гравитация за признание! Теперь мы знаем, что разные гипотезы могут действительно тянуть нас к новым вершинам (ну, или к звёздам💫). 😉

Если ещё не поставили нам звёздочку на GitHub, самое время это сделать! 🌟 Это помогает нам становиться лучше.

Двигаемся вперёд, оставайтесь с нами — многое ещё впереди!
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🎉125🤩3