Я работал над АА тестами, так что считаю отчасти этот релиз своим личным достижением)
❤2🔥2🤩1👌1
Forwarded from HypEx (Дмитрий Тихомиров)
🎉🚀 Новогоднее Обновление HypEx 0.0.4: Встречаем 2024 с Новыми Возможностями! 🎄
Привет, друзья! Накануне Нового 2024 Года мы рады подарить вам значительное обновление HypEx до версии 0.0.4. Это обновление приносит не только новые функции и улучшения, но и праздничное настроение в наши аналитические процессы!
🌟 Новые Функции
- Функция Расчета Минимального Обнаруживаемого Эффекта (MDE):
- Расчет Размера Выборки с MDE: Найдите оптимальный размер выборки для ваших целей.
- Функция Расчета Мощности Теста: Убедитесь в эффективности ваших тестов.
🌲 Улучшения в AA Тестах
- Упрощенный Pipeline: Одна функция process для всех ваших аналитических потребностей.
- Оптимизация Стратификации: Более точный анализ с улучшенной стратификацией.
- Улучшенная Интерпретация Тестов:
- Таблицы с тестовой статистикой для глубокого понимания результатов.
- Сводные таблицы и визуализации результатов.
- Улучшенный Анализ Разделения:
- Аналитические графики и статистические тесты для однородности групп.
- Краткое резюме результатов.
✨ Общие Улучшения
- Исправления Ошибок: Прощайте, баги 2023 года!
- Рефакторинг Кода: Новый год - новый код.
- Оптимизация Процесса: Больше эффективности в каждом анализе.
📚 Документация и Взаимодействие с Сообществом
- Обновленный README: Погружение в HypEx стало еще приятнее.
- Шаблоны для Issues и Pull Request: Структурированность и порядок в каждой детали.
- Руководство для Участников: Ваш компас в мире HypEx.
- Новые Учебные Материалы: Всё для вашего профессионального роста.
📦 Установите новую версию уже сейчас через PyPi!
🔗 GitHub проекта
🥳 Поздравляем с наступающим Новым Годом! Пусть он принесет вам много успешных проектов, интересных аналитических задач и, конечно, радости от использования HypEx.
Привет, друзья! Накануне Нового 2024 Года мы рады подарить вам значительное обновление HypEx до версии 0.0.4. Это обновление приносит не только новые функции и улучшения, но и праздничное настроение в наши аналитические процессы!
🌟 Новые Функции
- Функция Расчета Минимального Обнаруживаемого Эффекта (MDE):
- Расчет Размера Выборки с MDE: Найдите оптимальный размер выборки для ваших целей.
- Функция Расчета Мощности Теста: Убедитесь в эффективности ваших тестов.
🌲 Улучшения в AA Тестах
- Упрощенный Pipeline: Одна функция process для всех ваших аналитических потребностей.
- Оптимизация Стратификации: Более точный анализ с улучшенной стратификацией.
- Улучшенная Интерпретация Тестов:
- Таблицы с тестовой статистикой для глубокого понимания результатов.
- Сводные таблицы и визуализации результатов.
- Улучшенный Анализ Разделения:
- Аналитические графики и статистические тесты для однородности групп.
- Краткое резюме результатов.
✨ Общие Улучшения
- Исправления Ошибок: Прощайте, баги 2023 года!
- Рефакторинг Кода: Новый год - новый код.
- Оптимизация Процесса: Больше эффективности в каждом анализе.
📚 Документация и Взаимодействие с Сообществом
- Обновленный README: Погружение в HypEx стало еще приятнее.
- Шаблоны для Issues и Pull Request: Структурированность и порядок в каждой детали.
- Руководство для Участников: Ваш компас в мире HypEx.
- Новые Учебные Материалы: Всё для вашего профессионального роста.
📦 Установите новую версию уже сейчас через PyPi!
🔗 GitHub проекта
🥳 Поздравляем с наступающим Новым Годом! Пусть он принесет вам много успешных проектов, интересных аналитических задач и, конечно, радости от использования HypEx.
GitHub
GitHub - sb-ai-lab/HypEx: Fast and customizable framework for automatic and quick Causal Inference in Python
Fast and customizable framework for automatic and quick Causal Inference in Python - sb-ai-lab/HypEx
🔥2😎2👍1🎄1
#activity
Привет всем! Я на долго пропал, но у меня есть уважительная причина, подробности которой я, увы, не хочу рассказывать. Кто знает, тот знает. Однако необходимо обозначить новый контекст.
В конце декабря у меня произошла трагедия. Никто, к счастью, не умер, но вот моя менталочка в значительной мере пострадала, и жизнь очень круто изменилась в не лучшую сторону.
В ближайшее время я планирую чинить менталочку и находить своё место в новой жизни. Всё это, естественно, повлияет и на проекты, и на этот лог.
1. Мне необходимо пересмотреть приоритезацию проектов, чем я займусь в ближайшее время.
2. Время, которое обычно тратится на проекты, будет пока что тратиться на кустарную психотерапию.
3. Думаю переориентировать этот канал с лога, на заметочный формат. В сущности мало что поменяется, но думаю, что мне так проще будет воспринемать. Основной упор всё так же будет идти на проекты и всё, что с ними связано, но не только. В общем, будем смотреть. Пора экспериментов!
Прошу прощения у всех, кто остался разочарован всем этим или будет разочарован в будущем.
// В конце года (который я уже упустил) принято подводить итоги, но я их подвожу обычно в конце января. Такой микроанонс.
／＞ フ
| _ _ l
／` ミ＿xノ
/ |
/ ヽ ﾉ
│ | | |
／￣| | | |
| (￣ヽ＿_ヽ_)__)
＼二つ
Привет всем! Я на долго пропал, но у меня есть уважительная причина, подробности которой я, увы, не хочу рассказывать. Кто знает, тот знает. Однако необходимо обозначить новый контекст.
В конце декабря у меня произошла трагедия. Никто, к счастью, не умер, но вот моя менталочка в значительной мере пострадала, и жизнь очень круто изменилась в не лучшую сторону.
В ближайшее время я планирую чинить менталочку и находить своё место в новой жизни. Всё это, естественно, повлияет и на проекты, и на этот лог.
1. Мне необходимо пересмотреть приоритезацию проектов, чем я займусь в ближайшее время.
2. Время, которое обычно тратится на проекты, будет пока что тратиться на кустарную психотерапию.
3. Думаю переориентировать этот канал с лога, на заметочный формат. В сущности мало что поменяется, но думаю, что мне так проще будет воспринемать. Основной упор всё так же будет идти на проекты и всё, что с ними связано, но не только. В общем, будем смотреть. Пора экспериментов!
Прошу прощения у всех, кто остался разочарован всем этим или будет разочарован в будущем.
// В конце года (который я уже упустил) принято подводить итоги, но я их подвожу обычно в конце января. Такой микроанонс.
／＞ フ
| _ _ l
／` ミ＿xノ
/ |
/ ヽ ﾉ
│ | | |
／￣| | | |
| (￣ヽ＿_ヽ_)__)
＼二つ
🤔1
Dmatryusофрения
#activity Привет всем! Я на долго пропал, но у меня есть уважительная причина, подробности которой я, увы, не хочу рассказывать. Кто знает, тот знает. Однако необходимо обозначить новый контекст. В конце декабря у меня произошла трагедия. Никто, к счастью…
Планирование, как и обещал. Топ 3 проектов по приоритетам:
#facts
Тоник придумали в качестве средства, содержащего хинин, который принимали колонизаторы Африки от малярии. Колонизаторы в результате упарывались джинтоником.
И сегодня большая часть тоника содержит хинин.
Тоник придумали в качестве средства, содержащего хинин, который принимали колонизаторы Африки от малярии. Колонизаторы в результате упарывались джинтоником.
И сегодня большая часть тоника содержит хинин.
👍2
Dmatryusофрения
Планирование, как и обещал. Топ 3 проектов по приоритетам:
#activity #plot_adapter
Я пока буду работать над PlotAdapter, раз уж так исторически сложилось. Как будет MVP, посмотрим на то, как изменится приоритезация.
Сейчас по планам сделать исследование добытых данных классическим кодом на matplotlib и plotly, чтобы затем думать, как это имплементировать в метаархитектуре PlotAdapter.
Я пока буду работать над PlotAdapter, раз уж так исторически сложилось. Как будет MVP, посмотрим на то, как изменится приоритезация.
Сейчас по планам сделать исследование добытых данных классическим кодом на matplotlib и plotly, чтобы затем думать, как это имплементировать в метаархитектуре PlotAdapter.
👍2
#plot_adapter
Первые результаты работы либы с разными бэкэндами.
Пока она умеет только линии рисовать без настроек)
Первые результаты работы либы с разными бэкэндами.
Пока она умеет только линии рисовать без настроек)
👏1🤔1
#plot_adapter
Схематичные планы на развитие PlotAdapter. Несмотря на первые успехи и результаты, предстоит ещё преодолеть множество вызовов. Но, кажется, что уже MVP версия будет более-менее удобоваримой для анализа временных рядов, так что будем с неё начинать историю публикации либы.
Схематичные планы на развитие PlotAdapter. Несмотря на первые успехи и результаты, предстоит ещё преодолеть множество вызовов. Но, кажется, что уже MVP версия будет более-менее удобоваримой для анализа временных рядов, так что будем с неё начинать историю публикации либы.
🔥3
#plot_adapter
Добавил фичу суммирования графиков (пока только matplotlib).
Код выглядит следующим образом:
В картинках это выглядит так:
Добавил фичу суммирования графиков (пока только matplotlib).
Код выглядит следующим образом:
slp = LinePlot("matplotlib") # Создание объекта графика
slp.build(smes) # Построение графика для данных с надбавкой
lp.build(mes, backend="matplotlib") # Перепостроение графика изначальных данных
# с использованием бэкэнда matplotlib
s = lp + slp # Совмещение графиковВ картинках это выглядит так:
👍3
#activity
Ранее я говорил, что буду восстанавливать менталочку, посредством записей в дневнике. Но где мои старые дневники пока неизвестно.
Тогда я решил купить новый. Начал думать какой, и эти мысли привелименя к тому, что нужно сделать кастомный дневник. Опять же думал, что справлюсь за день, а в итоге прошла неделя и у меня есть только его концепт, на проработку которого потрачено много времени.
В общем, это забавная история, о том, как простая задача превратилась в не хилый челенж. К слову, без дневника я спасаюсь в работе, но это временное решение, и если забить и просто продолжать работать, то оно накопится и сойдёт лавиной.
Ранее я говорил, что буду восстанавливать менталочку, посредством записей в дневнике. Но где мои старые дневники пока неизвестно.
Тогда я решил купить новый. Начал думать какой, и эти мысли привелименя к тому, что нужно сделать кастомный дневник. Опять же думал, что справлюсь за день, а в итоге прошла неделя и у меня есть только его концепт, на проработку которого потрачено много времени.
В общем, это забавная история, о том, как простая задача превратилась в не хилый челенж. К слову, без дневника я спасаюсь в работе, но это временное решение, и если забить и просто продолжать работать, то оно накопится и сойдёт лавиной.
#activity
Сейчас пропаду с апдейтами на пару недель из-за рабочих проектов. Но пропадаю не на совсем🥰
Может за это время ещё чего-нибудь интересненького придумаю 😊
Сейчас пропаду с апдейтами на пару недель из-за рабочих проектов. Но пропадаю не на совсем
Может за это время ещё чего-нибудь интересненького придумаю 😊
Please open Telegram to view this post
VIEW IN TELEGRAM
🤝3
#activity
Решил попробовать новый формат микропланирования задач. Раньше я пользовался всевозможными тудушками и сложными самописными таблицами.
Тудушки, в целом, хорошо, но мне было не достаточно аналитики (из-за чего я свою начинал писать несколько раз). В таблицах, напротив, много аналитики, но они съедают безумно много времени.
Пока решил попробовать новый подход без аналитики, но с артефактами. Он хуже умной тудушки, но всё равно хороший.
Идея в том, чтобы относить любую задачу к определенному пространству, в рамках которого ведётся Markdown файл с задачами, заметками и прочим полезным. Вы скажете: "милиниалы изобрели Notion!", а я не буду спорить, потому что, в сущности, да. Разница лишь в том, что мне не нравится бесящий интерфейс Notion и все хранится на моём железе, и я достаточно хорошо могу контролировать доступ к этому.
Ещё хочу сделать журнал очивок) Пока не придумал в каком формате, но давно об этом думаю.
Решил попробовать новый формат микропланирования задач. Раньше я пользовался всевозможными тудушками и сложными самописными таблицами.
Тудушки, в целом, хорошо, но мне было не достаточно аналитики (из-за чего я свою начинал писать несколько раз). В таблицах, напротив, много аналитики, но они съедают безумно много времени.
Пока решил попробовать новый подход без аналитики, но с артефактами. Он хуже умной тудушки, но всё равно хороший.
Идея в том, чтобы относить любую задачу к определенному пространству, в рамках которого ведётся Markdown файл с задачами, заметками и прочим полезным. Вы скажете: "милиниалы изобрели Notion!", а я не буду спорить, потому что, в сущности, да. Разница лишь в том, что мне не нравится бесящий интерфейс Notion и все хранится на моём железе, и я достаточно хорошо могу контролировать доступ к этому.
Ещё хочу сделать журнал очивок) Пока не придумал в каком формате, но давно об этом думаю.
🥴1
#activity
Пора подводить итоги года!
🗂 Новая система планирования проектов. Должна помочь концентрироваться и доводить дела до конца. Пока кажется с этой функцией справляется и не требует на себя много времени.
📖 Книга "Обучение без учителя. Искусство ориентации в энтропии " (#ul_book) была начата, 3 раза поменял концепцию. Пока на паузе. Проект не забрасываю. Он всё ещё один из топовых по приоритетам.
⛓ Библиотека для построения ML пайплайнов DmML-lab ( #dmml_lab). Проект был возражден и переработана концепция. Сделал модули анализаторов данных. Больше всего полезно не то, что сделано, а то, что задумано и проверено в рамках работы на либой, ибо эти идеи легли в основу новой архитектуры HypEx и продолжают развиваться там. Я искренне верю, что это будет очень круто. Проект пока опять же заморожен, но не брошен. Он развивается идейно и будет ещё лучше.
Кроме всего прочего это платформа для экспериментов. Я считаю немаловажным достижением разработку алгоритма RadiusDensity. Не хочу его забрасывать и надеюсь довести до публикации, но не в ближайшем будущем.
📊 Библиотека для простой работы с данными StatBox (#stat_box). В этом году почти никак не развивалась. Думаю, что идея этой либы будет лучше раскрыта средствами HypEx в будущем. Так что пока в планах нет развития этой либы.
✅ Todo manager (#todo) Я всё ещё хочу когда-нибудь его сделать 😂
📈 Библиотека кроссбэкэндового построения графиков PlotAdapter (#plot_adapter). Штука над которой я работаю прямо сейчас и довожу её до состояния MVP. Очень большие планы на неё, и я верю в её потенциальную пользу. Может когда-нибудь из этого даже выйдет что-то классное.
😀 Ну и конечно HypEx - моя основная рабочая деятельность. В этом году были разработаны АА и АБ тесты и достаточно круто прокачены АА тесты (ИМХО, можете сами оценить и сказать, что я не прав). Мы с коллегами добавляем новые фичи и активно работаем над новой архитектурой. Моё персональное стремление сделать очень крутой и гибкий инструмент. Хотя кажется, что он будет сложноват, но не для базовых сценириев. Но это спойлеры 😀
Пора подводить итоги года!
🗂 Новая система планирования проектов. Должна помочь концентрироваться и доводить дела до конца. Пока кажется с этой функцией справляется и не требует на себя много времени.
📖 Книга "Обучение без учителя. Искусство ориентации в энтропии " (#ul_book) была начата, 3 раза поменял концепцию. Пока на паузе. Проект не забрасываю. Он всё ещё один из топовых по приоритетам.
⛓ Библиотека для построения ML пайплайнов DmML-lab ( #dmml_lab). Проект был возражден и переработана концепция. Сделал модули анализаторов данных. Больше всего полезно не то, что сделано, а то, что задумано и проверено в рамках работы на либой, ибо эти идеи легли в основу новой архитектуры HypEx и продолжают развиваться там. Я искренне верю, что это будет очень круто. Проект пока опять же заморожен, но не брошен. Он развивается идейно и будет ещё лучше.
Кроме всего прочего это платформа для экспериментов. Я считаю немаловажным достижением разработку алгоритма RadiusDensity. Не хочу его забрасывать и надеюсь довести до публикации, но не в ближайшем будущем.
📊 Библиотека для простой работы с данными StatBox (#stat_box). В этом году почти никак не развивалась. Думаю, что идея этой либы будет лучше раскрыта средствами HypEx в будущем. Так что пока в планах нет развития этой либы.
✅ Todo manager (#todo) Я всё ещё хочу когда-нибудь его сделать 😂
📈 Библиотека кроссбэкэндового построения графиков PlotAdapter (#plot_adapter). Штука над которой я работаю прямо сейчас и довожу её до состояния MVP. Очень большие планы на неё, и я верю в её потенциальную пользу. Может когда-нибудь из этого даже выйдет что-то классное.
Please open Telegram to view this post
VIEW IN TELEGRAM
🍾3
Dmatryusофрения pinned «#activity Пора подводить итоги года! 🗂 Новая система планирования проектов. Должна помочь концентрироваться и доводить дела до конца. Пока кажется с этой функцией справляется и не требует на себя много времени. 📖 Книга "Обучение без учителя. Искусство…»
#iron
Сейчас у меня довольно напряжённая работа в Сбере, а заниматься в выходные той же, в сущности, работой пока сил не хватает. Поэтому я решил заняться другими насущными и полезными делами: апгрейдом железа. Большая часть из необходимого уже закуплена, но надо устанавливать и настраивать. Остальное только предстоит закупить.
Текущий сетап:
💽 1 + 2 ТБ очень быстрых ссд под линукс и винду соответственно
💾 32 ГБ 3200 МГц оперативы
🐇 Процессор AMD Ryzen R7 3700x
🤖 NVIDIA RTX 3090 24 ГБ
🌩 БП 1КВ
STAGE 1:
💾 64 ГБ 3600 МГц оперативы
🌩 БП Zalman Platinum 1.2 КВ
STAGE 2:
🐇 Процессор AMD Ryzen R9 3900x
🤖 NVIDIA RTX 3090 24 ГБ + NVIDIA RTX 3090 20 ГБ
Вы можете резонно спросить, а нафига все это? Короткие ответы:
1. Я чокнутый на железе
2. Богоугодное дело
3. Обработка относительно больших данных
4. Дифузионки
5. LLM
6. RL
7. Прочие вычислительные эксперименты
8. Шаринг ресурсов
Помимо железок нужно будет сосредоточится на софте. Прежде всего это нужно для шаринга ресурсов. Буду писать о ходе апгрейда.
// Написал характеристики быстро по памяти, особенно не заморачиваясь. Но если интересны подробности о каких-то железках, пишите.
Сейчас у меня довольно напряжённая работа в Сбере, а заниматься в выходные той же, в сущности, работой пока сил не хватает. Поэтому я решил заняться другими насущными и полезными делами: апгрейдом железа. Большая часть из необходимого уже закуплена, но надо устанавливать и настраивать. Остальное только предстоит закупить.
Текущий сетап:
💽 1 + 2 ТБ очень быстрых ссд под линукс и винду соответственно
💾 32 ГБ 3200 МГц оперативы
STAGE 1:
💾 64 ГБ 3600 МГц оперативы
STAGE 2:
Вы можете резонно спросить, а нафига все это? Короткие ответы:
1. Я чокнутый на железе
2. Богоугодное дело
3. Обработка относительно больших данных
4. Дифузионки
5. LLM
6. RL
7. Прочие вычислительные эксперименты
8. Шаринг ресурсов
Помимо железок нужно будет сосредоточится на софте. Прежде всего это нужно для шаринга ресурсов. Буду писать о ходе апгрейда.
// Написал характеристики быстро по памяти, особенно не заморачиваясь. Но если интересны подробности о каких-то железках, пишите.
Please open Telegram to view this post
VIEW IN TELEGRAM