Dmatryusофрения
42 subscribers
292 photos
10 videos
15 files
149 links
Пишу о книгах, лидерстве, технологиях, opensource, своих проектах и наверное чем-то ещё. Ну и репосты IT приколямб.
Download Telegram
#hypex

Краткий сказ о HypEx. Предисловие.

Сейчас пишу с коллегами новую архитектуру. Вернее переписываю. На выходных в очередной раз поймал себя на мысли, что совершенно не умею играть в игры с долгосрочным развитием. Такие как CRPG. При этом мне очень нравится этот жанр, но внутри меня живёт демон оптимизации. Он всё время заставляет меня искать билд персонажа с наилучшим отыгрышем. Таким образом, если в игре нет возможности рерола персонажа в середине игры, вероятно, что дальше начала игры я не уйду. Сейчас я играю в Warhammer 40,000 Rouge Trader и прошёл первую главу наверное с десяток раз и, вероятно,  заброшу на некоторое время игру, так как первая глава не очень интересная и очень легкая, из-за чего неправильность билда в наибольшей степени становится понятной во 2 главе, где сложность боев значительно вырастает.

Так и причём тут HypEx? Да все при том же. Сначала мы пилили архитектуру, чтобы решать определённую задачу, при масштабировании выяснилось, что архитектура таксэбэ. Потом я придумал, как решить наши проблемы... А они не решились.

Сейчас мне кажется, что идеальный билд рядом. Проблема в том, что тут ещё персонажа не выпустили в сюжет, где может оказаться, что билд вообще не хороший 😊

Но это всё шуточки на аналогии. Плюс программирования в том, что это билды в одной игре и перед HypEx уже были эти "с десяток фейлов".
🤔2
#hypex

Пожалуй, ощущение того, что "идеальный билд рядом" могло быть ложным. Почти каждый день появляются какие-то новые идеи, но всё-таки прогресс есть. Просто его надо фиксировать 😊
👏2
2201.09746.pdf
22.9 MB
2🔥2
Цитата от Стива Джобса:
Люди думают, что концентрация - это когда ты говоришь "да" тому, на чем сконцентрирован, но это совсем не так. Это значит, что ты говоришь "нет" сотне других полезных и нужных идей. Выбирать надо тщательно. На самом деле я горжусь вещами, которые мы не сделали, не меньше, чем теми, которые сделали. Изобретательность - это когда ты говоришь "нет" тысяче классных идей.
🤔3👀2
#mind_taska

Начал новый проект спонтанно. На самом деле он обусловлен желанием автоматизировать часть своей работы, да и вообще давно хотел сделать что-то подобное.

Суть... Есть майндмапа с проектами и тасками. Состояние тасок отслеживается посредством форматирования. Майндмапа выгружается в формате Freemind mm, парсится скриптом. В результате формируется строка со стейтом задач. Этот стейт становится записью в excel файле.

Минимальный план такой. Но в рамках идей для развития думаю добавлять в эксель графики, красивое форматирование и возможно автоматическую публикацию в гугл таблицах.

Пока рассматриваю 3 формата:
1. Пакет
2. Тетрадка
3. Скрипт с CLI

Сам планирую активно пользоваться вторым вариантом из которого, возможно потом ещё десктопный клиент намутится.

https://github.com/Dmatryus/mind_taska
🔥3
Dmatryusофрения
#mind_taska Начал новый проект спонтанно. На самом деле он обусловлен желанием автоматизировать часть своей работы, да и вообще давно хотел сделать что-то подобное. Суть... Есть майндмапа с проектами и тасками. Состояние тасок отслеживается посредством…
Выяснилось, что в формате mm не хватает данных о карте, которые нужны мне для формирования тасок, так что придется использовать менее популярный формат WiseMapping wxml. Кстати, всем рекомендую именно этот сервис для майндмап, так как опенсурс и можно селфхостить.

https://wisemapping.com
😢2🦄2
#mind_taska

Делюсь успехами по проекту.

Удалось замутить конвертацию mindmap в список тасок. Пока только в виде list[dict[task]], что уже полдела. Реализация не самая "Вау!", ибо дерево обходится рекурсивно и пишется тупо в сылку на лист. Не самое эффективное по памяти решение, но, что самое приятное, - ОНО ЖИВОЕ! и работает!

Может потом займусь оптимизацией, а сейчаc главное - замутить работающую тетрадку.

Дальнейшие планируемые шаги:
* Конвертация тасок в таблицу
* Расчет статистик по таблице
* Перенос функциональности в пакет

Надеюсь, что первые 2 пункта замучу завтра, но не уверен. В любом случае, прогресс радует.
👍2🤩2🦄2🆒1
#mind_taska

План выполнен.
🎉3👏2
#mind_taska

Добавил класс конфига. Дальше нужно мутить основной класс, перенося туда код. Функционально планирую делать сравнительные статистики, чтобы мутить графики прогресса.
👍21
#hypex
У нас тут релиз) Естественно от меня тоже есть фичи 😊😊
🔥2👏1
Forwarded from HypEx (Дмитрий Тихомиров)
🌟Весенний Релиз HypEx Версии 0.1.0 🌸

Мы рады представить новую версию HypEx, включающую в себя ряд новых функций, значительные улучшения и критические исправления ошибок, направленные на повышение удобства использования, функциональности и надежности фреймворка. Ниже представлен обзор основных изменений:

🆕Новые Функции и Улучшения🆕

🛠 Интеграция Выбора Признаков: Использование CatBoost, LightGBM, Ridge для интеграции алгоритмов важности признаков, напрямую влияющих на задачи сопоставления в HypEx.

📊Улучшения Класса AATest: Рефакторинг критических методов в классе AATest, упрощение взаимодействия с пользователем и расширение функциональности.

🧹 Автоматизированная Обработка Выбросов: Автоматическое обнаружение и управление экстремальными выбросами, с возможностью настройки методов обработки, тем самым улучшая надежность анализа данных.

🐞Исправления Ошибок🐞

🛠 Если вы сталкивались с LinAlgError при разложении Холецкого, то такого больше не произойдёт! Пофиксили историю, когда одинаковые колонки при разложении и теперь всё всегда работает :)

🛠 Ошибка при валидации с group_col: Пофиксили баг, когда при валидации со строгой стратификацией группы разбивались так, что не было среди кого искать контрольную группу

Документация и Предупреждения

⚠️ Добавлены предупреждения и руководства относительно функциональности Мэтчинга, такой как мультитаргет, выбор признаков и валидация.

📚 Улучшенная документация, включая предупреждения о выборе признаков, предоставляющая более полное понимание потенциальных подводных камней и соображений.
Методологические Инновации

🌐 Совместно с коллегами из Тинькофф добавили метод для A/B тестов, основанный на предельном распределении!

Обо всём подробно читайте в нашем GitHub

Можете уже обновляться до последней версии и пробовать новые функции :)
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
#hypex

Я чуть-чуть лектор)
👍4🔥4
#mind_taska

MVP готов. Базовая функциональность включающая в себя парсинг майндмап, подсчет статистик по ним, расчет статистик прогресса, работа с excel и конфигом работает!

Это уже можно использовать в работе, но постепенно буду улучшать.

// То, что даты в статистике одинаковые - это не баг, а фича из-за процесса тестирования.
🔥3👏1
#life

Сейчас, как потеплее станет, думаю начать вырабатывать себе привычку раз в неделю гулять хотя-бы по часу. Думаю, это будет полезно для души и тела.

// Картинка - сложная отсылка)
😁21
#mind_taska

Перенес код из тетрадки в файл для дальнейшего пакетирования.

На этом пока проект отложу и буду использовать по назначению. Пока вернусь к PlotAdapter. Буду готовить его к публикации и публиковать.
🗿1
Forwarded from HypEx (Дмитрий Тихомиров)
🌟 Обновление HypEx версии 0.1.1! 🚀

🆕Новые Функции и Улучшения🆕

👩‍💻Добавлена поддержка Python 3.11 и 3.12. Теперь вы можете использовать все преимущества последних версий Python в своих проектах с HypEx.👩‍💻

✏️Улучшена обработка параметра group_col. Пофикшены баги, которые возникли в прошлом релизе. Теперь работает идеально :)✏️

〰️Введена возможность автоматического заполнения пропущенных значений в категориальных столбцах. По умолчанию выбрасываем ошибку, но если надо, то заполним отдельной категории все nan'ы〰️

⬆️Добавлен параметр max_categories, предотвращающий создание избыточно широких таблиц при работе с переменными, имеющими большое количество уникальных значений.⬆️

🎸Оптимизирована функция limit_distribution, значительно ускорена её работа и исправлены выявленные ошибки в расчетах гипотез.🎸

❗️Новые функции ABn тестирования перенесены в отдельную папку❗️

🤑Добавлен новый пример использования в Jupyter Notebook, демонстрирующий предсказание финансового эффекта от модели.🤑

🙁Временно убрали мультитаргет и валидацию в Мэтчинге. Нашли математические проблемы, которые побежали исправлять. Ожидайте в ближайшие релизы🙁

📌Подробнее про ABn тестирование смотрите здесь и здесь 📌

✔️Все изменения можно посмотреть тут✔️

Ждём ваши звёздочки, если ещё нет:)
Please open Telegram to view this post
VIEW IN TELEGRAM
🤩3
#dmvscolors

Очень лениво создал репозиторий с темой для vscode, но сильно заморочился с самой темой. Очень доволен собой и мне прям нравки.



https://github.com/Dmatryus/DmVSColors
🔥4👍2🤩1
#promts

Набор промтов для SD

Gothic painting of an ancient castle at night, with a full moon, gargoyles, and shadows

Cyberpunk cityscape with towering skyscrapers, neon signs, and flying cars

Fantasy illustration of a dragon perched on a castle, with a stormy sky and lightning in the background

Steampunk digital art of an inventor’s workshop, with intricate machines, gears, and steam engines
🦄1
#hypex

Вот и наступил тот день...

Вчера, наконец, получилось заставить новую архитектуру работать! Эта работа заняла больше 3 месяцев. Время покажет насколько принятые решения были удачными или не очень. Но архитектура проектировалась очень гибкой, так что уверен, что проблем с ней может быть не мало, но главное, что они все решаемые.

Конечно, речь идёт только об одном отработавшем простом эксперименте и предстоит ещё реализовать множество, а этот наверняка не выявил большую часть проблем, но в планах стремительно наполнять новую архитектуру новыми экспериментами!

Новая архитектура делает процесс дебага достаточно понятным, поскольку однозначно (почти всегда) определены экзекуторы, в которых были получены те или иные результаты, а пайплан позволяет дебажить последовательно.

Сейчас больше всего проблем со внутренними дасетами. Со временем мы доведем их до идеала и проблемы будут, в основном, с тем, что архитектура предлагает иной раз делать довольно сложные экзекуторы и даёт не самую очевидную возможность их взаимодействия. Но, как и всё, это потребует некоторой практики. Мы от себя постараемся разработать максимально подробное пособие для контребьютеров, которое должно ответить на большинство вопросов.

В общем, для меня это была самая большая и важная работа в карьере, и я намерен довести её до совершенства (понятно, что его восприятие субъективно).

P. S. Работа над архитектурой HypEx так же вдохновила меня попробовать новое поколение архитектуры с упором на автоматическое программирование и адаптацией под RL. Не уверен, когда до этого руки дойдут, но надеюсь, что дойдут.

P. P. S. Из-за напряжённой работы последнее время особо ничего не писал сюда. Есть 3 идеи на будущее:
* Поработать над оформлением репозиториев и последующей публикацией чего-то.
* Заняться проработкой проектов с претензией на научность чтобы приблизить их к публикации.
* Займусь учебой и обучением.
🔥3🎉3🍾3🫡1