Dmatryusофрения
42 subscribers
291 photos
10 videos
15 files
148 links
Пишу о книгах, лидерстве, технологиях, opensource, своих проектах и наверное чем-то ещё. Ну и репосты IT приколямб.
Download Telegram
Forwarded from IT Юмор
This media is not supported in your browser
VIEW IN TELEGRAM
«Тогда, пожалуй, начну новый»
#plot_adapter

Переработал движок PlotAdapter. Ранее предполагалось, что основные манипуляции с графиками будут происходить на уровне бэкэнда. Сейчас я думаю сделать внутреннюю структуру данных, которая будет содержать все основные операции, изменяющие данные, а бэкэнд будет только рисовать то, что в него передали. Идея кажется очевидной, но на самом деле здесь происходит компромисс между оптимальностью процедуры построения графиков и гибкостью подхода. Выбор сделан в пользу гибкости, исходя из общей философии либы.

Еще одно преимущество такого подхода в том, что в будущем потенциально можно будет не только рисовать графики разными бэкэндами визуализации, но и делать трансформации данных посредством разных бэкэндов, таких как Dask или Spark.
3🗿2🔥1
#activity

Что-то подзадолбался последнее время 😒 + пилю большой апдейт в PlotAdapter. Так что лог пустует. Так что пока будут только новости про HypEx. Думаю побольше о нем писать. Да, это не так интересно, так как работа. Но лучше чем пустой лог 👀
Please open Telegram to view this post
VIEW IN TELEGRAM
💯2
😢2
#activity

Сел сегодня заниматься PlotAdapter и понял, как он мне успел надоесть и пока не в кайф. При этом есть желание перезапустить один из старых проектов по фану. В нем нет особого практического смысла, но это просто кайфовая тема. Я думал, что она закрыта, но видимо нет. Сейчас хочу закончить хотя бы базовый переход к PlotData, чтобы тетрадка с туториалом работала, а потом посмотрим.
Dmatryusофрения
#activity Сел сегодня заниматься PlotAdapter и понял, как он мне успел надоесть и пока не в кайф. При этом есть желание перезапустить один из старых проектов по фану. В нем нет особого практического смысла, но это просто кайфовая тема. Я думал, что она закрыта…
Оказывается мотивация "задолбался" вполне рабочая. Закончил перевод на PlotData с исправлением ошибок за 15 минут) На сегодня, пожалуй, хватит, а дальше посмотрим чем заняться.

Вообще по приоритезации есть исследования в области ML, которым стоит уделить внимание. Например, недавно мне в голову пришел интересный способ уменьшения размерности пространства, причем двустороннего. Не в смысле, что без потери информации, а в смысле того, что сжатие интерпретируемо. Но пока не проведу тесты не особо хочу рассказывать, ибо может оказаться тупой фигней, так как придумано это было во сне, а записано в 4 утра.
🤔1
#hypex

Краткий сказ о HypEx. Предисловие.

Сейчас пишу с коллегами новую архитектуру. Вернее переписываю. На выходных в очередной раз поймал себя на мысли, что совершенно не умею играть в игры с долгосрочным развитием. Такие как CRPG. При этом мне очень нравится этот жанр, но внутри меня живёт демон оптимизации. Он всё время заставляет меня искать билд персонажа с наилучшим отыгрышем. Таким образом, если в игре нет возможности рерола персонажа в середине игры, вероятно, что дальше начала игры я не уйду. Сейчас я играю в Warhammer 40,000 Rouge Trader и прошёл первую главу наверное с десяток раз и, вероятно,  заброшу на некоторое время игру, так как первая глава не очень интересная и очень легкая, из-за чего неправильность билда в наибольшей степени становится понятной во 2 главе, где сложность боев значительно вырастает.

Так и причём тут HypEx? Да все при том же. Сначала мы пилили архитектуру, чтобы решать определённую задачу, при масштабировании выяснилось, что архитектура таксэбэ. Потом я придумал, как решить наши проблемы... А они не решились.

Сейчас мне кажется, что идеальный билд рядом. Проблема в том, что тут ещё персонажа не выпустили в сюжет, где может оказаться, что билд вообще не хороший 😊

Но это всё шуточки на аналогии. Плюс программирования в том, что это билды в одной игре и перед HypEx уже были эти "с десяток фейлов".
🤔2
#hypex

Пожалуй, ощущение того, что "идеальный билд рядом" могло быть ложным. Почти каждый день появляются какие-то новые идеи, но всё-таки прогресс есть. Просто его надо фиксировать 😊
👏2
2201.09746.pdf
22.9 MB
2🔥2
Цитата от Стива Джобса:
Люди думают, что концентрация - это когда ты говоришь "да" тому, на чем сконцентрирован, но это совсем не так. Это значит, что ты говоришь "нет" сотне других полезных и нужных идей. Выбирать надо тщательно. На самом деле я горжусь вещами, которые мы не сделали, не меньше, чем теми, которые сделали. Изобретательность - это когда ты говоришь "нет" тысяче классных идей.
🤔3👀2
#mind_taska

Начал новый проект спонтанно. На самом деле он обусловлен желанием автоматизировать часть своей работы, да и вообще давно хотел сделать что-то подобное.

Суть... Есть майндмапа с проектами и тасками. Состояние тасок отслеживается посредством форматирования. Майндмапа выгружается в формате Freemind mm, парсится скриптом. В результате формируется строка со стейтом задач. Этот стейт становится записью в excel файле.

Минимальный план такой. Но в рамках идей для развития думаю добавлять в эксель графики, красивое форматирование и возможно автоматическую публикацию в гугл таблицах.

Пока рассматриваю 3 формата:
1. Пакет
2. Тетрадка
3. Скрипт с CLI

Сам планирую активно пользоваться вторым вариантом из которого, возможно потом ещё десктопный клиент намутится.

https://github.com/Dmatryus/mind_taska
🔥3
Dmatryusофрения
#mind_taska Начал новый проект спонтанно. На самом деле он обусловлен желанием автоматизировать часть своей работы, да и вообще давно хотел сделать что-то подобное. Суть... Есть майндмапа с проектами и тасками. Состояние тасок отслеживается посредством…
Выяснилось, что в формате mm не хватает данных о карте, которые нужны мне для формирования тасок, так что придется использовать менее популярный формат WiseMapping wxml. Кстати, всем рекомендую именно этот сервис для майндмап, так как опенсурс и можно селфхостить.

https://wisemapping.com
😢2🦄2
#mind_taska

Делюсь успехами по проекту.

Удалось замутить конвертацию mindmap в список тасок. Пока только в виде list[dict[task]], что уже полдела. Реализация не самая "Вау!", ибо дерево обходится рекурсивно и пишется тупо в сылку на лист. Не самое эффективное по памяти решение, но, что самое приятное, - ОНО ЖИВОЕ! и работает!

Может потом займусь оптимизацией, а сейчаc главное - замутить работающую тетрадку.

Дальнейшие планируемые шаги:
* Конвертация тасок в таблицу
* Расчет статистик по таблице
* Перенос функциональности в пакет

Надеюсь, что первые 2 пункта замучу завтра, но не уверен. В любом случае, прогресс радует.
👍2🤩2🦄2🆒1
#mind_taska

План выполнен.
🎉3👏2
#mind_taska

Добавил класс конфига. Дальше нужно мутить основной класс, перенося туда код. Функционально планирую делать сравнительные статистики, чтобы мутить графики прогресса.
👍21
#hypex
У нас тут релиз) Естественно от меня тоже есть фичи 😊😊
🔥2👏1
Forwarded from HypEx (Дмитрий Тихомиров)
🌟Весенний Релиз HypEx Версии 0.1.0 🌸

Мы рады представить новую версию HypEx, включающую в себя ряд новых функций, значительные улучшения и критические исправления ошибок, направленные на повышение удобства использования, функциональности и надежности фреймворка. Ниже представлен обзор основных изменений:

🆕Новые Функции и Улучшения🆕

🛠 Интеграция Выбора Признаков: Использование CatBoost, LightGBM, Ridge для интеграции алгоритмов важности признаков, напрямую влияющих на задачи сопоставления в HypEx.

📊Улучшения Класса AATest: Рефакторинг критических методов в классе AATest, упрощение взаимодействия с пользователем и расширение функциональности.

🧹 Автоматизированная Обработка Выбросов: Автоматическое обнаружение и управление экстремальными выбросами, с возможностью настройки методов обработки, тем самым улучшая надежность анализа данных.

🐞Исправления Ошибок🐞

🛠 Если вы сталкивались с LinAlgError при разложении Холецкого, то такого больше не произойдёт! Пофиксили историю, когда одинаковые колонки при разложении и теперь всё всегда работает :)

🛠 Ошибка при валидации с group_col: Пофиксили баг, когда при валидации со строгой стратификацией группы разбивались так, что не было среди кого искать контрольную группу

Документация и Предупреждения

⚠️ Добавлены предупреждения и руководства относительно функциональности Мэтчинга, такой как мультитаргет, выбор признаков и валидация.

📚 Улучшенная документация, включая предупреждения о выборе признаков, предоставляющая более полное понимание потенциальных подводных камней и соображений.
Методологические Инновации

🌐 Совместно с коллегами из Тинькофф добавили метод для A/B тестов, основанный на предельном распределении!

Обо всём подробно читайте в нашем GitHub

Можете уже обновляться до последней версии и пробовать новые функции :)
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
#hypex

Я чуть-чуть лектор)
👍4🔥4
#mind_taska

MVP готов. Базовая функциональность включающая в себя парсинг майндмап, подсчет статистик по ним, расчет статистик прогресса, работа с excel и конфигом работает!

Это уже можно использовать в работе, но постепенно буду улучшать.

// То, что даты в статистике одинаковые - это не баг, а фича из-за процесса тестирования.
🔥3👏1
#life

Сейчас, как потеплее станет, думаю начать вырабатывать себе привычку раз в неделю гулять хотя-бы по часу. Думаю, это будет полезно для души и тела.

// Картинка - сложная отсылка)
😁21