#activity
Пора подводить итоги года!
🗂 Новая система планирования проектов. Должна помочь концентрироваться и доводить дела до конца. Пока кажется с этой функцией справляется и не требует на себя много времени.
📖 Книга "Обучение без учителя. Искусство ориентации в энтропии " (#ul_book) была начата, 3 раза поменял концепцию. Пока на паузе. Проект не забрасываю. Он всё ещё один из топовых по приоритетам.
⛓ Библиотека для построения ML пайплайнов DmML-lab ( #dmml_lab). Проект был возражден и переработана концепция. Сделал модули анализаторов данных. Больше всего полезно не то, что сделано, а то, что задумано и проверено в рамках работы на либой, ибо эти идеи легли в основу новой архитектуры HypEx и продолжают развиваться там. Я искренне верю, что это будет очень круто. Проект пока опять же заморожен, но не брошен. Он развивается идейно и будет ещё лучше.
Кроме всего прочего это платформа для экспериментов. Я считаю немаловажным достижением разработку алгоритма RadiusDensity. Не хочу его забрасывать и надеюсь довести до публикации, но не в ближайшем будущем.
📊 Библиотека для простой работы с данными StatBox (#stat_box). В этом году почти никак не развивалась. Думаю, что идея этой либы будет лучше раскрыта средствами HypEx в будущем. Так что пока в планах нет развития этой либы.
✅ Todo manager (#todo) Я всё ещё хочу когда-нибудь его сделать 😂
📈 Библиотека кроссбэкэндового построения графиков PlotAdapter (#plot_adapter). Штука над которой я работаю прямо сейчас и довожу её до состояния MVP. Очень большие планы на неё, и я верю в её потенциальную пользу. Может когда-нибудь из этого даже выйдет что-то классное.
😀 Ну и конечно HypEx - моя основная рабочая деятельность. В этом году были разработаны АА и АБ тесты и достаточно круто прокачены АА тесты (ИМХО, можете сами оценить и сказать, что я не прав). Мы с коллегами добавляем новые фичи и активно работаем над новой архитектурой. Моё персональное стремление сделать очень крутой и гибкий инструмент. Хотя кажется, что он будет сложноват, но не для базовых сценириев. Но это спойлеры 😀
Пора подводить итоги года!
🗂 Новая система планирования проектов. Должна помочь концентрироваться и доводить дела до конца. Пока кажется с этой функцией справляется и не требует на себя много времени.
📖 Книга "Обучение без учителя. Искусство ориентации в энтропии " (#ul_book) была начата, 3 раза поменял концепцию. Пока на паузе. Проект не забрасываю. Он всё ещё один из топовых по приоритетам.
⛓ Библиотека для построения ML пайплайнов DmML-lab ( #dmml_lab). Проект был возражден и переработана концепция. Сделал модули анализаторов данных. Больше всего полезно не то, что сделано, а то, что задумано и проверено в рамках работы на либой, ибо эти идеи легли в основу новой архитектуры HypEx и продолжают развиваться там. Я искренне верю, что это будет очень круто. Проект пока опять же заморожен, но не брошен. Он развивается идейно и будет ещё лучше.
Кроме всего прочего это платформа для экспериментов. Я считаю немаловажным достижением разработку алгоритма RadiusDensity. Не хочу его забрасывать и надеюсь довести до публикации, но не в ближайшем будущем.
📊 Библиотека для простой работы с данными StatBox (#stat_box). В этом году почти никак не развивалась. Думаю, что идея этой либы будет лучше раскрыта средствами HypEx в будущем. Так что пока в планах нет развития этой либы.
✅ Todo manager (#todo) Я всё ещё хочу когда-нибудь его сделать 😂
📈 Библиотека кроссбэкэндового построения графиков PlotAdapter (#plot_adapter). Штука над которой я работаю прямо сейчас и довожу её до состояния MVP. Очень большие планы на неё, и я верю в её потенциальную пользу. Может когда-нибудь из этого даже выйдет что-то классное.
Please open Telegram to view this post
VIEW IN TELEGRAM
🍾3
Dmatryusофрения pinned «#activity Пора подводить итоги года! 🗂 Новая система планирования проектов. Должна помочь концентрироваться и доводить дела до конца. Пока кажется с этой функцией справляется и не требует на себя много времени. 📖 Книга "Обучение без учителя. Искусство…»
#iron
Сейчас у меня довольно напряжённая работа в Сбере, а заниматься в выходные той же, в сущности, работой пока сил не хватает. Поэтому я решил заняться другими насущными и полезными делами: апгрейдом железа. Большая часть из необходимого уже закуплена, но надо устанавливать и настраивать. Остальное только предстоит закупить.
Текущий сетап:
💽 1 + 2 ТБ очень быстрых ссд под линукс и винду соответственно
💾 32 ГБ 3200 МГц оперативы
🐇 Процессор AMD Ryzen R7 3700x
🤖 NVIDIA RTX 3090 24 ГБ
🌩 БП 1КВ
STAGE 1:
💾 64 ГБ 3600 МГц оперативы
🌩 БП Zalman Platinum 1.2 КВ
STAGE 2:
🐇 Процессор AMD Ryzen R9 3900x
🤖 NVIDIA RTX 3090 24 ГБ + NVIDIA RTX 3090 20 ГБ
Вы можете резонно спросить, а нафига все это? Короткие ответы:
1. Я чокнутый на железе
2. Богоугодное дело
3. Обработка относительно больших данных
4. Дифузионки
5. LLM
6. RL
7. Прочие вычислительные эксперименты
8. Шаринг ресурсов
Помимо железок нужно будет сосредоточится на софте. Прежде всего это нужно для шаринга ресурсов. Буду писать о ходе апгрейда.
// Написал характеристики быстро по памяти, особенно не заморачиваясь. Но если интересны подробности о каких-то железках, пишите.
Сейчас у меня довольно напряжённая работа в Сбере, а заниматься в выходные той же, в сущности, работой пока сил не хватает. Поэтому я решил заняться другими насущными и полезными делами: апгрейдом железа. Большая часть из необходимого уже закуплена, но надо устанавливать и настраивать. Остальное только предстоит закупить.
Текущий сетап:
💽 1 + 2 ТБ очень быстрых ссд под линукс и винду соответственно
💾 32 ГБ 3200 МГц оперативы
STAGE 1:
💾 64 ГБ 3600 МГц оперативы
STAGE 2:
Вы можете резонно спросить, а нафига все это? Короткие ответы:
1. Я чокнутый на железе
2. Богоугодное дело
3. Обработка относительно больших данных
4. Дифузионки
5. LLM
6. RL
7. Прочие вычислительные эксперименты
8. Шаринг ресурсов
Помимо железок нужно будет сосредоточится на софте. Прежде всего это нужно для шаринга ресурсов. Буду писать о ходе апгрейда.
// Написал характеристики быстро по памяти, особенно не заморачиваясь. Но если интересны подробности о каких-то железках, пишите.
Please open Telegram to view this post
VIEW IN TELEGRAM
#activity
Перенес публичные репозитории на GitHub. Пошел по наиболее популярному пути чтобы все проекты были в одном месте, да и распространять так легче. Но бэкапы всё равно время от времени буду делать в Gitea.
PlotAdapter (#plot_adapter): https://github.com/Dmatryus/PlotAdapter
DmML-Lab (#dmml_lab): https://github.com/Dmatryus/dmml-lab
Перенес публичные репозитории на GitHub. Пошел по наиболее популярному пути чтобы все проекты были в одном месте, да и распространять так легче. Но бэкапы всё равно время от времени буду делать в Gitea.
PlotAdapter (#plot_adapter): https://github.com/Dmatryus/PlotAdapter
DmML-Lab (#dmml_lab): https://github.com/Dmatryus/dmml-lab
GitHub
GitHub - Dmatryus/PlotAdapter
Contribute to Dmatryus/PlotAdapter development by creating an account on GitHub.
Dmatryusофрения pinned «#activity Перенес публичные репозитории на GitHub. Пошел по наиболее популярному пути чтобы все проекты были в одном месте, да и распространять так легче. Но бэкапы всё равно время от времени буду делать в Gitea. PlotAdapter (#plot_adapter): https://git…»
#research #forfun
Покупал недавно TWS наушники.
Выбирал из 3 моделей:
1. HUAWEI FreeBuds Pro 3
2. Nothing Ear(2)
3. Anker Soundcore Liberty 4
Выбрал в итоге 1. У них довольно чистый звук в разном диапазоне, отличный шумодав, они довольно удобные для меня и хорошо держат заряд.
2. Звук отстойный по сравнению с аналогами. Подробности не помню, только разочаровательное послевкусие. Я сразу понял, что не возьму их. Ещё зарядку не очень хорошо держат. Из плюсов они стильные и легкие, а ещё удобный своей плоскостью кейс. В кармане будет лежать приятно.
3. Звук очень уходит в басы. Высокие частоты отвратные. Совсем не для аркестровой музыки. Но если слушать в основном басы, то весьма неплохо. Держат зарядку больше других. Кайфовый кейс, цена ниже аналогов. Не всем удобная форма наушников и достаточно тяжелые. Не очень удобные интерфейсы пользовательские.
Покупал недавно TWS наушники.
Выбирал из 3 моделей:
1. HUAWEI FreeBuds Pro 3
2. Nothing Ear(2)
3. Anker Soundcore Liberty 4
Выбрал в итоге 1. У них довольно чистый звук в разном диапазоне, отличный шумодав, они довольно удобные для меня и хорошо держат заряд.
2. Звук отстойный по сравнению с аналогами. Подробности не помню, только разочаровательное послевкусие. Я сразу понял, что не возьму их. Ещё зарядку не очень хорошо держат. Из плюсов они стильные и легкие, а ещё удобный своей плоскостью кейс. В кармане будет лежать приятно.
3. Звук очень уходит в басы. Высокие частоты отвратные. Совсем не для аркестровой музыки. Но если слушать в основном басы, то весьма неплохо. Держат зарядку больше других. Кайфовый кейс, цена ниже аналогов. Не всем удобная форма наушников и достаточно тяжелые. Не очень удобные интерфейсы пользовательские.
🤔2
#activity
Я понял, что мой стиль - это что-то типа того, чтобы сделать 2 шага вперёд, 1 назад. Проблема в том, что некоторые процессы необратимы, а энтропия не убывает.
Речь пойдёт о системе планирования проектов. Когда она вводилась (сегодня 2 месяца назад ровно, кстати) целью было повышение десциплины ведения проектов и доведения их до конца. Идея отлично показала себя за это время, но всё же дисциплина - не самое важное в ведении хобби проектов. Прежде всего это кайф от процесса, и отвлечение от основной работы.
Как я писал ранее, сейчас выходит так, что хобби и работа - суть одно и тоже. В рамках работы дисциплина необходима, но проекция её на хобби, лишает его важной функции отдушины от работы.
К чему это всё... Решил снизить градус дисциплины и увеличить ротацию проектов. Это уменьшит концентрацию на одном ведущем проекте, но, кажется, должно позитивно сказаться на проектах в целом.
Теперь цикл проекта, не MVP или целая новая версия, а какой-то цельный модуль или идея.
На примере текущего ведущего проекта:
1. MVP PlotAdapter включает в себя полностью написанный, документированный и опубликованный код либы с помощью которой можно сделать простенькое исследование временных рядов (схема в следующем посте). Большая работа, которая требует дисциплины и +- полгода работы.
2. В случае нового планирования для смены проекта достаточно сделать надстройку в виде добавления линейного тренда.
Думаю, что такой подход к планированию должен привести к изменению подхода к версионированию. "Недоделанные" микроверсии будут публиковаться, как альфа-бетта версии, так что при желании с ними всё равно можно будет поиграться.
// Может создаться впечатление, что я занимаюсь только планированием. На самом деле сейчас прорабатывается новая фича, которая фундаментально меняет процесс в PlotAdapter(#plot_adapter), делая его удобнее, ценой поглощения дополнительной памяти.
Я понял, что мой стиль - это что-то типа того, чтобы сделать 2 шага вперёд, 1 назад. Проблема в том, что некоторые процессы необратимы, а энтропия не убывает.
Речь пойдёт о системе планирования проектов. Когда она вводилась (сегодня 2 месяца назад ровно, кстати) целью было повышение десциплины ведения проектов и доведения их до конца. Идея отлично показала себя за это время, но всё же дисциплина - не самое важное в ведении хобби проектов. Прежде всего это кайф от процесса, и отвлечение от основной работы.
Как я писал ранее, сейчас выходит так, что хобби и работа - суть одно и тоже. В рамках работы дисциплина необходима, но проекция её на хобби, лишает его важной функции отдушины от работы.
К чему это всё... Решил снизить градус дисциплины и увеличить ротацию проектов. Это уменьшит концентрацию на одном ведущем проекте, но, кажется, должно позитивно сказаться на проектах в целом.
Теперь цикл проекта, не MVP или целая новая версия, а какой-то цельный модуль или идея.
На примере текущего ведущего проекта:
1. MVP PlotAdapter включает в себя полностью написанный, документированный и опубликованный код либы с помощью которой можно сделать простенькое исследование временных рядов (схема в следующем посте). Большая работа, которая требует дисциплины и +- полгода работы.
2. В случае нового планирования для смены проекта достаточно сделать надстройку в виде добавления линейного тренда.
Думаю, что такой подход к планированию должен привести к изменению подхода к версионированию. "Недоделанные" микроверсии будут публиковаться, как альфа-бетта версии, так что при желании с ними всё равно можно будет поиграться.
// Может создаться впечатление, что я занимаюсь только планированием. На самом деле сейчас прорабатывается новая фича, которая фундаментально меняет процесс в PlotAdapter(#plot_adapter), делая его удобнее, ценой поглощения дополнительной памяти.
🥴2
#miniscripts
Переписав в 5 раз наверное скрипт инверсии цветов в изображении, психанул и создал репозиторий со скриптами, которые часто переписываются.
https://github.com/Dmatryus/miniutils
Переписав в 5 раз наверное скрипт инверсии цветов в изображении, психанул и создал репозиторий со скриптами, которые часто переписываются.
https://github.com/Dmatryus/miniutils
GitHub
GitHub - Dmatryus/miniutils: A set of small scripts for simple tasks.
A set of small scripts for simple tasks. Contribute to Dmatryus/miniutils development by creating an account on GitHub.
😁2🤔1
Dmatryusофрения
#miniscripts Переписав в 5 раз наверное скрипт инверсии цветов в изображении, психанул и создал репозиторий со скриптами, которые часто переписываются. https://github.com/Dmatryus/miniutils
Там был один скрипт и тот с ошибкой 😂
В общим, пофиксил)
В общим, пофиксил)
#activity
Улучшил систему планирования. Теперь можно меньше времени тратить на планирование и, при желании, больше внимания уделять проектам, выделив побочную ветку работы (пока не уверен, что есть силы на такие желания).
Улучшил систему планирования. Теперь можно меньше времени тратить на планирование и, при желании, больше внимания уделять проектам, выделив побочную ветку работы (пока не уверен, что есть силы на такие желания).
🤔2
#activity #ul_book
Тики решил выделить побочную ветку работы над проектами. Пока вернулся к мыслям о книге. Немного переписал предисловие в связи с измененным концептом. Пока концепт до конца не оформлен, но по плану писать черновики с более-менее хаотичными заметками. Когда из них сформируется цельная идея, она объединит эти заметки концептуальным клеем.
// Картинка под мою ассоциацию) Смысл можете сами придумать)
Тики решил выделить побочную ветку работы над проектами. Пока вернулся к мыслям о книге. Немного переписал предисловие в связи с измененным концептом. Пока концепт до конца не оформлен, но по плану писать черновики с более-менее хаотичными заметками. Когда из них сформируется цельная идея, она объединит эти заметки концептуальным клеем.
// Картинка под мою ассоциацию) Смысл можете сами придумать)
🤩2
#ul_book
Начал описание книги с объявления её структуры (в общем-то практически весь раздел "О книге" про её структуру).
Это пока черновые записи на этапе проектирования концепта. Поэтому мне интересно ваше мнение по поводу такого концепта построения структуры книги. Сам жизненный цикл, и как я его вижу, будет описан позднее и коротко упомянут в разделе "О книге", так как от него строится её структура глав.
Начал описание книги с объявления её структуры (в общем-то практически весь раздел "О книге" про её структуру).
Книга задумывалась, как некий сборник трюков, для тех, кто уже умеет решать задачи исследования данных на базовом уровне, поэтому структурирована, как учебное пособие для лёгкого чтения с возможностью использовать её, как справочник. Поэтому структура книги не предполагает глубокого погружения читателя в отдельные темы, а скорее призвана расширить его кругозор и мотивировать ознакомится со специализированными материалами по теме. Структура строится от жизненного цикла модели “универсальной комплексной задачи исследования данных” (УЗ), подробнее о которой можно узнать в главе 1. Каждая из последующих глав посвящена конкретному этапу этого жизненного цикла.
Это пока черновые записи на этапе проектирования концепта. Поэтому мне интересно ваше мнение по поводу такого концепта построения структуры книги. Сам жизненный цикл, и как я его вижу, будет описан позднее и коротко упомянут в разделе "О книге", так как от него строится её структура глав.
🤔2
Forwarded from IT Юмор
This media is not supported in your browser
VIEW IN TELEGRAM
«Тогда, пожалуй, начну новый»
#plot_adapter
Переработал движок PlotAdapter. Ранее предполагалось, что основные манипуляции с графиками будут происходить на уровне бэкэнда. Сейчас я думаю сделать внутреннюю структуру данных, которая будет содержать все основные операции, изменяющие данные, а бэкэнд будет только рисовать то, что в него передали. Идея кажется очевидной, но на самом деле здесь происходит компромисс между оптимальностью процедуры построения графиков и гибкостью подхода. Выбор сделан в пользу гибкости, исходя из общей философии либы.
Еще одно преимущество такого подхода в том, что в будущем потенциально можно будет не только рисовать графики разными бэкэндами визуализации, но и делать трансформации данных посредством разных бэкэндов, таких как Dask или Spark.
Переработал движок PlotAdapter. Ранее предполагалось, что основные манипуляции с графиками будут происходить на уровне бэкэнда. Сейчас я думаю сделать внутреннюю структуру данных, которая будет содержать все основные операции, изменяющие данные, а бэкэнд будет только рисовать то, что в него передали. Идея кажется очевидной, но на самом деле здесь происходит компромисс между оптимальностью процедуры построения графиков и гибкостью подхода. Выбор сделан в пользу гибкости, исходя из общей философии либы.
Еще одно преимущество такого подхода в том, что в будущем потенциально можно будет не только рисовать графики разными бэкэндами визуализации, но и делать трансформации данных посредством разных бэкэндов, таких как Dask или Spark.
⚡3🗿2🔥1
#activity
Что-то подзадолбался последнее время😒 + пилю большой апдейт в PlotAdapter. Так что лог пустует. Так что пока будут только новости про HypEx. Думаю побольше о нем писать. Да, это не так интересно, так как работа. Но лучше чем пустой лог 👀
Что-то подзадолбался последнее время
Please open Telegram to view this post
VIEW IN TELEGRAM
💯2
#activity
Сел сегодня заниматься PlotAdapter и понял, как он мне успел надоесть и пока не в кайф. При этом есть желание перезапустить один из старых проектов по фану. В нем нет особого практического смысла, но это просто кайфовая тема. Я думал, что она закрыта, но видимо нет. Сейчас хочу закончить хотя бы базовый переход к PlotData, чтобы тетрадка с туториалом работала, а потом посмотрим.
Сел сегодня заниматься PlotAdapter и понял, как он мне успел надоесть и пока не в кайф. При этом есть желание перезапустить один из старых проектов по фану. В нем нет особого практического смысла, но это просто кайфовая тема. Я думал, что она закрыта, но видимо нет. Сейчас хочу закончить хотя бы базовый переход к PlotData, чтобы тетрадка с туториалом работала, а потом посмотрим.
Dmatryusофрения
#activity Сел сегодня заниматься PlotAdapter и понял, как он мне успел надоесть и пока не в кайф. При этом есть желание перезапустить один из старых проектов по фану. В нем нет особого практического смысла, но это просто кайфовая тема. Я думал, что она закрыта…
Оказывается мотивация "задолбался" вполне рабочая. Закончил перевод на PlotData с исправлением ошибок за 15 минут) На сегодня, пожалуй, хватит, а дальше посмотрим чем заняться.
Вообще по приоритезации есть исследования в области ML, которым стоит уделить внимание. Например, недавно мне в голову пришел интересный способ уменьшения размерности пространства, причем двустороннего. Не в смысле, что без потери информации, а в смысле того, что сжатие интерпретируемо. Но пока не проведу тесты не особо хочу рассказывать, ибо может оказаться тупой фигней, так как придумано это было во сне, а записано в 4 утра.
Вообще по приоритезации есть исследования в области ML, которым стоит уделить внимание. Например, недавно мне в голову пришел интересный способ уменьшения размерности пространства, причем двустороннего. Не в смысле, что без потери информации, а в смысле того, что сжатие интерпретируемо. Но пока не проведу тесты не особо хочу рассказывать, ибо может оказаться тупой фигней, так как придумано это было во сне, а записано в 4 утра.
🤔1