#ul_book
За 2 недели успел попробовать 3 формата для работы над книгой:
📃 Сначала был очевидный docx. Я пользовался им в рамках Google Docs, чтобы было доступно на всех устройствах. До сих пор там записываю сырые куски текста.
📃 Чистовые записи сначала вёл в md (Markdown). Пока не продумал по-лучше состав книги и не столкнулся с проблемой того, что разные ридеры сильно по-разному отображают этот формат, хотя я его считаю достаточно удобным, особенно для небольших заметок.
📃 Сейчас перешёл на html. Чтобы работать с ним нужно отвлекаться на теги и прочую html-мишуру, зато можно чётко и однозначно отобразить структуру и свое видение того, как она должна выглядить. + легко сделать постобработку.

Какой формат предпочитаете использовать Вы для объёмной работы с текстом (особенно в контексте книги)?

#ul_book
Во вступлении к первой главе о том, что такое обучение без учителя, поднимаю тему нынешнего ажиотажа вокруг ИИ. Я думаю, что долг специалиста проявлять разумный скептицизм в отношении инфошума вокруг темы, извлекая из него лишь рациональное зерно. Хватает и инженерных проблем.

#stat_box
Расскажу об ещё одном своём проекте: StatBox.

Это минилиба, которая по большому счету является просто удобным интерфейсом для расчета статистики. Кроме того, там есть некоторая функциональность для работы с временными рядами, но она весьма ограничена и наверное её надо хорошенько переработать. Если будет запрос, может займусь.

В планах добавить туда модуль по простейшей генерации синтетики (в принципе базовая версия уже разработана, но я её ещё не внедрял в либу).

Возможно ещё добавлю какие-то базовые методы визуализации данных, но сейчас это скорее на уровне идеи, чем реализации.

Ознакомится можно здесь: https://gitlab.com/dmatryus.sqrt49/stat_box
Страница проекта на pypi: https://pypi.org/project/stat-box/

#dmml_lab
План развития проекта dmml-lib

#dmml_lab

Короткое резюме:
🎛 Добавил StatBoxAnalysis
✅ Закончил модули аналитики данных
👁 Изменил концепцию визуализации
✂️ Отказался от OnModelAnalysis

Подробно:
Сегодня был продуктивный день: добавил в либу dmml_lab интеграцию stat_box, что в целом завершает набор аналитических Executor.

Изначально был план, что есть универсальный Pipeline, который включает в себя последовательность универсальных Executor, каждый из которых делает только атомарное действие. Визуализация так же изначально задумывалась, как Executor, но потом я понял, что такой подход значительно усложнит построение Pipeline и пришёл к мысли, что аналитические Executor должны сами знать, как визуализировать результат своей работы, что привело к мысли о наследниках с расширенным набором функций, но это опять же усложняет построение Pipeline, так как придётся выделять функциональные сегменты. Сейчас я пришёл к мысли, что каждый Executor должен иметь функцию визуализации, а Pipeline иметь отдельный режим работы.
Визуализация будет содержать множество параметров настройки отображения и возвращать объект визуализации. Кроме того будет возможность записать результаты визуализации в html файл. Так же предполагается возможность работы с разными бэкэндами. Пока в планах matplotlib и plotly.

Я решил отказаться от идеи анализа данных посредством модели. Реализовать такой подход можно будет посредством добавления в Pipeline Executor с моделью и последующим её анализом. Тут опять же конфликт с универсальностью, который я пока не придумал, как лучше разрешить, но склоняюсь к мысли о том, чтобы усложнить универсальный Executor и добавить больше режимов работы в Pipeline.

#flood

Бывают дни, когда всё идёт не по плану и в логе нечего написать 😢