Полезное чтение про данные, технологии и не только:
Тексты для обдумывания
- A Fourth Wave of Open Data? Exploring the Spectrum of Scenarios for Open Data and Generative AI одна из немногих попыток переосмыслить подход к открытым данным в эпоху генеративного ИИ. Тексту уже почти 2 года, его авторы когда-то описывали концепцию 3-й волны открытых данных, а теперь пытаются нащупать основу для 4-й. С одной стороны это про полезный взгляд на мир, с другой стороны он скорее смотрит с регуляторной, а не с инженерной практики.
- Can AI Strengthen Policy Dialogue? Lessons from Building ReguLens рассказ про ReguLens, инструмент оценки регуляторных документов с помощью ИИ. Сам инструмент пока представлен только этим текстом и скриншотами и позиционируется как помощник специалиста, а не автономный агент. Достаточно очевидно что таким подходом очень скоро будут оценивать разные международные рейтинги в которых анализируется национальное регулирование.

Про ИИ
- Introducing Muse Spark: Scaling Towards Personal Superintelligence новая ИИ модель от Meta, в этот раз без открытого кода и похоже что бренд Llama пошел в утиль, а к этой модели надо присмотреться. Хотя выбирая между открытыми и закрытыми моделями, открытые предпочтительнее, если он немного, а не сильно хуже.

Сугубо технологическое
- Announcing General Availability of ClickHouse Full-text Search в Clickhouse появился/существенно обновился полнотекстовый поиск. Надо как можно скорее проверять и смотреть можно ли с его помощью заменить поиск в других продуктах. Использовать его вместо эластика в первую очередь
- Why I'm replacing Polars with DuckDB автор пишет про миграцию с Polars на DuckDB, текст короткий, но отражает и мои впечатления. Качество разработки у DuckDB существенно выше.
- profiling-explorer инструмент для визуализации файлов pstats при отладке приложений на Python. Полезный для отладки серверных и пользовательских приложений. Простая штука, хорошо дополняющая работу с profiling.tracing в Python

#opendata #ai #datatools #readings

Полезные ссылки про exploratory data analysis с открытым кодом:
- pygwalker инструмент для Jupyter Notebook для исследования датафреймов, интегрирован с Graphic Walker опенсорсным аналогом Tableau
- ydata-profiling инструмент для анализа данных, работает как код для Python с экспортом в интерактивный HTML или в Jupyter Notebook. Умеет работать с командной строки
- Rath еще один аналог Tableau от той же команды что и pygwalker. В том числе умеет подготавливать данные
- sweetviz еще один, отчасти упрощенный визуализатор датафреймов, тоже умеет создавать HTML или интегрироваться в тетрадки
- dataprep давно не обновлявшийся инструмент для подготовки данных в режиме low code.
- cleanvision инструмент анализа наборов данных с изображениями, умеет находить разные ошибки вроде дубликатов и изображений плохого качества
- openrefine давний инструмент с богатой экосистемой расширений для чистки и обогащения данных и просмотра датасетов для этих задач. Не дает аналитику, но дает возможность приводить данные в порядок
- kangas инструмент для визуального анализа наборов данных с изображениями
- marmot малоизвестный каталог для корпоративных данных

#opensource #data #datatools #eda

Ведомости пишут что Более 50% библиотечных фондов может быть изъято при буквальной трактовке законов из за закона об иноагентах и из-за признания многих организаций как нежелательных.

Пора ли начинать архивировать такую литературу или исходим из того что она не исчезает, а только недоступна в России? Но в других странах, не-российских онлайн библиотеках и в пиратских библиотеках эта литература останется?

Практически все эти книги находятся под авторским правом и их распространение почти наверняка нарушит копирайты и многие архивные проекты будут не готовы хранить такие материалы именно по причине нарушения авторского права и рисков блокировки в России.

#questions #digitalpreservation

Я тут, было дело, написал для самого себя лонгрид про ограничения интернета в России, потом перечитал его и понял что ничего нового не скажу. А если кратко, то можно на это смотреть как на меру антиэкономическую, как и многие другие меры снятия льгот, повышения налогов и тд.

Я понимаю что у правительства много идей по приданию динамики экономике России, но может быть главная идея была бы в том чтобы поотменять все запретительное, ограничивающее и обременяющее регулирование как минимум последних лет ?

Там список длинный получится. Но, как я много раз упоминал, сейчас политические причины любого регулирования доминируют над экономическими. Экономике явно будет хуже, из этого и надо строить свои личные и семейные стратегии того чем и где заниматься в ближайшие годы.

#thoughts

Полезные ссылки про данные, технологии и не только:
- Arckit набор команд для ИИ и фреймворк для проектирования архитектуры корпоративных информационных систем. Выглядит очень даже неплохо, надо поизучать. Интегрируется с разными ИИ агентами, включает много гайдов и примеров
- DuckLake v1.0 вышел production-ready DuckLake, однозначно надо пробовать и уже есть задачи на которых можно это делать. В общем-то озеро данных на Parquet файлах и SQL поверх - это выглядит как все более хорошая идея для много чего
- DuckDB 1.5.2 а заодно обновился движок DuckDB, теперь еще производительнее и с поддержкой новой онлайн оболочки и лучшей поддержки геоданных (тип GEOMETRY в расширении Iceberg)
- Dagster Pricing Update is Beyond Nuts пользователь на Reddit жалуется о том что Dagster резко подняли цену на их облачный сервис. Большинство реагируют в стиле, "ставьте же себе версию с открытым кодом", но в целом я могу сказать что полагаться на чужие внешние сервисы для обработки своих данных надо с большой осторожностью. Open source продукты тут в большем фаворе

#opensource #data #datatools #dataengineering

Датасет Цифрового архива: потребление семьями рабочих и служащих продуктов питания на одного члена семьи за год в килограммах в 1940-1958 г.

Мы уже публиковали сведения из справочника «Бюджеты рабочих, служащих и колхозников РСФСР. Статистический сборник» — о расходах рабочих и служащих на непродовольственные товары. Сегодня расскажем о продуктах питания для тех же категорий потребителей.

Так, в 1958 году в большинстве категорий семей самым востребованным продуктом оказались яйца: их тогда приходилось до 184,9 кг на человека в год (в семьях врачей). И только семьи рабочих совхозов употребили в 1958 больше молока, чем яиц — 201,6 кг на члена семьи в год.

Больше интересных наблюдений доступны в датасете «Потребление семьями рабочих и служащих продуктов питания на одного члена семьи за год в килограммах в 1940-1958 г.»

#датасет #статистика #ЦАГГ #история #РСФСР #продовольствие #csv

Вредные советы по продолжению ограничений Рунета:
- Обязательно надо заблокировать WeeChat. Во первых никто в Китае возмущаться не будет, это мессенжер который как раз активно мешает не китайцам его использовать, а во вторых это сильно попортит коммуникации российских импортеров из Китая и их поставщиками так что это хороший вариант, выражаясь образно, для ускорения отрицательной динамики роста экономики.
- Ввести квоты для компаний по минимальному использованию Max'а. Обязать все компании сдавать дополнительную отчетость по всем сотрудникам с их номерами телефонов и ввести мониторинг того у кого из них установлен Max и какую еженедельную активность они там ведут. При недостижении определенных квот, например, не менее чем 80% установлен Max и сотрудники отправляют не менее 100 сообщений в неделю, вводить штрафы. Очень хорошо сработает для ещё большего озлобления граждан и бизнеса.
- Цифровая таможня. Не в том смысле что оцифровка классической таможни, а в том чтобы доступ ко всем российским ресурсам (в сетях относящихся к РФ как стране) был бы только через специальный шлюз с авторизацией через Госуслуги и оплатой для неграждан. Зачем? Во первых до сих пор рунет недостаточно изолирован по мнению некоторых, во вторых сетевая нейтральность уже никого не волнует и в третьих бюджет то надо пополнять. И это альтернатива блокировкам VPN.

#мрачныйюмор #humour #russia

В качестве небольшого отвлечения от чисто технологических тем, расскажу немного про генеалогию. Я давно хотел и даже какие-то усилия предпринимал чтобы понять кто мои предки, в каком-то возрасте я думаю что к этому многие приходят. После того как я стало понятно что сам я с составлением генеологического дерева справляюсь плохо, я пошел в один из сервисов которые такие услуги предоставляют, заплатил им и теперь наблюдаю как вот уже несколько месяцев дерево заполняется и генеалогические карточки предков заполняются.

И вот что я могу сказать:
1. Существенная часть ссылок на материалы по моим предкам идут на сайты Мемориала, того самого которого совсем недавно гос-во признало экстремистской организацией. И если есть некоторая надежда что сохранятся сайты которые были не в .ru зоне и не на российских хостингах и есть подозрение что все материалы с сайтов в зоне .ru исчезнут. Лично для меня это прямая потеря существенной части генеалогических материалов. К вопросу о том как политика влияет на жизнь.Здесь вырезанный едкий комментарий
2. Часть ссылок на материалы на сайтах на narod.ru которые стремительно исчезают из доступа по мере того как владелец этого хостинга uCoz их затирает. Их неизбежно необходимо архивировать и проверять если эти материалы в Интернет архиве.
3. Мало материалов в открытых источниках с API и тд. Вообще мало генеалогических данных как открытых данных, но хорошо что хотя бы что-то есть. Казалось бы именно эти данные должны быть, но реально их маловато.
4. В целом ощущение что вся генеалогия сильно коммерциализирована. MyHeritage кажется монополистом, но в нем очень мало по моим предкам, хотя поиск по геному нашел много совпадений, но все дальние

Из неожиданного:
- оказалось что несколько поколений назад мои предки меняли фамилию с Бехтин на Бегтин, стало понятно почему я не мог найти многих родственников по отцовской линии
- удалось найти из каких мест в Турции происходят предки по армянской ветви. Но сложность остается в том что родственники там могли остаться, а церковные записи практически 100% исчезли.

#offtopic #genealogy

Полезные ссылки про данные, технологии и не только:
- Artifacts бета версия версионированного хранилища файлов с доступом через Git. Продукт от Cloudflare, под использование ИИ агентами и легким созданием новых репозиторий. Выглядит интересно, под ИИ продукты особенно (а может быть только для них). Из необычного - написан на Zig
- AI Summer, Data Winter: What the AI Index Reveals — and What It Doesn’t Yet Measure статья об исчерпании данных для обучения ИИ и о data winter, сжиманию открытости данных из-за ИИ хайпа. Полезно почитать это и другие статьи автора
- isitagentready.com еще один сервис от Cloudflare который определяет готов ли Ваш сайт для ИИ агентов. Возникает вопрос - а хорошо ли если он готов и плохо ли если не готов? В чем больше выгоды?
- Inside Notion про культуру внутри Notion, читать интересно, хороший жанр

#ai #tools #services #readings

В рубрике закрытых данных в РФ из открытого доступа исчезли данные судебной статистики с сайта Судебного департамента. По ссылке теперь сообщение Информация временно не доступна. Доступна страница в Интернет-архиве с последней копией 7 марта 2026 года и пока еще работают прямые ссылки на Excel файлы. Но, возможно, ненадолго.

Это данные небольшого объема, но значимые для исследователей правоохранительной системы России и журналистов.

#opendata #closeddata #russia #courts

Вдогонку к исчезновению судебной статистики. У меня есть копия статистики судебного департамента с 2005 года по 1-е полугодие 2025 года. Всего 502 Excel файла общим объёмом в 173MB

С одной стороны это немного, а с другой стороны бывает нужно. Если суддеп доступ к данным не вернет или если кто-то в более качеством виде их не опубликует, я их где-то размещу в одном из каталогов открытых данных.

P.S. Возможно надо сделать еще архивы обзоров статистических данных которые Верховный суд и суддеп публикуют

#opendata #closeddata #datasets #courts #russia

Полезные ссылки про данные, технологии и не только:
- Auditing AI книжка про то как организовывать аудит ИИ систем. Выглядит полезно, но хочется большего погружения. В открытом доступе под CC-BY-ND
- Understanding Data свежая книга про понимание статистики и дата сайенс в современном мире. Авторы из мира биоинформатики, но большая часть написанного универсальна
- Apodex сингапурский стартап Miromind AI переехал в США и меняет название. Лично я активно пользовался их продуктом MiroThinker и теперь вроде как у них think.apodex.ai. А также у них есть открытый deep research агент в виде открытого кода

#opensource #ai #readings