Открытые данные Минэка больше недоступны

Ровно месяц прошел с «закрытия» Портала открытых данных и бодрого обещания Минэка «присылать данные по запросу». В день закрытия портала отправила запрос на получение данных Минэка, которые сейчас недоступны, т.к. публиковались только на Портале открытых данных, что противоречит законодательству.

Спустя месяц получаем следующую картину:

- Портал открытых данных недоступен, вместе с этим и недоступен ни один набор данных Минэкономразиватия
- Запрос на получение открытых данных, отправленный на почту mineconom@economy.gov.ru, рассматривается месяц в рамках рассмотрения обращений граждан
- В ответе на запрос (напомню, готовили его месяц) дублируется информация, которая была опубликована на сайте Минэка: «Портал временно закрыт, но данные можно получить по запросу». Фактически это больше похоже на «Данных нет, но вы держитесь», т.к. данные-то я запросила, но не получила.
- Вся контактная информация для запросов данных повторно удалена с портала открытых данных и заменена на заглушку: «Ведутся технические работы», телеграм-чат, созданный Минэком, молчит.

Пруф с ответом прикреплен к посту.

В рубрике интересных инструментов работы с данными AutoProfiler [1]

Расширение для Jupyter Notebook для автоматической визуализации данных в дата фреймах. Выглядит просто, когда видишь в первый раз кажется что "это же очевидно!", а на практике имеет большую пользу. Интересно останется ли только поддержка Pandas или добавят и Polars, например?

В любом случае это полезный практический инструмент.

Внутри него используется библиотека Vega-Altair [2] которая для таких визуализацией представляется весьма практичной.

А сама идея сопровождать таблицы данных визуализациями не нова, вот такой подход с отображением технических параметров датасета мне нравится, в первую очередь пригодностью к автоматизации.


Ссылки:
[1] https://github.com/cmudig/AutoProfiler
[2] https://altair-viz.github.io/index.html

#data #datatools #opensource #codenotebooks

Интересное чтение про данные, технологии и не только:
- World’s largest battery maker announces major breakthrough in energy density [1] в компании CATL, ведущем производителе аккумуляторов в мире заявили о прорыве в хранении энергии и научились хранить до 500Wh на килограмм, для сравнения у батарей Tesla примерно вдвое меньше. Такая энергоёмкость снова возвращает к возможности создания электрических двигателей для самолётов. Если что CATL китайский производитель и это особенно интересно на фоне нынешних торговых войн. Подхлестнёт ли это исследования энергоёмкости в США и ЕС?

- Games are problems people pay to solve [2] короткий внятный текст про то что игры про то что люди платят за то что они решают задачи в изолированных безопасных пространствах. Со ссылками на хорошие книги по теме, а автор же написал книгу Mental Models Book.

- Prompt engineering [3] про инженерные методы взаимодействия с большими языковыми моделями. Без воды, много примеров, хорошо изложено. Отложил на почитать в ближайшие поездки.

- A genealogy of open [4] лонгрид о природе понятия открытости. Речь, в первую очередь, от открытости образования и образовательных материалов, но автор касается и других связанных тем: открытая наука, открытые данные и тд.

- Whose data commons? Whose city? [5] авторы рассуждают об открытости данных городов и важности инициатив в этой области. Выводы у них правда в форме: "надо об этом много говорить", кто же спорит. Но пишут со ссылками, хорошими аргументами и по делу.

Ссылки:
[1] https://thedriven.io/2023/04/21/worlds-largest-battery-maker-announces-major-breakthrough-in-battery-density/
[2] https://invertedpassion.com/games-are-problems-people-pay-to-solve/
[3] https://lilianweng.github.io/posts/2023-03-15-prompt-engineering/
[4] https://www.inthelibrarywiththeleadpipe.org/2023/genealogy-of-open/
[5] https://www.bennettinstitute.cam.ac.uk/blog/whose-data-commons-part-one/

#opendata #technology #readings #data #games #open

Я регулярно пишу про то как устроено в части работы с данными в разных странах, а в последнее время и чаще про страны постсоветского пространства и редко, но нахожу время для критики Минэкономразвития и Минцифры, это не значит что в РФ нет разумных проектов и инициатив о которых нельзя было бы рассказать.
Я приведу в пример три из них.

Открытые данные Минкультуры РФ (opendata.mkrf.ru)

Хорошо спроектированный и профессиональный движок для публикации открытых данных и для работы с данными в принципе. При том что там опубликовано всего 62 набора данных, но это данные относительно большого объёма, доступные по API, в разных форматах и с визуализацией. Очень хочется чтобы Минкультуры РФ не прополимерило потеряло его, потому что то что я знаю так то что после кадровых преобразований в Минкультуры уже неизвестно кто им занимается. Ещё жаль что ни одного внедрения этого движка кроме как на сайте Минкультуры нет.

Платформа поставки данных ФНС России (vpd.nalog.gov.ru)

Это не открытые данные идеологически, но это инициатива по предоставлению чувствительных данных, как ещё говорят data sharing. Я слышал много положительных отзывов от людей в региональной власти в РФ о том что жаль что у других ФОИВов нет подобного или что они не предоставляют свои данные также через такую платформу.


История финансовой системы (https://minfin.gov.ru/ru/ministry/historylib/common/finance/fin_history)

Большая коллекция книг исторических бюджетов и других материалов опубликованных Минфином России в разделе у себя на сайте. Что важно - многие документы ещё Российской Империи и СССР. Полезно для тех кто изучает территорий входящих и входивших в эту местность. Активно используется многими историками. За многое Минфину РФ спасибо не скажешь, а за это конкретно спасибо.

Госрасходы (spending.gov.ru)

Здесь немного бесстыдной рекламы проектам к которые я когда-то создавал. Проект создан на базе госконтрактов, данных по госпрограммам, госпроектам и многим другим данным относящимся к госфинансам и расходам/доходам гос-ва. После того как я ушёл снова заниматься коммерческими и общественными проектами им уже несколько лет занимается Ольга Пархимович (@ahminfin), она изредка пишет про открытость госфинансов и открытые данные. Подписывайтесь, думаю что прирост подписчиков промотивирует её писать чаще;)
—
Я знаю очень много других весьма неплохих практик открытости и работы с данными, о каких то не могу писать, потому что о них ничего нет публичного, о каких-то пишу, но редко, потому что чаще пишу на русском языке о том что происходит в мире.

В России же, к сожалению, хорошие практики теряются в общем тренде не закрытость гос-ва и то что лучшие практики не применяются. Если бы к примеру, новость о закрытии федерального портала data.gov.ru звучала бы как то что Минэк договорился с командой Минкульта о переносе их портала и создании качественного нового портала - то ну что бы их критиковал? Или если бы сотрудники Минэка покаялись бы и озвучили что сами понимают что всё продолбали и теперь передают полномочия налоговой службе по новой версии портала, то и такому можно было бы лишь апплодировать.

Но ничего такого не будет;)

Поэтому заканчиваю на минорной ноте, хорошие примеры есть, хорошие практики есть, люди с компетенциями есть даже внутри государства и его подрядчиков, но что-то в консерватории поправить надо (с) как говорил Жванецкий

#bestpractices #russia #government #opendata #data

Пишут что у Сбера появился свой аналог ChatGPT к которому, правда, доступ только по приглашениям. Я его не видел, зато не могу не вспомнить про проект AIID AI Incident Database [1] база из более чем 500 "инцидентов" произошедших с AI. Например, когда машина под управлением AI сбивает пешехода или когда рекомендательный алгоритм с использованием ИИ рекомендует совсем не то и тд. Судя по описаниям некоторых инцидентов, там объектом рассмотрения являются не только ИИ системы, но и нейросети и другие результаты машинного обучения. Я бы скорее говорил что там речь про ADM системы (ADM - automated decision making), но авторы используют термин AI.

И да, данные из этой базы можно скачать одним архивом в машиночитаемой форме [2]

Ссылки:
[1] https://incidentdatabase.ai/
[2] https://incidentdatabase.ai/research/snapshots/

#ai #ethics #incidents #datasets

Вдогонку к тому о чём я только что писал про Гостех, таблица с данными по всем странам которые оценивали в рамках индекса GMTI. Там все первичные данные, ссылки на законы, госполитику и тд. Заодно можно увидеть что эксперты Всемирного банка чаще всего сомнительные случаи трактуют в пользу страны и там есть какое-то количество устаревших пунктов, вроде того что в России ещё есть национальный портал открытых данных, тем не менее полезно посмотреть для того чтобы посмотреть на основе чего формируются оценки и из чего складываются оценки других стран.

#govtech #ratings #datasets

Сколько вообще в мире порталов с общедоступными данными? Я всё пополняю реестр каталогов данных в рамках Common Data Index [1] и статистики всё больше, понимание что ещё много осталось неохваченного тоже, но тем не мене.

Итак:
- 1508 внесенных каталогов данных и 497 найденных и ещё не систематизированных. Вместе около 2005
- 450 порталов на базе CKAN, самое популярное решение для порталов с открытыми данными
- 208 порталов Geonetwork, самый популярный каталог геоданных в мире. Не всегда там сами данные, иногда только метаданные. Размеры каталогов варьируются от 2 до 500 тысяч датасетов
- 178 порталов на базе облачного сервиса ArcGIS Hub. Это геосервис от ArcGIS позиционируемый как SaaS портал открытых данных
- 169 порталов на базе Geoserver, как правило не видных снаружи, но очень активно используемых
- 103 каталога научных данных на базе Dataverse
- 78 порталов на базе коммерческого продукта OpenDataSoft
- 63 портала на базе коммерческого продукта Socrata
- 58 порталов Geonode, упрощённого каталога геоданных. Он проще чем Geonetwork, но уже содержит ряд методанных о слоях
- 52 портала на базе опенсорсного каталога микроданных NADA
- 44 инсталляции ПО DKAN, аналог CKAN написанный на PHP и Drupal. Опенсорсный продукт
- 33 инсталляции PxWeb, ПО для публикации статистических индикаторов
- 21 научный портал данных на базе облачного сервиса Figshare

и не менее 247 порталов работающих на собственных разработках. Про Россию однозначно можно говорить про бесконечное изобретение велосипедов, типовое ПО используется крайне редко, международные стандарты метаданных почти не поддерживаются. Это касается и открытых данных и геоданных.

По числу порталов открытых данных и геокаталогов примерно поровну. По числу наборов данных геоданных многократно больше. По объёмам, наибольшего размера научные данные.

Ссылки:
[1] https://github.com/commondataio/dataportals-registry

#opendata #datasets #data #commondataindex

Про сжатие данных и о том почему я регулярно пишу что Parquet - это реально значимый формат хранения и обмена данными, важнее довольно многих.

Я приведу в пример данные с которыми я лично работал в аналитических задачах. У меня есть выгрузка слепка данных из российского реестра юридических лиц ЕГРЮЛ в виде 11 миллионов записей в которых 12 полей-признаков места организации, её типа, кода окопф, оквэд, кладр, статус ликвидации и тд. Без названий и без идентификаторов, данные нужны только для аналитической работы и построения кубов и срезов для BI. В общеё сложности - это 4.07ГБ. Не очень много когда один файл и много когда таких файлов десятки. С файлом нужно иметь возможность работать, загружать в СУБД или библиотеку вроде Pandas. Как сжать эти данные?

Самое очевидное - это сжать классическими архиваторами и хранить так. Gzip даёт сжатие до 337 МБ это примерно 8.3%, альтернативный Gzip'у архиватор LZ4 для быстрого сжатия и разжатия даёт компрессию до 340МБ это тоже примерно 8.3%, а LMA-архивация с помощь. XZ даёт 136МБ это примерно 3%, но она работает значительно медленнее. Все архиваторы проверялись в режиме максимального сжатия (ключ -9).

Так вот, а если этот же CSV файл преобразовать в parquet формат со сжатием, то итоговый файл получается размером в 109МБ, это примерно 2.7% от оригинального и, при этом, с ним весьма удобно работать с инструментами вроде Pandas при том что скорость преобразования значительно быстрее чем сжатие с помощью xz, к примеру. Во многом, похоже, это происходит из-заавтоматической идентификации типов полей и их преобразования.

Причём даже если повторить используемый в parquet трюк с колоночным сжатием, так просто такой результат повторить непросто. Например, у меня есть код который из CSV файла создаёт пучёк одноколоночных CSV файлов сжатие которых по отдельности должно быть лучше чем сжатие оригинального файла. Сжатые одноколоночные файлы дают дополнительное сжатие. GZIP файлы таких файлов занимают 221 МБ вместо 337 МБ. Аналогично для lz4 и только для xz размер общий файлов увеличивается до 139 МБ.

Конечно никто такие одноколочные файлы не делает, это трюк из давнего прошлого, я привожу его исключительно как иллюстрацию. Речь о том что Parquet файл значительно меньше и практичнее в общим случаях.

Отдельная история про сжатие данных для долгосрочного хранения и для сохранения интеграции с унаследованными системами. Тем не менее, имея выбор формата для хранения данных - Parquet это хороший выбор.

Для того чтобы он стал отличным ему нехватает только некоторых опций работы стандартными инструментами. Чтобы его можно было открыть в Excel, в браузере, в чтобы были аналоги grep/cat/awk/sed или csvkit и ещё много разных других инструментов. Тем не менее и сейчас его уже можно использовать.

#dataengineering #data #compression #parquet