Как реагировать на новость то что Пенсионный фонд объединили с Фондом социального страхования? [1]

В первую очередь, провести тотальную архивацию всех общедоступных ресурсов двух этих организаций. Это сайт ПФР pfr.gov.ru и сайт ФСС fss.ru, а также иных доступных сайтов, сообществ в социальных сетях и тд.

Аналогично и с другими случаями и слухами об отстранении отдельных руководителей органов власти. Потому что ни в одном законе не прописывают обязательную архивацию цифрового контента объединяемых или ликвидируемых органов власти.

В ближайшее время начнем архивацию контента этих органов власти в Национальный цифровой архив [2]

Ссылки:
[1] http://publication.pravo.gov.ru/Document/View/0001202207140012
[2] https://ruarxive.org

#digitalpreservation #webarchives

Про текущее состояние открытости данных на примере Фонда социального страхования (ФСС РФ).

ФСС РФ формально не является федеральным органом исполнительной власти, но, тем не менее выполняет многие его функции и с 2015 года фондом публиковались открытые данные.

У фонда было де-факто два способа раскрытия данных
- раздел на портале data.gov.ru [1] на который осталась ссылка на сайте фонда. Данные не обновлялись более 5 лет, ну и в целом это наименьшие по объёму стат показатели и административные справочники
- портал открытых данных data.fss.ru [2] на него уже нет ссылок с официального сайта ФСС РФ и сам портал всё ещё в статусе "тестового режима". На нем последние актуальные данные 4-х летней давности, опубликованы в 2018 году.

В результате актуальных ведомственных данных ФСС РФ нет уже более 4-х лет, а проекты по открытости заброшены.

Ссылки:
[1] https://data.gov.ru/organizations/7736056647
[2] https://data.fss.ru

#opendata #government #russia #fssrf

В рубрике как это работает у них, шотландский общественный портал открытых данных opendata.scot

• создан в 2021 г. на базе JKAN [1] статического генератора сайтов поверх известного инструмента с открытым кодом Jekyll․
• агрегирует данные из нескольких десятков порталов открытых данных Шотландии, в основном на базе ArcGIS и CKAN.
• автор Jack Gilmore [2] разработчик в одном из госорганов в Шотландии, делал его в свое свободное время
• весь открытый код доступен [3] и заодно и данные собираемые в Github.
• а также доступна аналитика в разных разрезах [4], автор собрал список госорганов в Шотландии, провязал его с данными из Wikidata и собрал список тех которые публикуют открытые данные и тех которые это не делают.
• автор активно использует Github для управления задачами сбора данных и мониторинга доступности сайтов [5]

В целом это очень простой проект, в котором можно обратить внимание на:
- его дешевизну, он почти ничего не стоит
- агрегацию имеющихся данных
- использование Github как хостинга

Главный недостаток в том что оригинальный автор JKAN забросил проект много лет назад [6], но учитываю простоту этого движка это не критично.

Ссылки:
[1] https://github.com/OpenDataScotland/jkan
[2] https://github.com/JackGilmore
[3] https://github.com/OpenDataScotland/the_od_bods
[4] https://opendata.scot/analytics/platform-health/
[5] https://github.com/OpenDataScotland/the_od_bods/actions
[6] https://github.com/timwis/jkan

#opendata #scotland #dataportals

С точки зрения цифровой архивации смена руководителя крупной госструктуры - это всегда сигнал к потере данных, контента и цифровых материалов. Не потому что предыдущий или новый руководитель плохой или хороший, а потому что в России нет обязательных требований по сохранению цифровых материалов и из публичного доступа они исчезают, часто очень быстро.

К примеру, к вопросу о Роскосмосе и смене его руководителя.
У Роскосмоса было и частично есть несколько сайтов, проектов
- www.roscosmos.ru - основной сайт, работает
- online.roscosmos.ru - сайт онлайн трансляций, минимальная информация
- ntk.roscosmos.ru - Орбита молодежи 2022, пока работает
- en.roscosmos.ru - англоязычная версия сайта
- gptl.ru - портал геоданных Роскосмоса
- pod.gptl.ru - портал открытых данных ДЗЗ
- tvroscosmos.ru - телестудия Роскосмоса
- licenses.roscosmos.ru - реестр лицензий
- vyzov.roscosmos.ru - программа полетов МКС-66
- keystart.roscosmos.ru - Ключ на старт, когда-то просветительский проект, сейчас недоступен

Плюс социальные сети и возможно есть и другие ресурсы, тут перечислены те что я знаю.

Что из этого может исчезнуть? Да практически все если, к примеру, новый руководитель захочет объединить всё в один ресурс. Или, если, например, решит что YouTube на котором лежат видеозаписи ТВ Роскосмоса недостаточно посконный и оттуда видео начнут удалять и переносить или ещё что-то.

Следующий вопрос, а каком приоритете и как всё это сохранять. Некоторые сайты архивируется классическими веб-краулерами, там где предусмотрен переход по ссылкам и их индексирование. А некоторые так не сохранятся, потому что не предполагают их индексирование и используют Ajax/API. К примеру licenses.roscosmos.ru, gptl.ru, pod.gptl.ru автоматически не заархивируются, нужно, или запускать краулер на базе браузера или писать парсеры. А tvroscosmos.ru можно заархивировать в части текста, но не в части видео, потому что всё видео на Youtube.

Всё это о том что любая внешняя архивация требует больших усилий, часто совершенно излишних. Проблемы возникают от того что нет чётких обязательств у госорганов, госкорпораций, госорганизаций сдавать в архив цифровой контент на регулярной основе.

P.S. А архив цифровых ресурсов Роскосмоса мы делаем

#digitalpreservation #webarchives

Полезное чтение про данные и не только:
- О том что SQL плохо справляется с воронками [1] и что с этим делать. По мне так очередная постановка вопроса о том что SQL надо менять или заменять. Очень много тех кто хочет заменить SQL своим продуктом, но альтернатив много.
- Надо ли публиковать репозитории dbt? [2] для тех кто не помнит, dbt - это такой инструмент в современном стеке данных позволяющий осуществлять трансформацию данных через SQL запросы, да так что всё это организовано в виде репозитория кода. Вопрос про раскрытие репозиториев непростой потому что часто код используется для обработки чувствительных данных.
- Обзор книги о диаграммах и графиках Learn to Draw Charts And Diagrams Step by Step из 80-х [3]. Когда мы все останемся без компьютеров можно будет взять оттуда на вооружение рекомендации.
- Обзор книги "Data Pipelines with Apache Airflow" [4] полезной для тех кто работает с трубами данных и с Airflow.
- сравнение Spark, Flink и ksqlDB для потоков данных [5] от команды RedPanda. Выбор, конечно, ими не ограничен и есть и другие конфигруации, но сравнение полезно.

Ссылки:
[1] https://motifanalytics.medium.com/everything-is-a-funnel-but-sql-doesnt-get-it-c35356424044
[2] https://davidsj.substack.com/p/public-transformation
[3] https://nightingaledvs.com/what-a-book-published-in-the-80s-taught-me-about-data-visualization/
[4] https://medium.com/plumbersofdatascience/book-review-data-pipelines-with-apache-airflow-by-rarelasnk-and-de-ruiter-654818e0b7b0
[5] https://redpanda.com/blog/data-stream-processing-spark-flink-ksqldb

#datatools #readings #data

В рубрике как это работает у них портал открытых данных Индонезии data.go.id

- работает с 2019 года с момента принятия президентского постановления
- имеет отдельный секретариат в подчинении Министерства национального планирования
- содержит более 90+ тысяч наборов данных, один из крупнейших порталов данных в мире
- большая часть данных в форматах XLSX и CSV, много геоданных в форматах WMS, WFS и API Esri REST
- на портале публикуют и обновляют данные все органы власти и все провинции Индонезии.
- портал создан на базе CKAN, поверх него разработчики создали веб-сайт использующий API CKAN и реализующий собственный поиск
- для тех провинций у которых есть свои порталы данных настроен агрегатор их сбора. Почти все региональные порталы также созданы на CKAN, например [2]
- портал постепенно развивается в сторону аналитики и дашбордов с разного рода визуализациями

В итоге портал очень велик по широте охвата и масштабу, пока не так хорошо проработан в части доступности данных в разных форматах. Ему не хватает доступных API и данных высокого качества, но у него всё хорошо с государственной поддержкой и раскрытием текущих данных как есть (open data by default).

Ссылки:
[1] https://data.go.id
[2] https://opendata.kukarkab.go.id/

#opendata #dataportals #indonesia

Для тех кто мог пропустить, с 20 июля, вот уже совсем скоро Google окончательно заменит раздел с разрешениями приложения в Google Apps на блок Data safety.

В Arstechnica статья о важных отличиях [1].

Раздел "разрешения приложению" был гарантированно актуальным поскольку разрешения описывались автоматически по итогам сканирования приложений, а Data safety - это декларация разработчика приложения по итогам заполнения одноименной формы. Это называется honor system (система на доверии).

Иначе говоря Google заменяют блок описания приложения от "мы проверили роботом, они следят вот так" на "разработчик мамой поклялся что будет вот так честно делать всё".

Впрочем в Google свои планы ещё не анонсировали, возможно раздел с разрешениями приложения всё же вернут под давлением общественности и регуляторов.

А я напомню что приложения для Android'а можно проверять независимыми инструментами такими как Exodus Privacy и др., я регулярно делал их обзоры [2].

Ссылки:
[1] https://arstechnica.com/gadgets/2022/07/google-plays-new-privacy-section-actually-hides-app-permissions/
[2] https://t.me/begtin/3106

#google #android #privacy

Написал большой текст в рассылку про наборы данных особой ценности (high-value datasets) [1].

Не забудьте подписаться [2] на рассылку. В отличие от телеграм канала я пишу туда не чаще чем раз в месяц в виде больших или очень больших текстов.

Ссылки:
[1] https://begtin.substack.com/p/27
[2] https://begtin.substack.com

#readings #opendata #datasets

В блоге статистического ведомства ООН о том как государства получают доступ к данным частных компаний [1] с акцентом на свежее регулирование Евросоюза The Data Act [2].

Краткие тезисы:
— некоторые данные есть только у крупных компаний и они не спешат делиться ими с госорганами
— попытки государств установить партнерства с компаниями в период пандемии сработали в 9 случаях из 41, из отчета Мирового Банка
— Евросоюз в The Data Act установил условия при которых компании обязаны предоставлять данные органам власти по запросу:
* реакция на чрезвычайную ситуацию, например, пандемию или природный катаклизм
* предупреждение чрезвычайной ситуации или восстановление
* ситуации предполагающие "исключительную необходимость" и отсутствие возможности или затруднение в приобретении данных.

Всё это к свежему российскому регулированию в котором российское гос-во также хочет получить доступ к данным коммерческих компаний.

Разница с Евросоюзом у российского регулирования, в недоверии способности органов власти сохранить эти данные, и в этическом дискомфорте поскольку не было даже видимости публичного обсуждения всех последствий этого законопроекта и в расплывчатости российского нормативного регулирования.

Тем не менее, я предскажу что рынок продажи данных государствам со стороны крупных цифровых монополий будет сжиматься. Неизбежно, либо ценовое регулирование, либо предоставление данных крупными компаниями на бесплатной основе.

Причём как раз модель регулирования ЕС, с высокой вероятностью, будут применять в других юрисдикциях.

—
Ссылки:
[1] https://unstats.un.org/unsd/undataforum/blog/the-eu-data-act-regulating-public-sector-access-to-privately-held-data/
[2] https://digital-strategy.ec.europa.eu/en/library/data-act-proposal-regulation-harmonised-rules-fair-access-and-use-data

#data #datasharing #legislation #laws #eu

Новости стандартизации, в W3C официально принят и опубликован стандарт Decentralized Identifiers (DIDs) v1.0 [1] в котором описана структура и логика присвоения постоянных идентификаторов объектов находящихся в децентрализованных реестрах.

Фактически - это стандарт для создания аналогов DOI, Handle и других подобных идентификаторов, но на основе Blockchain'а. Идея и область применения весьма интересные, одна из областей где децентрализованные технологии оправданы. Этот стандарт долгое время был черновиком и за этой время появилось более 100 идентификаторов/протоколов/спецификаций на его основе [2]․ Многие, но не все, из них относятся явно к крипте.

Из важных и интересных вопросов в том как будут эволюционировать существующие институции выдачи постоянных идентификаторов.

Ссылки:
[1] https://www.w3.org/TR/2022/REC-did-core-20220719/
[2] https://www.w3.org/TR/did-spec-registries/

#standards #blockchain #w3c #identifiers

Вышла версия 6.0 MongoDB, самой популярной документо-ориентированной NoSQL СУБД в мире. Если Вы никогда о ней не слышали и не читали, но работаете с JSON документами, то самое время узнать что это такое и как работает.

В новой версии анонсируют:
1. Улучшение работы с временными рядами
2. Улучшение работы с потоками изменений и возможности подписки на них
3. Улучшенная обработка сложных запросов
4. Больше операторов в языке запросов
5. Улучшенная синхронизация и новые операторы для этих задач
6. Улучшенная безопасность (запросы к зашифрованным данным)
7. Улучшения в поиске в виде фасетного поиска

Если посмотреть на всё это вместе, то кажется всё, в общем-то, очень даже неплохо. Продукт развивается, у него реально очень мало альтернатив, наиболее близкий по функциям продукт ArangoDB, но мигрировать на него требует переписать все запросы, поэтому основная конкуренция идет между MongoDB Cloud и MongoDB-совместимыми облачными базами данных.

Но я скажу честно, по личному опыту и практическому применению, MongoDB - это огромная находка и огромное разочарование.

Дело в том что для многих задач без высокой нагрузки, с иерархическими данными, созданием API с отдачей JSON и тд. у MongoDB очень много уникальных возможностей. Многое готово из коробки, язык запросов прост, привычен, удобства очень велики.

Но, как только дело доходит до высокой производительности то часто оказывается что использовать MongoDB как расширенное key-value хранилище - это норм, а много сложных запросов на больших данных оно не тянет. По многим причинам, рассказывать о них можно много и отдельно, но в целом high-load - это не про MongoDB.

Другая проблема MongoDB в неэффективном хранении данных, по сравнению с колоночными базами данных, к примеру. Это особенность архитектуры, у данных нет схем, нет возможности сжатия их по колонкам, что сжатие улучшает.

Но самая главная проблема в том что MongoDB нет в Modern data stack! Понятно что MDS - это концепция, а не четкий стек инструментов, но MongoDB попадает туда только как унаследованное хранилище данных.

Ключевые продукты популярные в MDS основаны на SQL и плоских структурах данных с чёткими спецификациями. Инструменты вроде dbt не поддерживают MongoDB, не поддерживают его и большая часть ETL инструментов и так далее.

Фактически MongoDB и другие документо-ориентированные NoSQL СУБД - это продукты в себе. Чтобы реализовать для них полноценный инструмент по контролю качества данных или их преобразованию придётся делать его узкозаточенным и, как следствие, плохо переносимым на другие продукты.

И эти проблемы, увы, не решаются релизом 6.0, но, в остальном, конечно, это полезный продукт пригодный для многих задач когда данных много, они иерархичны (JSON) и проектировать таблицы не хочется.

Ссылки:
[1] https://www.mongodb.com/blog/post/big-reasons-upgrade-mongodb-6-0

#mongodb #data #datatools #rdbms

Полезное чтение про данные и технологии
- подкаст о том как устроен StackOverflow внутри [1] особенность в том что там монолитное приложение на дотнет и SQL сервере с объёмом хранения в 1.5ТБ и всё это на серверах on-Premise и никаких облаков.
- о социотехническом подходе к данным [2] в интервью с Juan Sequeda, старшим исследователем в data.world. О том что технологий уже достаточно, а грамотности в работе с данными (data literacy) всё ещё мало
- о том как развернуть стек с открытым кодом по работе с данными на базе Kubernetes [3], не очень глубоко, но практично.
- в Великобритании комиссия по цифровому будущему изучает то как собираются данные в EdTech проектах и насколько это оправдано [4]
- в Индии общественность обвинила владельцев сервиса платежей RazorPay в передаче данных о платежах без разрешения плательщиков [5]. Было это сделано в рамках уголовного дела против Mohammed Zubair сооснователя новостного сайта Alt News. Его обвинили и арестовали за нанесение оскорбление верующим и полиция запросила сведения о том кто жертвовал этому СМИ деньги, в том числе в поиске зарубежных жертвователей.
- на государственном портале открытых данных Испании разбор позиции Испании в рейтинге Global Data Barometer [6] со множеством ссылок, объяснений.

Ссылки:
[1] https://hanselminutes.com/847/engineering-stack-overflow-with-roberta-arcoverde
[2] https://www.moderndatastack.xyz/people/the-scoio-technical-approach-to-data-klfa
[3] https://www.plural.sh/blog/how-to-build-and-operate-an-open-source-data-stack-on-kubernetes/
[4] https://digitalfuturescommission.org.uk/blog/reality-check-on-technology-uses-in-uk-state-schools/
[5] https://restofworld.org/2022/newsletter-south-asia-india-data-evidence-of-dissent/
[6] https://datos.gob.es/en/blog/open-data-spain-according-global-data-barometer-study

#data #opendata #privacy #readings

Среди идей на которых не хватает времени, есть те на которые, в первую очередь, не хватает партнеров/компаньонов/команды.
Иначе говоря тех кто готов на них не просто работать за деньги, а совместно искать финансирование, доводить до продукта и вести разработку. Причем не важно в России или за её пределами, главное желание и навыки.

Я из таких идей особенно выделю:
- Data wrangling на больших данных. Система очистки данных с человеческим интерфейслом похожая на OpenRefine, но на базе ClickHouse или другой колоночной базы данных. OpenRefine удобная штука, расширяемая и тд, но устаревшая технологически лет 5 назад, если не больше. Альтернатива ему дорогие коммерческие продукты вроде Trifacta за коммерческие деньги и очень посредственные продукты между ними. Идея требует больших усилий по созданию пользовательского интерфейса удобного и быстрого и работающего с большими данными, но бизнес модель понятна, рынок измерим и он гарантированно существует в мире.
- Поисковик по наборам данных, как альтернатива Google Dataset Search. Задача амбициозная, но реалистичная. Кроме каталогов открытых данных она может покрывать каталоги коммерческих данных и научных репозиториев. Большая часть каталогов имеют стандартизованные интерфейсы и вполне поддаются индексации. Бизнес модель не до конца очевидна и требует проработки, но вполне возможна.
- Безголовая система управления данными. Это каталог данных включающий их каталогизацию, документирование, описание, навигацию и тд. Безголовость в том что фронтэнд отделяется от серверной части, а серверная часть делается под управление через API и командную строку. В первую очередь под каталогизацию корпоративных хранилищ данных с фичами вроде автодокументирования, поиска по семантическим типам данных и тд.

Всё это технологические проекты с интеграцией в современную инфраструктуру данных. Если Вы думаете в тех же направлениях и готовы помогать искать инвесторов, вести разработку, проектировать, доводить до состояния продукта - пишите мне тут или на ivan@begtin.tech, буду готов обсудить.

#offers #data #dataproducts

Для тех кто мог упустить, в прошлом году, в октябре вышла записка The future of open data [1] за авторством Карлоса Иглесиаса о том в какую сторону развиваются тренды в открытости данных в мире. Записка там вышла довольно короткая, ключевое в ней 7 пунктов большая часть которых вообще не про технологии, а про людей. И даже конкретно про сообщества, обучение, организацию процессов и так далее.

Я хотел написать об этом тексте ещё в конце 2021 года, но в начале 2022 вышел другой текст с идентичным (!) названием, также The Future of Open Data [2], но с авторством двух канадок
и с очень чётким фокусом на геоданные.

Чего не хватает в этих документах, так это понимания того кто аудитория порталов открытых данных и инициатив по открытости. А ещё точнее кто уже является аудиторией и кто должен быть аудиторией. Часто это разные группы: программисты, создатели стартапов, корпорации, журналисты, ученые, госслужащие, активисты и студенты. Есть много пользовательских сценариев, и не только для порталов открытых данных, но и для открытых данных в принципе.

Пока я не видел ни одного полномасштабного исследования в этой теме, даже от крупных институций, но, всё это, проделанные работы в вроде той что сделал Карлос Иглесиас, не обесценивает.

Важное отличие развитие открытых данных в демократических странах в том что остальные инициативы по работе с данными в госсекторе связаны с ними и так или иначе их дополняют.

В России государственный портал открытых данных и иные дата-продукты государства существуют почти не пересекаясь. Это не хотят понимать, ни те кто должны обеспечивать открытость гос-ва, ни те кто оценивают эту открытость.

Открытые и общедоступные данные у нас окончательно рассинхронизуются уже давно. Данные которые мы собирали с порталов государственных информационных системы мы собирали, как минимум, на два порядка больше данных чем с официальных порталов открытых данных.

Ссылки:
[1] https://datos.gob.es/en/documentacion/future-open-data
[2] https://ruor.uottawa.ca/handle/10393/43648

#opendata #research