Ivan Begtin
7.99K subscribers
1.82K photos
3 videos
101 files
4.53K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts ivan@begtin.tech
Download Telegram
Почему данные компаний должны быть общественным благом ? (Why data from companies should be a common good?) [1] статья от члена французского парламента Паулы Фортеза и её советника Марианны Биллард о том что частные компании должны делиться данными с государством и другими компаниями. Они призывают к принятию Европейского закона о частных данных (European Private Data Act) в котором закрепить условия обмена данными / data sharing. При это подчёркивается что обмен данными не является синонимом открытости данных, а частные интересы компаний учитываются.

Пока рано говорить о том что такой закон появится в этом или в следующем году, но если он будет принят то однозначно будет создан по модели GDPR с экстерриториальностью подпадающих под него компаний. И первыми кто под него попадёт будут международные дата-корпорации которых могут захотеть понудить делиться данными с их европейскими партнёрами.

Что это означает? Я бы в ближайшие годы ждал активности в запуске частных data-sharing инициатив от крупнейших дата игроков в целях максимально отсрочить, ослабить или ограничить подобное регулирование.

Ссылки:
[1] https://apolitical.co/solution_article/why-companies-should-share-their-data-with-government/

#opendata #datasharing #data
В США ещё с июля месяца обсуждается [1] доклад/отчёт Data Foundation о модернизации инфраструктуры данных органов власти в США.

Главная идея доклада - создание National Secure Data Service (NSDS), Национальной службы охраны данных в виде одной из 4-х опций
1. Создание отдельного статистического агентства при Департаменте торговли (Commerce department)
2. Переназначение одного из существующих подразделений внутри Департамента торговли
3. Создание нового государственно-частного партнерства на базе Национального научного фонда, National Science Foundation (NSF)
4. ... и создание консорциума основанного на университетах

Каждый вариант весьма детально разбирается и в докладе хорошо изложены предпосылки создания такой службы, существующие и ожидаемые регуляторные документы позволяющие исследователям получать доступ к данным.

Полный текст доклада "Modernizing U.S. Data Infrastructure: Design Considerations for Implementing a National Secure Data Service to Improve Statistics and Evidence Building" [1]

Ссылки:
[1] https://www.nextgov.com/analytics-data/2020/07/national-data-service-should-be-created-within-national-science-foundation-data-foundation-says/167346/
[2] https://static1.squarespace.com/static/56534df0e4b0c2babdb6644d/t/5f1f5bb25962685892aa7106/1595890612480/Report-Modernizing+U.S.+Data+Infrastructure%3A+Design+Considerations+for+Implementing+a+National+Secure+Data+Service.pdf

#data #datasharing #usa
В Австралии офис уполномоченного комиссара по данным запустил два новых проекта.

Dataplace [1] - унифицированный сервис запросов данных у государства, как раз в соответствии с моделью Publish with the purpose, а то есть общественный или коммерческий интересант размещает запрос на данные и его получают и рассматривают все data custodians (хранители данных). Запросы рассматриваются на основании принципов обмена данными ранее разработанными в офисе уполномоченного [2]

Второй проект Data Inventories Pilot Program [3] сфокусирован на сборе метаданных о базах данных 20% органов власти в Австралии. По каждому набору данных собираются Core Metadata Attributes, специально сформированный перечень атрибутов для описания содержимого набора данных и его ключевых характеристик. Немного удивляет что они придумали собственную систему метаданных вместо DCAT2 [4], поскольку с DCAT/DCAT2 пересечения довольно заметные.

Ссылки:
[1] https://datacommissioner.gov.au/media-hub/dataplace-new-tool-promote-safe-and-effective-sharing-government-data
[2] https://www.datacommissioner.gov.au/data-legislation/assessing-data-requests
[3] https://datacommissioner.gov.au/media-hub/ondc-launches-pilot-project-australian-government-data-catalogue
[4] https://www.w3.org/TR/vocab-dcat-2/

#opendata #australia #datasharing #data
Для тех кто интересовался, видеозапись моей лекции в рамках Digital Innopolis Days "Управление основное на данных в государственном и частном секторе" [1]. Я много повторяюсь в эти годы, не потому что люблю повторяться, а потому что некоторые понятия/события/явления актуальны надолго, а двигаются медленно.

А также экспертной дискуссии "Экспертная дискуссия.Практики предоставления государственных данных (data sharing)" [2]. На дискуссии было много участников: Андрей Яковлев (НИУ ВШЭ), Дарья Цыплакова (Счетная палата РФ), Жанна Устименко (Минсельхоз России), Александр Гаврилин (Яндекс), Айрат Хасьянов и Елена Макарова (КАИ). Дискуссия была очень продуктивная, про кооперацию государства, бизнеса и исследователей в работе с данными.

Я участвовал и помогал в организации экспертной дискусии от нашей Ассоциации участников рынка данных (АУРД). В следующем году будет ещё несколько мероприятий который мы организуем от нашей ассоциации, о них я обязательно и ещё не один раз напишу.

Ссылки:
[1] https://www.youtube.com/watch?v=zFZQUQhz3Yo
[2] https://www.youtube.com/watch?v=S7N66ZepG0s

#opendata #data #datasharing #events
В каком-то смысле данные и проекты на данных становятся нормой в любой деятельности. Например, проект Native Data [1] о сборе и обмене личных данных, в первую очередь о здоровье между индейскими организациями/поселениями/сообществами в США.

Всё это подаётся как Tribal data sovereignty [2], контроль индейскими территориями собственных данных. Там много любопытного в этом подходе к реализации права на то чтобы знать о себе и иметь право управлять тем кто получает личные данные.

Ссылки:
[1] https://nativedata.npaihb.org/
[2] https://nativedata.npaihb.org/glossary/#tribal-data-sovereignty

#opendata #datasharing #tribes
Появились в открытом доступе предложения о мерах повышения доступности данных и эффективности их использования для целей развития цифровой экономики в РФ [1] прозвучавшие на заседании комиссии РСПП 30 ноября этого года.

Кроме всего прочего там есть предложения:
- по открытию данных органами власти
- по созданию экспертной группы по доступу к госданным при экспертном совете при Пр-ве РФ
- по развитию практики data sharing

И иногое другое. Напомню что от Ассоциации участников рынка данных (АУРД) мы помогали РСПП в организации этого заседания и формировании его повестки. Важно помнить что открытые данные - это не только открытость государства, но и бесплатное топливо для современных цифровых продуктов создаваемых бизнесом.

Ссылки:
[1] https://rspp.ru/events/news/predlozheniya-o-merakh-povysheniya-dostupnosti-dannykh-i-effektivnosti-ikh-ispolzovaniya-dlya-tseley-61c1af5cbe064/

#opendata #datasharing #aurd #rspp
В блоге статистического ведомства ООН о том как государства получают доступ к данным частных компаний [1] с акцентом на свежее регулирование Евросоюза The Data Act [2].

Краткие тезисы:
— некоторые данные есть только у крупных компаний и они не спешат делиться ими с госорганами
— попытки государств установить партнерства с компаниями в период пандемии сработали в 9 случаях из 41, из отчета Мирового Банка
— Евросоюз в The Data Act установил условия при которых компании обязаны предоставлять данные органам власти по запросу:
* реакция на чрезвычайную ситуацию, например, пандемию или природный катаклизм
* предупреждение чрезвычайной ситуации или восстановление
* ситуации предполагающие "исключительную необходимость" и отсутствие возможности или затруднение в приобретении данных.

Всё это к свежему российскому регулированию в котором российское гос-во также хочет получить доступ к данным коммерческих компаний.

Разница с Евросоюзом у российского регулирования, в недоверии способности органов власти сохранить эти данные, и в этическом дискомфорте поскольку не было даже видимости публичного обсуждения всех последствий этого законопроекта и в расплывчатости российского нормативного регулирования.

Тем не менее, я предскажу что рынок продажи данных государствам со стороны крупных цифровых монополий будет сжиматься. Неизбежно, либо ценовое регулирование, либо предоставление данных крупными компаниями на бесплатной основе.

Причём как раз модель регулирования ЕС, с высокой вероятностью, будут применять в других юрисдикциях.


Ссылки:
[1] https://unstats.un.org/unsd/undataforum/blog/the-eu-data-act-regulating-public-sector-access-to-privately-held-data/
[2] https://digital-strategy.ec.europa.eu/en/library/data-act-proposal-regulation-harmonised-rules-fair-access-and-use-data

#data #datasharing #legislation #laws #eu
Белый дом (США) опубликовал меморандум об обязательном оперативном раскрытии результатов научных исследователей финансируемых из федерального бюджета США [1] [2].

К середине 2023 года все федеральные органы власти должны обновить свои планы по открытию доступа и обмене данными, а с 31 декабря 2025 года результаты всех научных исследований должны публиковаться в открытом доступе.

От себя добавлю что портал открытых данных в США data.gov - это, во многом, портал раскрытия научных данных такими ведомствами как НАСА, геологической службой США и ещё рядом органов власти, но он не был приспособлен к раскрытию именно научных данных, например, он не присваивает DOI, не даёт публиковать данные под эмбарго и тд.

Поэтому этот меморандум имеет большое значение и интересно будут ли в США создавать отдельный национальный портал открытого доступа или обновят data.gov.


Ссылки:
[1] https://www.whitehouse.gov/ostp/news-updates/2022/08/25/ostp-issues-guidance-to-make-federally-funded-research-freely-available-without-delay/
[2] https://www.whitehouse.gov/wp-content/uploads/2022/08/08-2022-OSTP-Public-Access-Memo.pdf

#opendata #openaccess #datasharing #usa
Австралийская схема данных (DATA Scheme) [1] - это концепция доступа к данным продвигаемая их офисом национального комиссара по данным. В Российской логике наименований это звучало бы примерно как "Уполномоченный по данным", поскольку должность персонализированная.

В основе схемы модель взаимодействия с потребителями данных в части предоставления доступа к чувствительным госданным через аккредитацию сервис провайдеров и пользователей.А также определение списка "дата стражей" (data custodians), органов власти отвечающих за доступ к определенным данным.

Особенность в том что это не открытые данные, а данные доступные на определенных условиях. На каких-то ранних стадиях обсуждалось что доступ будет, также, у бизнеса, но в финальной схеме описывается модель с доступом к данным у органов власти и университетов.

Всё это можно сравнить с российской инициативой НСУД (Национальная система управления данными) с той разницей что в австралийской модели всё происходит через специальную платформу Data Place. Она, фактически, работает скорее по академической модели предоставления доступа к чувствительным данным, запросы и обоснованные отказы или согласия.

При этом, австралийское правительство явным образом обещает что если запрашиваемые данные не будут чувствительными, то они готовы публиковать их на data.gov.au, портале открытых данных Австралии [3]


Ссылки:
[1] https://www.datacommissioner.gov.au/the-data-scheme
[2] https://www.dataplace.gov.au/
[3] https://www.dataplace.gov.au/articles/KA-01031

#opendata #australia #datasharing
Вышел свежий доклад The State of Open Data 2022 [1] от Figshare посвящённый открытости данных в науке. Как и все доклады типа "The state of ..." это построен на опросе, в данном случае опросе исследователей работающих с данными. Там много любопытного о том как учёные используют данные и обмениваются ими, но интересно и то что открытость науки сейчас это характеристика живой науки. Уж насколько можно считать закрытым Китай, но в докладе есть статья The role of policy makers in China: facilitating the move to open data for researchers and journals о том как в Китае разработали и применяют принципы управления данными Measures for the Management of Scientific Data (MMDS) и открытый обмен данными часть их стратегии.

Ссылки։
[1] https://digitalscience.figshare.com/articles/report/The_State_of_Open_Data_2022/21276984

#opendata #openaccess #openscience #datasharing