В рубрике как это работает у них, портал визуализации статистики внешней торговли Эстонии data.stat.ee [1]. Создан командой Datawheel, стартапа которые когда-то создавали DataUSA и ещё ряд проектов с наглядной визуализацией разного рода официальной и частной статистики.
В случае Эстонии это госпортал с официальной статистикой внешней торговли, с наглядной визуализацией и с интерактивной частью где можно посмотреть.
Лично я предпочитаю порталы где можно удобно работать с данными, скачивать или делать запросы к СУБД, но вот такие визуализации хороши когда нужна наглядная визуализация для презентации.
Ссылки:
[1] https://data.stat.ee
#opendata #dataviz #estonia
В случае Эстонии это госпортал с официальной статистикой внешней торговли, с наглядной визуализацией и с интерактивной частью где можно посмотреть.
Лично я предпочитаю порталы где можно удобно работать с данными, скачивать или делать запросы к СУБД, но вот такие визуализации хороши когда нужна наглядная визуализация для презентации.
Ссылки:
[1] https://data.stat.ee
#opendata #dataviz #estonia
В рубрике интересных наборов данных сайт-сообщество iNaturalist [1] изначально созданный как неофициальное сообщество наблюдение за животными и растениями и идентификацией их экспертами/участниками сообщества, далее взятый под опеку Калифорнийской академией наук и развиваемый в тесной интеграцией с другими большими проектами по систематизаций флоры и фауны, такими как GBIF.
В iNaturalists участники публикуют фотографии/наблюдения животных в естественной среде, всего размещено более 147 миллионов наблюдений от 2.7 миллионов наблюдателей, а также зарегистрировано 432 тысячи видов животных и 316 тысяч экспертов.
У проекта есть открытое API [2], а также слепок данных по 66 миллионам наблюдений опубликованный на GBIF [3] (на GBIF попадает не всё, а только наблюдения подтвержденные экспертами).
Это большой некоммерческий научный проект который можно отнести к гражданской науке и который охватывает практически весь мир. В нём можно найти экспертов и наблюдателей и результаты наблюдения из практически всех, даже очень малых или очень бедных стран
Ссылки:
[1] https://www.inaturalist.org
[2] https://api.inaturalist.org/v1/docs/
[3] https://www.gbif.org/dataset/50c9509d-22c7-4a22-a47d-8c48425ef4a7
#opendata #datasets #biology
В iNaturalists участники публикуют фотографии/наблюдения животных в естественной среде, всего размещено более 147 миллионов наблюдений от 2.7 миллионов наблюдателей, а также зарегистрировано 432 тысячи видов животных и 316 тысяч экспертов.
У проекта есть открытое API [2], а также слепок данных по 66 миллионам наблюдений опубликованный на GBIF [3] (на GBIF попадает не всё, а только наблюдения подтвержденные экспертами).
Это большой некоммерческий научный проект который можно отнести к гражданской науке и который охватывает практически весь мир. В нём можно найти экспертов и наблюдателей и результаты наблюдения из практически всех, даже очень малых или очень бедных стран
Ссылки:
[1] https://www.inaturalist.org
[2] https://api.inaturalist.org/v1/docs/
[3] https://www.gbif.org/dataset/50c9509d-22c7-4a22-a47d-8c48425ef4a7
#opendata #datasets #biology
Forwarded from Open Data Armenia (Valeria Babayan)
You are probably going to be surprised, but Armenia holds one of the leading positions in the region of Eastern Europe and Central Asia, backing down only to Ukraine and slightly surpassing Kazakhstan and Russia, according to the Global Data Barometer 2022.
The Armenia’s assessment comprised by Georgia-based experts shows that the country’s relative strength affecting the relatively high index (44.6/100) is its public finance data. On the other hand, the weakest of Armenia’s capabilities is its situation with the open data. We will spare no effort to boost this dimension of Armenia’s culture of dealing with the data, which will result in deeper societal changes, increasing consciousness and self-reflexion, as well as in policy responsiveness and effectiveness.
The Armenia’s assessment comprised by Georgia-based experts shows that the country’s relative strength affecting the relatively high index (44.6/100) is its public finance data. On the other hand, the weakest of Armenia’s capabilities is its situation with the open data. We will spare no effort to boost this dimension of Armenia’s culture of dealing with the data, which will result in deeper societal changes, increasing consciousness and self-reflexion, as well as in policy responsiveness and effectiveness.
К вопросу о поиске данных, в портал открытых данных по Армении (data.opendata.am) [1] мы начали загружать больше данных из разных источников и автоматически. Я вспомнил навыки по загрузке данных в CKAN и просто загрузил датасеты которые собирал в рамках Common Data Index с фильтром по Армении как по стране. Сейчас там более 700 наборов данных и ещё не меньше можно собрать.
По такому же принципу существует портал openAfrica [2], тоже общественная инициатива, только они собрали 6 886 по всему континенту. Не очень много, можно и больше, я недавно с ними общался и подсказывал где больше африканских порталов с данными. Собственно порталы на базе CKAN обладают встроенными API и функциями сбора данных из других порталов. По опыту API удобнее, правда.
И вот тут есть особенность что чем больше страна, тем больше по ней данных разбросано по международным и научным каталогам данных, потому что есть данные исследователей из страны, есть данные по биоразнообразию, есть данные исследований о земле, данные спутниковых снимков и так далее. Если поискать, например, данные о России за пределами России то можно насобирать до 40-50 тысяч наборов данных без феноменальных сложностей.
На одном только портале Pangaea более 14 тысяч наборов данных [4] по ключевому слову "Russia". К примеру, по слову "Armenia" находится только 46 наборов данных [5]. Поэтому размер территории, экономики и научной активности имеет значение когда собираешь данные по отдельной стране, за её пределами.
Я когда-то думал об этом размышляя над перезапуском нашего российского Хаба открытых данных [3]. Я совершенно не шучу что туда можно очень быстро добавить очень много данных, очень-очень много данных, разного размера, от маленького объёма до баз данных которые невозможно обработать на персональном компьютере.
Но в целом Государство российское, в его нынешней инкарнации, много лет скорее препятствует работе по повышению доступности данных. Помимо того что ониубили Кенни портал открытых данных data.gov.ru, так за все эти годы не появилось ни одного портала научных данных, кроме ЕСИМО, нет нормальных каталогов геоданных, и сами открытые данные госорганов сейчас крайне фрагментированы даже когда доступны.
Поэтому можно ли и нужно ли создавать Российский национальный не-государственный портал открытых данных - это вопрос открытый. И в значительной степени он упирается в аудиторию такого проекта.
Ссылки:
[1] https://data.opendata.am
[2] https://africaopendata.net
[3] https://hubofdata.ru
[4] https://pangaea.de/?q=Russia
[5] https://pangaea.de/?q=Armenia
#opendata #datasets #russia #armenia #datacatalogs #data
По такому же принципу существует портал openAfrica [2], тоже общественная инициатива, только они собрали 6 886 по всему континенту. Не очень много, можно и больше, я недавно с ними общался и подсказывал где больше африканских порталов с данными. Собственно порталы на базе CKAN обладают встроенными API и функциями сбора данных из других порталов. По опыту API удобнее, правда.
И вот тут есть особенность что чем больше страна, тем больше по ней данных разбросано по международным и научным каталогам данных, потому что есть данные исследователей из страны, есть данные по биоразнообразию, есть данные исследований о земле, данные спутниковых снимков и так далее. Если поискать, например, данные о России за пределами России то можно насобирать до 40-50 тысяч наборов данных без феноменальных сложностей.
На одном только портале Pangaea более 14 тысяч наборов данных [4] по ключевому слову "Russia". К примеру, по слову "Armenia" находится только 46 наборов данных [5]. Поэтому размер территории, экономики и научной активности имеет значение когда собираешь данные по отдельной стране, за её пределами.
Я когда-то думал об этом размышляя над перезапуском нашего российского Хаба открытых данных [3]. Я совершенно не шучу что туда можно очень быстро добавить очень много данных, очень-очень много данных, разного размера, от маленького объёма до баз данных которые невозможно обработать на персональном компьютере.
Но в целом Государство российское, в его нынешней инкарнации, много лет скорее препятствует работе по повышению доступности данных. Помимо того что они
Поэтому можно ли и нужно ли создавать Российский национальный не-государственный портал открытых данных - это вопрос открытый. И в значительной степени он упирается в аудиторию такого проекта.
Ссылки:
[1] https://data.opendata.am
[2] https://africaopendata.net
[3] https://hubofdata.ru
[4] https://pangaea.de/?q=Russia
[5] https://pangaea.de/?q=Armenia
#opendata #datasets #russia #armenia #datacatalogs #data
pangaea.de
Data Publisher for Earth & Environmental Science
Но есть и хорошие новости, крипто-пузырь сдувается в ноль [1] и, лично я считаю, что это только к лучшему. Удивительно даже как долго этот хайп длился и что у него до сих пор так много фанатов.
Ссылки:
[1] https://www.brookings.edu/articles/crypto-crashes-and-job-slashes-lessons-for-local-leaders-on-building-an-innovation-ecosystem/
#crypto #tech #readings
Ссылки:
[1] https://www.brookings.edu/articles/crypto-crashes-and-job-slashes-lessons-for-local-leaders-on-building-an-innovation-ecosystem/
#crypto #tech #readings
В рубрике интересных наборов данных, набор данных по использованию земли в Европейском союзе начиная с 2000 года по 2019 [1], а также визуальное представление этих данных в проекте The Open-Earth-Monitor Cyberinfrastructure [2]
Этот проект, как и многие другие геоданные с высокой детализацией, создаются в рамках исследовательской программы ЕС консорциумом университетов, исследовательских групп и частных компаний. Кроме него стоит посмотреть на другие значимые наборы геоданных публикуемые OpenGeoHub [3].
В очень хорошем смысле можно позавидовать их команде, создающей огромные наборы данных в хорошем качестве и за государственный счёт (научных программ ЕС и глобальных институтов).
Ссылки:
[1] https://opengeohub.org/datasets/high-resolution-annual-continental-european-land-use-land-cover-data-since-2000/
[2] https://ecodatacube.eu
[3] https://opengeohub.org
#opendata #datasets #geodata #europe
Этот проект, как и многие другие геоданные с высокой детализацией, создаются в рамках исследовательской программы ЕС консорциумом университетов, исследовательских групп и частных компаний. Кроме него стоит посмотреть на другие значимые наборы геоданных публикуемые OpenGeoHub [3].
В очень хорошем смысле можно позавидовать их команде, создающей огромные наборы данных в хорошем качестве и за государственный счёт (научных программ ЕС и глобальных институтов).
Ссылки:
[1] https://opengeohub.org/datasets/high-resolution-annual-continental-european-land-use-land-cover-data-since-2000/
[2] https://ecodatacube.eu
[3] https://opengeohub.org
#opendata #datasets #geodata #europe
Вышел свежий доклад ЮНЕСКО Open data for AI: what now? [1] посвящённый, как вы догадались, открытым данным для ИИ. Доклад короткий, на 64 страницы, но весьма интересный по содержанию, как с обзором текущих инициатив по открытости данных, так и развития их использования для создания ИИ инструментов и с учётом имеющихся рисков и ограничений.
Перечень действий и рекомендаций там довольно универсальный для публикации открытых данных, к ним лишь добавился акцент на данных высокого качества и по публикации данных AI-Ready (готовых для ИИ).
В целом, мне нравится этот документ, он чётко про открытость данных, с набором конкретных рекомендаций которые, я не сомневаюсь, будут применяться многими развивающимися странами. Для правительств стран раздумывающих о перезапуске повестки открытых данных - это важный ориентир для публикации данных в привязке к ИИ.
Ссылки:
[1] https://unesdoc.unesco.org/ark:/48223/pf0000385841
#opendata #unesco #documents #readings
Перечень действий и рекомендаций там довольно универсальный для публикации открытых данных, к ним лишь добавился акцент на данных высокого качества и по публикации данных AI-Ready (готовых для ИИ).
В целом, мне нравится этот документ, он чётко про открытость данных, с набором конкретных рекомендаций которые, я не сомневаюсь, будут применяться многими развивающимися странами. Для правительств стран раздумывающих о перезапуске повестки открытых данных - это важный ориентир для публикации данных в привязке к ИИ.
Ссылки:
[1] https://unesdoc.unesco.org/ark:/48223/pf0000385841
#opendata #unesco #documents #readings
Ещё один интересный документ-доклад OECD Government at a Glance 2023 [1]. Как очевидно из названия документ от ОЭСР и посвящён эффективности и деятельности входящих в ОЭСР стран и ряда стран кандидатов. В докладе много цифр и фактов про государственное управление разделённых по главам доверия к демократии, цифровое правительство, открытые госданные, бюджетирование, система госзакупок и так далее. Для тех кто интересуется как развиваются все эти темы в развитых странах это будет полезное чтение. Для облегчения его я могу порекомендовать сразу скачать доклад в PDF [2], поскольку онлайн версия там не самая удобная. А также посмотреть конкретные цифры на портале статистики ОЭСР [3], правда портал ОЭСР прямые ссылки на статразделы не поддерживает, поэтому там надо искать нужные данные в разделе Public Sector, Taxation and Market Regulation.
Этот доклад ОЭСР публикуют раз в 2 года и последний был в 2021 году. Тогда ещё были данные по России, которые собирались несмотря на заморозку в 2014 году вступления России в ОЭСР. В 2023 году данных по России уже нет совсем, все упоминания России только в контексте военного конфликта, роста инфляции, роста цен на продовольствие и так далее.
Ссылки:
[1] https://www.oecd-ilibrary.org/governance/government-at-a-glance-2023_3d5c5d31-en
[2] https://www.oecd-ilibrary.org/deliver/3d5c5d31-en.pdf?itemId=%2Fcontent%2Fpublication%2F3d5c5d31-en&mimeType=pdf
[3] https://stats.oecd.org/
#opendata #oecd #digitalgovernment #government #readings
Этот доклад ОЭСР публикуют раз в 2 года и последний был в 2021 году. Тогда ещё были данные по России, которые собирались несмотря на заморозку в 2014 году вступления России в ОЭСР. В 2023 году данных по России уже нет совсем, все упоминания России только в контексте военного конфликта, роста инфляции, роста цен на продовольствие и так далее.
Ссылки:
[1] https://www.oecd-ilibrary.org/governance/government-at-a-glance-2023_3d5c5d31-en
[2] https://www.oecd-ilibrary.org/deliver/3d5c5d31-en.pdf?itemId=%2Fcontent%2Fpublication%2F3d5c5d31-en&mimeType=pdf
[3] https://stats.oecd.org/
#opendata #oecd #digitalgovernment #government #readings
Когда-то одним из наиболее удобных инструментов для ведения заметок был Evernote, продукт одноимённого стартапа которые почти идеально для 2004 года, года его запуска, синхронизировался с устройствами и долгие годы был любим многими пользователями. Я лично пользовался им около 7 лет, скажу тогда это был очень удобный инструмент. Потом пришло много инструментов ему на замену, от личных wiki, до продуктов вроде Notion, Obsidian, Roam и ещё многих других.
В декабре 2022 года Evernote купила европейская компания Binding Spoons, в феврале 2023 года они уволили там 129 сотрудников, а 10 июля анонсировали полное увольнение офиса в США [1] и что разработка вестись будет теперь только в Европе. Правда непонятно кем учитывая что разработчики были в США, но, тем не менее, происходящее уже свершившийся факт.
Что использовать ему на замену?
Лично я исхожу из следующего подхода:
- результаты изучения, чтения чего-то и размышлений, которые могут быть публичными, для этого использую этот телеграм канал
- личные заметки в Joplin, Notion или Obsidian. Я лично предпочитаю Notion, но не претендую что это лучший вариант для всех
- рабочие заметки в Markdown и в Git когда это возможно
Ссылки:
[1] https://arstechnica.com/gadgets/2023/07/evernote-the-memory-app-people-forgot-about-lays-off-entire-us-staff/
#evernote #startups #notetaking
В декабре 2022 года Evernote купила европейская компания Binding Spoons, в феврале 2023 года они уволили там 129 сотрудников, а 10 июля анонсировали полное увольнение офиса в США [1] и что разработка вестись будет теперь только в Европе. Правда непонятно кем учитывая что разработчики были в США, но, тем не менее, происходящее уже свершившийся факт.
Что использовать ему на замену?
Лично я исхожу из следующего подхода:
- результаты изучения, чтения чего-то и размышлений, которые могут быть публичными, для этого использую этот телеграм канал
- личные заметки в Joplin, Notion или Obsidian. Я лично предпочитаю Notion, но не претендую что это лучший вариант для всех
- рабочие заметки в Markdown и в Git когда это возможно
Ссылки:
[1] https://arstechnica.com/gadgets/2023/07/evernote-the-memory-app-people-forgot-about-lays-off-entire-us-staff/
#evernote #startups #notetaking
Ars Technica
Evernote, the memory app people forgot about, lays off entire US staff
Launched in 2004, the company once sought to be the world's brain dump.
Я, кстати, не могу не отметить что в реестре порталов с данными Common Data Index уже больше порталов данных стран постсоветского пространства чем в datacatalogs.ru. Например, в реестре 37 порталов с данными в Республике Казахстан [1] из которых, правда, 33 являются геопорталами, по большей части на базе ArcGIS. Данные оттуда вполне можно получить, главные ограничения юридические поскольку в ArcGIS не вносят информацию о лицензиях/правах на данные. Впрочем я уже неоднократно писал [2] что с открытыми данными в Казахстане проблема другого рода, по факту data.egov.kz порталом открытых данных не является и его создатели всячески препятствуют использованию этих данных. Зачем они так делают я недоумеваю, странно что негосударственный портал открытых данных Казахстана ещё никто не создал.
Ссылки:
[1] https://registry.commondata.io/country/KZ
[2] https://t.me/begtin/4626
#opendata #data #kazakhstan
Ссылки:
[1] https://registry.commondata.io/country/KZ
[2] https://t.me/begtin/4626
#opendata #data #kazakhstan
datacatalogs.ru/
Каталог каталогов открытых данных
Поиск и фильтрация каталогов открытых данных
Практически незаметно прошла новость о том что администрация Байдена вернулась к практике публикации информации о посетителях Белого дома [1]. Эта практика была среди инициатив Барака Обамы, но после того как президентом США стал Дональд Трамп эти данные не публиковали. И вот в мае 2023 года данные вновь публикуются. Больших данных там нет, всего лишь 514 тысяч записей логов о посетителях [2], тем не менее это важная практика для обеспечения прозрачности исполнительной власти в целом и лоббизма в частности.
Ссылки:
[1] https://www.whitehouse.gov/briefing-room/disclosures/2021/05/07/biden-harris-administration-reinstates-visitor-log-policy-will-be-first-administration-to-post-records-from-first-full-year-in-office/
[2] https://www.whitehouse.gov/disclosures/visitor-logs/
#opendata #datasets #data #usa
Ссылки:
[1] https://www.whitehouse.gov/briefing-room/disclosures/2021/05/07/biden-harris-administration-reinstates-visitor-log-policy-will-be-first-administration-to-post-records-from-first-full-year-in-office/
[2] https://www.whitehouse.gov/disclosures/visitor-logs/
#opendata #datasets #data #usa
The White House
Biden-Harris Administration Reinstates Visitor Log Policy, Will Be First Administration to Post Records from First Full Year in Office
Today the Biden-Harris Administration posted visitor logs from January 2021. The Biden-Harris Administration will be the first administration to post visitor logs from its first full year in office. Visitor log disclosures will occur on a monthly basis.…
В рубрике больших наборов данных Open Buildings [1] от Google. Набор данных идентификации зданий в странах Глобального Юга: Африка, Латинская Америка и Юго-Восточная Азия. Набор данных относительно велик, 178GB. Работать с ним можно в облаке Google или скачать себе локально его целиком или отдельные сегменты разделённые по геометрии S2 [2]. Кроме того каждому зданию присваиваются Plus codes [3], уникальные идентификаторы используемые в Google Maps.
Это уже третья версия этого набора данных, в ней появилась Латинская Америка и Карибы.
А я напомню что похожий набор данных публикуется Microsoft и охватывает меньше стран, зато есть и развитые страны США, Австралия, Канада в виде отдельных наборов данных и весь мир в качестве единого набора данных [4].
Было бы интересно увидеть сравнения этих наборов данных.
Ссылки:
[1] https://sites.research.google/open-buildings/
[2] https://s2geometry.io/
[3] https://maps.google.com/pluscodes/
[4] https://github.com/microsoft/GlobalMLBuildingFootprints
#opendata #google #microsoft #earth #datasets #data
Это уже третья версия этого набора данных, в ней появилась Латинская Америка и Карибы.
А я напомню что похожий набор данных публикуется Microsoft и охватывает меньше стран, зато есть и развитые страны США, Австралия, Канада в виде отдельных наборов данных и весь мир в качестве единого набора данных [4].
Было бы интересно увидеть сравнения этих наборов данных.
Ссылки:
[1] https://sites.research.google/open-buildings/
[2] https://s2geometry.io/
[3] https://maps.google.com/pluscodes/
[4] https://github.com/microsoft/GlobalMLBuildingFootprints
#opendata #google #microsoft #earth #datasets #data
S2Geometry
S2 Geometry
The s2geometry.io website
В рубрике как это работает у них, портал открытых данных Таиланда data.go.th [1] малоизвестный за пределами англо-читающей среды поскольку, как и в большинстве азиатских стран, почти все материалы на нём и о нём на тайском языке.
Портал включает 9 732 набора данных, сделан на движке управления открытыми данными с открытым кодом CKAN и был бы в целом не очень примечателен если бы не системный подход. Вся инициатива по открытости в Таиланде чётко систематизирована, задокументирована, описана с процессной точки зрения и внедряется как полноценная государственная информационная система, а не какой-то побочный и ненужный продукт. На специальном сайте [2] описано всё что должны делать органы власти по развертыванию своих каталогов данных и публикации наборов данных, что, также, находится на контроле и мониторится.
Кроме того тайские власти разработали инструкцию по публикации метаданных the Data Description Standards or Metadata for Government Data Sets. [3] и даже разработали и опубликовали ПО нескольких расширений для CKAN ckanext-thai_gdc,
ckanext-gdc_agency и др. [4] для публикации их метаданных правильным образом, для учёта, анализа, отслеживания использования данных и так далее.
Ссылки:
[1] https://data.go.th/en/
[2] https://gdhelppage.nso.go.th
[3] https://www.dga.or.th/wp-content/uploads/2021/03/Final_GD-Catalog-Guideline-v.1.0_16032564-3.pdf
[4] https://gitlab.nectec.or.th/opend/installing-ckan/-/blob/master/README.md
#opendata #datasets #thailand #datacatalogs #ckan
Портал включает 9 732 набора данных, сделан на движке управления открытыми данными с открытым кодом CKAN и был бы в целом не очень примечателен если бы не системный подход. Вся инициатива по открытости в Таиланде чётко систематизирована, задокументирована, описана с процессной точки зрения и внедряется как полноценная государственная информационная система, а не какой-то побочный и ненужный продукт. На специальном сайте [2] описано всё что должны делать органы власти по развертыванию своих каталогов данных и публикации наборов данных, что, также, находится на контроле и мониторится.
Кроме того тайские власти разработали инструкцию по публикации метаданных the Data Description Standards or Metadata for Government Data Sets. [3] и даже разработали и опубликовали ПО нескольких расширений для CKAN ckanext-thai_gdc,
ckanext-gdc_agency и др. [4] для публикации их метаданных правильным образом, для учёта, анализа, отслеживания использования данных и так далее.
Ссылки:
[1] https://data.go.th/en/
[2] https://gdhelppage.nso.go.th
[3] https://www.dga.or.th/wp-content/uploads/2021/03/Final_GD-Catalog-Guideline-v.1.0_16032564-3.pdf
[4] https://gitlab.nectec.or.th/opend/installing-ckan/-/blob/master/README.md
#opendata #datasets #thailand #datacatalogs #ckan
Мне бы хотелось что-то сказать про хоть что-то позитивное в части доступности данных в России, но из речи Путина на конференции по Квантовым вычислениям и из анонса Национального проекта "Экономика данных" [1] у меня весьма удручённое впечатление. В выступлении ничего не прозвучало про открытость государства, доступность данных, регулирование в сторону открытости, зато много что звучало про "суверенность" данных, технологий и тд. Слова открытость и прозрачность в последние годы начисто пропали из речей федеральных политиков, в этом смысле ничего не поменялось, лишь подтвердилось.
Что можно сказать:
1. Явный акцент на экономику данных без открытости - это "игра" в сторону крупных корпораций собирающих данные и договаривающихся с гос-вом по использованию персональных данных граждан и наоборот всё больший сбор информации о гражданах государством через корпорации. Помяните моё слово, так и будет в ближайшие годы.
2. То же самое с квантовыми вычислениями. Это не про малый и средний бизнес, а про российские аналоги Дзайбацу (полу-семейных финансово-промышленных конгломератов).
3. В чём будет "суверенность" работы с данными можно предполагать в раздаче особо крупных субсидий на строительство и развитие ЦОДов и российских систем хранения данных, потому что без них всё это, скажем так, не полетит.
4. Про суверенные протоколы и стандарты я бы много чего сказал, но ограничусь тем что более менее неплохо переводили международные стандарты. Разработка своих стандартов, серьёзно? Кем? Впрочем пока даже непонятно о чём речь.
5. Развитые страны достаточно давно уже стремительно уходят от риторики экономики данных и переходят к риторике защиты прав граждан от злоупотребления их персональными данными и к открытости данных государств и корпораций для общественного блага и решения глобальных проблем. Пожалуй, худшее что было в это речи, то что ничего подобного не упоминалось. Есть много международных инициатив data for good, ai for good и тд.
Итого, это была речь не для граждан и не для малого среднего бизнеса, а для бизнес-крупняка, финансово-промышленных конгломератов, о том что государство делает специальный национальный проект чтобы "дружить" с ними ещё лучше и больше.
Как-то так.
Ссылки:
[1] https://t.me/mintsifry/1908
#data #russia #regulation #thoughts
Что можно сказать:
1. Явный акцент на экономику данных без открытости - это "игра" в сторону крупных корпораций собирающих данные и договаривающихся с гос-вом по использованию персональных данных граждан и наоборот всё больший сбор информации о гражданах государством через корпорации. Помяните моё слово, так и будет в ближайшие годы.
2. То же самое с квантовыми вычислениями. Это не про малый и средний бизнес, а про российские аналоги Дзайбацу (полу-семейных финансово-промышленных конгломератов).
3. В чём будет "суверенность" работы с данными можно предполагать в раздаче особо крупных субсидий на строительство и развитие ЦОДов и российских систем хранения данных, потому что без них всё это, скажем так, не полетит.
4. Про суверенные протоколы и стандарты я бы много чего сказал, но ограничусь тем что более менее неплохо переводили международные стандарты. Разработка своих стандартов, серьёзно? Кем? Впрочем пока даже непонятно о чём речь.
5. Развитые страны достаточно давно уже стремительно уходят от риторики экономики данных и переходят к риторике защиты прав граждан от злоупотребления их персональными данными и к открытости данных государств и корпораций для общественного блага и решения глобальных проблем. Пожалуй, худшее что было в это речи, то что ничего подобного не упоминалось. Есть много международных инициатив data for good, ai for good и тд.
Итого, это была речь не для граждан и не для малого среднего бизнеса, а для бизнес-крупняка, финансово-промышленных конгломератов, о том что государство делает специальный национальный проект чтобы "дружить" с ними ещё лучше и больше.
Как-то так.
Ссылки:
[1] https://t.me/mintsifry/1908
#data #russia #regulation #thoughts
Telegram
Минцифры России
🌐 В России появится новый нацпроект — «Экономика данных»
Национальный проект «Экономика данных» подготовят в течение года. Он будет рассчитан до 2030 года. Об этом сообщил Президент России Владимир Путин в ходе пленарного заседания форума будущих технологий…
Национальный проект «Экономика данных» подготовят в течение года. Он будет рассчитан до 2030 года. Об этом сообщил Президент России Владимир Путин в ходе пленарного заседания форума будущих технологий…
В продолжение про Национальный проект "Экономика данных" я не могу не напомнить про мой текст 2019 года Национальные проекты или бег по кругу [1] о том что что с точки зрения прозрачности государства и открытости расходов и результатов хуже нацпроектов только последующие за ними "инициативы социально-экономического развития". В 2021 году я обновлял таблицу сравнения разных госинициатив за последние 20 лет и из этой таблицы всё довольно очевидно.
Также в 2019 году я публиковал колонку в РБК Информационный барьер: как нацпроекты сделали бюджет менее прозрачным [2] в котором есть ещё и некоторые "технические нюансы" изменений в бюджетной росписи и отчетности сделавшие процесс ещё менее открытым.
Если кратко, то так:
1. Все отчетные сведения по формированию и исполнению нацпроектов закрыты для граждан в отличие от того что когда-то было для ФЦП, Госпрограмм и тд.
2. Почти вся публичная активность вокруг нац. проектов - PR. Содержания там минимум.
3. До закрытия реестра субсидий хотя бы частично информацию можно было собирать оттуда и из реестра госконтрактов. Сейчас только из реестра госконтрактов, в ограниченном объёме потому что не всё там контракты
4. Это не ошибка, не недосмотр, а целенаправленная политика по снижению прозрачности Правительства РФ в целом.
5. Говорить про эффективность нац проектов бессмысленно, до тех пор пока внутренние системы сбора показателей не будут раскрыты.
Ссылки:
[1] https://begtin.tech/natsional-nye-proekty-ili-beg-po-krugu/
[2] https://www.rbc.ru/opinions/economics/20/09/2019/5d81e9f99a7947a59b1f7cea
#government #spending #russia
Также в 2019 году я публиковал колонку в РБК Информационный барьер: как нацпроекты сделали бюджет менее прозрачным [2] в котором есть ещё и некоторые "технические нюансы" изменений в бюджетной росписи и отчетности сделавшие процесс ещё менее открытым.
Если кратко, то так:
1. Все отчетные сведения по формированию и исполнению нацпроектов закрыты для граждан в отличие от того что когда-то было для ФЦП, Госпрограмм и тд.
2. Почти вся публичная активность вокруг нац. проектов - PR. Содержания там минимум.
3. До закрытия реестра субсидий хотя бы частично информацию можно было собирать оттуда и из реестра госконтрактов. Сейчас только из реестра госконтрактов, в ограниченном объёме потому что не всё там контракты
4. Это не ошибка, не недосмотр, а целенаправленная политика по снижению прозрачности Правительства РФ в целом.
5. Говорить про эффективность нац проектов бессмысленно, до тех пор пока внутренние системы сбора показателей не будут раскрыты.
Ссылки:
[1] https://begtin.tech/natsional-nye-proekty-ili-beg-po-krugu/
[2] https://www.rbc.ru/opinions/economics/20/09/2019/5d81e9f99a7947a59b1f7cea
#government #spending #russia
Я как и почти все регулярно смотрю социальную фантастику вроде Черного зеркала и вижу много интересных тем будущего, но также вижу и дефицит сюжетов связанных с изменением технологий и отношения общества к ним, в попытке продумать альтернативы я сделал следующие наброски сеттингов будущего в которые можно поместить сюжеты.
Аккредитованный программист
Мир в котором произошли несколько масштабных катастроф из-за ошибок программистов. Все цифровые компании подлежат обязательной аккредитации, проверкам и аудиту. Программисты приравнены к врачам, должны проходить обязательное обучение, аналог ординатуры, допуски к работе над проектами по категориям. Программные ошибки могут быть основанием для привлечения к уголовной ответственности. Любое неаккредитованное программирование преследуется.
Авторов больше нет
Мир в котором авторское право запрещено как и любая форма владения интеллектуальной собственностью. Признаётся только имущественное право на физические объекты и запрещено владеть правами на книги, фильмы, программы, тексты статей и тд. Все произведения кроме опасных принадлежат человечеству, а опасные принадлежат государствам. Сюжет может быть построен на нищенствующих писателях и фотографах и на том что корпорации создают сверхзащищённые хранилища результатов разработок и придумывают как делать продукты чтобы никто не смог их воспроизвести.
Учёт виртуальных убийц
Государства всерьёз начинают бороться с насилием в компьютерных играх, вводятся обязательные требования по идентификации игроков для любых игр и обязательном предоставлении информации о том сколько игрок тратит времени на игру, Информацию игрового профиля могут получить правоохранительные органы для профилактики, проверить работодатели при трудоустройстве и в других ситуациях. Сюжет может быть построен на полицейском обходе игроков компьютерных игр и задержании за "виртуальные убийства".
#thoughts
Аккредитованный программист
Мир в котором произошли несколько масштабных катастроф из-за ошибок программистов. Все цифровые компании подлежат обязательной аккредитации, проверкам и аудиту. Программисты приравнены к врачам, должны проходить обязательное обучение, аналог ординатуры, допуски к работе над проектами по категориям. Программные ошибки могут быть основанием для привлечения к уголовной ответственности. Любое неаккредитованное программирование преследуется.
Авторов больше нет
Мир в котором авторское право запрещено как и любая форма владения интеллектуальной собственностью. Признаётся только имущественное право на физические объекты и запрещено владеть правами на книги, фильмы, программы, тексты статей и тд. Все произведения кроме опасных принадлежат человечеству, а опасные принадлежат государствам. Сюжет может быть построен на нищенствующих писателях и фотографах и на том что корпорации создают сверхзащищённые хранилища результатов разработок и придумывают как делать продукты чтобы никто не смог их воспроизвести.
Учёт виртуальных убийц
Государства всерьёз начинают бороться с насилием в компьютерных играх, вводятся обязательные требования по идентификации игроков для любых игр и обязательном предоставлении информации о том сколько игрок тратит времени на игру, Информацию игрового профиля могут получить правоохранительные органы для профилактики, проверить работодатели при трудоустройстве и в других ситуациях. Сюжет может быть построен на полицейском обходе игроков компьютерных игр и задержании за "виртуальные убийства".
#thoughts
Я регулярно пишу про то как устроена публикация научных данных в мире, напомню о том как она сейчас устроена в России.
В отличие от многих развитых и развивающихся стран в России отсутствует национальный репозиторий/каталог научных данных по аналогии с Zenodo (EU), ScienceDb (China) и многими другими. Впрочем аналогичная ситуация со всеми результатами научных исследований, статьями, диссертациями, конференциями и т.д., отсутствует централизованная система поиска по ним.
В то же время если не у всех, то у многих университетов и исследовательских центров есть порталы научной публикации, как правило они построены на базе DSpace, реже других видах ПО, но почти всегда open source. Ещё реже это какие-то собственные разработки или какие-то отдельные платформы.
Относительно недавно я упоминал 4 таких репозитория [1] в котором есть явное указание на наборы данных. Но, конечно, они не единственные. К системе научного раскрытия данных можно отнести систему ЕСИМО [2], но она относится не к институциональным, а скорее к функциональным системам публикации данных. Наборы данных из ЕСИМО плохо индексируются поисковиками, у них отсутствуют уникальные идентификаторы типа handle или DOI, даже просто прямые пермалинки отсутствуют.
В то же время, часть научных наборов данных рассеяны и не систематизированы по каталогам публикаций университетов, всё те же инсталляции DSpace,
Например, есть вот такой набор данных в репозитории СПбГУ [3] или вот такой [4], их можно найти вперемешку со статьями с ключевым словом "Dataset" [5], но в отдельную коллекцию или фильтр они не выделены. При том что внутри системы они достаточно чётко классифицированы по типу "dc:dataset", но фильтр по типу контента в этом репозитории не выставлен поэтому одним кликом их не отфильтровать. Надо выгружать все меданные с портала и искать уже по ним.
А иногда и даже тип контента указан недостаточно. К примеру, публикация в Электронном архиве УГЛТУ [6] включает данные в Excel файле, но тип её "Book" или же публикации данных Тихоокеанского океанологического института им. В.И. Ильичева выделены в специальную коллекцию Research data [7], но сами публикации имеют тип "Article".
Всё это о том что, по факту, скрытый пласт публикуемых научных данных в России далеко не нулевой, но из-за того что нет систематизации их публикации, то и находить их сложно. Фактически, делать это можно более-менее точно лишь по типам публикуемых файлов относящихся к данным.
В мире такой методической работой по публикации научных данных занимаются, или местные академии наук (Китай), или правительства/министерства науки (ЕС, Аргентина, США и др) и организации вроде Research Data Alliance в части систематизации метаданных и разработки стандартов.
И это же, кстати, то что можно отнести к базовой цифровой научной инфраструктуре. Когда, де факто, государства напрямую или через субсидии научным институтам создают инфраструктуру распространения научных знаний, упрощая учёным популяризацию их работ и облегчая доступ к данным сделанных другими.
Ссылки:
[1] https://t.me/begtin/4912
[2] http://portal.esimo.ru/portal/
[3] https://dspace.spbu.ru/handle/11701/19623
[4] https://dspace.spbu.ru/handle/11701/17279
[5] https://dspace.spbu.ru/simple-search?query=Dataset+
[6] https://elar.usfeu.ru/handle/123456789/3059?locale=en
[7] https://data.poi.dvo.ru:8443/jspui/handle/123456789/13
#opendata #openresearch #openaccess #russia #datasets
В отличие от многих развитых и развивающихся стран в России отсутствует национальный репозиторий/каталог научных данных по аналогии с Zenodo (EU), ScienceDb (China) и многими другими. Впрочем аналогичная ситуация со всеми результатами научных исследований, статьями, диссертациями, конференциями и т.д., отсутствует централизованная система поиска по ним.
В то же время если не у всех, то у многих университетов и исследовательских центров есть порталы научной публикации, как правило они построены на базе DSpace, реже других видах ПО, но почти всегда open source. Ещё реже это какие-то собственные разработки или какие-то отдельные платформы.
Относительно недавно я упоминал 4 таких репозитория [1] в котором есть явное указание на наборы данных. Но, конечно, они не единственные. К системе научного раскрытия данных можно отнести систему ЕСИМО [2], но она относится не к институциональным, а скорее к функциональным системам публикации данных. Наборы данных из ЕСИМО плохо индексируются поисковиками, у них отсутствуют уникальные идентификаторы типа handle или DOI, даже просто прямые пермалинки отсутствуют.
В то же время, часть научных наборов данных рассеяны и не систематизированы по каталогам публикаций университетов, всё те же инсталляции DSpace,
Например, есть вот такой набор данных в репозитории СПбГУ [3] или вот такой [4], их можно найти вперемешку со статьями с ключевым словом "Dataset" [5], но в отдельную коллекцию или фильтр они не выделены. При том что внутри системы они достаточно чётко классифицированы по типу "dc:dataset", но фильтр по типу контента в этом репозитории не выставлен поэтому одним кликом их не отфильтровать. Надо выгружать все меданные с портала и искать уже по ним.
А иногда и даже тип контента указан недостаточно. К примеру, публикация в Электронном архиве УГЛТУ [6] включает данные в Excel файле, но тип её "Book" или же публикации данных Тихоокеанского океанологического института им. В.И. Ильичева выделены в специальную коллекцию Research data [7], но сами публикации имеют тип "Article".
Всё это о том что, по факту, скрытый пласт публикуемых научных данных в России далеко не нулевой, но из-за того что нет систематизации их публикации, то и находить их сложно. Фактически, делать это можно более-менее точно лишь по типам публикуемых файлов относящихся к данным.
В мире такой методической работой по публикации научных данных занимаются, или местные академии наук (Китай), или правительства/министерства науки (ЕС, Аргентина, США и др) и организации вроде Research Data Alliance в части систематизации метаданных и разработки стандартов.
И это же, кстати, то что можно отнести к базовой цифровой научной инфраструктуре. Когда, де факто, государства напрямую или через субсидии научным институтам создают инфраструктуру распространения научных знаний, упрощая учёным популяризацию их работ и облегчая доступ к данным сделанных другими.
Ссылки:
[1] https://t.me/begtin/4912
[2] http://portal.esimo.ru/portal/
[3] https://dspace.spbu.ru/handle/11701/19623
[4] https://dspace.spbu.ru/handle/11701/17279
[5] https://dspace.spbu.ru/simple-search?query=Dataset+
[6] https://elar.usfeu.ru/handle/123456789/3059?locale=en
[7] https://data.poi.dvo.ru:8443/jspui/handle/123456789/13
#opendata #openresearch #openaccess #russia #datasets
В рубрике как это работает у них польская платформа для медицинских исследований PPMR [1] включает множество открытых реестров публикаций, тезисов, исследователей, лабораторий, исследовательских подразделений, патентов, инфраструктуры и, конечно же, исследовательских данных коих там 407 наборов данных. Предоставляют API на базе REST API, GraphQL и OAI-PMH. Работает на базе ПО Omega-PSIR [2] разработанного Варшавским университетом и используемое более чем 40 научными институтами в Польше. Например, тем же Варшавским университетом [3].
Ссылки:
[1] https://ppm.edu.pl
[2] https://www.omegapsir.io/
[3] https://repo.pw.edu.pl
#opendata #datasets #openaccess #openresearch #poland
Ссылки:
[1] https://ppm.edu.pl
[2] https://www.omegapsir.io/
[3] https://repo.pw.edu.pl
#opendata #datasets #openaccess #openresearch #poland