В рубрике как это работает у них портал данных Банка международных расчётов (BIS) data.bis.org [1]. Как и у многих межгосударственных организаций портал данных является, по факту, порталом для публикации статистических индикаторов. В данном случае это экономические и финансовые индикаторы с той особенностью что они разделены по странам с детализацией до страны. Поэтому, к примеру, по Армении доступно 3455 индикаторов, а по России 9312 индикаторов. В общей сложности так получается несколько сотен тысяч индикаторов по странам и несколько тысяч/десятков тысяч глобальных таблиц. В общей сложности на портале около 1 миллиона временных рядов которые можно считать, также, наборами данных
У портала есть открытое API [2], внутри и снаружи всё на основе формата SDMX, с экспортом в CSV, Excel, XML (SDMX).
Этот портал - это хороший пример публикации и визуализации статистики, с огромными объёмами временных рядов, пояснениями, экспортом, цитированием, визуализацией и удобным поиском по всем собранным данным. Глядя на многие порталы статистики многих стран, часто, хочется подобного.
А для тех кто ищет международные данные с временными рядами напомню про такие порталы как:
- портал данных Всемирного банка data.worldbank.org
- портал данных ООН data.un.org
- портал данных ОЭСР data.oecd.org
а также существуют десятки других.
Ссылки:
[1] https://data.bis.org
[2] https://stats.bis.org/api-doc/v1/
#opendata #datasets #timeseries #datacatalogs #data
У портала есть открытое API [2], внутри и снаружи всё на основе формата SDMX, с экспортом в CSV, Excel, XML (SDMX).
Этот портал - это хороший пример публикации и визуализации статистики, с огромными объёмами временных рядов, пояснениями, экспортом, цитированием, визуализацией и удобным поиском по всем собранным данным. Глядя на многие порталы статистики многих стран, часто, хочется подобного.
А для тех кто ищет международные данные с временными рядами напомню про такие порталы как:
- портал данных Всемирного банка data.worldbank.org
- портал данных ООН data.un.org
- портал данных ОЭСР data.oecd.org
а также существуют десятки других.
Ссылки:
[1] https://data.bis.org
[2] https://stats.bis.org/api-doc/v1/
#opendata #datasets #timeseries #datacatalogs #data
Наконец-то можно анонсировать, мы запускаем конкурс по открытым данным Армении в двух номинациях:
- Приложения для культуры
- Визуализация данных
Общий призовой фонд $3000, а заявки можно подавать до 18 февраля 2024 г., с подведением итогов 2 марта 2024 г. на Open Data Day в Ереване.
Для участия главное чтобы Ваш проект был на открытых данных и посвящён Армении, при этом конкурс не только для граждан, но и для тех кто относит себя к диаспорам по всему миру (Россия, Франция, США и другие страны), а также для тех кто просто относится к Армении с любовью и хочет чтобы стране было лучше.
Открытых данных много, можно многие найти на нашем портале data.opendata.am и мы будем регулярно писать про новые данные и где их найти в телеграм канале проекта @opendataam, подписывайтесь если ещё не подписались;)
#opendata #armenia #data #contest
- Приложения для культуры
- Визуализация данных
Общий призовой фонд $3000, а заявки можно подавать до 18 февраля 2024 г., с подведением итогов 2 марта 2024 г. на Open Data Day в Ереване.
Для участия главное чтобы Ваш проект был на открытых данных и посвящён Армении, при этом конкурс не только для граждан, но и для тех кто относит себя к диаспорам по всему миру (Россия, Франция, США и другие страны), а также для тех кто просто относится к Армении с любовью и хочет чтобы стране было лучше.
Открытых данных много, можно многие найти на нашем портале data.opendata.am и мы будем регулярно писать про новые данные и где их найти в телеграм канале проекта @opendataam, подписывайтесь если ещё не подписались;)
#opendata #armenia #data #contest
Forwarded from Open Data Armenia
Armenia's first open data-based project contest starts on December 25, 2023.
We invite authors of projects based on a variety of data sources, including open government resources, data on the history, culture, and art of Armenia, data on the economy, and other spheres.
Nominations
1. Culture Apps. The nomination accepts technological projects (applications and services) dedicated to Armenian culture, history, and language. For whom: software developers, digital humanities specialists, analysts, and students of these fields.
2. Data visualization. The nomination accepts data visualization projects based on any data related to Armenia. Interactive visualizations with a formal design are preferred. For whom: designers, journalists, infographics specialists, digital humanities specialists, analysts, and students of these fields.
The prize pool of the contest is $3000.
February 18, 2024 is the last day of applications submissions.
The Awards Ceremony for the winners will take place on March 2, 2024, during the Open Data Day event in Armenia. This marks the first time the Open Data Day event will be organized in Armenia. The International Open Data Day is an initiative by the Open Knowledge International Foundation, with support from various intergovernmental and international organizations such as the United Nations and the World Bank. This event is celebrated worldwide.
We hope this contest will encourage the formation of a community of developers and researchers, thereby increasing the value of open data in Armenia.
More information about the contest: https://contest.opendata.am.
Partners: The National Center for Innovation and Entrepreneurship of The Ministry of Economy of the Republic of Armenia, the network of investors and entrepreneurs BANA Angels and the Open Knowledge Foundation.
Organizer: Public Organization “Open Data Development Center”.
We invite authors of projects based on a variety of data sources, including open government resources, data on the history, culture, and art of Armenia, data on the economy, and other spheres.
Nominations
1. Culture Apps. The nomination accepts technological projects (applications and services) dedicated to Armenian culture, history, and language. For whom: software developers, digital humanities specialists, analysts, and students of these fields.
2. Data visualization. The nomination accepts data visualization projects based on any data related to Armenia. Interactive visualizations with a formal design are preferred. For whom: designers, journalists, infographics specialists, digital humanities specialists, analysts, and students of these fields.
The prize pool of the contest is $3000.
February 18, 2024 is the last day of applications submissions.
The Awards Ceremony for the winners will take place on March 2, 2024, during the Open Data Day event in Armenia. This marks the first time the Open Data Day event will be organized in Armenia. The International Open Data Day is an initiative by the Open Knowledge International Foundation, with support from various intergovernmental and international organizations such as the United Nations and the World Bank. This event is celebrated worldwide.
We hope this contest will encourage the formation of a community of developers and researchers, thereby increasing the value of open data in Armenia.
More information about the contest: https://contest.opendata.am.
Partners: The National Center for Innovation and Entrepreneurship of The Ministry of Economy of the Republic of Armenia, the network of investors and entrepreneurs BANA Angels and the Open Knowledge Foundation.
Organizer: Public Organization “Open Data Development Center”.
Свежий OECD OURdata Index [1] рейтинг открытости данных по странам ОЭСР и кандидатам в члены ОЭСР. На первых местах Корея, Франция, Польша, Эстония, Испания, Ирландия, Словения, Дания, Швеция и Литва.
Выводов там немало, из важнейших то что:
- несмотря на COVID-19 всё ещё мало данных об общественном здоровье
- гораздо больше усилий государств по открытости данных/доступности данных, но не по повторному использованию
- только 48% особо ценных наборов данных доступно
- мало особо ценных данных о госфинансах и подотчетностью органов власти
Лично меня удивили низкие оценки Австралии, всегда был уверен что там неплохо всё развивается, но нет, не всё так хорошо. Также важно что оценивалась именно госполитика открытости данных, а не открытые научные данные, к примеру.
Ссылки:
[1] https://www.oecd-ilibrary.org/governance/2023-oecd-open-useful-and-re-usable-data-ourdata-index_a37f51c3-en
#opendata #oecd #ratings
Выводов там немало, из важнейших то что:
- несмотря на COVID-19 всё ещё мало данных об общественном здоровье
- гораздо больше усилий государств по открытости данных/доступности данных, но не по повторному использованию
- только 48% особо ценных наборов данных доступно
- мало особо ценных данных о госфинансах и подотчетностью органов власти
Лично меня удивили низкие оценки Австралии, всегда был уверен что там неплохо всё развивается, но нет, не всё так хорошо. Также важно что оценивалась именно госполитика открытости данных, а не открытые научные данные, к примеру.
Ссылки:
[1] https://www.oecd-ilibrary.org/governance/2023-oecd-open-useful-and-re-usable-data-ourdata-index_a37f51c3-en
#opendata #oecd #ratings
С августа, вот уже 5-й месяц, не работает портал открытых данных Беларуси opendata.by [1]. Портал никогда не был государственным и поддерживался сообществом и ещё на 1 августа его копия была в Интернет архиве [2].
Данных там было не очень много, около 229 наборов, но теперь нет даже их.
Напомню что какой-либо государственной инициативы по открытости гос-ва, открытости данных в Беларуси нет и национальный портал открытых данных там так и не появился, зато теперь исчез и общественный.
Ссылки:
[1] https://opendata.by
[2] https://web.archive.org/web/20230801163122/https://opendata.by/
#opendata #belarus #closeddata
Данных там было не очень много, около 229 наборов, но теперь нет даже их.
Напомню что какой-либо государственной инициативы по открытости гос-ва, открытости данных в Беларуси нет и национальный портал открытых данных там так и не появился, зато теперь исчез и общественный.
Ссылки:
[1] https://opendata.by
[2] https://web.archive.org/web/20230801163122/https://opendata.by/
#opendata #belarus #closeddata
Forwarded from Open Data Armenia
Мы будем публиковать идеи для проектов на номинации конкурса и вот свежие данные только что утверждённого бюджета Еревана. Доступны в виде таблиц в PDF файле [1], таблицы можно извлечь с помощью таких инструментов как ABBYY FineReader, а для визуализации воспользоваться одним из существующих инструментов с открытым кодом или написать свой код и сделать инфографику самостоятельно.
Как выглядят визуализации бюджетов в мире?
Одна из самых известных визуализаций в мире - это Death and Taxes по бюджету США [2]. Она уже много лет служит вдохновением для тех кто хочет наглядно представить эти данные.
А вот пример, интерактивный бюджет Австралии, по нему также доступен исходный код [3]. Достаточно подготовить данные и опубликовать их с помощью уже готового кода.
Ещё примеры визуализаций с открытым кодом:
- Budget Visualization Framework [4]
- Budget Vis [5]
А также другие примеры
Специальный портал по открытости бюджета Санкт-Петербурга [6], а в Румынии бюджет свёрстан в цветовой гамме флага страны и он интерактивен [7] или же визуализация федерального бюджета США [8] с детализацией до контрактов.
Ссылки:
[1] https://www.yerevan.am/uploads/media/default/0002/30/1c00c8d6f8f9ef7f67a523d40e56c4738b56a044.pdf
[2] https://www.visualcapitalist.com/death-taxes-2015-visual-guide-tax-dollars-go/
[3] https://github.com/informeren/dataviz-budget
[4] https://github.com/goinvo/Visual-Town-Budget
[5] https://github.com/shurkhovetskyy/budget-vis
[6] https://budget.gov.spb.ru/
[7] https://openbudget.ro/buget/2023/
[8] https://www.usaspending.gov/explorer/budget_function
#opendata #visualization #budget #yerevan #dataviz
Как выглядят визуализации бюджетов в мире?
Одна из самых известных визуализаций в мире - это Death and Taxes по бюджету США [2]. Она уже много лет служит вдохновением для тех кто хочет наглядно представить эти данные.
А вот пример, интерактивный бюджет Австралии, по нему также доступен исходный код [3]. Достаточно подготовить данные и опубликовать их с помощью уже готового кода.
Ещё примеры визуализаций с открытым кодом:
- Budget Visualization Framework [4]
- Budget Vis [5]
А также другие примеры
Специальный портал по открытости бюджета Санкт-Петербурга [6], а в Румынии бюджет свёрстан в цветовой гамме флага страны и он интерактивен [7] или же визуализация федерального бюджета США [8] с детализацией до контрактов.
Ссылки:
[1] https://www.yerevan.am/uploads/media/default/0002/30/1c00c8d6f8f9ef7f67a523d40e56c4738b56a044.pdf
[2] https://www.visualcapitalist.com/death-taxes-2015-visual-guide-tax-dollars-go/
[3] https://github.com/informeren/dataviz-budget
[4] https://github.com/goinvo/Visual-Town-Budget
[5] https://github.com/shurkhovetskyy/budget-vis
[6] https://budget.gov.spb.ru/
[7] https://openbudget.ro/buget/2023/
[8] https://www.usaspending.gov/explorer/budget_function
#opendata #visualization #budget #yerevan #dataviz
Знаете ли Вы что... крупнейший каталог общедоступных геоданных в России - это каталог ДВО РАН [1] с данными Национальное управление океанических и атмосферных исследований США по дальнему востоку. Там более 96 наборов данных, с оговоркой что сам сайт всё ещё в неком тестовом режиме и все ссылки на API с данными в нём не работают.
Тем не менее - это крупнейшая инсталляция Geonetwork в России, хотя и бесполезная.
Другие геопорталы на базе Geonetwork в России:
- Каталог ГГМ РАН [2]
- Геопортал ИВиС ДВО РАН [3]
- Геопортал ТИГ ДВО РАН [4]
А Geonetwork [5] это специальное ПО каталога геоданных используемое по всему миру, на нём работает огромное число порталов с геоданными, например, большая часть национальных порталов геоданных стран Европейского союза в рамках раскрытия данных по инициативе INSPIRE.
Иногда Geonetwork используется как бекэнд для других платформ. Например, внутри Geoplatform.gov [6], портала для публикации геоданных Правительства США, используется Geonetwork.
Ссылки:
[1] http://gis.satellite.dvo.ru/geonetwork/srv/eng/catalog.search#/home
[2] https://maps.geologyscience.ru/geonetwork
[3] http://geoportal.kscnet.ru/geonetwork
[4] http://gis.tigdvo.ru:9190/geonetwork
[5] https://geonetwork-opensource.org
[6] https://www.geoplatform.gov
#opendata #geodata #geonetwork #datacatalogs
Тем не менее - это крупнейшая инсталляция Geonetwork в России, хотя и бесполезная.
Другие геопорталы на базе Geonetwork в России:
- Каталог ГГМ РАН [2]
- Геопортал ИВиС ДВО РАН [3]
- Геопортал ТИГ ДВО РАН [4]
А Geonetwork [5] это специальное ПО каталога геоданных используемое по всему миру, на нём работает огромное число порталов с геоданными, например, большая часть национальных порталов геоданных стран Европейского союза в рамках раскрытия данных по инициативе INSPIRE.
Иногда Geonetwork используется как бекэнд для других платформ. Например, внутри Geoplatform.gov [6], портала для публикации геоданных Правительства США, используется Geonetwork.
Ссылки:
[1] http://gis.satellite.dvo.ru/geonetwork/srv/eng/catalog.search#/home
[2] https://maps.geologyscience.ru/geonetwork
[3] http://geoportal.kscnet.ru/geonetwork
[4] http://gis.tigdvo.ru:9190/geonetwork
[5] https://geonetwork-opensource.org
[6] https://www.geoplatform.gov
#opendata #geodata #geonetwork #datacatalogs
Европейский доклад о гомогенизации особо ценных наборов данных (Report on Data Homogenisation for High- value Datasets) [1] вышел ещё 5 декабря. Небольшой по объёму и посвящён тому как в странах ЕС публикуют реестры компаний, данные по мобильности населения и официальную статистику. А также о том как можно было бы унифицировать публикацию таких данных. Можно уже ожидать что в 2024 году, или отдельно, или как часть существующего, но будет рейтинг/индекс/сравнение стран ЕС именно по публикации данных особой ценности.
Если кто-то пропустил, то эти наборы данных должны публиковаться в ЕС в рамках директивы 2023/138 [2] и, в принципе, европейское регулирование открытости данных идёт в направлении не только "открытости по умолчанию", но и гарантированной доступности данных по которым подтверждён общественный и коммерческий запрос. В частности - это данные реестров компаний, статистики, геоданные, метеоданные и многое другое.
Ссылки:
[1] https://data.europa.eu/en/doc/report-data-homogenisation-high-value-datasets
[2] https://eur-lex.europa.eu/eli/reg_impl/2023/138/oj
#opendata #eu #readings #reports
Если кто-то пропустил, то эти наборы данных должны публиковаться в ЕС в рамках директивы 2023/138 [2] и, в принципе, европейское регулирование открытости данных идёт в направлении не только "открытости по умолчанию", но и гарантированной доступности данных по которым подтверждён общественный и коммерческий запрос. В частности - это данные реестров компаний, статистики, геоданные, метеоданные и многое другое.
Ссылки:
[1] https://data.europa.eu/en/doc/report-data-homogenisation-high-value-datasets
[2] https://eur-lex.europa.eu/eli/reg_impl/2023/138/oj
#opendata #eu #readings #reports
В рубрике как это устроено у них и о разнице между подходами к регулированию деперсонализации данных в Евросоюзе и в России.
Amnesia [1] продукт с открытым кодом [2] в рамках европейского проекта OpenAIRE позволяет анонимизировать научные данные прежде чем их публиковать в научных репозиториях.
Базовый сценарией его применения:
1. Скачать код или дистрибутив к себе локально во внутреннюю сеть или рабочий компьютер.
2. Запустить Amnesia
3. Выбрать режим анонимизации
4. Проделать все необходимые операции по деперсонализации данных.
Работает только с табличными данными вроде TXT и CSV, имеет API, может использоваться как исследователями лично, так и лабораториями, интегрирован с Zenodo и Dataverse.
Финансируется в рамках European Union's Horizon 2020 Research and Innovation programme.
Всё это к вопросу о том что если бы российское Минцифры реально хотело бы получить анонимизированные данные для ИИ, то могло бы выдать гранты на создание продуктов на открытом коде или дать субсидии коммерческим компаниям /стартапам в рамках ФСИ на создание таких коммерческих продуктов, а не централизованно собирать персональные данные от бизнеса и внутри этого оператора эти данные анонимизировать.
Всё это к тому что есть другие решения, гораздо более безопасные. А от решения по централизации всех персональных данных в России выиграют только спецслужбы, продающие перс. данные инсайдеры и хакеры которые через инсайдеров эти данные получат.
Ссылки:
[1] https://amnesia.openaire.eu/
[2] https://github.com/dTsitsigkos/Amnesia
#privacy #opensource #eu #regulation
Amnesia [1] продукт с открытым кодом [2] в рамках европейского проекта OpenAIRE позволяет анонимизировать научные данные прежде чем их публиковать в научных репозиториях.
Базовый сценарией его применения:
1. Скачать код или дистрибутив к себе локально во внутреннюю сеть или рабочий компьютер.
2. Запустить Amnesia
3. Выбрать режим анонимизации
4. Проделать все необходимые операции по деперсонализации данных.
Работает только с табличными данными вроде TXT и CSV, имеет API, может использоваться как исследователями лично, так и лабораториями, интегрирован с Zenodo и Dataverse.
Финансируется в рамках European Union's Horizon 2020 Research and Innovation programme.
Всё это к вопросу о том что если бы российское Минцифры реально хотело бы получить анонимизированные данные для ИИ, то могло бы выдать гранты на создание продуктов на открытом коде или дать субсидии коммерческим компаниям /стартапам в рамках ФСИ на создание таких коммерческих продуктов, а не централизованно собирать персональные данные от бизнеса и внутри этого оператора эти данные анонимизировать.
Всё это к тому что есть другие решения, гораздо более безопасные. А от решения по централизации всех персональных данных в России выиграют только спецслужбы, продающие перс. данные инсайдеры и хакеры которые через инсайдеров эти данные получат.
Ссылки:
[1] https://amnesia.openaire.eu/
[2] https://github.com/dTsitsigkos/Amnesia
#privacy #opensource #eu #regulation
На Новый год всем хочу пожелать много данных
Больших, небольших, интересных и странных
Открытости по умолчанию везде где возможно
И мира хотелось бы, а то как-то тревожно
Больших, небольших, интересных и странных
Открытости по умолчанию везде где возможно
И мира хотелось бы, а то как-то тревожно
В рубрике как это устроено у них открытые научные данные в такой, далеко не всем известной научной дисциплине как материаловедение.
Как и ряд других дисциплин она активно сдвигается в сторону открытости науки и открытости исследовательских данных.
Вот пример, 4-х научных проектов:
- AFlow [1] - база из 3.5 миллионов компонентов материалов и более чем 734 миллионов их свойств, под Public Domain для научного использования
- OQDM [2] база рассчитанных термодинамических и структурных характеристик более чем 1.2 миллионов материалов. Под Creative Commons
- The Materials Project [3] база по более чем 320 тысячам молекулам и материалам, а также проекты по машинному обучению предсказания свойств материалов
- NOMADS [4] база из 13 миллионов записей о материалах, как теоретических, так и полученных из экспериментов
У всех проектов лицензии на распространение материалов или Creative Commons или Public Domain, есть API на получение и на загрузку данных. Их наборы данных и отдельные записи индексируются научными поисковиками и агрегаторами. Ко всем есть API, библиотеки на Python для автоматической работы с данными, открытый код и сформировавшаяся экосистема.
Общий объём раскрываемых данных измеряется в сотнях теребайт. Начиная с 100 GB в OQMD и до 119 TB в NOMAD.
Ссылки:
[1] http://aflowlib.org/
[2] https://oqmd.org/
[3] https://next-gen.materialsproject.org/
[4] https://nomad-lab.eu/nomad-lab/
#opendata #openaccess #openscience #science #research #materials #molecules
Как и ряд других дисциплин она активно сдвигается в сторону открытости науки и открытости исследовательских данных.
Вот пример, 4-х научных проектов:
- AFlow [1] - база из 3.5 миллионов компонентов материалов и более чем 734 миллионов их свойств, под Public Domain для научного использования
- OQDM [2] база рассчитанных термодинамических и структурных характеристик более чем 1.2 миллионов материалов. Под Creative Commons
- The Materials Project [3] база по более чем 320 тысячам молекулам и материалам, а также проекты по машинному обучению предсказания свойств материалов
- NOMADS [4] база из 13 миллионов записей о материалах, как теоретических, так и полученных из экспериментов
У всех проектов лицензии на распространение материалов или Creative Commons или Public Domain, есть API на получение и на загрузку данных. Их наборы данных и отдельные записи индексируются научными поисковиками и агрегаторами. Ко всем есть API, библиотеки на Python для автоматической работы с данными, открытый код и сформировавшаяся экосистема.
Общий объём раскрываемых данных измеряется в сотнях теребайт. Начиная с 100 GB в OQMD и до 119 TB в NOMAD.
Ссылки:
[1] http://aflowlib.org/
[2] https://oqmd.org/
[3] https://next-gen.materialsproject.org/
[4] https://nomad-lab.eu/nomad-lab/
#opendata #openaccess #openscience #science #research #materials #molecules