«Открытые данные для ИИ: Что дальше». ЮНЕСКО опубликовало руководящие принципы

В цифровой библиотеке ЮНЕСКО опубликован отчет «Открытые данные для ИИ: Что дальше» [1]. Авторы позиционируют данное издание как руководящие принципы, цель которых - «донести до государств-членов понимание ценности открытых данных, а также описать порядок их купирования и открытия. В документе содержатся конкретные шаги, которые необходимо предпринять для открытия данных. Эта публикация призвана сыграть важную роль в поддержке Рекомендаций ЮНЕСКО по открытой науке и содержит призыв к открытию данных для целей искусственного интеллекта».

Публикация содержит базовые понятия о том, что такое открытые данные, зачем их публиковать и как это делать. Есть даже описание пятизвездочного рейтинга открытых данных, описание которого выглядит немного странным для публикации в 2024 году. Раздел «Классификация открытых данных» содержит только критерии, по которым можно классифицировать данные, в разделе «Индикаторы и барометры в области ОД» также встречается только список существующих рейтингов.

Раздел «Руководящие принципы» разбивает на 4 шага каждый этап работы над открытыми данными:

1. Подготовка (разработка стратегии управления данными и их совместного использования; сбор и накопление качественных данных; развитие потенциала в области открытых данных; подготовка данных для использования в ИИ).

2. Открытие данных (выбор наборов данных для открытия; юридическое открытие наборов данных; техническое открытие наборов данных; формирование культуры открытых даных).

3. Обеспечение повторного использования и устойчивости (поддержка участия граждан; поддержка международного участия; поддержка полезного применения ИИ; поддержка высокого качества данных).

Не могу сказать, что в руководстве есть какая-то новая информация или практические алгоритмы, которые могут помочь желающим раскрыть данные, но задачу привлечения внимания к тематике открытых данных и призывом к действию оно вполне может быть.

Также авторы указывают, что «120 стран не приняли политических мер по открытым данным», но, к сожалению, ссылки на первоисточник или каких-то поясняющих комментариев об этой статистике в руководстве нет.

[1] https://unesdoc.unesco.org/ark:/48223/pf0000388373

В истории с отключением Рунета сегодня важно задать самим себе следующие вопросы:
1. Много ли было случаев таких "технических проблем" с другими крупными/некрупными национальными зонами?
2. Будет ли полноценное расследование этой "технической проблемы" с детальным разбором произошедшего и принятых мер?
3. Сколько людей _реально_ пострадало от произошедшего? Можно ли измерить материально возникший ущерб?
4. Если реально пострадавших было немного и экономику не затронуло то насколько это повышает отключение Рунета от интернета в будующем?
5. Стоит ли после этого "события" вообще регистрировать домены в зоне .ru ?

#questions #internet #runet

Тем временем в Испании Федерация испанских провинций и муниципалитетов приняла типовое положение по управлению данными в местном самоуправлении [1]. Документ на испанском языке, но в целом достаточно прост и понятен.

В его основе:
- Глобальная хартия открытых данных (Open Data Charter)
- Европейское законодательство
- Испанские стандарты UNE 77 и UNE 78 по управлению данными и открытым данным

Ссылки:
[1] https://drive.google.com/file/d/1vam_TAcMrdXr0oKwbiFq1OyHpngi1Lpb/view

#opendata #spain #spanish #localgov

Я давно не кидался окаменелостями в адрес российского Гостеха, и тут, уж извините, дам ссылку на выступление Мишустина на Digital Astana 2024 [1]. Как всегда, важно не то что он говорил, а то что _не говорил_. Ни разу не упомянул Гостех, ограничившись разговорами про Госуслуги и российские цифровые платформы. А почему он его не упомянул?

А потому что:
1. Значительная часть государственных информационных систем в Средней Азии делаются за счёт международной поддержки: USAID, скандинавские страны, Германия и др., разного рода глобальные институты развития. Рассчитывать что их будут интегрировать с российскими ИТ разработками или что там будет сотрудничество не стоит. Но это не самое главное.
2. Власти Казахстана уже "отбились" от попыток впаривания им Гостеха, ловко соскочив после того как Сбер попал под санкции. Я бы оценивал шансы на возвращение как минимальные.
3. Российские технологические решения которые пушит Пр-во в другие страны будут восприниматься как инструменты российской "мягкой силы" и влияния, поэтому у их внедренцев неслабые такие шансы влететь на санкции.
4. Гостеха не существует! [2]

В общем-то это показательно что даже главный продвигатель Гостеха теперь этот бренд не продвигает, но внутренней аудитории его продолжают скармливать, в основном потому что у нее выбора меньше.

Ссылки:
[1] https://t.me/government_rus/11105
[2] https://t.me/begtin/5370

#government #govtech #russia #thoughts

Присоединяйтесь ко Дню открытых данных 2024

6 марта приглашаем к участию в нашем ежегодном мероприятии для сообщества — «День открытых данных 2024».

Мероприятие пройдет в онлайн формате. Центральный фокус программы мероприятия этого года — открытые данные для сообщества. Мы планируем включить программу ваши доклады, презентации проектов и мастер-классы.

Оставьте заявку до 15 февраля, если хотите стать спикером и выступить на мероприятии, и мы с вами свяжемся: https://forms.gle/HMxjCkKi9cR3NYS77

Приглашаем разработчиков, ИТ-специалистов, дата-журналистов, гражданских активистов и других участников российского движения открытости.

Организатором Дня открытых данных в России выступает АНО «Информационная культура».

Подробности и регистрация: opendataday.ru/msk.

Давно подумываю сделать небольшой список/коллекцию и обзор плохих практик публикации государственных данных. Причём, как технических, так и про доступ к ним. Вот очень небольшой но показательный пример. В статкомитете Кыргызской республики публикуют открытые данные под лицензией CC-BY-NC [1] (Creative Commons «Attribution-NonCommercial-ShareAlike»).

Помимо того что версии лицензии Creative Commons для некоммерческого использования не являются свободными, так ещё и применение их для официальной статистики более чем спорно. Официальная статистика создаётся на деньги налогоплательщиков и используется, как гражданами, так и журналистами, так и бизнесом. Коммерческие компании являются одним из основных типов потребителей официальной статистики. Поэтому CC-BY-NC - это очень странная и запретительная лицензия для распространения государственных данных. Ещё она странная потому что показывает что те кто её указали, как минимум прочитали про лицензии Creative Commons, и понимают отличия CC-BY от CC-BY-NC, но, почему-то, не понимают что данные созданные на деньги налогоплательщиков и в рамках выполнения органами власти своих функций таких ограничений содержать не могут.

Но чаще, конечно, большая часть официальной статистики на многочисленных сайтах статслужб по всему миру, не содержат вообще никакого указания на условия использования.

Ссылки:
[1] https://www.stat.kg/ru/opendata/

#opendata #kyrgizstan #statistics #licenses

И, кстати, не могу не добавить что ЦБ РФ с 2022 года не раскрывает данные по трансграничным переводам в РФ и из РФ http://www.cbr.ru/hd_base/tg/ и теперь чуть ли не один из многих способов узнать о них - это смотреть цифры в других странах, например в Армении. В Армении статистика, к тому же, более гранулярна, не ежеквартальная, а ежемесячная.

[en] Fresh data on Transfers of individuals sent to and received from abroad through commercial banks of RA by countries available from Central Bank of Armenia, in English [1], Armenian [2] and Russian [3]. It's a January 2013 - December 2023 time series
about money inflow and outflow for 50 countries.

It could be a great source for data visualization for everyone who would like to participate in our contest [4].

[ru] Свежие данные о Трансграничных переводах в пользу физических лиц полученные из-за рубежа и перечисления физическими лицами за рубеж осуществленные через банковскую систему РА по странам можно скачать с сайта Центрального Банка Армении на английском, армянском и русском языках. Данные охватывают период с января 2013 по декабрь 2023 года и 50 стран откуда и куда переводятся средства.

Данные могут быть отличным источником по визуализации данных для всех кто планирует участие или уже участвует в нашем конкурсе по открытым данным.

P.S. Хочется надеяться что ЦБ РА однажды начнёт публиковать данные как открытые данные данные, сразу в форматах CSV/Parquet, или через API в формате JSON. Но даже при этом, текущие данные в формате Excel тоже можно использовать после несложных преобразований.

[1] https://www.cba.am/stat/stat_data_eng/5_Money_transfers_of_individuals_by_countries-eng.xlsx
[2] https://www.cba.am/stat/stat_data_arm/5_Money_transfers_of_individuals_by_countries-arm.xlsx
[3] https://www.cba.am/stat/stat_data_rus/5_Money_transfers_of_individuals_by_countries-rus.xlsx
[4] https://contest.opendata.am

#opendata #timeseries #statistics #money #armenia #cbra #dataviz

За текучкой дел я почти упустил и не успел посмотреть выступления на FOSSDEM и уж совсем упустил податься туда рассказать о том что делаю сам и с командой, тем не менее там много что есть посмотреть по теме данных и открытого кода и по теме Open Research [1] где как раз про открытые данные много.

На что стоит обратить внимание из связанного с данными:
- Updating open data standards [2]
- The French Open Science Monitor: steering the science based on open bibliographic databases [3]
- Unlocking Research Data Management with InvenioRDM [4]
- Cosma, a visualization tool for network synthesis [5]

Там ещё много узкотехнических докладов, не сомневаюсь что многие их если ещё не посмотрели, то посмотрят.

Ссылки:
[1] https://fosdem.org/2024/schedule/track/open-research/
[2] https://fosdem.org/2024/schedule/event/fosdem-2024-3109-updating-open-data-standards/
[3] https://fosdem.org/2024/schedule/event/fosdem-2024-3185-the-french-open-science-monitor-steering-the-science-based-on-open-bibliographic-databases/
[4] https://fosdem.org/2024/schedule/event/fosdem-2024-3452-unlocking-research-data-management-with-inveniordm/
[5] https://fosdem.org/2024/schedule/event/fosdem-2024-3394-cosma-a-visualization-tool-for-network-synthesis/

#opendata #data #events

Я сравнительно недавно писал про то Генпрокуратура перестала публиковать централизованно, и статистику преступности и, даже, ведомственную статистику [1], но не написал о том что теперь ведомственную статистику можно найти только разбросана по страницам региональных органов прокуратуры и везде она публикуется по разному.

Вот несколько примеров:
- В Воронежской области публикуют в виде файлов MS Word [2] последний из которых был опубликован в 12 декабря 2023 г., а вот за декабрь всё ещё нет, хотя уже 5 февраля.
- В Ивановской области публикуют в формате Excel (xls) [3] и даже есть цифры за декабрь 2023 г., размещены 25 января 2024 г.
- В Брянской области публикуют PDF файлами, последняя публикация была в сентябре с данными за август 2023 г. [4]
- А в Архангельской области последний раз размещали данные за 2018 год [5], хотя формально пишут что есть файл за 1-е полугодие 2019 года, но он размеров в 0 байт [6], в любом случае это уже более 5 лет прошло.

Теперь не только Crimestat.ru не работает, не только централизованно не публикуется ведомственная статистика, но и на "сайтах" (разделах единого сайта) региональных прокуратур данные публикуют кто как умеет, в любых форматах или вовсе не публикуют.

В общем, что-то явно внутри пошло не так (с). Особенно нехорошо выглядит отсутствие данных по некоторым регионам. Что там творится-то в Архангельской области?

Ссылки:
[1] https://t.me/begtin/5354
[2] https://epp.genproc.gov.ru/ru/web/proc_36/activity/statistics/office/result?item=92771174
[3] https://epp.genproc.gov.ru/ru/web/proc_37/activity/statistics/office/result?item=92878784
[4] https://epp.genproc.gov.ru/ru/web/proc_32/activity/statistics/office/result?item=90663788
[5] https://epp.genproc.gov.ru/web/proc_29/activity/statistics/office/result?item=2406428
[6] https://epp.genproc.gov.ru/web/proc_29/activity/statistics/office/result?item=4812210

#opendata #statistics #closeddata #russia #crime