Вообще я зарекся комментировать российские госинициативы последних лет, во первых потому что хороших мало, во вторых поскольку берегу своё душевное здоровье, хочется думать о хорошем (открытых данных в мире, например), а не об этом всём. Но на днях прокомментировал Forbes о том почему реестр военнообязанных в РФ не будут делать на Гостехе [1].

Комментарий там у меня получился "мягким", в жизни и здесь в канале я про Гостех пишу куда жёстче. Так вот от того что реестр военнообязанных не будут делать на Гостехе есть две стороны, плохая и хорошая.

Плохая в том что отсутствие Гостеха в этом уравнении даёт куда большую гарантию что этот реестр появится, что он будет разработан быстрее и дешевле. Гостех отнюдь не снижает стоимость и скорость разработки, то что это "волшебная платформа" ни от кого кроме его создателей и ФКУ не услышишь, да и не светят её технические характеристики по той же причине, слишком легко будет доказать обратное. Как бы то ни было, всем кто не хотел бы чтобы этот реестр появился - это плохая новость. Я, также, не фанат этого реестра, во всех смыслах он будет очередным инструментом репрессивного воздействия на общество.

Хорошая новость в том что, в очередной раз это демонстрация убогости того что Федеральное Пр-во РФ продвигает как Гостех. А я напомню что Гостех провалился в Москве, от него отказались в Казахстане и сейчас его российские власти пытаются продать в Кыргызстан и некоторые развивающиеся страны. Ну как продать, на самом деле его за деньги никто и не стал бы покупать, готов поспорить что даже если его кому-то "впарят", то это будет продажа в форме российского кредита и сам Гостех, по сути, в этих переговорах - это продажа "инструмента мягкой силы", создание зависимости у другого государства от российской цифровой инфраструктуры. Чем больше будет таких публичных историй провала Гостеха, тем меньше шансов что даже от таких "роскошных" условий внедрения Гостеха другие страны откажутся.

Да, это хорошая новость.

Я не буду в очередной раз рассказывать всё что я про эту инициативу думаю, вместо этого повторю ключевой тезис.

Гостеха не существует!

Не существует не в том смысле, что нет Platform V от Сбера на которой он построен, или что нет одноименного ФКУ которое его продвигает, или что нет каких-то мелких информационных систем которые создаются каким-то образом (технических подробностей то нет, только госмаркетинг и госпиар). Так вот Гостеха не существует в том смысле что если завтра ФКУ ликвидируют, финансирование Гостеха прикроют, кого-то из этой команды уволят, а кого-то посадят, так вот для РФ как государства и для граждан - это будет абсолютно незаметно!

Потому что ничего критически значимого зависящего от инфраструктуры и инструментов Гостеха в РФ как в государстве сейчас нет. В отличие от: Электронного бюджета, АИС Налог-3, ЕПГУ, ЕИС, многих других критичных федеральных государственных информационных систем.

Ссылки:
[1] https://www.forbes.ru/tekhnologii/504631-vlasti-otkazalis-ot-idei-sozdania-servisa-elektronnyh-povestok-na-platforme-gosteh

#thoughts #govtech #russia

В рубрике данных которых нехватает, я сегодня задал вопрос на Reddit'е [1] на который, если честно не особо ожидаю увидеть ответа который бы меня устроил. А вопрос про наличие датасета ISO3166-2 включающего коды всех подрегионов стран. Эти данные есть в Википедии, рассеянные по статьям вроде ISO_3166-2:AM [2] (часть ISO 3166-2 по Армении) и так по каждой стране. Но вот цельный датасет мне нигде не попадался, также как и датасет включающие страны вместе с макрорегионами. Опять же в удобном, легко загружаемом формате, потому что так-то данные связки страны и макрорегиона извлекаются из открытых систем Всемирного Банка, ООН и других международных структур.

Но более всего интересно иметь библиотеку для Python позволяющую быстро по разным кодам страны/региона/подрегиона получать все необходимые метаданные такие как: развание, разные уникальные коды, иерархию и ещё уметь идентифицировать страну или регион каким бы языком она не была написана: "USA", "США", "United States", "United States of America" на примере США и таких примеров много. В идеале ещё и до субрегионального уровня.

В общем пока оказывается что такого инструмента нет. Просто хоть сам его создавай (шутка), но потребность в нём есть и регулярная причём

Ссылки:
[1] https://www.reddit.com/r/datasets/comments/19djrir/is_there_any_iso_3166_second_level_dataset_and/
[2] https://en.wikipedia.org/wiki/ISO_3166-2:AM

#opendata #question

В рубрике интересных наборов данных и частичный ответ на вопросы что я задавал тут и на Reddit [1] про данные по ISO 3166, мне накидали ссылок частично решающих ту же задачу:
- https://github.com/stefangabos/world_countries/tree/master/data/subdivisions
- https://github.com/dieghernan/Country-Codes-and-International-Organizations
- https://github.com/samayo/country-json
- https://www.ip2location.com/free/iso3166-2
- https://github.com/amckenna41/iso3166-updates

Последний совсем свежий проект с регулярными апдейтами и возможностью сделать локальное API для себя.

Правда ни один из них не решает задач:
1) Связки с макрорегионами/группами стран
2) Возможности найти страну/регион написанные на многочисленных языках и множеством способов.

Но в части целостных баз ISO 3166-2 и систематизации стран хорошо что есть много полезных проектов и уже есть с чем поработать.

А также обратите внимание на то как распространяют референсные данные. Где-то в виде пачки дата файлов под разные использования: csv, xml, parquet, sql, json или даже сразу генерация кода для Python или PHP. Где-то в виде API развёртываемого локально. Некоторые проекты, вроде того же iso3166-updates выглядят как хорошая дипломная работа. Превращение справочных данных в удобную базу данных с одновременной демонстрацией навыков аналитики, программирования и документирования кода.

Ссылки:
[1] https://t.me/begtin/5371

#opendata #datasets #data

Для тех кто хочет заниматься проектами на открытых данных за деньги Open Knowledge Foundation ищет серьёзного разработчика Senior Developer for a Desktop Application (React + Python + Electron) [1]. Я бы сказал что лет 10 назад я бы сам подался бы на такую вакансию, но я ни разу не JS разработчик и React меня скорее пугает (вернее все JS фреймворки это совсем не моё, синтаксис JS мне тяжело заходит), тем не менее если Вы не в России, ищите работу под частичную занятость, любите открытые данные и хотите поработать над реально нужными проектами, то это хорошая возможность. Потому что тут и открытый код, и открытые данные и полезная задача.

Ссылки:
[1] https://okfn.org/en/jobs/senior-developer/

#opendata #vacancies #opensource

Отвлекаясь немного от тем данных глобально и локально, по поводу того что РКН активно начали штрафовать зарубежных хостеров за то что те не локализовались в России, а зарубежные хостеры, в свою очередь, массово начали отказываться от клиентов у которых есть хоть какая-то аффиляция с Россией. Пример Hetzner'а и Godaddy показательны. То есть почти все хостеры где есть хотя бы какое-то количество клиентов связанных с Россией будут от таких пользователей избавляться, и не из-за санкций и не невозможности оплаты, а потому что юристы им подобное порекомендуют, думаю что уже рекомендуют достаточно активно.

Но важно не только это. По сути это регулирование и его применение РКН на практике - это шаг к полной изоляции Рунета, возможно один из серьёзнейших. Во первых оно предполагает практически прямую цензуру поисковой выдачи, а единственная поисковая компания до которой российские власти могут сейчас дотянутся - это Яндекс, потому что можно говорить что Google здесь уже нет. Во вторых надо понимать что "зарубежные хостеры" - это практически весь интернет. То есть РКН может уже сейчас _формально законно_ заблокировать вообще всё.

Такая законность - это очень мутно-херовая штука, уж простите за резкость. И без того российскую юрисдикацию воспринимают как токсичную, а тут ещё и подобное.

Кстати, есть же часы судного дня для применения ядерного оружия. А нужны часы судного дня про отключение России от интернета. Произойти это может в любую сторону, но больше шансов что будет это изнутри.

#thoughts #russia #network #regulation #internet

В рубрике как это работает у них проект PDAP, Police Data Accessibility Project [1], как очевидно из названия посвящён он доступности данных полиции в США для граждан и исследователей. Фактически это база из 1764 записей со ссылками на общедоступные данные полиции в США. Доступные в самых разных формах: геоданные в виде шэйпов, CSV файлы, страницы HTML или отчёты в PDF и с разбивкой по типу категории данных: преступность, вызовы полиции, остановки на дорогах, сведения о заключённых и так далее. Много всего и на основе этого можно, например, сравнивать штаты и отдельные графства по уровню актуальности и открытости их правоохранительных данных.

Для США это задача актуальная, полиция там децентрализована, систематизация данных процесс трудоёмкий, но одновременно с этим много хороших практик которые можно приводить в пример.

Ссылки:
[1] https://pdap.io

#opendata #usa #crime #police #data #datasets

Я регулярно смотрю и слушаю выступления, читаю статьи и изучаю курсы про подготовке госслужащих в мире, сказывается то что я сам много лет выступал перед российскими госслужащими про работу с данными внутри гос-ва. Так вот поделюсь прочитанным, одна из наиболее актуальных тем последних лет - это Digital Public Infrastructure или, по-русски, Цифровая общественная инфраструктура.

Что это такое? Аналог можно провести с дорогами. Они могут быть магистральными или городскими, бесплатными или платными, но они создаются, за редким исключением, как общественная инфраструктура и ограничения по их использования не дискриминационны, а функциональны (по каким-то можно ездить большегрузам, а по каким-то нельзя).

Цифровая общественная инфраструктура - это что-то вроде сети дорог или иных общественных служб. Она состоит из сервисов которые обеспечиваются государством в широком смысле для решения общественных задач.

Например:
- государственная система идентификации, примерно как авторизация через Google или Facebook, как аналогии из коммерческого мира
- государственная система платежей
- государственная система обмена персональными данными (secure data exchange)

И в этот список ещё можно добавлять некоторое число других услуг и компонентов которые выходят за пределы использования только органами власти.

Знаете что самое интересное? Спикеры по этой теме в качестве примера приводят Россию. В их трактовке, вполне логично, НСПК (карты Мир и Система быстрых платежей) - это как раз часть Digital Public Infrastructure. А то что Россия, своевременно или с запозданием, подобное делает - это как раз очень правильно и логично, чтобы не зависеть от частных/глобальных подрядчиков и сервисов. Потому что они могут в любой момент уйти, накручивать цену или иным образом выворачивать руки.

Конечно, цифровая общественная инфраструктура - это куда более глубокая концепция включающая понятия подотчетности, прозрачности, интероперабельности, инклюзивности и ещё много чего, в первую очередь, общественного надзора. Также надо понимать что это скорее социалистическая/патерналистическая модель, которая идеологически ближе к РФ, если не делать оговорку на коррупцию и "сливания тем" приближённым олигополиям.

Лично я пока во многих странах виду движение в сторону DPI и даже предполагаю что рано или поздно это может стать одной из зонтичных концепций продвигаемых одной из междгосударственных структур.

#thoughts #digital #infrastructure

«Открытые данные для ИИ: Что дальше». ЮНЕСКО опубликовало руководящие принципы

В цифровой библиотеке ЮНЕСКО опубликован отчет «Открытые данные для ИИ: Что дальше» [1]. Авторы позиционируют данное издание как руководящие принципы, цель которых - «донести до государств-членов понимание ценности открытых данных, а также описать порядок их купирования и открытия. В документе содержатся конкретные шаги, которые необходимо предпринять для открытия данных. Эта публикация призвана сыграть важную роль в поддержке Рекомендаций ЮНЕСКО по открытой науке и содержит призыв к открытию данных для целей искусственного интеллекта».

Публикация содержит базовые понятия о том, что такое открытые данные, зачем их публиковать и как это делать. Есть даже описание пятизвездочного рейтинга открытых данных, описание которого выглядит немного странным для публикации в 2024 году. Раздел «Классификация открытых данных» содержит только критерии, по которым можно классифицировать данные, в разделе «Индикаторы и барометры в области ОД» также встречается только список существующих рейтингов.

Раздел «Руководящие принципы» разбивает на 4 шага каждый этап работы над открытыми данными:

1. Подготовка (разработка стратегии управления данными и их совместного использования; сбор и накопление качественных данных; развитие потенциала в области открытых данных; подготовка данных для использования в ИИ).

2. Открытие данных (выбор наборов данных для открытия; юридическое открытие наборов данных; техническое открытие наборов данных; формирование культуры открытых даных).

3. Обеспечение повторного использования и устойчивости (поддержка участия граждан; поддержка международного участия; поддержка полезного применения ИИ; поддержка высокого качества данных).

Не могу сказать, что в руководстве есть какая-то новая информация или практические алгоритмы, которые могут помочь желающим раскрыть данные, но задачу привлечения внимания к тематике открытых данных и призывом к действию оно вполне может быть.

Также авторы указывают, что «120 стран не приняли политических мер по открытым данным», но, к сожалению, ссылки на первоисточник или каких-то поясняющих комментариев об этой статистике в руководстве нет.

[1] https://unesdoc.unesco.org/ark:/48223/pf0000388373

В истории с отключением Рунета сегодня важно задать самим себе следующие вопросы:
1. Много ли было случаев таких "технических проблем" с другими крупными/некрупными национальными зонами?
2. Будет ли полноценное расследование этой "технической проблемы" с детальным разбором произошедшего и принятых мер?
3. Сколько людей _реально_ пострадало от произошедшего? Можно ли измерить материально возникший ущерб?
4. Если реально пострадавших было немного и экономику не затронуло то насколько это повышает отключение Рунета от интернета в будующем?
5. Стоит ли после этого "события" вообще регистрировать домены в зоне .ru ?

#questions #internet #runet

Тем временем в Испании Федерация испанских провинций и муниципалитетов приняла типовое положение по управлению данными в местном самоуправлении [1]. Документ на испанском языке, но в целом достаточно прост и понятен.

В его основе:
- Глобальная хартия открытых данных (Open Data Charter)
- Европейское законодательство
- Испанские стандарты UNE 77 и UNE 78 по управлению данными и открытым данным

Ссылки:
[1] https://drive.google.com/file/d/1vam_TAcMrdXr0oKwbiFq1OyHpngi1Lpb/view

#opendata #spain #spanish #localgov

Я давно не кидался окаменелостями в адрес российского Гостеха, и тут, уж извините, дам ссылку на выступление Мишустина на Digital Astana 2024 [1]. Как всегда, важно не то что он говорил, а то что _не говорил_. Ни разу не упомянул Гостех, ограничившись разговорами про Госуслуги и российские цифровые платформы. А почему он его не упомянул?

А потому что:
1. Значительная часть государственных информационных систем в Средней Азии делаются за счёт международной поддержки: USAID, скандинавские страны, Германия и др., разного рода глобальные институты развития. Рассчитывать что их будут интегрировать с российскими ИТ разработками или что там будет сотрудничество не стоит. Но это не самое главное.
2. Власти Казахстана уже "отбились" от попыток впаривания им Гостеха, ловко соскочив после того как Сбер попал под санкции. Я бы оценивал шансы на возвращение как минимальные.
3. Российские технологические решения которые пушит Пр-во в другие страны будут восприниматься как инструменты российской "мягкой силы" и влияния, поэтому у их внедренцев неслабые такие шансы влететь на санкции.
4. Гостеха не существует! [2]

В общем-то это показательно что даже главный продвигатель Гостеха теперь этот бренд не продвигает, но внутренней аудитории его продолжают скармливать, в основном потому что у нее выбора меньше.

Ссылки:
[1] https://t.me/government_rus/11105
[2] https://t.me/begtin/5370

#government #govtech #russia #thoughts

Присоединяйтесь ко Дню открытых данных 2024

6 марта приглашаем к участию в нашем ежегодном мероприятии для сообщества — «День открытых данных 2024».

Мероприятие пройдет в онлайн формате. Центральный фокус программы мероприятия этого года — открытые данные для сообщества. Мы планируем включить программу ваши доклады, презентации проектов и мастер-классы.

Оставьте заявку до 15 февраля, если хотите стать спикером и выступить на мероприятии, и мы с вами свяжемся: https://forms.gle/HMxjCkKi9cR3NYS77

Приглашаем разработчиков, ИТ-специалистов, дата-журналистов, гражданских активистов и других участников российского движения открытости.

Организатором Дня открытых данных в России выступает АНО «Информационная культура».

Подробности и регистрация: opendataday.ru/msk.