В РБК вышла статья за авторством Ольги Пархимович с небольшой моей помощью, статья о том насколько всё плохо с качеством данных в государственных информационных системах [1].

Тема заслуживает не то что статьи, по ней можно защищать диссертации и открывать исследовательские институты. С качеством данных всё плохо, с принятием решений на их основе тоже, так себе. Впрочем почитайте статью.

Ссылки:
[1] https://www.rbc.ru/opinions/society/20/12/2019/5dfb4e169a79470b46b4f98c

#opendata #dataquality

Разработчики НСУДа выложили сразу множество документов по НСУДу непосредственно [1], документов много и мы только приступили к их прочтению. Что видно сразу - писались они не для людей, а для сдачи по госконтракту(-ам) сроки завершения которых у разработчиков как раз в декабре.

Хочется надеяться что про открытые данные они не забыли. Хочется надеяться что результат этой работы будет не бессмысленным. Впрочем - почитаем, посмотрим.

Ссылки:
[1] https://digital.ac.gov.ru/materials/?id=48

#data

"Искусственный интеллект и предубеждения" (AI and bias) [1] серия статей Брукингского института (США) где на сегодня их опубликовано уже три:
- Challenges for mitigating bias in algorithmic hiring [2]
- Fairness in algorithmic decision-making [3]
- Assessing employer intent when AI hiring tools are biased [4]

Все статьи посвящены актуальной теме алгоритмической дискриминации, с особенным акцентом в алгоритмическом найме людей. Например, там упоминается что из-за того что из-за того что алгоритмы языковых моделей обучаются на Google новостях то и, например, при применении word2vec, инструмента использующего корпус новостных данных, итоговый алгоритм оказывается предубеждённым относительно гендерных ролей в обществе [5]

Хотя и прямо сейчас в России это не кажется самой актуальной темой, однако не стоит её недооценивать. Алгоритмическая этика может "замыкать людей" в их социальных стратах не давая возможности выйти за их пределы.

Ссылки:
[1] https://www.brookings.edu/series/ai-and-bias/
[2] https://www.brookings.edu/research/challenges-for-mitigating-bias-in-algorithmic-hiring/
[3] https://www.brookings.edu/research/fairness-in-algorithmic-decision-making/
[4] https://www.brookings.edu/research/assessing-employer-intent-when-ai-hiring-tools-are-biased/
[5] https://arxiv.org/pdf/1607.06520.pdf

#ai #ethics

С тем что в государственных информационных системах есть неактуальные или неполные данные - мы привыкли. Выясняются и примеры "прямого подлога" данных. Конкретно попалось правительство Московской области с системой загрязнения воздуха [1]

Честно говоря слов нет. Есть только вопрос, будут ли последствия?

Ссылки:
[1] https://habr.com/ru/post/481488/

#data #opendata

Яндекс запустил сервис для скоринговых компаний, в котором выдаёт некоторую интегральную оценку заёмщика на основе предоставленным ему хэшированных email адреса и мобильного телефона [1] об этом пишут РБК и подтверждают банки и кредитные бюро с которыми Яндекс уже работает.

В самом яндексе утверждают что данные пользователей обезличены и что кроме этой интегральной оценки ничего не передаётся.

Это та новость которую не прокомментировать очень сложно.
- первое и самое очевидное - это подозрения в адрес Яндекса по разработке кредитного скоринга как первого шага в сторону социального рейтинга. Если и есть кто-то в России кто такое может сделать, то это только Яндекс и Mail.ru.
- второе это то что в среде банков есть конкуренция, есть конкуренция среди ОФД, есть конкуренция между страховыми компаниями. Яндекс в каких-то рынках занимает позиции близкие к "монопольной", даже если подобное не признано формально. Много лет компания делала всё чтобы стать базовой инфраструктурой и быть синонимом "карт", "поиска", "такси" и так далее. Если пользователь не хочет чтобы Яндекс передавал какие-либо сведеия о нём, то у него нет возможностей кроме как полностью отказаться от сервисов Яндекса, и то, это поможет недостаточно поскольку Яндекс метрика стоит почти на всех сайтах Рунета и многих мобильных приложениях.

Вся эта ситуация в последнюю очередь техническая и, в первую очередь, этическая. Сам факт оказания Яндексом подобной услуги - это переориентация от наращивания репутации среди пользователей к наращиванию монетизации накапливаемых данных.

Ссылки:
[1] https://www.rbc.ru/finances/24/12/2019/5e00e2409a79478017f453e6

#data #privacy

Сбербанк с февраля 2019 года перестал обновлять раздел открытых данных [1], а буквально неделю назад втихую его закрыл.

Что очень жаль поскольку я давно уже упоминаю его в презентациях как полезные открытые данные от бизнеса.

Ссылки:
[1] https://www.sberbank.com/ru/analytics/opendata

#opendata #sberbank

Ранее я уже писал о странностях в [не]прозрачности распределения средств через Российский фонд развития информационных технологий (РФРИТ) [1], а в пятницу фонд опубликовал итоги первого конкурса [2] в виде ранжированного списка победителей конкурсного отбора. В итоговом файле [3] перечислены 13 проектов 12 компаний:

- Акционерное общество «Концерн Радиоэлектронные технологии»
- Акционерное общество «ОДК-Пермские моторы»
- "Акционерное общество «Особая экономическая зона промышленно производственного типа «Алабуга»"
- "Общество с ограниченной ответственностью «Центр экологической безопасности»"
- Публичное акционерное общество «КАМАЗ»
- Акционерное общество «Татэнерго»
- "Общество с ограниченной ответственностью «Научно-технический центр «Бакор»"
- Общество с ограниченной ответственностью «Самараавтожгут»
- "Общество с ограниченной ответственностью «Научно производственный центр ""Пружина""»"
- Акционерное общество «СМАРТС»
- "Общество с ограниченной ответственностью «Управляющая компания «Предприятие жилищно-коммунального хозяйства»"
- "Общество с ограниченной ответственностью «Торговый дом «Ивановская мебельная фабрика»"

Что тут скажешь когда сказать нечего? Я всё же постараюсь
1. В отличие от Фонда содействия инновациям (Фонд Бортника) [4] или Фонда Президентских грантов [5] раскрытие информации хуже чем минимальное. Нет реквизитов получателей и, например, одних только организаций "Общество с ограниченной ответственностью «Центр экологической безопасности»" существует более 5 штук. Нет ни наименований ни описаний проектов, нет видеозаписей работы комиссии, нет протоколов. И самое главное - нет сумм выделяемых конкретным получателям грантов. Я в своей жизни такого ранее никогда не видел.
2. Из 13 проектов 4 из Республики Татарстан из которых в подчинении Правительства Республики Татарстан через Минимущества Татарстан - 2 организации. А из 12 получателей 3 являются дочерними предприятиями ГК Ростех.
3. Ни одной ИТ или даже около ИТ компании в победителях нет. Неизвестно есть ли они в заявителях, поскольку список всех заявок РФРИТ также не публикует (в отличие от ФСИ и ФПГ).
4. Как я уже упоминал Общество с ограниченной ответственностью «Центр экологической безопасности» существует во многих регионах. Какое победило тут? Никто не знает, деятельности ни одного из этих региональных ООО не выдаёт их победы.
5. Я напомню что согласно конкурсной документации распределяется 3 миллиарда с предельной суммой до 1 миллиарда на победителя. Поэтому отсутствие сумм у победителей в итоговом списке особенно настораживает:
—
2.1.5. Предельная сумма Грантов, которая может быть распределена по результатам
проведения настоящего конкурсного отбора, составляет 3 093 307 335 (Три миллиарда
девяносто три миллиона триста семь тысяч триста тридцать пять) рублей 88 копеек.
2.1.6. Предельный размер Гранта на реализацию одного Проекта в рамках
настоящего конкурсного отбора составляет 1 (Один) миллиард рублей.
—
Для всех тех кто хочет самостоятельно изучить список победителей по ссылке на Airtable [6] он доступен с привязкой к субъектам федерации, ИНН организаций, группы компаний и так далее (для Airtable требуется регистрация). Набор данных слишком маленький чтобы выкладывать его как базу данных.

—
Ссылки:
[1] https://t.me/begtin/1604
[2] https://рфрит.рф/konkursnyy-otbor-19
[3] https://xn--h1apajh.xn--p1ai/attachment/144/download/2_Pobediteli
[4] http://fasie.ru
[5] http://pgrants.ru
[6] https://airtable.com/invite/l?inviteId=inviRf00zG5pjnLiu&inviteToken=39efc31dab96d68cbc9b7d9e28e0d9e1cc4dee8057a9254f965a0e9d4a62c825

#rfrit #opendata #data #contests

В дополнение предыдущего поста [1] в Tadviser вышло обновление статьи про РФРИТ [2] с суммами и описанием проектов. Что ж, картина стала яснее: на структуры Ростеха пошло 64% всех средств, 12% ушли СМАРТС и 8,2% ушло Ивановской мебельной фабрике, остальное по мелочи. А я обновил табличку с детальной информацией по получателям тут [3].

Только один вопрос. А может проще было Ростеху напрямую субсидии дать? Зачем конкурс то?

Ссылки:
[1] https://t.me/begtin/1664
[2] http://www.tadviser.ru/index.php/Компания:Российский_фонд_развития_информационных_технологий_(РФРИТ)
[3] https://airtable.com/invite/l?inviteId=inviRf00zG5pjnLiu&inviteToken=39efc31dab96d68cbc9b7d9e28e0d9e1cc4dee8057a9254f965a0e9d4a62c825

#rfrit #data`

В CNews в итогах года пишут о тренде огосударствления ИТ рынка [1], лично я не могу с этим не согласится, однако я бы сформулировал это иначе. Движение идёт на глубокую перезагрузку ИТ рынка в которой есть 3 тренда.

1-е. Китаемзамещение.
В каком-то смысле этот тренд - это неизбежность в ситуации импортозамещения. Немногие верят в российскую электронику и способность её производить продукцию массового производства, да и со штучным производством не всё просто. Поэтому те или иные способы продать китайскую продукцию были и будут, как под видом импортозамещения, так и напрямую китайское оборудование.

2-е. МегаГосИнтеграторы
Я бы назвал это, в каком-то смысле, неизбежным. Будет ли такой интегратор один, будет ли их 3-4 на федеральном уровне, не так важно. Как только они появятся то неизбежно это станет трендом по всем субъектам федерации, где постараются создать аналогичные монопольные структуры. Остальной рынок будет, либо банкротится, либо стремительно консолидироваться, либо уходить под мега-гос-интеграторов.

3-е. Усиление/ослабление государственного контроля
Сейчас есть одновременно два идущих запроса на усиление контроля за ИТ проектами и наоборот на ослабление, поскольку иначе невозможно их осуществлять. Все эти годы ранее и в других отраслях побеждал всегда тренд на усиление контроля. Благо что в расходах по 44-ФЗ ИТ расходы уже 3-и после строительства и фармы.

Ключевой вопрос вокруг происходящего - это связаны ли 3 этих тренда или просто всё так "удачно" совпало.

Ссылки:
[1] https://www.cnews.ru/articles/2019-12-27_glavnoe_v_ogosudarstvlenii_rossijskogo

#it #russia

Канал Нецифровая экономика пишет с критикой [1] про Ашота Оганисяна, технического директора компании Device Lock и автора канала об утечках данных. Пишут справедливо про ситуацию с публикациями про утечки с сайта Госуслуг, но всей картины явно не знают. Device Lock не только активно торгует продуктом по выявлению утечек, но и одним из их клиентов является Ростелеком. Как минимум 2017 и 2018 годах их продукт продавался через Акционерное общество "Смарт Лайн Инк" (владельцем которого является также Ашот Оганесян) и которые заключили договора 31806519034-01 и 57707049388170034600000, а может быть и в этом году было, точно не скажешь потому что Правительство позволяет с 2018 года скрывать поставщиков по 223-ФЗ, но желающие быстро найдут список клиентов по ключевым словам "DeviceLock" в базах госконтрактов [2]. Сам продукт DeviceLock, видимо, на одноимённой компании где, опять же, Ашот Оганесян является владельцем (иначе говоря технический директор это совсем не то что конечный бенефициар).

Поэтому, при всей моей малой любви к тому же Ростелекому проблема с публикациями об утечках, к сожалению, несёт большой этический вопрос:
1. Публикация любых сведений об утечках до предупреждения и разумного времени на устранение проблем у компании - это, в первую очередь, создание ситуации когда страдают все те граждане сведения о которых в утечках содержаться. Более того, обнародование непубличных канал потенциальной утечки и придание им публичности - это и есть утечка. Иначе говоря - утечка персональных данных становится не "потенциальной", а реальной именно тогда когда ей придаётся максимальная публичность.
2. Наличие у владельца компании контрактных отношений с Ростелекомом и одновременно публикации об их утечках можно трактовать как "шантаж" потенциального или прошлого клиента. Если Ростелеком и Минкомсвязь найдут зацепку засудить DeviceLock за подобное - они будут совершенно правы.

Я напомню что этические вопросы в проблемах с утечками персональных данных являются первоочередными. При передаче РБК материалов по утечкам персональных данных [3] лично я выдержал паузу более чем в 8 месяцев после уведомления Роскомнадзора.

2020 год пройдет под эгидой этики, поверьте моему слову, "этика" будет главным словом.

Ссылки:
[1] https://t.me/antidigital/2088
[2] https://clearspending.ru/contract/?productsearch=DeviceLock&search-submit=&grbs=&regnum=&daterange=&price_gte=&price_lte=&customerregion=&address=&budgetlevel=&okdp_okpd=&sort=-signDate&fz=None&customerinn=&customerkpp=&supplierinn=&supplierkpp=
[3] https://www.rbc.ru/politics/29/04/2019/5cc2df569a7947c83b69b0d5

#dataleaks #leaks #data #personaldata

Algorithwatch публикуют серию предсказаний по развитию автоматизированных систем на 2020 год [1].

Вот ключевые на которые стоит обратить внимание:
1. "Углеродные алгоритмы"

Всё более тематика климатических изменений будет связана с системами искусственного интеллекта.

Предсказание 1: Несколько организаций запустят проекты ИИ для окружающей среды
Предсказание 2: Как минимум одна автоматизированная система будет недоступно из-за проблем с инфраструктурой вызванной

2. Автоматические дома для бедных

Предсказание 3: Как минимум 50 новых примеров автоматизации социального сектора в Европе
Предсказание 4: Не менее 3 из этих проектов будут остановлены по решению суда или как политически неприемлимые местными или национальными парламентами.

3. Платформенная прозрачность

Предсказание 6: Журналисты, политики, исследователи и активисты со всех сторон будут заявлять что платформы и их алгоритмы повлияли на выборы 2020 года. Некоторые из них подтвердят свои заявления данными.
Предсказание 7: До и после выборов платформы, особенно Facebook, заявят что они были и есть прозрачны. Но они не будут прозрачны.

4. Регулирование в 2021 году

Предсказание 8: Европейская комиссия опубликует результаты исследований ИИ в первом квартале, но без последующего нормотворчества.
Предсказание 9: AlgorithmWatch, помимо других, опубликует свои предложения.


Ссылки:
[1] https://algorithmwatch.org/en/9-predictions-for-2020/

#eu #algorithmwatch #ai

Далеко не все открытые данные имеют государственную природу. Многие публикуются некоммерческими организациями ориентированными на технологические проекты. Таких организаций очень мало в России, но много в мире. Одним из примеров таких данных являются климатические данные.

Где подобные данные собираются и публикуются?
1. ResourceWatch [1] ведёт портал с датасетами и кроме 291 датасета ещё и предоставляет инструменты визуализации.
2. World Resource Institutes [2] публикует 125 наборов данных и каталоги платформ с данными [3]
3. ClimateWatch [4] собирают и публикуют данные мониторинга и составляют профили стран, тоже с экспортом данных
4. PrepData [5] для планирования и подготовке к климатическим изменениям
5. The Forest Atlases [6] серия проектов от WRI по созданию порталов открытых данных мониторинге лесов.

И множество других. По многим показателям некоммерческие технологические проекты на данных опережают государственные, хотя и всегда или почти всегда основаны на государственных данных.

Ссылки:
[1] https://resourcewatch.org/data/explore
[2] http://datasets.wri.org/dataset
[3] https://www.wri.org/resources/data-platforms
[4] https://www.climatewatchdata.org/
[5] https://prepdata.org/
[6] https://www.wri.org/our-work/project/forest-atlases

#opendata #climatechange

Под конец года накопилось много примеров и новостей по открытым данным, продолжаю разгребать пропущенное.

1. Портал открытых данных юстиции в Аргентине [1], единственный в своём роде. При том что ничего выдающегося в том как он сделан нет, важнее сама инициатива по раскрытию подобных данных.
2. Open Government Partnership постепенно сокращается. 6 декабря оттуда исключены Тринидад и Тобаго [2], а ранее оттуда вышли или заморозили своё участие: Венгрия, Турция, Танзания. Беда в том ещё и что к Хартии открытых данных [3] тоже мало кто присоединяется. Нельзя сказать что открытость отступает, но точно можно говорить что она приобретает иные формы, без международных институтов подчас. Хорошо ли это или плохо? Это предмет для отдельной дискуссии
3. В Новой Зеландии 17 декабря подвели итог конкурса цифровых инноваций [4] с общим бюджетом в 5 миллионов долларов NZ (примерно 208 миллионов рублей). Особенность конкурса была в том что в нем участвовали только команды органов власти.
4. СуперСервис "Рождение ребёнка" о котором давно говорят в России , уже давно реализован в Новой Зеландии. Он называется Smart Start [5] и помогает родителям ещё когда они только собираются запланировать рождение ребёнка.
5. Во Франции на середину января 2020 года запланировали хакатон по открытым финансовым данным [6]. Данные у них не такого удобства как в России, но хакатон правильно организован объяснениями зачем и как участвовать в нём: программистам, дизайнерам, разработчикам пользовательских интерфейсов, госслужащим и тд. Очень интересно будет посмотреть результаты.
6. Законы-как-код (Legislation-as-a-code) [7] ещё один новозеландский проект для мониторинга. О том как превращать законы/законопроекты и процесс их принятия в код. И государственная инициатива Better Rules [8] с систематизацией лучших практик. Кстати результаты эксперимента можно посмотреть в проекте Rapu Ture [9] на базе OpenFisca [10]. Эксперименты пока малопонятные, но хоть кто-то решается подступиться к этой проблеме.
7. Про открытый код французского Etalab [11] я ранее писал, но всегда неплохо и напомнить. Много кода, довольно неплохо написанного и описанного.

Ссылки:
[1] http://datos.jus.gob.ar/
[2] https://www.opengovpartnership.org/news/open-government-partnership-rescinds-trinidad-and-tobagos-membership/
[3] https://opendatacharter.net/
[4] https://www.digital.govt.nz/news/successful-applicants-for-the-digital-government-partnership-innovation-fund-20192020-announced/
[5] https://smartstart.services.govt.nz/
[6] https://datafin.fr/
[7] https://www.brainbox.institute/legislation-as-code-in-new-zealand
[8] https://www.digital.govt.nz/blog/what-is-better-rules/
[9] https://www.rules.nz/
[10] https://openfisca.org/en/
[11] https://code.etalab.gouv.fr/en/repos

#opendata #opensource #govinnovations

Находка года - это инструмент по обману рекламодателей Track This от команды Firefox (Mozilla) https://trackthis.link/

В нем можно выбрать один из 4-х профилей:
- Hyperbeast - фанат уличной одежды, эксклюзивных вещей и последней музыки. В поисках самого модного мерча
- Filthy Rich - рекламодатели теперь считают что Ваша жизнь теперь как в фильме про Джеймса Бонда, за исключением меньшей дозы алкоголя и больше кредитного максимума.
- Doomsday Prepper - рекламодатели теперь считают что Вы проводите Ваше время в поисках запасов, бункеров и за печатью теорий заговоров для того чтобы вешать их на стены спальной с красным ковром
- Influencer - реколамодатели будут считать что Вы одержимы уходом за кожей, астрологией и конечно тем как завлечь больше лайков в свой видеоблог

В каждом случае открывается до 100 табов, так что будьте готовы потом закрывать их все или браузер целиком.

Кстати идея настолько хороша что можно было бы придумать ещё несколько похожих профилей. Например, каких?

#privacy #tracking #humor #tricks

Федеральная государственная информационная система мониторинга качества атмосферного воздуха в крупных промышленных центрах появится уже в следующем году.

Вышло Постановление Правительства РФ от 24 декабря 2019 года №1806 в котором утверждены Правила создания и эксплуатации федеральной государственной информационной системы мониторинга качества атмосферного воздуха в городах Братске, Красноярске, Липецке, Магнитогорске, Медногорске, Нижнем Тагиле, Новокузнецке, Норильске, Омске, Челябинске, Череповце и Чите, а также перечень включаемой в неё информации [1]

Систему будет эксплуатировать Росприроднадзор, а поставщиками информации предполагаются:
- Росприроднадзор
- Росгидромет
- Роспотребнадзор
- Росреестр
- ИОГВ субъектов федерации

Перечень сведений (вернее, там перечень "типов сведений") приведён на страницах 12-16 постановления [2]

На что следует обратить внимание:
1. Сведения должны быть общедоступны, но слова "открытые данные" нигде не произносятся. Как следствие результат реализации системы может давать графики, таблицы, а данные могут и не давать. Во всяком случае по формальным критериям описания в постановлении Правительства РФ
2. Нет упоминания НСУДа, хотя казалось бы для новых ФГИС это было бы логично. Но нет, все ФГИСы и в том числе новые продолжают существовать в собственных "отраслевых колодцах".
3. В системе собираются данные федерального уровня и уровня субъектов федерации, что возможно из-за принятия 195-ФЗ от 26 июля 2019 года [3].

Хорошо ли или плохо создание подобной системы? На фоне того что творят некоторые власти субъектов федерации с сокрытием информации о экологической обстановке [4] - это, конечно, скорее хорошо. Но, с другой стороны, данные об экологической обстановке как и другие данные о качестве жизни в России раскрываются особенно плохо.

Например, где все те данные которые собирают вышеперечисленные органы власти? А где данные о качестве воды? А где данные о загрязнении почвы? Экологический мониторинг это одна из немногих по настоящему важных тем для общественного контроля. Контроля в виде проверки датчиков, в виде внедрения практик интернета вещей и многое и многое другое.


Ссылки:
[1] http://government.ru/docs/38713/
[2] http://static.government.ru/media/files/omnnf6X4KK7bD4KYvA5pzs4pzLocAJQu.pdf
[3] http://government.ru/activities/selection/525/37561/
[4] https://t.me/begtin/1661

#opendata #data #fgis

1019 субсидий на сумму 319,9 млрд руб. распределили за 2 последних рабочих дня года.

Самые крупные новогодние субсидии получили:

Российский фонд развития информационных технологий - 29,9 млрд руб.
Российский дорожный научно-исследовательский институт - 10 млрд руб.
НИЦ «Курчатовский институт» (получил от НИЦ «Курчатовский институт») - 7,6 млрд руб.
Комитет по развитию транспортной инфраструктуры СПб - 7,1 млрд руб.
Государственный университет Морского и речного флота им. Адмирала С.О. Макарова - 4,9 млрд руб.
Многофункциональный комплекс Министерства финансов РФ - 4,5 млрд руб.
Московский государственный технический университет гражданской авиации - 4,3 млрд руб.

Со всеми субсидиями можно познакомиться на сайте проекта «Госрасходы»: https://spending.gov.ru/subsidies/subsidies_list/

В выдавшиеся немного свободные дни я перечитывал последние материалы по тому как в том что называется цифровой трансформацией в мире меняется.

1. В наиболее развитых странах довольно много G2G проектов. Например, в Австралии есть GovCMS [1] проект на базе Drupal 8 созданный в их Департаменте финансов (аналог Минфина России) и, барабанная дробь, официально предоставляемый за деньги в виде облачного SaaS или PaaS решения.
2. В той же Австралии есть проект по каталогизации всех государственных API api.gov.au [2] где пока собрано 12 API, но также разработан стандарт публикации API, действует сообщество. Правда везде есть свои странности, например этот проект написан полностью на языке программирования Kotlin [3] и выбор для веб-интерфейса + API в сторону Kotlin лично мне непонятен, можно лишь предполагать что разработчикам очень хотелось попробовать новый язык/технологию.
3. В США с апреля 2019 года опубликовали и развивают U.S. Web Design System 2.0 (USWDS 2.0) [4]. Это дизайн система для всех официальных сайтов США, полностью открытая (открытый код, свободные лицензии), весьма проработанная, со множеством примеров. Фактически она резко упрощает жизнь всем разработчикам госсайтов и даёт универсальные шаблоны для разного вида страниц.
4. И снова Австралия. GovTEAMS [5] Система цифровых коммуникаций с преодолением межведомственных барьеров. Проектные команды в ней взаимодействуют как между органами власти так и вовлекают представителей подрядчиков и госучреждений. Как и во многих G2G проектах Австралии, он бесплатен для органов власти федерации, но для органов власти штатов там платные аккаунты. Всё это работает на базе Microsoft Teams, SharePoint и Office 365 apps. Опять же проект Департамента финансов федерального правительства Австралии
5. Единый каталог организаций и иных структур правительства Австралии [6] интересен тем что в нем не только организации из австралийского реестра госорганизаций (AGOR), но и многочисленные структуры не имеющие статуса юридического лица. Это включает разнообразные комитеты, комиссии, советы директоров, а также всех тех персон кто входит в эти структуры. Это одна из немногих известных мне подобных всеобъемлющих инициатив по систематизации устройства органов власти.
6. Я ранее упоминал проект Better Rules в Новой Зеландии, по реорганизации законотворческого процесса [7]. У проекта есть важная особенность, его создатели не пытаются создать _цифровую платформу для законотворчества_. Таких проектов много, начиная с проектов по машиночитаемым законам и продолжая платформами написания законов. Нет, в Better Rules куда как более радикальная идея. Основной тезис в том что положения законов всё равно приходится превращать в код при их принятии, а что если сразу писать код, а потом уже на основе этого кода создавать тексты законов и иных регуляторных документов? Вот это и пытаются решить в Better Rules и, кто знает, может быть и смогут чего-то добиться.
7. Очень похожий проект в Италии по цифровому административному кодексу [8]. Большая часть материалов на итальянском языке, пока мало что доступно, вполне возможно что ещё какие-то результаты и не достигнуты.

Ссылки:
[1] https://govcms.gov.au
[2] https://api.gov.au
[3] https://github.com/apigovau/api-gov-au
[4] https://designsystem.digital.gov/whats-new/updates/2019/04/08/introducing-uswds-2-0/?=dg
[5] https://www.govteams.gov.au
[6] https://www.directory.gov.au
[7] https://discuss.digital.govt.nz/BetterRules/
[8] https://teamdigitale.governo.it/it/projects/cad.htm

#digital #digitalgov #data #api

Это заняло какое-то время прочитать документы по НСУДу и я описал свои впечатления в блоге https://begtin.tech/nsud-review/ и дублирую тут

Я добрался таки до документов разработанных в рамках НСУДа (Национальная система управления данными) [1] и, если по началу мне хотелось сделать детальный разбор того что там написано, то по итогам могу лишь сказать что это желание быстро пропало. По той лишь причине что объект/предмет обсуждения отсутствует как явление.

При этом я честно прочитал все документы, даже вернулся к концепции НСУДа утверждённой 3 июня 2019 года [2], перечитал что аналогичного делают в мире и что получается в итоге в России.

Смысловое:
1. Темы открытых данных как не было в концепции НСУДа, так и нет в итоговых документах и материалах. Открытые данные упоминаются только в Концепции создания цифровой аналитической платформы и только в одном из пунктов заключительных положений [3]. Звучит как:
- увеличение доли показателей, раскрываемых в формате открытых данных в рамках платформы;
на странице 45 документа. Однако и это упоминание очень условно потому что увеличение доли показателей с неизвестной доли на неизвестную не даёт уверенности что это вообще произойдёт.
2. НСУД из свода правил превратился странного гибрида-мутанда где, с одной стороны, есть требования к "государственным информационным ресурсам", а с другой стороны по сути эти требования являются приложением к созданию ЕИП НСУД (Федеральная государственная информационная система «Единая информационная платформа национальной системы управления данными»).
3. ЕИП НСУД - это и есть наиболее странная часть всей этой затеи. Во всех документах нет внятного описания что такое НСУД, кроме некоторых сравнений его со СМЭВ3. Но если в СМЭВ можно прокачивать сообщения по условно единой шине, то прокачивать данные через НСУД не только странно, но и формирует немало вопросов по обработке персональных данных, в частности. В принципе, в мире, в крупных и в развитых странах, нет нигде единой системы именно обработки государственных данных. Такое возможно в некоторых городах-государствах, но лишь по причине малого числа систем и их, относительно, простой гармонизации.
4. В документе по систематизации [4], с одной стороны есть упоминания онтологического подхода, а с другой ничего про его практическое воплощение и понимание сложности проблемы. Онтологическое описание данных в RDF/OWL формате - это огромная постоянная работа требующая не только команд онтологов, больших организационных усилий. Причём усилий непрерывных поскольку структуры и виды данных в исходных системах живут по правилам владельцев этих систем и регулярно меняются. Например, в одном только портале госзакупок структуры данных меняются до 6-8 раз в год, и это чаще большие чем точечные изменения.
5. Авторы документов явно не сталкивались в рабочей жизни с реальным качеством данных, поскольку эта тема вообще никак не раскрыта. Ни необходимость проверки, ни практики форматно-логического контроля, ни международные и российские стандарты.
6. Нет даже документа в котором был бы просистематизирован российский и международный опыт. Получается такой "сферический НСУД в вакууме", хотя опыта то много. Очень много и куда более серьёзного чем те результаты НСУДа которые сейчас приходится читать.

Стилистическое:
- документы очень тяжело написаны. В них практически нет ничего про размышления, анализ, объяснения причин, вместо этого там бесконечное число списков. Можно сказать что почти все тексты состоят в основном из списков.
- текстовые формы заполнения паспортов [5] (стр. 22-28), экспертных заключений [6] (стр. 16-17) - это, конечно, кроме как насмешкой над цифровизацией не назвать.
- в случае экспертных заключений сама формулировка "Форма экспертного заключения о проведении экспертизы отказа в предоставлении доступа к государственным данным" является странной. Экспертиза отказа, совершенно новое явление нашей жизни. [6]

Наверняка найдётся ещё что-то, вполне возможно что даже из текущих документов НСУД можно извлечь какую-либо пользу.

Ссылки:
[1] https://digital.ac.gov.ru/materials/methodical-material/
[2] http://government.ru/docs/36940/
[3] https://digital.ac.gov.ru/upload/iblock/354/Концепция создания цифровой аналитической платформы.pdf
[4] https://digital.ac.gov.ru/upload/iblock/56b/Требования по систематизации государственных данных.pdf
[5] https://digital.ac.gov.ru/upload/iblock/a12/Требования по заполнению и ведению паспорта государственного информационного ресурса.pdf
[6] https://digital.ac.gov.ru/upload/iblock/010/Порядок предоставления доступа к государственным данным.pdf

#data #nsud #opendata

В Латвии открыли реестр юридических лиц [1] для общего доступа, теперь искать в реестре довольно просто и удобно и доступны сведения о компаниях, их владельцах и так далее. Об этом подробнее на сайте SmartLatvia [2]. Причём даже декларируется доступность паспортных сведений, но вот тут и есть некоторые оговорки.

На самом деле, этот реестр доступен в 3-х режимах доступа:
1. Общедоступная информация об организации, событиях связанных с ней и персонах аффилированных с организацией. Не требует авторизации или оплаты.
2. Исторические сведения и документы организации доступны после авторизации через одного их провайдеров электронной авторизации. Опять же бесплатно
3. Некоторые документы и личные сведения о персонах можно получить через мотивированный запрос и за деньги.

Формально этот сервис должен был работать с 7 января, но фактически его запустили уже сейчас. Здесь ничего нет про открытые данные, поскольку часть этих данные публикуется уже давно, но не на портале открытых данных Латвии [3], а на специальном разделе реестра организаций [4] где доступны сведения по самим юр лицам, но не по документам и не по владельцам/руководителям. Именно поэтому стоит ждать следующего шага - доступности данных для машинного анализа.

И раз такое дело то напомню о проекте Open Corporates [5] в котором собраны сведения о 170 миллионах юридических лиц по всему миру включая Латвию (в части открытых ранее сведений). Open Corporates существует в форме социального ориентированного бизнеса предоставляющего доступ к поиску по всему реестру юр лиц и предоставляющему за плату доступ к API. Но для некоммерческих организаций и проектов и доступ к API тоже бесплатен.

Ссылки:
[1] https://info.ur.gov.lv
[2] http://www.smartlatvia.lv/informacija-o-latvijskih-kompanijah-teper-dostupna-dlja-vseh-i-besplatno/
[3] https://data.gov.lv
[4] http://dati.ur.gov.lv/
[5] https://opencorporates.com/

#opendata #opengov #latvia #opencorporates