Ivan Begtin
7.98K subscribers
1.83K photos
3 videos
101 files
4.53K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts ivan@begtin.tech
Download Telegram
Блеск и нищета российского госИТ в том что реально полезные проекты часто исчезают по самым непонятным причинам и, наоборот, самые малоосмысленные выживают и живут.

Например, много лет назад, таким образом "погиб" проект zakon.government.ru (сейчас по ссылке ничего нет) с реально народным обсуждением законопроектов да ещё и так что часть законопроектов народное обсуждение не прошло, а в процессе выявилось несколько десятков реальных экспертов. Эта "игра в открытость" быстро закончилась с появлением Открытого правительства в РФ в лице министра которое его не поняло, не приняло и сдало. А вместо этого возник довольно бессмысленный regulation.gov.ru специально сделанный так чтобы можно было бы проигнорировать практически любую обратную связь ну и "выжил" (в кавычках) проект Российской общественной инициативы который стал совсем бессмысленным в последние годы.

Но это не единственные проекты которые погибли или погибают. Например, не все знаюот о проекте Мониторинг трудоустройства выпускников созданный Минобрнауки в 2015 году и остановленный в 2017 году. Какое-то время это был единственный проект где можно было увидеть куда разъезжаются выпускники ВУЗов по окончанию, кем работают и сколько зарабатывают. Невероятно полезные данные для исследователей и, вот уже 4 года не обновляемые. Остаётся только ждать когда проект совсем закроют и сделать архив хотя бы того что есть. Причём ни от кого ни в Минобранауки России ни в других органах я даже не слышал разговоров о его перезапуске или воскрешении.

Таких проектов немало. Когда я ругаюсь в адрес конкретных органов власти, то природа моей критики не в том что хорошего нет, а в том что хорошее не выживает в нашей системе госуправления( Каждый реально полезный проект выглядит каким-то уникальным исключением на фоне сотен государственных информационных систем с данными сомнительного качества.

Как бы то ни было новейшая история содержит довольно много интересных артефактов и их надо хотя бы сохранять чтобы не потерять.

#opendata #government #governance #opengov
Хорошие новости про открытые данные. Президент РФ подписал закон обязывающий власти раскрывать информацию о состоянии окружающей среды [1], номер самого закона ещё неизвестен, но это законопроект № 735006-7 [2] внесённый 19.06.2019 Правительством РФ, принятый в первом чтении зимой 2019 года и год далее он был без движения. 20 января он пришёл в движение, прошёл второе и третье чтение и вот 9 марта новость о его подписи Президентом РФ.

Это один из немногих законов с явно указанным обязательным раскрытием сведений в формате открытых данных.
Закон:
1) вводит новое определение
«информация о состоянии окружающей среды (экологическая информация) - сведения (сообщения, данные) независимо от формы их представления об окружающей среде, в том числе о ретроспективном, текущем и прогнозируемом состоянии окружающей среды, ее загрязнении, происходящих в ней процессах и явлениях, а также о воздействии на окружающую среду осуществляемой и планируемой хозяйственной и иной деятельности, о проводимых и планируемых мероприятиях в области охраны окружающей среды.»

2) Вводит 4-ю статью Информация о состоянии окружающей среды(экологическая информация)
Где явным образом указывается что Информация о состоянии окружающей среды (экологическая информация) является общедоступной информацией, к которой не может быть ограничен доступ, за исключением информации, отнесенной законодательством Российской Федерации к государственной тайне.

И вводит обязательность раскрытия этих сведений в формате открытых данных. Больше подробностей в тексте законопроекта к третьему чтению [3].

Это хорошая новость потому что ранее одна из ключевых проблем с открытостью в России была проблема с открытостью данных о качестве жизни.

Осталось понять как эти данные теперь будут раскрываться. Большая часть государственных порталов открытых данных давно не актуализировались, вот и повод их реанимировать. А для организаций защищающих окружающую среду это повод провести инвентаризацию государственных информационных систем где данные накапливаются и проверить что данные оттуда раскрываются как это требуется по новому закону.

Ссылки:
[1] http://kremlin.ru/acts/news/65122
[2] https://sozd.duma.gov.ru/bill/735006-7
[3] https://sozd.duma.gov.ru/download/A1464E78-0BA6-4114-A5D2-EFB983932442

#opendata #opengov #environment
Джо Байден наконец-то назначил нового CIO США - это Клэр Марторана [1], ранее работавшая в схожей должности в U.S. Department of Veteran Affairs и её сильно хвалят многие в технологической среде в США [2] [3] [4] [5]

Что, конечно, хорошо. Конечно, основные функции CIO в США сейчас - это обновление государственных систем, некоторые из которых написаны ещё на древних языках программирования и не актуализованных, но кроме того есть большая часть ИТ инфраструктуры относящаяся к открытости данных и открытости гос-ва в целом что тоже будет в фокусе нового CIO.

Ссылки:
[1] https://www.fastcompany.com/90612932/biden-clare-martorana-chief-information-officer
[2] https://twitter.com/digiphile/status/1369488321672536067
[3] https://twitter.com/konklone/status/1369476389812924417
[4] https://twitter.com/timoreilly/status/1369474952726859779
[5] https://twitter.com/McAndrew/status/1369413715989327885

#usa #opengov #tech #cio
Простите, я не могу подобрать комментарий этой новости. Очень хочу, но никак не получается.
🆘Исход атаки Роскомнадзора на Twitter полностью повторил первую атаку на Telegram («интернет-геноцид»).

🔸упал крупнейший в России провайдер Ростелеком;

🔸упали сайты Госдумы и Кремля;

🔸упал сайт Роскомнадзора;

🔸упал сайт правительства (спустя время работа восстановлена);

🔸упал сайт МВД (спустя время работа восстановлена);

🔸упал сайт Следкома;

🔸упал сайт Совета Федерации;

🔸упал сайт Совета безопасности;

🔸упал сайт Минцифры;

🔸упал сайт Минэкономики.

Дальше будет хуже.

(список обновляется).
И все же один комментарий у меня есть. Интересно, а что ждет _террористов_ отключивших сегодня сайт Правительства, Президента, Мос.ру, Госдумы и многие другие? Арестуют? Расстреляют? Выдадут внеочередные звания и награды?
О всяких "мелочах" открытости государства тезисами. То что не попадает в разного рода аналитику, годовые доклады, рейтинг и тд.

1. Среднее время задержки публикации официальных документов на сайте Правительства РФ составляет 22 дня, на 10 марта доступны документы только на 18 февраля. Причём у документов указывается не реальная дата размещения на сайте, а дата его подписи. На официальном сайте Президента документы в банке документов появляются с задержкой в 79 дней. Сейчас доступны документы за 22 февраля 2020 г. Да, эталонная база - pravo.gov.ru. Но там, во первых сканы, а во вторых рядовому гражданину это совершенно не очевидно
2. Некоторые ФОИВы публикуют "Сведения о расходовании бюджетных средств подведомственными ФНС России бюджетными учреждениями" в виде ссылок на портал bus.gov.ru, например, ФНС России в разделе "Эффективность работы ФНС России". Все ссылки битые, потому что Федеральное казначейство при обновлении портала bus.gov.ru поленилось сохранить целостность ссылок и за сайтом явно не следит и не обнаруживает большое число 404 ошибок>
3. На официальном интернет-портале правовой информации публикуются НПА всех субъектов Российской Федерации кроме Москвы. Наглядная демонстрация тезиса того почему Москва-не-Россия. На портале pravo.minjust.ru также публикуются единицы документов по сравнению с документами на сайте Москвы.
4. Состав консультативного совета по иностранным инвестициям в России пуст несмотря на активность в прошлом году.
5. Странный список организации при Правительстве на сайте Правительства РФ потому что организаций учрежденных Правительством РФ кратно больше, если смотреть по ЕГРЮЛ, а если смотреть по бюджетным полномочиям то Правительство не юр. лицо и их главой по БК является Управление делами Президента РФ.
6. Если смотреть баланс владения госинформсистемами и объёмы публикации открытых данных, то лидер анти-рейтинга будет Минпросвещения РФ. В их разделе открытых данных их почти совсем нет, особенно востребованных, вроде ведомственной статистики и не только. Впрочем и про информационные системы ничего не узнать, потому что раздел почти пуст и чтобы выяснить список их информационных систем надо искать их в контрактах органа власти, его подведов и во ФГИС КИ
7. Минпросвещения не публикует ведомственную статистику по профессиональному обучению уже примерно год. Последняя публикация была 22 мая 2020 года
8. До сих пор существует сайт Государственные награды Российской Федерации несмотря на его создание в 1999 году. Правда, почему-то, галерей награждённых там нет, зато актуализируется список указов. То есть кто-то за ним всё таки следит.
9. Аналогично существует сайт ГУИР ФАПСИ 2000 года, видимо как цифровой артефакт ушедших лет.

В этот список ещё много чего можно добавить, но я совсем тогда выбьюсь из формата короткой заметки.

#open #government
Свежий доклад The NSCAI Final Report [1] от National Security Commission on Artificial Intelligence с набором предложений по реорганизации использования ИИ в США в целях национальной обороны.

В докладе 756 страниц, но читается легко, многое посвящено данным и создаваемым алгоритмам которые на данных основаны. Несмотря на военную ориентацию доклада в нём также есть про открытые данные и обмен данными (data sharing) для эффективной разработки ИИ.

В качестве противников и конкурентов постоянно упоминаются Китай и Россия и единственно где они упоминаются как партнеры - это разработка технологий избегания столновений в космосе.

Выводов там много, например, в виде рекомендации увеличить военные расходы на исследования ИИ в несколько раз.

Лично у меня нет симпатии к новой гонке вооружений через ИИ, человечество могло бы придумать куда больше способой эффективного вложения ресурсов, но, похоже что этой самой гонки вооружений не избежать, потому что важнейший посыл доклада - это:
A global treaty prohibiting the development, deployment, or use of AI-enabled and autonomous weapon systems is not currently in the interest of U.S. or international security

Иначе говоря США сейчас не выгодно инициировать или поддерживать ограничения на автономное оружие и в самые ближайшие годы гонка вооружений выйдет на новый виток, а ведь военно-промышленным комплексам это оружие ещё и надо продавать и где-то тестировать. А значит уже скоро мир ждут новые войны.

Ссылки:
[1] https://www.nscai.gov/wp-content/uploads/2021/03/Full-Report-Digital-1.pdf

#ai #war #data
Sanitas, испанская медицинская страховая компания, вхолящая в холдинг Bupa запустила инициативу Data4Good в рамках которой предоставляет доступ к собранным ими данным о COVID-19 [1]

Хотя они и называют это открытыми данными, но, конечно, это не открытые данные в общепринятом смысле потому что для получения доступа надо рассказать о своём исследовании, заполнить форму и направить им на рассмотрение. Тем не менее это подпадает под идею data sharing и частично open access, поскольку акцент сделан на исследователях.

Подробнее на испанском языке [2]

Ссылки:
[1] https://landing.sanitasweb.es/data/opendatacovid/english.html
[2] https://corporativo.sanitas.es/sanitas-abre-a-la-sociedad-sus-datos-medicos-anonimizados/

#opendata #spain #covid-19
Исторические проекты на открытых данных - это, например, проект по гражданской войне в Испании [1] от испанской НКО Innovations in human rights. Они собрали данные из более чем 232 источников и базу из 1.2+ миллиона документов [2] через визуализацию которых рассказывают историю Испании того времени. Например, визуализация 800 дней бомбёжки Барселоны [3].

Их проект напоминает работу Мемориала в России [4] с той лишь разницей что масштабы работы Мемориала, скорее всего больше.

Ссылки:
[1] https://ihr.world/en/
[2] https://scwd.ihr.world/en/
[3] https://btvdatalab.github.io/barcelona-800-dies-sota-bombes-/navegable.html
[4] https://www.memo.ru/ru-ru/

#opendata #data #ngo #history
Forwarded from Ах, этот Минфин (Olya Parkhimovich)
Депфин Москвы обновил портал "Открытого бюджета г. Москвы" (https://budget.mos.ru). У портала теперь полностью обновленный интерфейс (к которому нужно привыкнуть) и содержание.

Из явных нововведений:
- раздел "Открытость" и подраздел "Открытые данные". Но, например, последние наборы данных были загружены в середине октября. То есть, бюджета на этот год в формате открытых данных на портале нет;

- раздел "Госпрограммы". Было бы здорово добавить обновленные и архивные паспорта госпрограмм (по случайно выбранной госпрограмме на сайте нашла Постановления от 2011 года) и регпрограмм и выводить контракты по госпрограммам (взять их можно, например, из API проекта СП РФ "Госрасходы");

- раздел "Обучающий сервис" с 9 текстовыми уроками по бюджетной грамотности для граждан;

- раздел "Внутригородские МО" с базовой информацией о доходах/расходах муниципалитетов и возможностью скачать информацию в удобном для пользователя формате (сейчас данные представлены до разделов/подразделов, хотелось бы большую детализацию);

- можно посмотреть исполнение бюджета Москвы (план и факт) на интересующую дату, и скачать показатели в формате xls (правда, отображаются и скачиваются данные только за одну выбранную дату);

- странно, что на сайте не представлены нацпроекты.

Приятно, что Депфин Москвы переработал портал и расширил возможности по выгрузке той информации, которая отображается на страницах, но хотелось бы все представленные на сайте данные скачивать и в формате открытых данных, т.к. на страницах отображаются урезанные сведения.

Не хватает, например, машиночитаемых датасетов по бюджету на этот и предыдущие годы, датасетов по исполнению бюджета Москвы, датасетов с бюджетами МО (или хотя бы с теми сведениями, которые представлены на сайте).
The GovLab выпустили The Third Wave ofOpen Data Toolkit [1] гайд советов как внедрять подходы 3-й волны открытых данных. Полезный документ, концептуально раскладывающий основные шаги верхнеуровневой стратегии, а сам документ написан так чтобы на него было бы удобнее ссылаться при разработке национальных стратегий работы с данными.

Лично я читаю подобные документы уже давно со специальной табличкой куда вношу новые термины и определения от данных. В этот раз это:
- data sharing ecosystems
- data education programs
- data processing environment
- data infrastructure literacy

Все новые термины теперь уже 3-х составные, а всего у меня накопилось 175 терминов из документов самых разных консультантов и официальных стратегий.

Ссылки:
[1] http://files.thegovlab.org/The-Third-Wave-of-Open-Data-Toolkit.pdf

#opendata #data
В Arstechnica две заметки о том как Роскомнадзор блокировал Twitter в России [1] [2] в них, в том числе, независимое подтверждение что это ошибка в регулярном выражение при блокировке по подстроке "t.co", поскольку аналитики из Kentik [3] (компания специализирующаяся на сетевом мониторинге) обнаружили заметное падение трафика в сети Ростелекома [4].

О ситуации также пишет NYT [5] и тоже делают акцент что Минцифра опровергала связь недоступности госсайтов и блокировок Twitter'а в самом Twitter аккаунте министерства.

В целом очень жаль что мало то немногое за что позитивно относятся к России в других странах - это антиковидная вакцина, а над действиями Роскомнадзора разьве что не смеются.

Ссылки:
[1] https://arstechnica.com/gadgets/2021/03/a-russian-isp-confirms-roskomnadzors-twitter-blocking-blooper/
[2] https://arstechnica.com/information-technology/2021/03/russian-attempt-to-throttle-twitter-appears-to-backfire/
[3] https://www.kentik.com
[4] https://cdn.arstechnica.net/wp-content/uploads/2021/03/kentik-russia-throttling-twitter.png
[5] https://www.nytimes.com/2021/03/10/world/europe/russia-twitter.html

#regulation #internet
Собственно стало происходить то что я предсказывал, основное применение данных собираемых государством в ФНС и не только - это деньги. Коммерсант пишет про адресность выплат по бедности [1] как инициативу Минтруда по корректировке выплат тем у кого сочтут "избыточность имущества". Декларируемая цель благая, давайте не будем помогать тем кто богатый (на самом деле это обычно люди со средними доходами), а самым бедным увеличим выплаты вдвое.

Я не буду говорить хорошо это или плохо, я могу лишь сказать что фискальное применение собираемых государством данных является сейчас основным. Причины этого и в текущем составе Правительства и в том что экономика таких инициатив (ФЭО), как правило, сходится.

Чем это окажется на практике? Снижение межбюджетных трансфертов в субъекты федерации, уменьшение фактически перечисляемых средств жителям субъектов федерации. Может ли это отразится на ВРП регионов и экономике в отдельных поселениях и городах? Может.

Ссылки:
[1] https://www.kommersant.ru/doc/4723190

#data #taxes #payments #mintrud
Читатели пишут, что Минцифры рассылает письмо ФОИВам и внебюджетным фондам о необходимости перехода на СМЭВ 3.0, при том, что этот переход должен был состояться ещё в 2017 году, что было зафиксировано протоколом правкомиссии 2016 года https://digital.gov.ru/uploaded/files/2752.pdf приложение 12 (начиная с 2018 страницы).

Что тут скажешь, 4 года прошло, "а воз и ныне там". Конечно, за это время министр связи, а теперь и цифры, сменился дважды, но это наглядный пример любых планов, которые формируются сейчас не только в ИТ, но и в нац. проектах и иных стратегических документах. Планы планами, а реальность реальностью.

И тут скромно хочется поинтересоваться какая будет судьба у НСУДа?;)

И, не могу не отметить, что рассылать документы с формами для заполнения сканированными PDF файлами плохой тон для любого органа власти, а для Минцифры особенно - потому что репутация цифрового министерства должна быть.

#digital #smev #documents
Иногда полезно задавать вопросы у себя на канале, коллеги из Минцифры меня тоже читают и с их позволения публикую их ответ на вопрос "Что же там с НСУДом?"

1) Проекты изменений НПА (3 ПП) на согласовании в Аппарате Правительства. Ожидаем, что в марте будут приняты:
- ПП с положением о ЕИП НСУД
- ПП по включению ЕИП НСУД в Инфраструктуру электронного правительства
- ПП о включении типового ПО витрин в СМЭВ

2) 5 ведомственных витрин созданы, наполнены данными и находятся в стадии подключения к ЕПГУ и Цифровому профилю (ЕСИА), в апреле планируем запуск витрины МВД (Реестр транспортных средств), на ЕПГУ будут отражаться в режиме близком к онлайну соответствующие сведения

3) >60 ФОИВ и ГВФ описывают с ноября свои информационные ресурсы, информационные системы, наборы данных по поручению Д.Н.Чернышенко в ЕИП НСУД. До конца марта работа должна быть выполнена.

4) в ближайшие дни начнётся работа по описанию в ЕИП НСУД паспортов наборов данных для искусственного интеллекта, решили, что им тоже место в ЕИП

5) формируется план создания ведомственных витрин в 21-23 годах, получено более 900 предложений от ведомств по составу данных, которые необходимы им в оперативном режиме. обрабатываем и до конца марта представим в Правительство проект графика

6) в начале апреля представим версию ПО витрины с открытым исходным кодом и проект ООЛ - отечественной открытой лицензии, российским аналогом ASF2. Это ПО будет доступно как ФОИВам, так и рынку.

Чтож, хочется надеяться что НСУД не пойдет дорогой СМЭВа, благо осталось ждать совсем недолго.

#data #digital #minsvyaz
13 латиноамериканских стран поменяли свои законы о госзакупках чтобы скрыть сведения о сделках о покупке вакцин. Всё это в расследовании [1] Red Palta (Латиноамериканская сеть журналистов по вопросам транспарентности и борьбы с коррупцией)

Вот так многие страны десятилетия идут в сторону прозрачности госрасходов, а потом во время пандемии всё это стремительно схлопывается. Потому что у пандемии относятся почти как к военному положению и потому что игра идёт по тем правилам кто сильнее. Когда крупный международный фарм. бизнес задаёт правила игры, то у правительств стран нет выбора (мало выбора) кроме как скрывать такие сделки. А скрывают их не столько от граждан, сколько от других стран чтобы те не знали реальных цен и им было бы сложнее торговаться.

Ссылки:
[1] https://www.redpalta.org/post/benefits-to-pharmaceutical-companies-in-the-purchase-of-vaccines/

#opendata #opengov #secrecy #covid19
О том как регулируются закупки ИТ в других странах. В Австралии Digital Transformation Agency опубликовало Hosting Certification Framework [1] регулируются документ определяющий принципы сертификации хостинг провайдеров для государственных органов/государственных инициатив.

Сертификация предполагает наличие у хостинговых компаний одного из трех статусов:
- Несертифицированный
- Сертифицированный гарантирующий хостинг-провайдер
- Сертифицированный стратегический хостинг-провайдер

У каждого органа власти должна быть стратегия управления рисками в которой они определяют необходимый уровень сертификации.

Возможно ли подобное регулирование в России? Возможно было бы если бы закон о госзакупках таки решились переписать.

Ссылки:
[1] https://dta-www-drupal-20180130215411153400000001.s3.ap-southeast-2.amazonaws.com/s3fs-public/files/digital-identity/New%20Accreditation%20Templates/Hosting%20Certification%20Framework%20-%20March%202021.v2.pdf

#it #regulation