Ivan Begtin
7.99K subscribers
1.82K photos
3 videos
101 files
4.53K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts ivan@begtin.tech
Download Telegram
Один из ключевых механизмов обеспечения приватности и безопасности данных пользователей при работе в сети, протокол HTTPS [1] до сих пор имеет гораздо меньшее распространение чем мы могли бы ожидать за эти годы.

Этот протокол, ранее редко используемый, стал особенно необходим на фоне подозрений о том что государственные спецслужбы перехватывают трафик граждан и того что трафик могут перехватывать, как злоумышленники, так и спамеры, маркетинговые агентства и иные коммерческие структуры собирающие больше персонифицированных данных о пользователе.

Например, компания Google вот уже много лет внедряет HTTPS для всех своих сервисов и с середины этого года HTTPS по умолчанию включего во всех ее сервисах [2]. Они же осущесвляют мониторинг использования HTTPS наиболее популярными сайтами [3] и вот уже 2 года как Google использует наличие HTTPS у сайта для повышения его рейтинга и ранжирования [4].

У органов власти также есть множество онлайн ресурсов и на многих из них граждане авторизуются и направляют свои персональные данные. При этом, у них шифрование трафика отсутствует или присутствует с ошибками. Наглядный пример - сайт обращений к Президенту letters.kremlin.ru не использует HTTPS. Это означает что любой может перехватить трафик между Вами и этим сайтом и перехватить текст обращения и Ваш логин и пароль. Аналогичная ситуация с порталом "Наш Санкт-Петербург" [6] и множеством других.

Другая проблема в том что у протокола есть много уязвимостей и если администраторы сайта не предпринимают усилия, то трафик, опять же, можно перехватить. Пример, официальный портал города Москвы mos.ru при проверке сервисом SSLLabs [7] уязвким к DROWN атаке [8]. И таких примеров, также, немало.

В США, для плавного перехода сайтов на HTTPS протокол, был создан проект Pulse [9] в котором осуществляется мониторинг внедрения HTTPS на всех 1154 сайтах относящихся к федеральному правительству США.

Проект написан полностью на Ruby и открыт его код [10] для любого желающего. Его можно назвать одним из успешных проектов государства с открытым кодом, например, его уже внедрили в Нидерландах [11] охватив 1816 сайтов, включая сайты местных органов власти.

В России, в настоящий момент, подобный сервис мониторинга официальных сайтов отсутствует. Также как и отсутствует более менее сведенный реестр всех официальных сайтов и иных сайтов органов власти. Например, в АИС "Монитор госсайтов" [12] собраны только официальные сайты ФОИВов, администраций субъектов федерации и администраций муниципальных образований (не все). Единого же официального реестра всех сайтов органов власти просто не существует. В США такой список есть, хотя бы, для доменов в домене .gov [13] и он официально ведется GSA. В России все было бы сложнее в виду того что многие органы власти не имеют доменов в зоне .gov.ru, например, МВД (mvd.ru) или МЧС (mchs.ru). Что, впрочем, не означает что ситуация с безопасностью данных пользователей неактуальна и пользователям российских сайтов органов власти.

Ссылки:
[1] https://ru.wikipedia.org/wiki/HTTPS
[2] https://www.google.com/transparencyreport/https/?hl=ru
[3] https://www.google.com/transparencyreport/https/grid/?hl=ru
[4] https://webmasters.googleblog.com/2014/08/https-as-ranking-signal.html
[5] http://letters.kremlin.ru
[6] http://gorod.gov.spb.ru
[7] https://www.ssllabs.com/ssltest/analyze.html?d=mos.ru
[8] https://blog.qualys.com/securitylabs/2016/03/04/ssl-labs-drown-test-implementation-details
[9] https://pulse.cio.gov
[10] https://github.com/18F/pulse
[11] https://pulse.openstate.eu
[12] https://gosmonitor.ru
[13] https://github.com/GSA/data/blob/gh-pages/dotgov-domains

#digitalgovernment #opengovernment #opendata #domains
Несмотря на то что мой канал номинировали на конкурс Открытого правительства, я то как раз с каждым годом все более скептичен насчет его будущего (как структуры, а не концепции) в России.

За все эти годы оно скорее снижало активность чем увеличивало.
Вот неполный список того что никогда не было сделано:
- не раскрыты большинство ключевых наборов данных которые должны были быть раскрыты согласно Хартии Большой Восьмерки
- не собрано библиотеки лучших практик
- не обеспечена поддержка общественных инициатив на открытых данных - нет ни одного президентского фонда который бы поддерживал проекты на открытых данных, а зарубежное финансирование этой темы в России сейчас невозможно
- поддержка проектов по открытым данным не стала частью повестки ФРИИ/РВК и других государственных структур развития стартапов

Все это, вместе с непрозрачностью его финансирования и конфликтами интересов его руководства, неизбежно создает ситуацию когда это первое и последние "Открытое правительство" в России. Следующее будет называться как-угодно иначе, но слово "открытость", к сожалению, нынешними его функционерами очень сильно испорчено.

В разговорах с коллегами из других стран СНГ они часто приводят российский опыт как положительный в открытых данных. Но проблема в том что государственные инициативы увязли в российской бюрократии.

#opendata #opengovernment
По итогам рассмотрения экспертной группой Михаила Абызова петиции по отмене "закона Яровой" уже вышло немало публикаций [1]

К сожалению, к великому сожалению, после последнего рассмотрения петиции по "закону Яровой" Российскую общественную инициативу можно закрывать.

И дело даже не в плохом законе, а он реально плохо написан, и дело даже не в том как устроено РОИ. Мы можем предполагать что это самый верный и честный сервис (даже без внешнего аудита и прозрачности его финансирования).

Проблема в том что он никому не нужен. И его не спасти открытостью данных, сервисов и даже открытости кода, в ситуации когда он не выполняет той роли для которой создавался - диалог руководства страны и граждан. Всю тему коммуникаций власти с остальными субъектами общества требуется очень глубоко перезагружать. Инструменты народной экспертизы, петиций и остальные механизмы Открытого правительства, будем честными, выродились в не самые функциональные инструменты. И, во многом, это связано с тем что их инициаторы сами не знают что с ними делать, даже если действительно изначально их желали.

Закон Яровой даже не столько плох, сколько глуп. Для квалифицированных граждан возможность сохранять собственную приватность была и остается. Массовый контроль государства за неквалифицированными обывателями был, увы, неизбежен и на него обречены все развитые страны. Ему нужно сопротивляться, но в первую очередь знаниями. А вот попытки хранить все объемы данных передаваемых по сетям - это несусветная глупость.

Равно как и полная неподотчетность обществу тех кто будет иметь к этим данным доступ.

Ссылки:
[1] http://www.vedomosti.ru/technology/articles/2017/01/19/673701-zakonu-yarovoi

#privacy #opengovernment
С 2016 года США потеряли статус "full democracy" (полной демократии) и получили статус "flawed democracy" (демократия с искажениями). В индексе демократий мира от The Economist Intelligence Unit отдельно темой проходит "Brexit, Trump and the 2016 revolt against the elites".

Бунт против элит как бунт против демократии - это не новое явление. Много лет уже идут разговоры о том что классическая демократия в эпоху масс-медиа перестала быть универсальным способом управления государством. Но, как и много веков назад, объективно и тщательно проработанных альтернатив нет и по сей день.

Доклад полностью доступен на сайте EIU [1] и, конечно, охватывает гораздо больше вопросов чем избрание Трампа президентом.

Ссылки:
[1] http://pages.eiu.com/Jan-2017-Democracy-Index_reg.html

#opendata #opengovernment
Мой канал про открытые данные, но не только про них. Я пишу про приватность, госзакупки, государство, цифровое государство, открытость в принципе, big data и прочую смесь практических и не очень тем. Совсем чистых каналов про открытость данных немного, но есть многие близкие по смыслу и духу.

Я уже упоминал канал Андрея Кармацкого https://t.me/urbandata и напомню про канал Strelka Magazine https://t.me/strelkamagazine - это каналы на которых бывают темы близкие к открытым данным и посвященные урбанистике.

В принципе же, у нас в России и в русскоязычном интернете мало блогов и каналов про открытые данные. Если Вы такие знаете - то пишите мне на @ibegtin или в @begtinchat или же вносите их напрямую в Awesome list на GIthub'е https://github.com/infoculture/awesome-opendata-rus

#opendata #opengovernment #telegram
Кто-то отдыхает в праздники, а я публикую заметку о том как проходит архивация сайтов на примере Общественной палаты - https://medium.com/@ibegtin/oprf-archival-209d9b09af3

#digitatalpresevation #opengovernment #archiving
Для тех кто мог упустить - 25 ноября пройдет Общероссийский гражданский форум [1] программа которого стала доступна онлайн и Вы там можете обнаружить секции про открытость государства и открытые данные и многое другое не менее интересное.

Мой день там будет очень плотно расписан, но немного свободного времени тоже будет, если Вы захотите меня там выловить - лучше напишите заранее.

И, кстати, зарегистрироваться еще не поздно зарегистрироваться, завтра последний день регистрации - не пропустите его!

[1] https://www.civil-forum.ru
[2] https://www.civil-forum.ru/forums/2017/programm/
[3] http://2017.civil-forum.ru/

#opendata #opengovernment #civicforum
Как устроен некоммерческий сектор в России. Часть 2 [1]
Продолжение публикации на основе накопленных нами данных в проекте Открытые НКО и анализа существующих некоммерческих организаций.

В 3-й части я расскажу подробнее о том почему многие организации регистрируются как некоммерческие, а в 4-й расскажу подробнее о проблемах и особенностях расширенной деятельностной классификации НКО и о подходах к этой задаче. А также о том какие выводы можно делать на расширении информации об организациях, их бухгалтерских балансах и отчетах.

Ссылки:
[1] https://zen.yandex.ru/media/id/5a315e1300b3dd77beb64261/kak-ustroen-nekommercheskii-sektor-v-rossii-chast-2-5a3a1e898139ba9e538c916b?

#opendata #openngo #opengovernment
Тем временем, похоже что, во Франции власти решили выбиться в мировые лидеры открытости диалога государства и граждан. На специальном сайте посвящённом организации открытого диалога [1]. Этот сайт организован в Etalab [2], специальной ИТ службе при Правительстве Франции и помимо рекомендаций о том как организовывать открытый диалог, но и перечень инструментов, в основном коммерческих, для его организации [3], а также требования к таким инструментам для включения в такой каталог [4].

Там же много примеров использования этих инструментов [5], например публичные консультации Парижа в 2016 году - Cities for Life [6]

Среди инструментов не только те которые делаются во Франции, например, там упомянут Decidim [7] созданный правительством Барселоны.

Сравнимые масштабы внедрения публичных дебатов в цифру есть только в Испании. В основном на базе открытого ПО Consul [8].

Но теперь похоже что во Франции открытый диалог будет внедряться быстрее.
Стоит обратить внимание на правильный подход. Не один монополист подрядчик, не государственная корпорация разрабатывает монопольное решение, а, фактически, новая модель аккредитации и консультации по внедрению и сопровождению внедрения коммерческих и открытых решений.

Ссылки:
[1] https://consultation.etalab.gouv.fr
[2] https://etalab.gouv.fr
[3] https://consultation.etalab.gouv.fr/lesoutils.html
[4] https://consultation.etalab.gouv.fr/criteres.html
[5] https://consultation.etalab.gouv.fr/lesoutils.html
[6] https://assembl-civic.bluenove.com/debate/citiesforlife#
[7] https://meta.decidim.org
[8] http://consulproject.org/en/

#opengovernment #france #open
Я ранее писал про положительные практики разного рода проектов на данных, открытости и не только. Вопрос всегда возникает, а есть ли наоборот самые что ни на есть наглядные примеры закрытости того что "очевидно" должно быть открытым.

1. Более 4-х лет на общероссийском сайте ЕГЭ [1] (под управлением Рособрнадзора) не публикуется даже самая агрегированная статистика по сдаче экзамена. Видимо лишь случайным образом, в разделе для людей с ограниченными возможностями, ведомство не удалило данные общестрановой статистики за 2014-2015 годы [2]. А уж о том чтобы дать максимально подробную, детальную статистику до субъектов федерации и муниципалитетов - такого никогда не было. И тем более и тем жестче Рособранадзор все эти годы сопротивляется предоставлять статистику с детализацией до школ.

2. Попробуйте найти в материалах Росстата микроданные переписи 2010 года или иных ? Их нет. Ранее по ссылке [3] висели объявления что идут профилактические работы, сейчас ссылка просто недоступна. В лучшем случае доступны данные по выборочным переписям, и то давно никто не проверял насколько они доступны и сохранились. В принципе информационные ресурсы Росстата - это большая и явно недостаточно систематизированная свалка. А то что у них опубликовано в открытых данных - это, в лучшем случае, 2-5% имеющихся _опубликованных_ данных или данных которые _должны публиковаться_.

3. Один из наиболее непрозрачных реестров государственных информационных систем и реестров - то единый реестр города Москвы. Он существует в открытом доступе только в PDF формате [4] с минимальной информацией в виде названия системы и регистрационного номера. Нельзя даже узнать когда система была создана, кто оператор, как найти контакты оператора и так далее и тому подобное. Учитывая уровень информатизации в Москве - это не может быть случайностью. Так чего же это?

Фундаментальная проблема с доступом к данным в России - это доступ к данным о качестве жизни: экология, образования, здравоохранение, состояние преступности. Всё это раскрывается столь скудно и столь неудобно что всегда вызывает много вопросов.

Наверняка у Вас есть другие примеры того как что-то важное не публикуется или перестало публиковаться в последние годы.

Расскажите о них!

Ссылки:
[1] http://ege.edu.ru
[2] http://ege.edu.ru/ru/special/main/satistics-ege/
[3] http://std.gmcrosstata.ru/webapi/
[4] https://www.mos.ru/dit/documents/proekty-i-otchety/view/350220/

#govtech #data #opendata #opengovernment
Open Data Charter начали работу над таксономией данных [1] которые государства должны раскрывать во время пандемий. Это документ для общественного обсуждения Data Taxonomyfor Pandemic Preparedness [2] и пример по странам южной америки и ряду других с анализом того что и как публикуется уже сейчас [3].

Это вопрос не только эпидемиологии, но и данных о закупках, госфинансировании, антипандемических мер и так далее. А дальше, вначале таксономия, потом стандарт открытости, а потом и сравнение стран по прозрачности антипандемической деятельности.

Думаю что до конца года будет новый рейтинг.

Ссылки:
[1] https://medium.com/opendatacharter/covid-19-data-cards-6b0297d9100c
[2] https://docs.google.com/document/d/1CgCSSy4m02R-4neYlKEJqADiiLuTtIDDABojvPHrbHU/edit#heading=h.bxijjukslpp1
[3] https://docs.google.com/spreadsheets/d/1NHCHy7skXnf3krs0ySrC01_DG3_lXejcCfCP0iIuTm0/edit#gid=1766531576

#opendata #opendatacharter #opengovernment
Для тех кто интересуется контекстом возросшего внимания к открытому коду в России, могу порекомендовать полезное чтение в виде обзора группы MERICS (Mercator Institute for China Studies) от мая 2021 года. Там неплохой анализ того что сейчас происходит в Китае и про разницу в подходе с другими странами.

Ключевое - в Китае провели несколько исследований и, вообще, "разгонялись медленно" и очень чёткий акцент на замену конкретных продуктов на национальные аналоги (тоже с открытым кодом).

А также рекомендую почитать CAICT Open Source White Paper.

У Китая своя большая стратегия в итоге и её надо изучать и оценивать применимость к России.

#opensource #opengovernment #opengov #china
В рубрике полезного регулярного чтения, Руководство по цифровому участию [1] от People Powered о том как выбирать платформу и как организовывать процесс участия граждан в принятии решений - как собирать обратную связь, как обеспечивать онлайн голосование и многое другое. Руководство есть и на русском языке в том числе.

Авторы также составили матрицу из 50 платформ, с открытым кодом и коммерческих, из которых можно выбирать решение под свои задачи [2].

Я тут могу лишь вспомнить что с в России в 2010-2013 было несколько экспериментов соучастия граждан в цифровых моделях управления. Были сайты петиций (РОИ), систем обсуждения/публичной экспертизы нормативно-правовых документов, партисипаторной демократии и так далее. Но большая часть из них выродились или погибли.

Прижились только:
- системы жалоб (gorod.spb.gov.ru, gorod.mos.ru и аналогичные проекты)
- систем комментариев без гарантии обратной связи (regulation.gov.ru)
- инициативное бюджетирование (несколько региональных проектов)

А вот в мире проекты общественного соучастия на взлёте уже несколько лет, их всё больше и они получают инвестиции и развиваются как общественные проекты.

Ссылки:
[1] https://ru.peoplepowered.org/digital-guide-home
[2] https://airtable.com/shrxxpcHHnMc1xZSx/tblELFP9tGX07UZDo

#opengovernment #participation #opensource
Не стоит полагать что политическая открытость даже в развитых странах даётся легко. В Австралии есть фонд OpenAustralia [1] которые много лет создают и развивают проекты по прозрачности власти. Например, они создали проект They Vote For You [2] с трекингом голосов каждого члена палаты представителя и сенатора.

Один из сенаторов, Andrew Bragg, нанял юристов которые теперь пишут угрозы фонду (юридические угрозы, конечно), а через комиссию по делам НКО и вовсе пытаются его ликвидировать [3]. Причина очень проста, сенатору не нравится то в каких формулировках указываются факты его голосования [4] поскольку в проекте указаны самые разные категории вроде "Creating a federal Anti-Corruption Commission" или "Increasing funding for public schools" и там ещё много другого с формулировками чего сенатор оказался не согласен.

Конечно, это всё проблемы парламентской демократии. В России все подобные проекты исчезли примерно 10 лет назад. Отслеживать голосования депутатов было бессмысленно потому что типовое голосование выглядело так: партия власти, или голосует единогласно за, или единогласно не голосует.

Проектов по парламентской открытости в мире много, ко многим из них часто возникают вопросы их политической ангажированности, но в чём их создатели точно правы - в том что без открытости парламентов доверие к ним сильно ограничено.

Ссылки:
[1] https://www.oaf.org.au
[2] https://theyvoteforyou.org.au
[3] https://www.oaf.org.au/2022/03/14/senator-for-nsw-andrew-bragg-threatens-openaustralia-foundation-with-legal-action/
[4] https://theyvoteforyou.org.au/people/senate/nsw/andrew_bragg

#opengovernment #opengov #australia
В качестве небольшого пред-анонса, в середине мая выйдет глобальный рейтинг стран по открытости данных Global Data Barometer [1] созданный по перезапущенной методологии предыдущего рейтинга Open Data Barometer.

Если Вы хотите знать реальный уровень открытости данных в России и в других странах, то читайте именно его. Забегая вперед, до февраля 2022 года уровень открытости данных в России по сравнению с другими странами был на среднем уровне, но постепенно снижался.

Отличия глобальных рейтингов в том что там идёт сравнение по доступности и качеству публикации данных имеющих большой значение (high value datasets). Это не сравнение органов власти или порталов регионов по количеству опубликованного "цифрового мусора", а вполне серьёзная и большая и тяжелая работа.

АНО Инфокультура выступало российским партнером в этой работы в прошлом году, всё финансирование было из российских источников, я сам же эту работу и оплачивал и координировал. Иногда надо потратить личные средства на полезное.

Поэтому, никому не верьте, мне можно (с), не читайте отечественных рейтингов Минэкономразвития или Счетной палаты или ещё кого-то, ошибки в них заложены на стадии проектирования, органы власти не могут оценивать другие органы власти и более того сама оценка открытости данных органа власти предполагает равенство и автономность ФОИВов, а это не так. Отвечать за открытость государства и данных может Правительство целиком, не в смысле коллективной ответственности, а конкретно премьер министр.

Но в России публичная повестка по открытости Правительства деградировала до "открытых разговоров" [2] членов правительства с отраслевыми представителями, что выглядит особенно тухло для тех кто знает что, та же отрасль образования почти вся государственная и "открытый разговор" правительства с подчинёнными - это, ну такое, примерно того же типа открытость, как когда Федеральное Казначейство формирует свой общественный совет по представлению НКО в виде их собственного профсоюза (гусары молчат, но запоминают) и так ещё много где и ещё много в какой форме.

Поэтому я не хочу загадывать произойдёт ли перезагрузка повестки открытости государства в России в ближайшие годы и в какой форме эта повестка возможна.

Ещё раз напомню про нашу инициативу по обязательной архивации всех порталов открытых данных в России, поскольку риск их исчезновения в этом году ненулевой.

Ссылки:
[1] https://globaldatabarometer.org/
[2] https://t.me/government_rus/2999

#opendata #opengovernment
Свежий европейский отчет eGovernment Benchmark 2022 [1] о зрелости электронного правительства в Евросоюзе со сравнению EU27+ стран членов и кандидатов в ЕС.

К нему же презентация с фактами по каждой стране [2].

Акцент в отчете сделан на то что в России называют госуслугами, но включает такой блок как прозрачность действий государства при отборе услуг для цифровизации и прозрачность их создания.

Ссылки:
[1] https://ec.europa.eu/newsroom/dae/redirection/document/88517
[2] https://ec.europa.eu/newsroom/dae/redirection/document/88733

#opengovernment #opengov #eu #policy #government
Любопытное про визуализацию индикаторов. Смотрю публикацию в блоге World Bank с данными по их индексу бедности, замене индекса Gini [1] и она по умолчанию бинарная. Условно: всё плохо и всё не так уж плохо. Там же в той же визуализации есть возможность посмотреть детализированную раскладку по странам, но что-то есть в донесении знаний в виде двух визуализаций: простой и посложнее. Сделано всё это несложно и визуализировано популярными инструментами, вопрос самого подхода. Вначале быстрое послание, потом развернутое.

Второй пример - это рейтинг/индекс WJP Rule of Law Index. Там не все страны, например, Армении нет, но можно посмотреть на примере России [2], весьма любопытный способ визуализации позиций в индексе и многочисленных субиндексах. Создатели явно вложились в визуализацию и интерактивность, можно рассматривать как хороший пример таких визуализаций. Я вот этих индексов перевидал уже под сотню и хорошая подача - это всегда интересно.

А заодно можно увидеть как со стороны оценивают текущую открытость данных и законов в РФ. Оценивают, как ни странно, выше чем некоторые европейские страны. Впрочем тут важно помнить что в в 2021 г. Россия по открытости гос-ва была на 41 месте, в 2022 - тоже на 41, в 2023 на 42, а в 2024 на 47.

Впрочем, возвращаясь к визуализации, жаль что сайт у них не с открытым кодом.

Вообще все эти международные страновые рейтинги почти все можно было бы упаковать в один типовой движок, но почти все они про привлечение внимание и активно развиваются в части интерактивности и визуализации. Так что новые примеры посмотреть всегда любопытно.

Ссылки:
[1] https://blogs.worldbank.org/en/opendata/inside-the-world-bank-s-new-inequality-indicator--the-number-of-
[2] https://worldjusticeproject.org/rule-of-law-index/country/2024/Russian%20Federation
[3] https://worldjusticeproject.org/rule-of-law-index/factors/2024/Russian%20Federation/Open%20Government

#opendata #opengovernment #dataviz