Ivan Begtin
8.08K subscribers
1.52K photos
3 videos
100 files
4.27K links
I write about Open Data, Data Engineering, Government, Privacy and Data Preservation and other gov and tech stuff
Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts ivan@begtin.tech

Contact @NMBabina for ads proposals
Download Telegram
Дайджест того что произошло за неделю и накопилось нерассказанного за предыдущие недели

Вышел доклад от австралийского оборонного мозгового центра ASPI о глобальной китайской экспансии по сбору данных
Engineering global consent: The Chinese Communist Party's data-driven power expansion [1] с рассказом о том как GTCOM и Huawei устанавливают оборудование для слежки, например, в штаб-квартите Африканского союза. Доклад в PDF можно взять по ссылке [2]

В The Guardian статья о том как ИТ система соцобеспечения Великобритании может загнать в нищету тех кто туда обращается [3]. А всё из-за внедрения так называемого "intelligent automation garage" (гараж интеллектуальной автоматизации). А всё дело в том что Департамент труда и пенсии Великобритании, аналог российского Минтруда, нанял около 1000 ИТ специалистов за 18 месяцев и увеличил расходы на автоматизацию и привлек нескольких крупных подрядчиков. Однако уже есть факты когда внедрённые алгоритмы довели нескольких человек до голода и одного до суицида [4].

Там же в Guardian серия публикаций о цифровой антиутопии [5] и о том что системы цифрового социального обеспечения наказывают бедных и о провале австралийской государственной системы robodebt "нелегально" взыскивающей долги с граждан [6].

В MIT Press вышла книга "Права человека в эпоху платформ" Human rights in the Ageo of Platforms [7] полезная не только правозащитникам, но и тем кто кому придётся с ними взаимодействовать в цифровую эпоху.

В Евросоюзе с 2017 года идёт проект Future Government 2030+ (Будущее государства в 2030+) [8] по которому на днях вышел отчёт [9] с 4 сценариями будущего:
- Демократия сделай-сам (DYI Democracy)
- Частная алгократия (Private Algocracy)
- Сверх-взаимодействующее государство (Super Collaborative Government)
- Over-Regulatocracy (Сверх регулирование)

Очень интересный отчёт, а эти сценария достойны отдельного подробного описания как и оценки их вероятности для других стран, например, для России.



Ссылки:
[1] https://www.aspi.org.au/report/engineering-global-consent-chinese-communist-partys-data-driven-power-expansion
[2] https://s3-ap-southeast-2.amazonaws.com/ad-aspi/2019-10/Engineering%20global%20consent%20V2.pdf?eIvKpmwu2iVwZx4o1n8B5MAnncB75qbT
[3] https://www.theguardian.com/technology/2019/oct/14/fears-rise-in-benefits-system-automation-could-plunge-claimants-deeper-into-poverty
[4] https://www.theguardian.com/commentisfree/2019/jun/27/britain-welfare-state-shadowy-tech-consultants-universal-credit
[5] https://www.theguardian.com/technology/2019/oct/14/automating-poverty-algorithms-punish-poor
[6] https://www.theguardian.com/australia-news/2019/sep/17/robodebt-class-action-shorten-unveils-david-and-goliath-legal-battle-into-centrelink-scheme
[7] https://mitpress.mit.edu/books/human-rights-age-platforms
[8] https://ec.europa.eu/digital-single-market/en/news/future-government-2030-policy-implications-and-recommendations

#AI #algorithms #data #datapolicy #opendata #privacy #digitalwelfare
Что будет если отобразить города на земле в виде "гор света" где высота горы - это интенсивность всего того света что исходит из этой точки?

Победитель конкурса Information is Beautiful 2019 [1] года
Jacob Wasilkowski сделал именно это и теперь на картах можно найти не только хорошо узнаваемые города, но и многие источники света не из столь известных мест.

С помощью интерактивной карты [2] можно сравнить города, найти неизвестные источники света (незаконные рубки, рудники, места добычи нефти и газа, неизвестные поселения), увидеть уровень заселенности любой территории.

Ссылки:
[1] https://www.informationisbeautifulawards.com/showcase/4257
[2] https://jwasilgeo.github.io/esri-experiments/earth-at-night/

#data #dataviz #visualization #earth
Forwarded from Городские данные (Andrey Karmatsky)
Команда инфографики ТАСС выпустила невероятный проект о картографии Меркатора. Герард Меркатор, тот самый человек, которому обязана вся современная веб-картография, он предложил способ проекции сферы на плоскость:

«В XVI веке фламандский картограф Герард Меркатор нашёл новый способ показать мир на плоскости. Мы изучили его карту, описали самые грубые ошибки, отыскали курьёзные факты и объяснили преимущества, благодаря которым это изображение земного шара остаётся востребованным и сейчас.»

https://merkator.tass.ru

Ребята попали в шортлист конкурса визуализации информации — Information Beautiful Awards

Поддержите 💪💪💪 кнопочкой «Vote»
https://www.informationisbeautifulawards.com/showcase/4196-mercator-it-s-a-flat-flat-world
То чем личнно я занимался все эти выходные:) Завершился 1-й хакатон Счётной палаты РФ. Полный аншлаг по числу команд и участников. Много интересных проектов и есть что развивать и продолжать в этом и следующих годах
Forwarded from Инфокультура (FeedRetranslator)
Алексей Кудрин приветствовал участников хакатона DataAudit
https://clearspending.ru/news/aleksej-kudrin-privetstvoval-uchastnikov-hakatona-dataaudit/

Хакатон DataAudit стартовал в Москве 19 октября. Соревнование объединило
порядка 200 участников из разных регионов страны. В их числе программисты,
дизайнеры, аналитики, дата-журналисты. Мероприятие, которое проводится по
инициативе Счётной палаты РФ, открыл руководитель ведомства Алексей Кудрин.

\- В течение этих двух дней вы будете выяснять, как добиваться лучших
результатов в работе государства в той или иной сфере на основе анализа
данных, - сказал Алексей Кудрин, обращаясь к собравшихся. -
Открытый код государства - экзотика или норма? Должны ли органы власти платить за ранее купленные приложения? Разработчики должны работать внутри госорганов или же как внешние команды?

Я часто слышу в разговорах с представителями разных уровней и ветвей власти что открытый код в России - это редкость и что опасения в его безопасности перевешивают все плюсы.

Однако является ли открытый код нормой только для демократических стран Европы и США или это давно уже много большее? Рассмотрим примеры стран, где код публикуется

В Боливии
- в рамках госпроекта GeoBolivia [1] [2]
- Агентством развития информационного общества [3]

В Сингапуре
- Government Digital Services [4]

ООН
- UN Trusted Statistics [5]

и это не всё. Это только то что публикуется официально, на Github, а много кода раскрывается на других платформах.

На GitHub почти все аккаунты госорганов можно найти в сообществе Government.

Ссылки:
[1] https://github.com/geobolivia
[2] http://geo.gob.bo/portal/
[3] https://github.com/adsib
[4] https://github.com/govtechsg
[5] https://github.com/UNGlobalPlatform
[6] https://government.github.com/community/

#opensource
В рубрике "как это работает у них" о гособлаке в Австралии.

Проект cloud.gov.au [1] это облачное решение для развертывание госприложений. Его создало и поддерживает Австралийское агентство по цифровой трансформации для чего они использовали технологию CloudFoundry [2], де-факто индустриальный стандарт используемый по всему миру. Само облако развёрнуто на базе Amazon Web Services в их датацентре в Сиднее.

На сегодняшний день в облаке размещено 360 приложений из которых 70 в промышленной эксплуатации [3]. Весь код облака общедоступен [4] и, обязательно, сервис мониторинга статуса гособлака [5].

Аналогичный сервис гособлака есть в США [6] и он вполне себе небесплатен, но адаптирован под госпроекты. Аналогично в Великобритании гособлако на базе GOV.UK [7] и также небесплатно.

Гособлака - это G2G продукты, госорганы делают их для госорганов и беда в том что при том что в россии многие жалуются на G2B и G2C продукты, они просто не знают масштабов бедствия с G2G продуктами. Отсутствие нормальной поддержки, документации, неотлаженность кода и процессов - это далеко не все беды с которыми приходится сталкиваться.

Ссылки:
[1] https://cloud.gov.au/
[2] https://www.cloudfoundry.org/
[3] https://cloud.gov.au/insights/
[4] https://cloud.gov.au/code/
[5] https://status.cloud.gov.au/
[6] https://cloud.gov
[7] https://www.cloud.service.gov.uk/

#data #cloud
У меня лично очень смешанное ощущение от презентации Хлызова. С одной стороны, действительно, с архитектурой и связыванием госпроектов между собой большие проблемы. А с другой стороны, те ли решения для этих проблем предлагаются. Отсутствие взаимодействия между многими ГИС - это последствия недоверия внутри органов власти друг другу, лоббирования крупнейшими интеграторами и госзаказчиком отраслевых замкнутых блоков и многое другое. Все ГИСы как правило обложены со всех сторон нормативными документами и перестройка архитектуры имеющихся систем требует огромных усилий, но ещё большей политической воли сопряжённой с видением госИТ через 3-5-7 лет. Чего, если честно, не наблюдается.

Ну и отсутствие открытого кода и открытых данных в довесок лично меня скорее отталкивает от текущего видения, чем вызывает доверие.

#govtech #govarch
Рубрика "Циничные инновации"
Картинки из презентации, сопровождавшей крайне компактное сегодняшнее выступление на панельной дискуссии "Эпоха платформенной архитектуры государства" форума "Открытые инновации" Андрея Хлызова, замдиректора НИИ "Восход" (и в ближайшем будущем, очевидно - главного ИТ-архитектора России). Хотя, правильнее, конечно, было бы назвать выступление скомканным - модератор постоянно пытался вогнать дискуссию в регламент, из которого она вывалилась по классической российской причине - начало сдвинулось почти на 20 минут.
Комментарии Циникса, возможно, будут. Но это не точно
На IQ.hse.ru вышла статья Ольги Моляренко "Такая статистика. Почему официальные данные расходятся с российской реальностью" [1] в которой можно немало узнать о том как в реальности устроен сбор официальной статистики, почему ей нельзя доверять и что с этим делать. При том что сделать что-либо весьма непросто, поскольку недостоверность статистики устраивает довольно многих.

Впрочем и последствия этой недостоверности тоже есть. Можно ли принимать обоснованные решения не имея объективной картины страны? А, судя по приведенным примерам в статье, в России живёт больше людей чем описано в переписи, реальное их число как проживающих так и работающих качественно не измеряется. Аналогичная ситуация с измерением экономической активности, преступности, смертности и многое другое. При этом кросс-сопоставление данных разных ведомств действительно может помочь, но его недостаточно. Важнее помнять саму культуру палочной установки показателей и того что _знать правду_ важнее, чем добиваться _нарисованных результатов_.

Ссылки:
[1] https://iq.hse.ru/news/314111372.html

#data #dataquality
AlgorithWatch опубликовали свежий отчёт о идентификации граждан и скоринге в 5 африканских странах и в Китае [1]. В отчете разобраны примеры Уганды, Туниса, Ганы, Руанды, Зимбабве и приведен пример китая по социальному скорингу. Почитать отчёт будет интересно всем тем кто задумывается о том как идентификация и цифровизация происходит в мире.

Вот лишь несколько важных факторов:
- только в Тунисе регистрируют всех детей до 5 лет, в остальных африканских странах только каждого второго;
- подавляющее число поставщиков систем скоринга и идентификации в Африке находятся за пределами континента. Это США, Китай и Евросоюз. Почти все они представлены на выставке ID4Africa проходящей с 2005 года;
- в Руанде компании секторов энергетики, ЖКХ и телекома передают данные о гражданах в кредитные бюро для большей точности кредитного скоринга;
- в Зимбабве работает наиболее продвинутая биометрическая база по идентификации людей по лицу и походке на базе китайской системы CloudWalk

Ссылки:
[1] https://algorithmwatch.org/en/identity-management-and-citizen-scoring-in-ghana-rwanda-tunisia-uganda-zimbabwe-and-china/

#privacy #biometrics
Меня регулярно спрашивают есть ли у меня добрые слова в адрес наших госорганов? Критиковать всегда легче, чем хвалить, конечно же, особенно когда поводов для критики много. Но бывают случаи когда они находятся.

1. Министерство культуры РФ и Фонд Кино разместили сведения о всех фактах господдержки отечественного кинематографа со сметами, кассовыми результатами и многим другим в разделе "Государственная поддержка" [1]. Теперь можно не просто строить прогнозы успешности кинопроката, но и создавать рейтинги наиболее провальных режиссёров и продюсеров и ещё многое другое. Это многое говорит о российской киноотрасли и надо отдать должное Минкультуры, они выкладывают в открытый доступ данные которые можно и интерпретировать для их критики, тем самым определяя прозрачность как важную часть госполитики. Это как если бы Минздрав начал бы публиковать данные по успешности операций на сердце по больницам, но Минздрав на такое не пойдет;)

2. Очень много примеров сильной ИТ работы есть у субъектов федерации. Например, в Санкт-Петербурге один из лучших в России, а может и просто лучший, реестр государственных информационных систем [2] где есть не только карточки самих систем, контракты, сведения о нормативных документах, но и данные о их базах данных, используемым классификциям и многое другое. Я даже не могу представить себе какую огромную работу проделывает Комитет информатизации Санкт-Петербурга чтобы поддерживать все эти данные в актуальном состоянии.

3. Чуть менее детальный, но также качественный реестр ГИСов в Ленинградской области [3]. Хотя и не столько дотошно как в Санкт-Петербурге, но весьма большая проделанная работа и данные общедоступны

4. Статистика ЕГЭ в Костромской области на сайте местного РЦОИ [4]. Простой, недорогой, BI с детализацией до районови куче фильтров через которые можно увидеть данные в очень интересных разрезах.

Ссылки:
[1] http://ekinobilet.fond-kino.ru/government-support/
[2] https://reestr-gis.gov.spb.ru/rgis/#gis
[3] http://reestr-is.lenobl.ru/registry/public/systems/list
[4] https://www.ege-kostroma.ru/stat/home

#govtech #gov #data
Я ранее писал про положительные практики разного рода проектов на данных, открытости и не только. Вопрос всегда возникает, а есть ли наоборот самые что ни на есть наглядные примеры закрытости того что "очевидно" должно быть открытым.

1. Более 4-х лет на общероссийском сайте ЕГЭ [1] (под управлением Рособрнадзора) не публикуется даже самая агрегированная статистика по сдаче экзамена. Видимо лишь случайным образом, в разделе для людей с ограниченными возможностями, ведомство не удалило данные общестрановой статистики за 2014-2015 годы [2]. А уж о том чтобы дать максимально подробную, детальную статистику до субъектов федерации и муниципалитетов - такого никогда не было. И тем более и тем жестче Рособранадзор все эти годы сопротивляется предоставлять статистику с детализацией до школ.

2. Попробуйте найти в материалах Росстата микроданные переписи 2010 года или иных ? Их нет. Ранее по ссылке [3] висели объявления что идут профилактические работы, сейчас ссылка просто недоступна. В лучшем случае доступны данные по выборочным переписям, и то давно никто не проверял насколько они доступны и сохранились. В принципе информационные ресурсы Росстата - это большая и явно недостаточно систематизированная свалка. А то что у них опубликовано в открытых данных - это, в лучшем случае, 2-5% имеющихся _опубликованных_ данных или данных которые _должны публиковаться_.

3. Один из наиболее непрозрачных реестров государственных информационных систем и реестров - то единый реестр города Москвы. Он существует в открытом доступе только в PDF формате [4] с минимальной информацией в виде названия системы и регистрационного номера. Нельзя даже узнать когда система была создана, кто оператор, как найти контакты оператора и так далее и тому подобное. Учитывая уровень информатизации в Москве - это не может быть случайностью. Так чего же это?

Фундаментальная проблема с доступом к данным в России - это доступ к данным о качестве жизни: экология, образования, здравоохранение, состояние преступности. Всё это раскрывается столь скудно и столь неудобно что всегда вызывает много вопросов.

Наверняка у Вас есть другие примеры того как что-то важное не публикуется или перестало публиковаться в последние годы.

Расскажите о них!

Ссылки:
[1] http://ege.edu.ru
[2] http://ege.edu.ru/ru/special/main/satistics-ege/
[3] http://std.gmcrosstata.ru/webapi/
[4] https://www.mos.ru/dit/documents/proekty-i-otchety/view/350220/

#govtech #data #opendata #opengovernment
В CNews вышла статья о том что ФТС строит свой центральный ЦОД на базе Тверской таможни [1] и тут интересно всё. И то что ЦОД строится самим госорганом, и то что выносится в регион и то сколько он стоит и что будет внутри. Пока всё дешевле и проще чем в ЦОДах ФНС в Дубне (Московская область) и в Городце (Нижегородская область), но таких примеров не так много в России.

Много ЦОДов арендуются у МТС, Мегафона, Ростелекома и ещё целого спектра негосударственных, полугосударственных и государтсвенных организаций.

Хорошо ли это или плохо? Как должны использоваться ЦОДы в государстве - строится госорганами или должен быть пул доверенных поставщиков или один большой ГосТех (читай - Ростелеком) должен предоставлять услуги по фиксированным ценам>

Хотелось бы здесь добавить что Минкомсвязь могли бы провести исследование и сделать доклад о применении ЦОДов в госуправлении, но трудно поверить в его объективность и что в Минсвязи есть кому его готовить;)

Ссылки:
[1] https://www.cnews.ru/news/top/2019-10-22_fts_nachinaet_stroit_glavnyj

#data #dataceters #fts
Как должна быть организована работа с ЦОДами для органов власти?
public poll

Должен быть реестр доверенных поставщиков и госрегулирование цен – 35
👍👍👍👍👍👍👍 46%

Органы власти должны создавать свои ЦОДы чтобы не зависеть от поставщика – 20
👍👍👍👍 26%

Нужен один на всех облачный ГосЦОД – 15
👍👍👍 20%

Ничего не надо делать, оставьте как есть – 6
👍 8%

👥 76 people voted so far.
Дайджест о данных:

1. Under digital surveillance: how American schools spy on millions of kids [1] статья в The Guardian о том как в США следят за миллионами студентов и школьников. А также упоминается Gaggle [2], ведущая компания по проактивной слежке за студентами и преподавателями. В том числе предлагают проактивный мониторинг склонности к суициду и отслеживание угроз.

2. Open data and cultural organizations [3] пост в блоге OpenDataSoft о том как открытые данные публикуются и могут публиковаться организациями культуры Евросоюза. Несмотря на то что открытые данные в сфере культуры не столь часто заметны, но многие решения вполне пересекаются.

3. В Новой Зеландии опубликовали черновик "Алгоритмической хартии" (Algorithm Charter) [4], документ на 1 страницу с тезисами условий запуска решений основанных на системах автоматического принятия решений. Обратите внимание что предполагается что его подписывают 3 руководителя организации: CEO, CIO и CPO. Если про CEO и CIO мы и так знаем, то CPO - это Chief Privacy Officer, руководитель по приватности. CPO - это государственный подвид CIPP [5] (Certified Information Privacy Professional) специалистов по приватности, многие из которых сейчас нанимают в крупных частных корпорациях.

Ссылки:
[1] https://www.theguardian.com/world/2019/oct/22/school-student-surveillance-bark-gaggle
[2] https://www.gaggle.net/
[3] https://www.opendatasoft.com/blog/2018/09/18/bringing-open-data-culture-and-heritage
[4] https://data.govt.nz/assets/Uploads/Draft-Algorithm-Charter-for-consultation.pdf
[5] https://iapp.org/certify/cipp/

#opendata #data #privacy
На CNews обзор текущего состояния нацпрограммы "Цифровая экономика", довольно подробный и с конкретными рекомендациями [1]. По многим признакам итоговые рекомендации и часть выводов явно не без позиции сотрудников Минкомсвязи писались, а мне столько есть всего что добавтить к этому.

Я постараюсь изложить максимально сжато:
1. Большая часть средств распределяет по крайне малому числу исполнителей - даже когда есть конкурентные процедуры их итог слишком предсказуем. Многое распределяется субсидиями на некоммерческие организации выпадающие из под 44-ФЗ и 223-ФЗ. А если добавить к этому ещё и сокрытие поставщиков по 223-ФЗ, то возникает ситуация фактической непрозрачности того кому и как идут деньги по нац. программе.
2. Отсутствует раскрытие результатов выполнения программ и принятия решений. Стенограммы не публикуются и есть сомнения что они вообще ведутся и собираются. Даже в тех случаях когда реальные результаты есть.
3. Полностью выхолощены вопросы открытости государства и открытых данных в частности. Например, НСУД выродился из системы правил в информационную систему, новую версию СМЭВа и бэкэнд цифрового профиля. Оттуда полностью пропали открытые данные в частности.
4. Слишком многое делается "с нуля". Повторное использование кода, ранее разработанных продуктов, концепций и решений невелико. Повторное использование кода могло бы существенно уменьшить стоимость многих разрабатываемых ГИСов.
5. И, конечно, цели. Всё начинается с целостной концепции от которой далее видно насколько адекватны мероприятие и их исполнение.

Можно было бы сказать при этом что другие нац проекты не всегда выглядят лучше, или то что их запуск - это множество бюджетных и политических ограничений. Самые главные риски нац программы "Цифровая экономика" - это отсутствии социального эффекта. Те же деньги могли бы пойти на строительство школ, детских садов, больниц и так далее.

А "Цифровая экономика" сейчас - это проданный государству "государственный техно-оптимизм" с некоторыми вкраплениями "техно-пессимизма", я имею в виду направление по инфобезопасностии. При огромном числе техно-пессимистов всех мастей, программа может в любой момент выродится в нац проект "Цифровая безопасность" или же разделиться на проекты в других нац. проектах.

Впрочем гадать на будущее дело неблагодарное.

Ссылки:
[1] https://www.cnews.ru/articles/2019-10-22_tsifrovaya_ekonomikakak_reorganizovat

#digital #digitalgov