В США в рамках Федеральной стратегии данных [1] вышел черновик плана действий [2] с подробным описанием задач на 2019-2020 годы.

План этот очень отличается от всего что мы видим в России, прежде всего тем что это план не про деньги, там деньги не упоминаются вообще, это план про совместные действия органов власти.

Я перевёл основные мероприятия плана на русский язык.

Совместные действия: Всегосударственные дата сервисы
- Мероприятие 1: Создать совет по данным при офисе управления и бюджета (струтура внутри агентства GSA)
- Мероприятие 2: Разработка каталога курируемых курсов по Data Science
- Мероприятие 3: Разработка фреймворка по этике работы с данными
- Мероприятие 4: Разработка инструментария по защите данных
- Мероприятие 5: Разработка репозитория ресурсов и инструментов Федеральной дата стратегии
- Мероприятие 6: Пилот - Разработка стандартного исследователького приложения
- Мероприятие 7: Пилот - разработка инструмента автоматической инвентаризации data.gov
- Мероприятие 8: Пилот - стандартные дата каталоги для data.gov

Действия сообщества: Межведомственное взаимодействие
- Мероприятие 9: Улучшение дата ресурсов для исследования и разработки AI
- Мероприятие 10: Улучшение стандарта данных в финансовом управлении
- Мероприятие 11: Улучшение стандарта геопространственных данных

Действия отдельных агентств: Мероприятия агентств
- Мероприятие 12: Утверждение органов управления данными
- Мероприятие 13: Достижение зрелости в доступе к данным и доступе к инфраструктуре
- Мероприятие 14: Идентификация возможностей в повышение навыков работы с данными у сотрудников
- Мероприятие 15: Идентификация потребности в данных для решения ключевых задач агентств
- Мероприятие 16: Идентификация приоритетных наборов данных для планов открытых данных агентств

Можно обратить внимание что многие мероприятия сфокусированы на открытых данных. Это и мероприятие 16 про планы открытости и все мероприятия задействующие портал data.gov.

Подробнее про сроки, детализацию задач и остальное можно прочитать в плане действий [3]

Ссылки:
[1] https://strategy.data.gov
[2] https://strategy.data.gov/action-plan/
[3] https://strategy.data.gov/assets/docs/draft-2019-2020-federal-data-strategy-action-plan.pdf

#opendata #data #usa

Вышел доклад ООН World Public Sector Report of 2019 (Отчёт о госсекторе в мире за 2019 год) [1] сфокусированый на цели устойчивого развития N16: Фокус на государственных институтах.

Отчёт не содержит рейтингов, скорее он наполнен примерами по разным странам. Россия упоминается очень вскользь как пример страны где свобода прессы влияет на коррупцию. Далее эта тема там не развёрнута, так что даже непонятно что комментировать.

С другой стороны там много примером именно про открытые данные и открытость государства и есть, как полезные примеры, так и ссылки где можно узнать больше. В целом доклад средней бесполезности, но взглянуть на него стоит. В PDF его можно скачать тут [2]

Ссылки:
[1] http://fiscaltransparency.net/newsletters/GIFT_newsletter_JUN_19.html
[2] http://workspace.unpan.org/sites/Internet/Documents/UNPAN99332.pdf

#opendata #un #opengov

Институт открытых данных (The ODI) [1] выпустил обновлённую карту доступа к данным (data access map) [2] по тому как устроен механизм доступа к данным. Как и любая подобная инфографика - она скорее для красоты.

Ссылки:
[1] https://theodi.org
[2] https://theodi.org/article/updating-the-data-access-map

#opendata #data

Не секрет что привлечь талантливую молодежь к работе с государством непросто, а в ИТ так вдвое сложнее.

В Германии федеральное правительство запустило проект стажировок Tech4Germany [1] где они набирают до 25 юношей и девушек помогающих в переделке государственных систем. Проекты которые они делали в 2018 году - это переработка/обновление портала электронных аукционов и германский аналог gov.uk, портал сводящий вместе информацию для граждан и услуги которые они могут получить.

По каждому проекту стажёры пишут исследование пользовательского интерфейса, пользовательского пути и готовят предложения по его переделке. Они пишут код который, конечно же, публикуется в открытом доступе [2].

Здесь сложно не вспомнить программа президентских стажировок в инновациях в США [3]. В рамках которой было сделано очень много цифровых проектов для практически всех федеральных органов власти.

По такой же модели работает в США Civic Digital Fellowship, стажировки в 6 федеральных агентствах [4], аналогично программы стажировок по Data Science объявляются Канадским правительством [5]

Похожая программа Smart Nation Fellowship действует в Сингапуре [6] и во многих других странах.

Ссылки:
[1] https://www.tech4germany.org/en/
[2] https://github.com/tech4germany
[3] https://presidentialinnovationfellows.gov/
[4] https://www.codingitforward.com/
[5] https://impact.canada.ca/en/stream-5
[6] https://www.tech.gov.sg/careers/students-and-graduates/


#opengov #fellowship

Национальные проекты в России не являются чем-то новым, первый раз их инициировали 13 лет назад в 2006 году. Информация о них публиковалась на сайте rost.ru, просуществовавшем до 2012 года, после чего там появился сайт Партии Роста, я даже не догадываюсь как оказалось так что сайт президентской комиссии по нац проектам внезапно стал сайтом партии.

Но вернемся к тому что было тогда. Было 4 приоритетных национальных проекта: Жильё, Образование, Здоровье и Развитие АПК.

В чём-это эти нац проекты были похожие на те что были объявлены в 2018 году, в чём-то нет. Я сравнение сделаю позже. Пока же для пытливых умов предоставляю архив сайта сведений о приоритетных национальных проектах сделанный в 2011 году.

Это файл в 234 мегабайта http://files.begtin.tech/f/3c3c9b94ebb24a528172/ в архиве 7z - распаковать можно с помощью утилиты 7zip https://www.7-zip.org/

В архиве все материалы что были на сайте, включая все опубликованные документы, отчёты и так далее

Этот файл хранится у нас в цифровом архиве России, ruarxive.org и это лишь один из примеров того зачем нужна цифровая архивация в России

Немного и верхнеуровнево описал сравнение нац проектов от 2018 года с фцп, приоритетными нац. проектами 2006 года и госпрограммами с точки зрения открытости и доступности информации. https://begtin.tech/natsional-nye-proekty-ili-beg-po-krugu/

Возможно ли применение искусственного интеллекта или, хотя бы, умных алгоритмов предсказания в геополитике? Вполне возможно.

Уже второе онлайн соревнование Geopolitical Forecasting Challenge 2 [1] для специалистов по работе с данными организует The Intelligence Advanced Research Projects Activity [2], исследовательское подразделение при руководители национальной разведки [3] США.

Вопросы на которые ищут ответы участники выглядят так:
- Сколько событий с тестированием ракет в Северной Корее будет в августе 2019 года?
- Появится ли случай, локально-передающийся вирус Зика в Бразилии в июле 2019 года?
- Какой будет ежедневная цена закрытия на золото в июне 2019 года в USA ?
- Какая политическая партия выиграет большую часть мест во время Польских Парламентских выборов?

И это только примеры вопросов, на практике их гораздо больше и ответы на них должны находится автоматически на основе данных которые предоставляют организаторы по прогнозам аналитиков и на основе тех данных что участники найдут/соберут сами. Данные которые IARPA предоставляет, также из весьма интересного источника. Cultivate Labs [4] собирают огромное число предсказаний от людей в режиме краудсорсинга, и они предоставляют своё API участникам.

Этот конкурс не единственный организуемый государством. В США помимо портала challenge.gov [5], конкурсы публикуются на платформах HeroX [6], Kaggle и многих других.

Лично я считаю что потенциал таких технологических конкурсов сильно недооценён в России.

Ссылки:
[1] https://www.herox.com/IARPAGFChallenge2
[2] http://www.iarpa.gov
[3] https://www.dni.gov/
[4] https://www.cultivatelabs.com/
[5] http://www.challenge.gov
[6] https://www.herox.com/crowdsourcing-projects/government

#challenges #data #osint #opendata

Новость незаслуженно упущенная в России, но важная. В октябре 2018 года Google обновили их политику использования рекламной сети и запретили, в том числе, размещать рекламу того что называется "Сторонние службы технической поддержки потребителей" [1].
А конкретнее:
Запрещено Техническая поддержка от сторонних поставщиков, связанная с технологиями и онлайн-услугами

Примеры: поддержка по устранению неполадок, безопасности, удалению вирусов, интернет-подключению, онлайн-аккаунтам (помощь со сменой пароля или логина и т. п.), установке программного обеспечения.
—
Под этот критерий попадают все неавторизованные центры починки ноутбуков, телефонов и иных устройств и ПО. Об этом Google писали в своём блоге ещё в августе 2018 года [2]. При этом в Google обещали запустить программу верификации сервисов починки, но не сделали этого и по этой причине не могли размещать рекламу даже авторизованные центры [3].

А теперь под их бан попал и сайт iFixIt [4] который предоставляет бесплатные руководства по починке устройств и продаёт инструмент их починки. Им не дали размещать рекламу поскольку на их сайте есть ссылки на третьесторонние сервисы починки.

Всё это к вопросу о том насколько механизмы подтверждения и сертификации от крупных корпораций монополий информационного риска могут заменить разного рода государственные реестры. Вопрос не праздный, с каждым годом влияние государств (правительств) снижается, а влияние цифровых/data корпораций растёт. Помимо дискриминационных форм влияния на рынки, они получают возможность устанавливать собственные правила и приоритеты в защите прав потребителей.

Ссылки:
[1] https://support.google.com/adspolicy/answer/6368711
[2] https://www.blog.google/products/ads/restricting-ads-third-party-tech-support-services/
[3] https://www.searchenginejournal.com/google-ads-restrictions-are-impacting-third-party-tech-support-providers/310549/
[4] https://ru.ifixit.com/News/an-open-letter-to-the-ftc-on-googles-banning-of-repair-business-ads

Пока анонимные телеграм каналы активно вспоминают все грехи Открытого правительства и Абызова лично, я напомню об одном важном - это карта российской науки. Если год назад она была в каком-то мимифицированном, полуистлевшем виде, то сейчас сайт карты исчез совсем. О ней писали многие, с разной степенью злорадства [1] [2] и только Новая газета "внезапно" публикует текст в её защиту [3].

Но ситуации это не меняет. Карта российской науки оказалась мертва. Какое отношение к ней имело открытое правительство? Самое непосредственное. Кто знает, может мы ещё застанем окончание этой истории.

Ссылки:
[1] http://phdru.com/stipend/mapofscience/
[2] https://pikabu.ru/story/zagublena_informatsionnaya_sistema_karta_rossiyskoy_nauki_stoimostyu_450_millionov_6088601
[3] https://www.novayagazeta.ru/articles/2019/07/19/81294-kto-sdal-kartu-rossiyskoy-nauki

Московский комсомолец с большим запозданием пишет о результатах аудиторской проверки "Карты Российской науки" [1], я писал об этом 29 июня [2] сразу после публикации сведений о результатах аудиторской проверки [3].

Самое странное что кто-то ещё и поднял страничку сайта mapofscience.ru [4] где ничего кроме главной страницы нет, а самое характерное - полное молчание со стороны руководства ГПНПБ и Прайсвотерхаус Куперс.

А вся эта история - она про чувство меры. В России есть много ИТ систем которые существуют только на бумаге и не только из-за коррупции, а ещё из-за смены законодательства или, реже, реальных проблем с внедрением. Но негласное правило в том что если стоимость системы превосходит некую планку - она должна существовать и быть в открытом доступе.

Попытаться делать систему с огромными расходами, в изначально конфликтной среде, изначально с сильным медийным вниманием и изначально со спорной архитектурой и идеей и думать что это сойдёт с рук - это в высшей степени авантюризм, в России заканчивающийся, как правило, уголовными делами.

Ссылки:
[1] https://www.mk.ru/politics/2018/08/02/na-skandalnuyu-kartu-rossiyskoy-nauki-potratili-450-millionov-rubley.html
[2] https://t.me/begtin/994
[3] http://audit.gov.ru/press_center/news/33645
[4] http://mapofscience.ru/

#opendata #opengov

Должен ли весь код создаваемый на бюджетные средства быть открытым кодом?
public poll

Да – 225
👍👍👍👍👍👍👍 84%

Нет – 43
👍 16%

👥 268 people voted so far.

Должен ли весь код создаваемый на бюджетные средства быть открытым кодом? Из 210 проголосовавших в телеграм более 80% согласны с этим. Среди тех кто комментировал вчера этот вопрос в чате и в Facebook - практически все говорили что да, за исключением вопросов обороны и нац безопасности.

Это хорошая новость. Лично я считаю что всё что разрабатывается за бюджетные средства, за редким исключением, должно быть открытым. Открытый код, открытые данные да и многое другое, включая открытые патенты и тд. и тп.

Европейский фонд открытого кода прямо сейчас проводит кампанию по сбору подписей [1] за то чтобы код создаваемый за средства государственных и муниципальных бюджетов раскрывался. Это хорошая, правильная кампания и её подписало уже более 25 тысяч человек и 170 организаций.

Обратите внимание - это не про использование продуктов на базе открытого кода, не про про Open Source как коммерческую отрасль, это про раскрытие кода заказываемых государством разработок.

Год назад я анализировал данные с Github и сравнивал то сколько кода в объёмах, активности, числу репозиториев и проектов публикуют органы власти разных стран. Полный набор данных лежит на data.world [2].

Важно то что открытый код публикуют органы власти очень разных стран. Это и США и Эквадор, и Перу и Малайзия. Не во всех странах пока ещё, но очень во многих.


Ссылки:
[1] https://publiccode.eu/ru/
[2] https://data.world/ibegtin/open-source-government-project

#opendata #opensource

Для тех кто интересуется данными не только с точки зрения Data Science, но и в более прикладных задачах работы с данными относящимися к дата инженерии.

Несколько полезных ресурсов:
- Data Engineering Cookbook [1] - поваренная книга по инженерии данных, много о том как системы работы с данными разворачиваются и используются
- Awesome Data Engineering - неплохой список ссылок на проекты по инженерии данных на Github
- Data Engineering How-to [3] - подборка ссылок на курсы и иные ресурсы по инжинерии данных
- What is Data Engineer [4] - ответ на вопрос кто такой инженер данных (для тех кто ещё об этом не знает)
- Who Is a Data Engineer & How to Become a Data Engineer? - подробно о том кто такие инженеры данных

В России вот уже много лет ажиотажный спрос на data science, но подготовка дата инженеров ушла на 2-й и 3-й план и это особенно чувствуется когда вопросы о том где взять данные и как настроить инфраструктуру звучат всё чаще.

То чем занимаюсь я лично - это чистая дата инженерия, с очень и очень небольшой долей науки о данных. Найти данные, создать инфраструктуру их обработки и очистки - всё это должен уметь дата инженер. Если Вы знаете хорошие курсы по этой теме на русском языке, поделитесь ими, например в чате.

Ссылки:
[1] https://github.com/andkret/Cookbook
[2] https://github.com/igorbarinov/awesome-data-engineering
[3] https://github.com/adilkhash/Data-Engineering-HowTo
[4] https://towardsdatascience.com/who-is-a-data-engineer-how-to-become-a-data-engineer-1167ddc12811

#data #opendata #dataengineering #dataengineer

На сайте ФНС России опубликованы наборы открытых данных о компаниях за 2018 год. Опубликованы данные о:

- среднесписочной численности работников компаний (https://www.nalog.ru/opendata/7707329152-sshr/);

- специальных налоговых режимах(https://www.nalog.ru/opendata/7707329152-snr/);

- участии в консолидированной группе налогоплательщиков (https://www.nalog.ru/opendata/7707329152-kgn/).

По информации из пресс-релиза к данным, опубликованным в прошлом году, обратились 262 тыс. пользователей.

Напомню, что данные о компаниях публикуются в три этапа - 1.08, 1.10, 1.12, и самое интересное нас ждет в декабре.

Тем временем, похоже что, во Франции власти решили выбиться в мировые лидеры открытости диалога государства и граждан. На специальном сайте посвящённом организации открытого диалога [1]. Этот сайт организован в Etalab [2], специальной ИТ службе при Правительстве Франции и помимо рекомендаций о том как организовывать открытый диалог, но и перечень инструментов, в основном коммерческих, для его организации [3], а также требования к таким инструментам для включения в такой каталог [4].

Там же много примеров использования этих инструментов [5], например публичные консультации Парижа в 2016 году - Cities for Life [6]

Среди инструментов не только те которые делаются во Франции, например, там упомянут Decidim [7] созданный правительством Барселоны.

Сравнимые масштабы внедрения публичных дебатов в цифру есть только в Испании. В основном на базе открытого ПО Consul [8].

Но теперь похоже что во Франции открытый диалог будет внедряться быстрее.
Стоит обратить внимание на правильный подход. Не один монополист подрядчик, не государственная корпорация разрабатывает монопольное решение, а, фактически, новая модель аккредитации и консультации по внедрению и сопровождению внедрения коммерческих и открытых решений.

Ссылки:
[1] https://consultation.etalab.gouv.fr
[2] https://etalab.gouv.fr
[3] https://consultation.etalab.gouv.fr/lesoutils.html
[4] https://consultation.etalab.gouv.fr/criteres.html
[5] https://consultation.etalab.gouv.fr/lesoutils.html
[6] https://assembl-civic.bluenove.com/debate/citiesforlife#
[7] https://meta.decidim.org
[8] http://consulproject.org/en/

#opengovernment #france #open

"Китайская угроза", похоже, становится приоритетной для многих развитых стран и мониторинг международной активности китайского правительства и технологических компаний развивается в самых разных формах. В том числе в формах открытых проектов таких как Mapping China's Tech Giants [1] в виде интерактивной карты и в сжатом изложении [2].

Если ещё 20-30 лет назад основным инструментом влияния развитых стран были сетевые НКО, а 10-15 лет назад социальные сети, то сейчас мы видим довольно уникальную картину наращивания китайского присутствия через технологическое влияние. Всего под наблюдением 12 китайских ИТ гигантов [3] крупнейший из который Huawei. Многое из того что эти компаний делают в мире - это помощь в слежке, через технологии умных городов, 5G и многое другое.

А главное это 4 последствия китайской экспансии упомянутые в докладе:
- подрыв демократии
- шпионаж и кража интеллектуальной собственности
- разработка технологий
- военное соперничество

Ссылки:
[1] https://chinatechmap.aspi.org.au
[2] https://www.aspi.org.au/report/mapping-chinas-tech-giants
[3] https://chinatechmap.aspi.org.au/#/companies/

#privacy #china

Правительство Австралии направляет специальных агентов по рекрутингу талантливых специалистов в страны/регионы где их можно рекрутировать [1]. Конечное цель - нанять 5000 лучших специалистов.

На фоне обсуждений в Германии по введению безвиза для российской молодёжи [2] это всё повод задуматься с кем и чем мы останемся через несколько лет.

Улучшение бизнес климата, инвест климата и, самое главное, качества жизни - это вопросы глобальной конкуренции стран. Чем менее комфортна будет Россия, тем легче специалисты будут покидать страну, тем более что в других странах всё больше условий для подобного.

А вот можно ли в России запустить аналогичную программу и начать привлекать специалистов со всего мира? Есть ли у нас то чем можно привлечь тех же 5000 талантливых специалистов? Что уникального в нашей любимой родине, помимо вызовов и проверки на прочность, что может привлечь тех кто действительно что-то добился в своей профессии?

Ссылки:
[1] https://www.sbs.com.au/language/russian/ty-nuzhen-avstralii-rekrutery-otpravlyayutsya-za-granicu-dlya-poiska-5-000
[2] https://habr.com/ru/news/t/460585/

#people #australia #germany #talents

Полмиллиону испанцев отказали в субсидии на электричество даже если они под неё подпадали. некоммерческая организация Civio собирается в суд чтобы получить исходный код ПО принимающего решения.

В разгар экономического кризиса, в 2009 году, правительство Испании приняло закон о субсидировании счетов за электроэнергию который затронул около пяти миллионов бедных домохозяйств. Субсидия, называемая социальным бонусом или bono social на испанском языке, с тех пор с некоторым успехом она была предметом борьбы в суде с электрическими коммунальными службами страны. После обновлённого регулирования 2016 года правительство должно было ввести новые, более жесткие правила для социального бонуса, и все получатели помощи должны были перерегистрироваться к 31 декабря 2018 года.

Полмиллиона отказов

На эту дату было утверждено почти 1,5 миллиона получателей помощи, что почти на миллион меньше, чем 2,4 миллиона, которые воспользовались предыдущей схемой, и далеко от предполагаемых 4,5 миллионов, тех кто удовлетворяют критериям для получения бонуса. К числу получателей помощи относятся пенсионеры, лица, получающие до 75% среднего дохода, и все семьи с более чем тремя детьми, а также другие группы, считающиеся социально уязвимыми. Бонус далеко не символический. Кто-то, зарабатывающий менее 940 евро в месяц, получит 85 евро от своих ежегодных расходов на электроэнергию, а кто-то, зарабатывающий менее 470 евро в месяц, получит 137 евро.

Некоторые потенциальные получателей помощи, такие как богатые семьи с более чем тремя детьми, возможно, не подавали заявки. Другие, возможно, были напуганы сбором необходимых для получения бонуса документов, или, возможно, не слышали о программе. Однако, более полумиллиона испанцев увидели, что их заявка отклонена [1]. Виновника, по крайней мере для некоторых из них, зовут BOSCO. Это программное обеспечение, которое управляется испанским Министерством по переходу на зеленую энергию, рассматривает заявки на социальный бонус и решает их судьбу.

Неисправность программного обеспечения

Мадридская некоммерческая организация Civio уже несколько лет работает над темой социального бонуса. В 2018 году они разработали веб-сайт в партнерстве с регулятором конкуренции Испании, чтобы помочь испанцам ориентироваться в процессе подачи заявок. После того, как несколько человек, заявку которых ранее отклонили, связались с Civio, они узнали, что программное обеспечение BOSCO не смогло должным образом рассмотреть каждую претензию. Например, вдова (вдовец) на пенсии, подавший заявление в рамках проверки средств, может по-прежнему иметь право на премию из-за своего статуса, даже если его/её доходы превышают максимальный размер субсидии на проверку средств, но BOSCO автоматически отклонит ее заявку.

Чтобы узнать больше, Civio запросил у министерства исходный код программного обеспечения. Ева Бельмонте, директор Civio и журналист-расследователь, объяснила, что исходный код позволит им подтвердить показания, которые они собрали, и проверить другие неисправности. Учитывая чувствительность темы, программное обеспечение должно быть тщательно проверено, написала она.

Совет по прозрачности и добросовестному управлению, орган Испании по свободе доступа к информации, отклонил запрос Civio, якобы на основании авторских прав [2] (AlgorithmWatch неоднократно связывался с Министерством, чтобы узнать, чьи авторские права защищаются, но не получил конкретного ответа на момент публикации). Civio подал административную апелляцию [3] 20 июня, первый шаг в судебном противостоянии.

Нет четких правил для исходного кода

Хотя все страны Европейского Союза имеют законодательство о свободе доступа к информации, вопрос о том, может ли быть передан исходный код, разрабатываемый органами власти, является не столь очевиден.