Ivan Begtin
7.98K subscribers
1.76K photos
3 videos
101 files
4.48K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts ivan@begtin.tech
Download Telegram
Вышел обзор Government for the People: The Road to Customer-Centered Services от The Partnership for Public Service и Accenture посвящённый как раз инновациям в органах власти. Практически весь документ про данные, про управление и, самое главное, что он про работу с потребителями. Даже анализ данных подается именно в контексте лучшего понимания потребителей госуслуг. Пока что нечто немыслимое в российских условиях - http://ourpublicservice.org/publications/viewcontentdetails.php?id=934 #opengov #opendata #govdata
Портал открытых данных железных дорог Германии - http://data.deutschebahn.com/ что характерно так то что в Европе нет законодательных требований по созданию порталов открытых данных органами власти и госкорпорациями. Они создают их под общественным, а не государственным прессингом #opendata #eu
Open Knowledge Foundation получили грант в $ 700 000 на разработку стандартов публикации научных данных http://blog.okfn.org/2016/02/29/sloan-foundation-funds-frictionless-data-tooling-and-engagement-at-open-knowledge/ #opendata
весьма короткая по смыслу и прекрасная по содержанию история о том как открытость госорганов может вредить журналистам

В Нью Йорке власти города планируют публиковать все запросы на открытие информации (FOI Requests) и ответы на них на специальном портале через 10 дней после получения.

В этом есть большой резон поскольку многие запросы могут дублироваться, а в стране где считают трудозатраты госслужащих - это будет существенной экономией.

Обещают ускорение рассмотрения запросов и вообще удобства и прогресс. Только вот рынок медиа в Нью Йорке настолько конкурентен что многие журналисты опасаются что публикация их запросов выдаст другим те расследования которыми они занимаются.

А Вы что думаете, надо ли публиковать все запросы на раскрытие информации или как раз их публиковать не нужно?

Подробности тут
http://www.ny1.com/nyc/all-boroughs/news/2016/02/26/city-s-plan-to-launch-online-foil-request-portal-raises-concerns-from-reporters.html #opendata #opengov

(задать мне вопрос или связаться со мной можно через Telegram, на @ibegtin)
Для тех кто ищет данные по ИТ инфраструктуре на https://censys.io/ выложены 135 гигабайт по инфраструктуре IPv4 https://censys.io/data/ipv4 , 12.6 гигабайт по Alexa top 1 million websites https://censys.io/data/domain и 97 гигабайт по сертификатам веб-сайтов https://censys.io/data/certificates а также много исторических наборов данных и датасетов по отдельным сетевым сервисам #opendata
Технологии отслеживания потребителей приходят и к отслеживанию избирателей. Dstillery в США собрали данные по цифровым устройствам избирателей на кокусах в Айове и выявили несколько закономерностей, например то что те кто любят грилль и свои лужайки голосуют за Трампа. Подробнее http://www.marketplace.org/2016/02/10/business/new-frontier-voter-tracking Что характерно так то что современные технологии позволят очень скоро не только обеспечить электронное голосование на выборах, но и вывести технологии манипулирования избирателями на принципиально иной уровень. #bigdata #privacy
Статья Karen Levy посвящённая "интимной слежке" о появлении большого числа приложений для телефонов и гаджетов позволяющих отслеживать супружескую неверность, когда человек занимается сексом, беременность у женщин и отслеживают ПМС. Причём это уже рынок активно коммерциализируемый, но, в то же время всё актуальнее вопрос о "интимной приватности" и готовности сообщать другим о своём сексуальном поведении. Текст статьи https://www.uidaho.edu/~/media/UIdaho-Responsive/Files/law/law-review/articles/volume-51/51-3-levy-karen-ec.ashx #privacy
Не испытывая большой любви к "круглым датам", напомню про одну некруглую 1558 дней назад, 27 ноября 2011 года, на встрече с Дмитрием Медведевым, не поверите, посвящённой противодействию коррупции, я предложил создать проект "Открытое правительство", а в перспективе "Открытое государство".

И даже видеосвидетельство этого сохранилось
https://www.1tv.ru/news/social/192075

Предлагал я это ещё исходя из того что Медведев пойдёт на второй срок. Но на второй срок он не пошёл, а что получилось в итоге все мы и так наблюдаем с завидной регулярностью.

Окончательные итоги подводить ещё рано, но они обязательно ещё будут подведены #opendata #opengov
Свежий отчёт от Civicus "Changing what counts" http://blog.okfn.org/2016/03/03/changing-what-counts/ о том как сбор данных людьми меняет принципы официальной статистики и официальных способов сбора данных. Это не первый подобный отчёт. Не так давно выходил "A world that counts. Data revolution report" от ООН http://www.undatarevolution.org/report/ и другой отчёт Civicus “Citizen-Generated Data and Governments: Towards a Collaborative Model” http://civicus.org/images/citizen-generated%20data%20and%20governments.pdf а также “Democratising the Data Revolution” от OKF https://assets.okfn.org/files/reports/DemocratisingDataRevolution.pdf

#opendata #civicdata
(вопросы можно адресовать мне на @ibegtin или через Facebook https://www.facebook.com/ibegtin)
Ivan Begtin
Свежий отчёт от Civicus "Changing what counts" http://blog.okfn.org/2016/03/03/changing-what-counts/ о том как сбор данных людьми меняет принципы официальной статистики и официальных способов сбора данных. Это не первый подобный отчёт. Не так давно выходил…
Пример проекта на журналистике данных "The migrant files" http://www.themigrantsfiles.com/ с охватом масштабов миграционных потоков, расходов евросоюза и количества разрегистрированных смертей мигрантов. Координируется проект командой из Journalism++ http://www.jplusplus.org/ Лично для меня этот проект наглядное подтверждение тому что сейчас вопрос стоит так что журналистика данных должна быть не просто частью обучения журналистов, а так что обучение журналистов без неё станет просто невозможным. То что я смотрю по образовательным программам в этой области в США и Европе, там идёт активнейшая трансформация обучения в сторону "технологической журналистики" по умолчанию. #opendata #ddj

(вопросы можно адресовать мне на @ibegtin или через Facebook https://www.facebook.com/ibegtin)
Работа исследователей из GA Tech о том что разработчики мобильных приложений, в силу специфики платформ, получают доступ к содержанию мобильной рекламы которую они транслируют. Как результат, они имеют возможность с высокой вероятностью идентифицировать информацию о человеке. С вероятностью 75% пол и с вероятностью 66% наличие детеей. А также возраст, политические предпочтения и многое другое. http://www.news.gatech.edu/2016/02/22/georgia-tech-discovers-how-mobile-ads-leak-personal-data #privacy
Те кто лгут чаще делают движения руками, пытаюстся говорить более четко и заглядывают в глаза тому с кем разговаривают. Это лишь одни из критериев по которым работает специальное ПО разработанное исследователями Университета Мичигана на основе анализа 120 видеозаписей судебных заседаний и сопоставления выступления свидетелей с реальными результатами дела где их слова подтверждались или опровергались. Это почти как кодификация "трюков" из фильма "Lie to Me" с Тимом Ротом в главной роли, но вместо него умный алгоритм. Главное отличие от технологий вроде полиграфа в том что анализ можно проводить не имея физического доступа к субъекту, на основе видеозаписей. Подробнее https://record.umich.edu/articles/new-lie-detecting-software-u-m-uses-real-court-case-data

Это интересная технология и вплотную подбирающаяся к вопросам приватности и дополненной реальности. Предположим алгоритмы распознавания будут встроены в VR интерфейсы дополненной реальности. Это может моментально изменить целый пласт социальных отношений. От выявления лжи прямо в разговорах, до ложных обвинений тех кто просто всегда так разговаривает. #privacy
Подробная публикация от International Budget Partnership о таком явлении как "социальный аудит" когда организации некоммерческого сектора проводят внешний аудит деятельности органов власти.
Вот тут подробности http://www.internationalbudget.org/2016/03/social-audits-in-south-africa-can-they-deliver/ и ссылка на подробный гайд http://www.internationalbudget.org/wp-content/uploads/social-audits-in-south-africa-guide-2015.pdf

Я писал об этом в статье "От общественного контроля к общественному аудиту" http://www.vedomosti.ru/opinion/articles/2016/02/11/628492-ot-obschestvennogo-kontrolya-obschestvennomu-auditu

Это гораздо более правильная история чем просто отслеживать "странные закупки", потому что она о том насколько представители государства сами соблюдают законы. И там есть много примеров из южной африки когда активисты обошли множество общественных туалетов и сопоставили списки на бумаге и те что реально работали и сопоставили сметы сколько государство выделяло средств. Много других примеров я приводил в статье и в нашем докладе http://www.infoculture.ru/wp-content/uploads/2016/01/public_control_2015.pdf


#opendata #opengov #publicfinances
данные переписи как фундамент общественных проектов в инициативе президента США The Opportunity Project http://opportunity.census.gov/

Подробнее в видео Белого дома https://www.youtube.com/watch?v=rwES25_sL0E и публикации https://www.whitehouse.gov/the-press-office/2016/03/07/fact-sheet-white-house-launches-opportunity-project-utilizing-open-data

Там уже есть с десяток проектов и скоро явно будет больше. Все посвящённые гиперлокальным данным.

Как получается что граждане создают такие проекты? Как им это удаётся?

Например, одна из причин в появлении CitySDK https://uscensusbureau.github.io/citysdk/

специального ПО для работы с геоданными и использующем Census API (программный интерфейс для доступа к данным переписи).

Вдогонку:
- репозитории открытого кода бюро переписи США https://github.com/uscensusbureau
- API бюро переписи США http://www.census.gov/developers/

Возможно ли подобное в России? А на этот вопрос предлагаю каждому ответить для себя самостоятельно.


#opendata #opengov #census
Результаты исследования и оценки проектов по бюджетам соучастия (participatory budgeting) в США и Канаде http://www.publicagenda.org/pages/research-and-evaluation-of-participatory-budgeting-in-the-us-and-canada . Партисипаторное бюджетирование - это одна из важнейших тем в открытости бюджетов государства, но лично я считаю её вторичной к гражданскому/общественному аудиту. А, в некоторой идеальной конфигруации, они должны друг друга дополнять #opengov #publicfinances #budgets
В MIT разработали технологию Polaris для ускорения загрузки веб-страниц путём приоритизации объектов на странице и загрузке их по мере необходимости для визуализации браузером http://techcrunch.com/2016/03/09/mit-develops-a-new-technique-to-load-webpages-faster/ и прогнозируют более чем 30% ускорение.

Я давно и долго думал над тем как можно было бы ускорить загрузку ресурсов и оптимизировать работу с сайтами, но все самые радикальные изменения требуют изменений к которым нынешние разработчики сайтов и браузеров не готовы.

1. Создание внутреннего CDN внутри браузера
Эдакого "доверенного хранилища" для браузера в котором хранить наиболее популярные библиотеки скриптов разных версий и другие используемые ресурсы.
Добавление в доверенное хранилище только после модерации разработчиками браузера.

Плюсы: уменьшение загрузок библиотек, большая мотивация разработчиков к использованию данных именно оттуда

Минусы: меньше возможностей отслеживать пользователей, возможное увеличение потребления RAM

2. Push уведомления при изменениях в DNS
Изменение взаимодействия с DNS серверами от постоянных запросов на разрешение имён к передаче Push уведомлений изменений в DNS наиболее популярных сайтов.

Плюсы: снижение числа запросов к DNS серверам при просмотре веб-страниц

Минусы: нарушается архитектура DNS, требуется повышенный акцент на безопасности для того чтобы не воспользовались этим механизмом злоумышленники

---
Плюс многое можно добавить путём микропрогнозирования того куда пользователь может захотеть пойти при посещении сайта, но не путём обращений к этим ресурсам, а получения push уведомлений от самих ресурсов.

Более всего меня удивляет именно отсутствие CDN'а внутри браузера. Это кажется абсолютно естественным явлением, странно что Google до сих пор не добавил это в Chrome.
Демократическими выборами можно манипулировать с помощью выдачи в поисковых системах, такой вывод содержится в работе Robert Epstein and Ronald E. Robertson "The search engine manipulation effect (SEME) and its possible impact on the outcomes of elections" опубликованной в августе 2015 года http://www.pnas.org/content/112/33/E4512.full.pdf в работе приходят к выводу что тот факт что поисковые системы сейчас не регулируются приводится к возможности манипуляцией мнением людей и это приводит к существенной угрозе демократически проводимым выборам. В качестве мрачного предсказания, если оппозиция в России продемонстрирует высокий шанс выиграть выборы или даже где-то выиграют не прогосударственные кандидаты, то стоит ждать аналогичных исследований и ускоренного введения регулирования в России.

Если у кого-то есть зуб на Яндекс, то достаточно провести аналогичное исследование в России (обойдётся в несколько сотен тысяч рублей максимум, а скорее дешевле) и ужесточение регулирования станет ещё более неизбежным.

#government #elections #publicpolicy #seme