На правах рекламы (и саморекламы).

Проект Комитета гражданских инициатив «Открытая полиция» приглашает на митап «Прогнозирование преступлений и открытые данные в правоохранительной системе».

Докладчик Иван Бегтин, директор АНО "Информационная культура", эксперт по открытым государственным данным, член Комитета гражданских инициатив расскажет, в каких открытых источниках можно найти наборы данных правоохранительной системы и какие полезные продукты можно создавать с их использованием.

Митап состоится в Центре Благосфера, по адресу: Москва, 1-й Боткинский проезд,д. 7, стр. 1. Начало в 20.00.

Центр «Благосфера» – открытая общегородская площадка, созданная для вовлечения граждан в благотворительность через личное участие в социальных, благотворительных и культурных проектах. Она дает возможность заинтересованным сторонам – государству, бизнесу, некоммерческим организациям – объединить усилия, проекты и опыт для эффективной работы с гражданами.

По любым вопросам обращаться: alisa.tsvetkova@infoculture.ru

Зарегистрироваться на митапе можно по ссылке https://infoculture.timepad.ru/event/415307/

#opendata #openpolice

ВЦИОМ опубликовал рейтинг открытости органов власти [1] в которых путем опросов экспертов была оценена открытость всех федеральных органов исполнительной власти.

На первом месте оказалось МЧС России, далее Минобороны России и на 3-м месте - Россельхознадзор.

Остальные ведомства заняли оставшиеся позиции рейтинга. Ведомства были оценены не все, а только 38 из них.

Этот рейтинг, один из многих, вернее один из всех рейтингов который не соответствует действительности вообще ни в коей степени.

Дело в том что рейтинг ВЦИОМа подсчитан на основе опросов 4-х групп которые ВЦИОМ и Открытое Правительство называют "референтными группами".

У этого подхода есть много проблем, самая главная из которых в абсурдности предположения что граждане или эксперты работали или взаимодействовали хотя бы с третью этих ведомств за последний год.

Более того, вот я как человек работающий и изучающие госорганы постоянно могу сказать что про открытость половины из них я знаю очень немного. Особенно в режиме опроса. Ну вот если спросить меня что я думаю про открытость Минобороны или Росрыболовства, то что я отвечу?

Подозреваю что большинство других экспертов и всех остальных мнение могут составить, по большей части, из публикаций в СМИ и передач на телевидении.

Поэтому сам формат оценки ВЦИОМа бессмысленнен. Он недостоверен хотя бы самим фактом отсутствия вопросов о том осведомлены ли опрашиваемые об открытости органа власти и если да, то откуда они это знают.

Поэтому не верьте этим рейтингам. Открытому правительству явно не на что больше тратить деньги и они перешли к от пассивной к активной имитационной работе.

Ссылки:
[1] https://wciom.ru/index.php?id=236&uid=115980

#opendata #opengov

Вышла третья рассылка новостей АНО "Информационная культура" [1]. Последующие рассылки будут тематическими. Кроме новостей - будет раскрываться одна из актуальных тем.

Эти рассылки во многом дублируют мой канал в Telegram, но не всегда. Некоторые новости специально подбираются именно под формат рассылки.


Ссылка:
[1] http://us7.campaign-archive1.com/?u=2e38b8af0d8a547b51427dc9b&id=27a3c8c797

#opendata #opengov

Transparency UK и Thompson Reuters выпустили доклад с цифрами по владению иностранцами земель и имущества в Лондоне [1]. Их исследование касается, в первую очередь, вопросов политической коррупции и владением PEP'ами (Politically Exposed Persons) [2] имущества через фирмы-прокладки.

Ключевые цифры из их исследований:
- 44,022 земельных участков в Лондоне принадлежат заморским компаниям
- 91 процент заморских компаний в иностранных юрисдикциях находятся в офшорах позволяющих сохранять секретность
- более 75 процентов земельных участников связанных с PEPS'ами владеются компаниям в Панаме или в Британских Виргинских островах
- только 54 процента компаний могут быть найдены при сопоставления Земельного реестра и набора данных о компаниях
- 986 земельных участков выявлены имеющие связи с PEP'ами

Это исследование можно рассматривать как часть большого процесса и тренда на раскрытие информации о фактических владельцах компаний и иного имущества.

Ссылки:
[1] http://www.transparency.org.uk/publications/london-property-tr-ti-uk/
[2] https://en.wikipedia.org/wiki/Politically_exposed_person

#opendata #opengov

Японское правительство экспериментирует с искусственным интеллектом во взаимодействии госорганов. Новый проект создан по роботизации ответов органов власти на запросы парламентариев [1] .

Система использует базу знаний накопленных за прошлые запросы и автоматически формирует ответ на основе известных ей источников информации.

Ссылки:
[1] http://www.upi.com/Top_News/World-News/2016/12/05/Japan-exploring-use-of-artificial-intelligence-for-nations-parliament/5571480959518/

#futuregov

меня уже человек 10 публично и непублично спрашивали про то что я думаю по поводу вот этой статьи http://theins.ru/politika/38490 о том что "большие данные правят миром" - дают возможность манипулировать электоральным поведением.

Я считаю что тема, безусловно актуальная, а сама статья привлекает нужное внимание к защите личных данных каждого и возможностям манипуляции. Однако материалы статьи, безусловно, требуют факт чекинга. Сейчас там представлены материалы нескольких публикаций, выступлений и размышлений скорее в форме компиляций.

Но я бы не спешил вот прям на 100% ей верить.

Я бы поднял другой вопрос и гораздо шире. Это информационное неравенство и дата неравенство (data inequality). В современном мире богатые становятся богаче, а бедные беднее, во многом, из-за роста неравенства в доступе к информации.

Совмещение двух ресурсов - денег + информации дает принципиально большие возможности по сохранению капитала и росту доходов чем отсутствие и того и другого.

Открытые данные снимают эту проблему лишь отчасти. А в ситуации низкой дата-грамотности (data literacy) они не усиливают слабых, они усиливают более готовых.

Учить детей и взрослых правильно вести себя в цифровом мире - это и есть часть информационной культуры.

#opendata #socialnetworks #infoculture

Регулярное множество напоминаний о том что делает АНО "Информационная культура" и как можно во всем участвовать.

Рассылки и события:
- https://clearspending.ru - Наша регулярная рассылка по Госзатратам, подписка с главной страницы сайта. Проходит раз в неделю
- http://eepurl.com/cqen11 подписка на рассылку Инфокультуры - проходит каждый четверг с актуальными новостями
- https://telegram.me/begtin - мой канал с новостями в телеграм'е
- https://infoculture.timepad.ru - события Инфокультуры на Таймпаде - там тоже можно подписаться.

Проекты о которых мало кто знает:
- https://hubofdata.ru - хаб открытых данных. Большой портал с кучей наборов данных
- http://plainrussian.ru - простой русский язык. Сервис проверки простоты языка
- https://github.com/infoculture/preserved-russia - архивация государственных сайтов

Открытый код и открытые данные:
- https://github.com/infoculture - репозитории кода и данных, а также задач для программистов и аналитиков

И, наконец, если Вы хотите помочь Инфокультуре, но не знаете как, то можно сделать это пожертвованием на Яндекс Кошелек https://money.yandex.ru/to/410012648928680

До сих пор у нас фандрайзинг постоянно работал только на одном проекте - PlainRussian.ru - там форма сбора была в конце страницы и люди понемногу - кто-то по 50 рублей, кто-то по 2000 рублей жертвовали.

С учетом всего числа проектов Инфокультуры давно актуален вопрос активного фандрайзинга, но как же мало специалистов в этой области в России.

#opendata #opengov #infoculture

Можно ли узнать о том станет ли человек преступником до того как он им стал? Как выявить предрасположенность к преступной жизни? По истории посещений сайтов? По отклонениям в работе мозга? По социальной среде и основному кругу общения?

В статье "Автоматический логический вывод о криминальности используя изображения лиц" [1], ее авторы, Xiaolin Wu и Xi Zhang предлагают использовать алгоритмы анализа лиц для определения является ли человек преступником или нет. В статье утверждается что их разработка позволяет с высокой точностью отделить фотографии преступников от фотографий тех кто ими не является.

Множество этических, социальных и профессиональных вопросов возникает по итогам. Лучше всех их изложила Katherine Bailey [2] проводя параллели с исследованиями Чезаре Ломброзо [3] и поднимая вопрос о том что же такое "криминальность".

Пока же нам стоит ожидать что правоохранительные системы в мире, еще вполне могут ожидать и не такие новации. Наряду с социальными рейтингами могут разрабатываться универсальные "криминальные рейтинги" для каждого человека, показывающие вероятность совершения им преступления.

Будет ли частью этого рейтинга результат оценки его криминальности по лицу? Кто знает.

Ссылки:
[1] “Automated Inference on Criminality using Face Images,” Xiaolin Wu and Xi Zhang, https://arxiv.org/pdf/1611.04135v1.pdf
[2] https://backchannel.com/put-away-your-machine-learning-hammer-criminality-is-not-a-nail-1309c84bb899
[3] https://ru.wikipedia.org/wiki/%D0%9B%D0%BE%D0%BC%D0%B1%D1%80%D0%BE%D0%B7%D0%BE,_%D0%A7%D0%B5%D0%B7%D0%B0%D1%80%D0%B5

#opendata #machinelearning #crimedata

Наука работы с данными (data science) все еще может представляться как нечто довольно сложное и запутанное. Примерно как программирование для тех кто никогда не программировал. Однако все больше возникает проектов которые значительно упрощают работу с данными и позволяют

Один из таких проектов DataRobot [1], красочный трейлер которого вышел совсем недавно [2]. Какова будет дальнейшая судьба этого продукта и других похожих? Сделают ли они провессию ученых работающих с данными массовой или же их работа будет автоматизирована настолько что потребность в людях будет минимальной?


Ссылки:
[1] https://www.datarobot.com
[2] https://www.datarobot.com/watch-datarobot-trailer/

#datascience

Один из ключевых механизмов обеспечения приватности и безопасности данных пользователей при работе в сети, протокол HTTPS [1] до сих пор имеет гораздо меньшее распространение чем мы могли бы ожидать за эти годы.

Этот протокол, ранее редко используемый, стал особенно необходим на фоне подозрений о том что государственные спецслужбы перехватывают трафик граждан и того что трафик могут перехватывать, как злоумышленники, так и спамеры, маркетинговые агентства и иные коммерческие структуры собирающие больше персонифицированных данных о пользователе.

Например, компания Google вот уже много лет внедряет HTTPS для всех своих сервисов и с середины этого года HTTPS по умолчанию включего во всех ее сервисах [2]. Они же осущесвляют мониторинг использования HTTPS наиболее популярными сайтами [3] и вот уже 2 года как Google использует наличие HTTPS у сайта для повышения его рейтинга и ранжирования [4].

У органов власти также есть множество онлайн ресурсов и на многих из них граждане авторизуются и направляют свои персональные данные. При этом, у них шифрование трафика отсутствует или присутствует с ошибками. Наглядный пример - сайт обращений к Президенту letters.kremlin.ru не использует HTTPS. Это означает что любой может перехватить трафик между Вами и этим сайтом и перехватить текст обращения и Ваш логин и пароль. Аналогичная ситуация с порталом "Наш Санкт-Петербург" [6] и множеством других.

Другая проблема в том что у протокола есть много уязвимостей и если администраторы сайта не предпринимают усилия, то трафик, опять же, можно перехватить. Пример, официальный портал города Москвы mos.ru при проверке сервисом SSLLabs [7] уязвким к DROWN атаке [8]. И таких примеров, также, немало.

В США, для плавного перехода сайтов на HTTPS протокол, был создан проект Pulse [9] в котором осуществляется мониторинг внедрения HTTPS на всех 1154 сайтах относящихся к федеральному правительству США.

Проект написан полностью на Ruby и открыт его код [10] для любого желающего. Его можно назвать одним из успешных проектов государства с открытым кодом, например, его уже внедрили в Нидерландах [11] охватив 1816 сайтов, включая сайты местных органов власти.

В России, в настоящий момент, подобный сервис мониторинга официальных сайтов отсутствует. Также как и отсутствует более менее сведенный реестр всех официальных сайтов и иных сайтов органов власти. Например, в АИС "Монитор госсайтов" [12] собраны только официальные сайты ФОИВов, администраций субъектов федерации и администраций муниципальных образований (не все). Единого же официального реестра всех сайтов органов власти просто не существует. В США такой список есть, хотя бы, для доменов в домене .gov [13] и он официально ведется GSA. В России все было бы сложнее в виду того что многие органы власти не имеют доменов в зоне .gov.ru, например, МВД (mvd.ru) или МЧС (mchs.ru). Что, впрочем, не означает что ситуация с безопасностью данных пользователей неактуальна и пользователям российских сайтов органов власти.

Ссылки:
[1] https://ru.wikipedia.org/wiki/HTTPS
[2] https://www.google.com/transparencyreport/https/?hl=ru
[3] https://www.google.com/transparencyreport/https/grid/?hl=ru
[4] https://webmasters.googleblog.com/2014/08/https-as-ranking-signal.html
[5] http://letters.kremlin.ru
[6] http://gorod.gov.spb.ru
[7] https://www.ssllabs.com/ssltest/analyze.html?d=mos.ru
[8] https://blog.qualys.com/securitylabs/2016/03/04/ssl-labs-drown-test-implementation-details
[9] https://pulse.cio.gov
[10] https://github.com/18F/pulse
[11] https://pulse.openstate.eu
[12] https://gosmonitor.ru
[13] https://github.com/GSA/data/blob/gh-pages/dotgov-domains

#digitalgovernment #opengovernment #opendata #domains

В виду того что я немного приболел на рассылке Инфокультуры меня подменила Ольга Пархимович, автор рассылки по Госзатратам и, на мой взгляд, ей удалось то что не всегда удается мне - сделать ее интересной и полезной. Почитайте новую рассылку по ссылке - http://us7.campaign-archive1.com/?u=2e38b8af0d8a547b51427dc9b&id=5d6d9cc3a4&e=755ba20ec6

Там много интересного об открытых данных и не только.

#opendata #opengov #infoculture

Вышла публикация ОЭСР "Open Government. The Global Context and the Way Forward" [1] посвященная развитию открытости государства в мире. Со множеством примеров, сравнением стран ОЭСР между собой.

К сожалению, все публикации и данные ОЭСР не бесплатны и единственный способ прочитать этот отчет без взимания денег - это просмотр его в виде изображений [2]. Это достаточно давняя практика в ОЭСР и изначально было заложено в организационно-финансовую модель организации то что они продают доступ к публикациям и данным. На таком же принципе работает еще множество межгосударственных организаций публикую данные в открытом доступе лишь в ограниченном количестве, а все остальное нужно, или покупать, или доступ имеют только страны/организации участники.

Хотя как раз у ОЭСР относительно недавно появился портал данных [3] так похожий на портал данных Всемирного банка [4].

Порталы открытых данных межгосударственных организаций - это давний тренд, такие порталы есть у ООН, Всемирного банка, ОЭСР, Африканского союза и не только. Когда-то такой портал предполагался в Британском содружестве, пару лет назад у них проскальзывала такая новость.

Ссылки:
[1] http://www.oecdbookshop.org/browse.asp?pid=title-detail&lang=en&ds=&ISB=5JLLSFJMFS9S
[2] http://www.keepeek.com/Digital-Asset-Management/oecd/governance/open-government_9789264268104-en
[3] https://data.oecd.org
[4] http://data.worldbank.org

#opendata #opengov #oecd

О том где найти материалы про открытые данные, данные вообще, их визуализацию и не только.

Мы в Инфокультуре ведем мини-мини проекты по созданию каталогов ссылок на проекты по нескольким темам. Это так называемые "awesome lists" на Github'е.

Если Вы ищите какие-либо материалы по теме то могу порекомендовать начать здесь:
* Открытые данные в России / На русском языке. Каталог ссылок на порталы данных, проекты, сообщества, блоги и так далее https://github.com/infoculture/awesome-opendata-rus
* Дата журналистика (на английском языке). Очень много ссылок на визуализации, движку, курсы по дата журналистике и так далее https://github.com/infoculture/awesome-datajournalism
* Открытые финансы / Открытые бюджеты https://github.com/infoculture/awesome-openbudget узкотематический список про госфинансы

Сейчас там много ссылок на наши проекты Инфокультуры, а мы хотим конечно же, чтобы список был куда шире и полезнее.

А для тех кто хочет посмотреть на все awesome списки которые только есть - они есть вот тут https://github.com/sindresorhus/awesome в том числе и про данные, открытые и большие данные, там много всего.

Зачем нужны такие списки? Нам они нужны на конкурсах и хакатонах, мы собираем там все что необходимо для быстрой разработки проектов. Кроме того они часто полезны студентам при создании проектов.

Ими можно не только воспользоваться, но и поучаствовать. Вы можете редактировать их непосредственно в github'е по инструкции https://github.com/sindresorhus/awesome/blob/master/contributing.md применяя ее для списков выше или же прислав мне на ibegtin@infoculture или в https://telegram.me/ibegtin ссылки с кратким описанием.

Но правильный способ это, конечно, через github который уже стал стандартом де-факто для подавляющего числа открытых проектов.

#opendata #opengov #data #awesomelists

Сегодня в 16 часов во Всемирном банке будет сессия по цифровой экономике. К сожалению, я там присутствовать не смогу, узнал о ней слишком поздно, но тем кто интересуется - по ссылке http://www.worldbank.org/en/events/2016/12/20/developing-the-digital-economy-in-russia-international-seminar-1 можно будет смотреть вживую

#digital #opengov

Только 23-го декабря и совершенно бесплатно, новый и отличный вебинар о том как рабртать с данными Госконтрактов проведет Анна Сакоян. Анна журналист Полит.ру и аналитик проекта Госзатраты вот уже много лет анализирует данные по государственным контрактам.

Знает их уже от и до и расскажет о том как пользоваться открытым API в своих аналитических целях.

Зарегистрироваться можно тут - https://www.facebook.com/events/1752194131773909/?notif_t=plan_user_invited&notif_id=1482410755837948

Сам вебинар проходит в рамках проекта Госзатраты (это проект Комитета гражданских инициатив).

#opendata #opengov #clearspending

Центр гуманитарных данных (The Centre of Humanitarian Data) [1] - это новая организация которая появится по инициативе Управления по координации гуманитарных вопросов ООН (OCHA) [2] которая была недавно анонсирована, а официально появится в конце марта 2017 года.

Этот центр возьмет на себя координацию участников The Humanitarian Data Exchange [3], биржи обмена данными о гуманитарных кризисах. Этот портал открытых данных включает большие объемы собранных данных по произошедшим гуманитарным катастрофам.

На сегодняшний день портал включает данные:
- 4,422 наборов данных
- 257 организаций
- 244 территории
- 850 источников данных

Сам портал работает на базе движка CKAN и пополняется, во многом, автоматически.

В очередной раз я не могу не обратить внимание на то зачем такие порталы нужны. Крупнейшие организации доноры и координаторы работ множества НКО обеспечивают интеграцию их инициатив, возможность использовать результаты друг друга, возможность создавать новые цифровые инструменты. ООН всегда было довольно бюрократической и инертной организацией, но в последние годы создало уже несколько проектов по открытым данным.

Вот лишь некоторые из их банков данных:
- https://comtrade.un.org/data/
- http://urbandata.unhabitat.org/
- http://data.un.org/
- https://data.unops.org
- http://open.undp.org/

И самый главный и детальный - https://undatacatalog.org

Есть ли хоть один портал данных международного уровня на постсоветском пространстве? Оставим этот вопрос риторическим, а ответ невысказанным.

Ссылки:
[1] https://centre.humdata.org/
[2] http://www.unocha.org/
[3] https://data.humdata.org/

#opendata #opengov #data #un

Для тех кто интересуется о том как устроены правоохранительные органы и их данные вышла лекция Алесея Кнорре. Всячески ее рекомендую для тех кто еще новичок в этой теме

На нашем онлайн-портале вышла долгожданная лекция Алексея Кнорре (Alexey Knorre) "Эмпирическое правоведение: как работать с данными криминальной статистики"
Рост количества данных и инструментов для их анализа за последние 20 лет изменил множество сфер, в том числе и сферу правоприменения. Это привело к тому, что теперь при разработке законов и анализе работы правоохранительных ведомств мы можем использовать всю мощь современной науки, которая позволяет отвечать на прикладные вопросы с помощью статистического анализа данных (что получило название "credibility revolution", а соответствующая междисциплинарная область - эмпирические правовые исследования).

http://kgi.zillion.net/ru/event/7358/empirichieskoie-pravoviedieniie-kak-rabotat-s-dannymi-kriminal-noi-statistiki

На сайте Европейской комиссии в разделе "Digital Single Market" [1] вышел обзор Open eGovernment practices in all EU Member States make public services more collaborative, efficient and inclusive [2] с большим числом примеров того как в странах Евросоюза формируется общая экосистема открытых данных, продуктов на их основе, цифровых услуг и технологических стандартов позволяющих всему этому работать вместе.

Важное направление - это "Openness towards third parties", открытость которая обеспечивается другими игроками общества. И там упоминается множество проектов НКО в Европе, такие как OpenSpending, например, проект по мониторингу и открытости бюджетов.

А также обратите внимание на библиотеку лучших практик открытости Европейского союза [3] с большим количеством вдохновляющих примеров.

Ссылки:
[1] http://ec.europa.eu/priorities/digital-single-market_en
[2] https://ec.europa.eu/digital-single-market/en/news/open-egovernment-practices-all-eu-member-states-make-public-services-more-collaborative
[3] http://opengov.semic.eu:3000/

#opendata #opengov #eu

Несмотря на то что мой канал номинировали на конкурс Открытого правительства, я то как раз с каждым годом все более скептичен насчет его будущего (как структуры, а не концепции) в России.

За все эти годы оно скорее снижало активность чем увеличивало.
Вот неполный список того что никогда не было сделано:
- не раскрыты большинство ключевых наборов данных которые должны были быть раскрыты согласно Хартии Большой Восьмерки
- не собрано библиотеки лучших практик
- не обеспечена поддержка общественных инициатив на открытых данных - нет ни одного президентского фонда который бы поддерживал проекты на открытых данных, а зарубежное финансирование этой темы в России сейчас невозможно
- поддержка проектов по открытым данным не стала частью повестки ФРИИ/РВК и других государственных структур развития стартапов

Все это, вместе с непрозрачностью его финансирования и конфликтами интересов его руководства, неизбежно создает ситуацию когда это первое и последние "Открытое правительство" в России. Следующее будет называться как-угодно иначе, но слово "открытость", к сожалению, нынешними его функционерами очень сильно испорчено.

В разговорах с коллегами из других стран СНГ они часто приводят российский опыт как положительный в открытых данных. Но проблема в том что государственные инициативы увязли в российской бюрократии.

#opendata #opengovernment