John Tornhill из Financial Times написал заметку о том как дата-капиталисты наживаются на нашей приватности [1], однако немногие смогут прочитать ее за paywall'ом, поэтому стоит почитать ее пересказ [2] на сайте The GovLab.

Смысл статьи в том что данные настолько меняюи общество, сдвигают приоритеты в управлении что можно говорить о Dataism'е как его описывал израильский писатель Yuval Noah Harari [3], [4], [5] в книге Homo Deus которая окажется в продаже с 21 февраля 2017 года.

В том что данные все более управляют обществом уже давно нет новизны, но все еще и нет осознания рядовыми гражданами. Это довольно спорное утверждение что "скоро все все-равно будет прозрачным". У меня есть ровно противоположные предсказания, вплоть до появления сект людей противников сбора какой-либо информации о их жизни. Обязательно будут появляться места, дома, комнаты, изолированные от любого сбора информации. Точно также буду возникать и изолированные сети не подключенные ни к одной общей сети. Не как Tor, а вообще существующие изолированно физически.

Но это, конечно, будут капли в море общества которое начнет призывать к цифровому коммунизму. А борьба с data-капитализмом начнет приобретать не только экзотические национальные формы как в России, но и станет частью политической повестки множества стран.

Ссылки:
[1] https://www.ft.com/content/c0a6b882-d65d-11e6-944b-e7eb37a6aa8e
[2] http://thegovlab.org/data-capitalism-is-cashing-in-on-our-privacy%E2%80%89-%E2%80%89-%E2%80%89-%E2%80%89for-now/
[3] http://www.wired.co.uk/article/yuval-noah-harari-dataism
[4] https://www.ft.com/content/50bb4830-6a4c-11e6-ae5b-a7cc5dd5a28c
[5] http://www.dw.com/en/harari-on-homo-deus-immortality-dataism-and-health-the-infinite-market/a-19523293

#opendata #privacy #dataism #data

В РБК вышла статья Александра Гордеева "Цифровая диктатура: как в Китае вводят систему социального рейтинга" [1] о том как в Китайской народной республике законопослушность внедряется в жизнь цифровыми инструментами.

Подробннее о целях внедрения на английском языке [2], а также перечень санкций для тех у кого низкий рейтинг [3].

Социальный рейтинг - это специальный рейтинг каждого человека состоящий из множества факторов связанных с его кредитной историей, законопослушностью и соблюдением общественных правил (читай - "морали").
Его практическое воплощение хорошо показано в сериале Black Mirror в 1-й серии 3-го сезона [4].

Социальные рейтинги основаны на поощрении тех кто соблюдает все правила и введении ограничений для тех кто правила нарушает.

Для людей с низкими рейтингами санкции включают:
— запрет на работу в госучреждениях;
— отказ в соцобеспечении;
— особо тщательный досмотр на таможне;
— запрет на занятие руководящих должностей в пищевой и фармацевтической промышленности;
— отказ в авиабилетах и спальном месте в ночных поездах;
— отказ в местах в люксовых гостиницах и ресторанах;
— запрет на обучение детей в дорогих частных школах.

Хорошо ли это или плохо? Выиграем ли мы все если подобное будет внедрено? Это другой мир, которого нам, скорее всего, очень скоро не избежать.

Сейчас социальный рейтинг - это пилотный проект внедряемый в провинции Ханчжоу в Китае, но вскоре эта практика может распространиться и на другие регионы Китая и на другие страны.

При этом важно помнить об ограничениях и новых проблемах которые подобные рейтинги создадут:
- двойное наказание. Для многих нарушений и без того предусмотрены наказания в виде штрафов или же ограничений в деятельности. Это относится к судимости, например.
- конфликты. Часть оценок в социальный рейтинг может идти от оценки служащих с которыми контактирует человек и может привести к дальнейшим социальным конфликтам (это как раз тема серии Black Mirror).
- маргинализация. Маловероятно что рейтинг получится скрыть и использовать только для ранее заявленных целей. Можно быть на 100% уверенными что он распространится и на работу в госсекторе вообще и на прием на работу. Вакансии с пометкой минимального балла социального рейтинга необходимого для работы неизбежны.
- виктимизация. В ситуации невозможности скрыть информацию о рейтингах от других граждан вполне вероятны акты агрессии против лиц с наиболее низким рейтингом. Социальные разделения на "мы и они" приобретут гораздо более драматическую форму.

Я могу порекомендовать прочитать статью "On social credit and the right to be unnetworked" [5] с обзором большого числа проблем возникающим именно при массовом внедрегии социальных рейтингов.

Дополнительно стоит ознакомиться с анализом практики возврата налогов экспортными предприятиями в Китае (Deloitte) [6] - о том как схожие рейтинги и классификация предприятий на 4 категории со своими возможностями и ограничениями вводится в Китае с сентября 2016 года.

Не стоит рассчитывать на то что рейтинги будут вводиться только для граждан. Можно с высокой степенью уверенности утверждать что если они начнут вводиться, то затронут и коммерческие предприятия также. Уже сейчас многие компании в России экспериментируют с "рейтингами добросовестности", но пока нет ничего что было бы оформлено в государственную политику.

[1] http://www.rbc.ru/business/11/12/2016/584953bb9a79477c8a7c08a7
[2] https://chinacopyrightandmedia.wordpress.com/2014/06/14/planning-outline-for-the-construction-of-a-social-credit-system-2014-2020/
[3] https://www.instapaper.com/text?u=https%3A%2F%2Fchinacopyrightandmedia.wordpress.com%2F2016%2F09%2F25%2Fopinions-concerning-accelerating-the-construction-of-credit-supervision-warning-and-punishment-mechanisms-for-persons-subject-to-enforcement-for-trust-breaking%2F
[4] https://en.wikipedia.org/wiki/Nosedive
[5] http://cblr.columbia.edu/wp-content/uploads/2016/07/2_2016.2_Geslevich-Packin-and-Lev-Aretz_FINAL.pdf
[6] https://www2.deloitte.com/content/dam/Deloitte/cn/Documents/tax/ta-2016/deloitte-cn-tax-tap2522016-en-161122.pdf

#data #privacy

Я не хочу подробно писать о "дискуссии" между Лебедевым и Навальным вокруг бездеятельности второго и "крупного господрядчика" в лице Студии Лебедева. Я напишу только этот текст и не буду вступать в дискуссии в комментариях, здесь или где-либо еще. Мое мнение очень давно сложилось.

Все это смешно, и больше похоже на то что Навальный с Лебедевым договорились так раскачать блогосферу чтобы устроить Навальному дебаты на Дожде с наименее подготовленным, но медийным собеседником. Насчет "крупного господрячика Лебедева" - это даже не смешно. Все кто хоть чуточку в курсе того как устроены госрасходы знают насколько это глупое утверждение.

В прошлом году я был на большом форуме в Татарстане в рамках мероприятия международного союза городов (не помню его точного названия). Так вот главный акцент на котором делали все участники, в первую очередь, участники из демократических стран - Евросоюза, Австралии и других в том что города - это не форма управления. Городская власть ближе к людям вне зависимости от политического устройства страны.

Так же и здесь. Любимый Навальным ФАС России публикует в своем отчете о конкуренции цифру в 70% ВВП России формируемом госсектором. Эти цифры включают чистые госрасходы и расходы включающие госкорпорации и остальные government enterprises все вместе.

Очень немногие предприниматели в России могут не пересекаться с государством и заниматься профессиональной деятельностью. Это пересечение почти всегда не связано с политическим устройством, контракты заключаются с региональными, муниципальными властями или с отдельными госорганизациями.

Навальный в своей риторике обвиняет не только Лебедева, но и весь тот бизнес который живет в этих 70% ВВП от госсектора.

Я могу назвать это только 'дерьмовым популизмом', который в отличии от популизма классического, основан только на закидывании дерьмом оппонентов.

Это одна из причин почему я еще много лет назад говорил что ФБК Навального с самого начала жертвует профессионализмом в угоду фанатичной политике. А сам Навальный теряет поддержку любого думающего человека.

Выбор между "упырями" и "дерьмовыми популистами" как раз и наводит апатию на тех кто должен этот выбор делать.

Даже этот текст я пишу в формате "не сдержался". В нескольких СМИ в ближайшие недели и месяцы будут выходить материалы с моими комментариями и с интервью где я подробнее рассказываю о реальных проблемах в госзаказе которые куда серьезнее были и остаются чем вся риторика Навального.

#procurement

Два автора подряд в США пишут о рисках открытости данных в США с приходом Дональда Трампа. В первой "How Trump’s White House Could Mess With Government Data" [1], где автор во многих примерах и обещаниях Дональда Трампа улавливает риски потери данных. Уже сейчас есть риск потери доступа к климатическим данным и вероятность закрытия агентства EPA. Эту же тему продолжает главред InfoWorld в статье "Will open data survive Trump?" [2] которая в эпоху Трампа "Band of Big Brothers: Meet Trump’s spy team" [3] особенно актуальна.

Что и говорить - проблема не надуманная. Администрация Трампа вполне может пересмотреть приоритеты и перестать заигрывать с "излишней открытостью".

Ссылки:
[1] https://fivethirtyeight.com/features/how-trumps-white-house-could-mess-with-government-data/
[2] http://www.infoworld.com/article/3157870/open-source-tools/fears-of-trump-prompt-open-datas-underground-railroad.html
[3] http://www.infoworld.com/article/3150741/government/band-of-big-brothers-meet-trumps-spy-team.html

#opendata #usopendata #trump

Мало кто в России из тех кто пишет о госзакупках, на самом деле, пытается вникнуть в то как реально устроена вся эта система изнутри. Например, часто, слишком часто обходят стороной роль электронных торговых площадок и того факта что они являются некой экзотической (теневой) формой ГЧП. В свежей статье Ведомостей "Как зарабатывают площадки для госзаказа" [1] представлены наши цифры по анализу структуры рынка.

В данном случае я выступаю в роли не столько общественной сколько в роли экспертной. Этот анализ мы проводим в рамках работы аналитического агентства "Бюро контрактной информации" которое я возглавляю и которое специализируется как раз на глубоком изучении рынков, как госзаказа, так и контрактных отношений/закупок в корпорациях.

И это, кстати, наглядная демонстрация работы на основе открытых данных - для подсчета ключевых цифр необходимо зачастую перелопатить огромные объемы баз данных, файлов и множество источников информации.

В этом году планируется еще много публикаций на эту тему, и не только в формате сжатых статей в Ведомостях, но и в виде более комплексных документов.

Ссылки:
[1] http://www.vedomosti.ru/economics/articles/2017/01/19/673603-zarabativayut-ploschadki-goszakaza

#procurement #goszakaz

Новость которая прошла практически незамеченной, 15 декабря 2016 года вышли рекомендации W3C "Data on the Web Best Practices" [1] с большим числом примеров того как надо публиковать данные онлайн, в web'е.

Рекомендации охватывают широкий спектр тем, таких как:
- метаданные;
- лицензии для данных;
- происхождение данных;
- качество данных;
- версионность данных;
- идентификаторы данных;
- форматы данных;
- словари для данных;
- доступ к данным включая доступ к данным через API
- обратная связь
- улучшение данных
- и повторная публикация.

Что особенно важно так то что в документе сформулированы основные выгоды которые получает пользователь и публикатор данных:
- Reuse
- Comprehension
- Linkability
- Discoverability
- Trust
- Access
- Interoperability
- Processability

Все примеры связаны с данными выгодами и хорошо систематизированы. Было бы неплохо, конечно, прогнать через эти критерии российские методические рекомендации, почти наверняка мы можем ожидать что они не соответствуют где-то половине данных критериев.

Разумеется это не первый и не последний подобный документ от W3C, но для публикации данных до сих пор их рекомендации в России очень плохо используются.

Ссылки:
[1] https://www.w3.org/TR/2016/PR-dwbp-20161215/

#opendata #opengov #data #w3c

По итогам рассмотрения экспертной группой Михаила Абызова петиции по отмене "закона Яровой" уже вышло немало публикаций [1]

К сожалению, к великому сожалению, после последнего рассмотрения петиции по "закону Яровой" Российскую общественную инициативу можно закрывать.

И дело даже не в плохом законе, а он реально плохо написан, и дело даже не в том как устроено РОИ. Мы можем предполагать что это самый верный и честный сервис (даже без внешнего аудита и прозрачности его финансирования).

Проблема в том что он никому не нужен. И его не спасти открытостью данных, сервисов и даже открытости кода, в ситуации когда он не выполняет той роли для которой создавался - диалог руководства страны и граждан. Всю тему коммуникаций власти с остальными субъектами общества требуется очень глубоко перезагружать. Инструменты народной экспертизы, петиций и остальные механизмы Открытого правительства, будем честными, выродились в не самые функциональные инструменты. И, во многом, это связано с тем что их инициаторы сами не знают что с ними делать, даже если действительно изначально их желали.

Закон Яровой даже не столько плох, сколько глуп. Для квалифицированных граждан возможность сохранять собственную приватность была и остается. Массовый контроль государства за неквалифицированными обывателями был, увы, неизбежен и на него обречены все развитые страны. Ему нужно сопротивляться, но в первую очередь знаниями. А вот попытки хранить все объемы данных передаваемых по сетям - это несусветная глупость.

Равно как и полная неподотчетность обществу тех кто будет иметь к этим данным доступ.

Ссылки:
[1] http://www.vedomosti.ru/technology/articles/2017/01/19/673701-zakonu-yarovoi

#privacy #opengovernment

Проект "End of Term Presidential Harvest 2016" [1] подходит к завершению. Это 5 месячная инициатива библиотеки конгресса, нескольких университетов и библиотек по архивации всех сайтов уходящей администрации Барака Обамы.

В виду большого объема данных проект использует Nomination Tool когда кто угодно может предложить организаторам ссылки для архивации для приориетного сохранения. Более 11 тысяч ссылок было предложено 294 участниками.

А 17 января группа энтузиастов собралась на хакатон по сбору данных по экологии [2] опубликовав 18 наборов данных на портале DataRefuge [3] созданного специально для сохранения архивных госданных.

Все это, не в последнюю очередь, связано непосредственно с избранием Дональда Трампа в президенты США и тем что в его команде много климатических скептиков, выступающих против борьбы с глобальным потеплением. Судьба агентства EPA в США под вопросом, как и их данные.

Не стоит полагать что это проблема имеет отношение только к США. В России ситуация с уничтожением официальных сайтов ничуть не лучше. Много лет назад я начал архивировать госсайты, находящиеся в зоне риска + перечень сайтов которые могли бы исчезнуть, но представляют ценность.

Архивация государства [4] это и есть тот самый давний проект в рамках которого уже собрано несколько терабайт данных в сжатом виде и десятков-сотен в распакованном. Но, за деятельностью над открытыми данными и коммерческими проектами на него остается не так много времени.

Как то я уже это писал. На такой проект сложно привлечь средства. А волонтеров оказывается очень немного. В одной из следующих публикаций я напишу про размеры накопленного архива и его потенциальном будущем.

Ссылки:
[1] http://digital2.library.unt.edu/nomination/eth2016/about/
[2] https://www.wired.com/2017/01/rogue-scientists-race-save-climate-data-trump/
[3] https://www.datarefuge.org/
[4] https://opengovdata.ru/projects/govarchive/


#opendata #opengov #preservation #data

Актуальная новость дня Trump removes “Open Government” from White House website [1], Администрация свежеизбранного Президента США убрала сразу же все упоминания об открытости государства и открытых данных [2].

Сохранится на повестке новой администрации неизвестно. США были и остаются участником и инициатором многих международных инициатив в открытости, начиная с OGP, продолжая обязательствами в рамках Большой Восмерки.

Это важный вопрос поскольку все время существования в мире инициатив по открытым данным США были одним из основных их спонсоров и, наряду с Великобританией, лидером в раскрытии данных.

Ссылки:
[1] https://g0v.news/trump-removes-open-government-from-white-house-website-5f7c4feb7c18
[2] https://search.whitehouse.gov/search?query=open+data&op=Search&affiliate=wh

#opendata #opengov #trump

В. В. Путин подписал поручение правительству определить единственного поставщика для разработки Единой Информационной Системы (ЕИС) в госзаказе [1]. Хорошая ли это новость или плохая?

Годовые расходы на эксплуатацию ЕИСа значительно выше тех 350 миллионов рублей о которых шла речь в потенциальном ежегодном доходе оператора и разработчика ЕИСа.

Если решение о выборе единственного исполнителя приведет к созданию единой электронной торговой площадки, то доходы оператопа вырастут до 3 миллиардов рублей в год. Главный вопрос в том останутся ли данные по государственным и муниципальным закупкам/контрактам доступными после передачи системы Ростеху.

Ссылки:
[1] http://www.vedomosti.ru/economics/articles/2017/01/23/674407-rosteh-zakaz-sistemu-zakupok

#procurement #goszakaz #opendata

4 февраля пройдет хакатон по теме культуры [1] организуемый АНО "Инфокультура", Министерством культуры РФ,
НИУ «Высшая школа экономики» Магистерская программа «Журналистика данных» и компанией SocialDataHub

Приходите, будет много интересных открытых данных и большая тусовка тех кто ими интересуется.
Кстати, для хакатона, мы всегда предлагаем использовать наши данных из проекта Госзатраты где есть данные по всем госконтрактам [2]

Ссылки:
[1] https://www.facebook.com/events/393132777694057/?acontext=%7B%22ref%22%3A%22108%22%2C%22action_history%22%3A%22null%22%7D
[2] https://clearspending.ru

#opendata #opengov #culture

Это будет один из немногих постов без ссылок.

Поиск и анализ открытых данных может давать, иногда, удивительные находки. Например, анализ открытого списка жертвователей одного крупного благотворительного фонда помощи детям выявил одного из федеральных министров который каждый месяц за последние 2 года жертвовал туда значительные суммы. В общей сложности это было, примерно, по 4.5 миллионоа рублей за 2015 и за 2016 годы - всего 9 миллионов рублей.

Называть, ни фонд, ни министра мне бы не хотелось. Но не могу не отметить насколько многие люди не на своем месте. Не берусь гадать жертвует ли он всю свою зарплату или только часть. Если зарплату, то можно таким образом судить о его официальных доходах. Может быть даже посмотреть на публичную декларацию.

Считать чужие деньги всегда неблагодарное дело, хотя и в данном случае скорее позволяет найти хорошее чем плохое. Сколько еще подобного много узнать из косвенных источников данных? Очень много

#opendata #charity

Как я и обещал, напишу о том что же за такой проект "Архивация государства" которым я занимаюсь уже более 5 лет и который один из наименее публичных проектов Инфокультуры да и я сам пишу о нем значительно реже чем про открытые данные, госзакупки и многое другое.

Еще очень давно я столкнулся с тем что при реорганизации ведомств в России и даже просто при смене их руководителей, старые сайты очень быстро исчезают, а на новых остается далеко не вся информация.

Пример - МВД России в 2012 году обновили свой сайт и "снесли" все региональные сайты заменив их на новые в формате "25.мвд.рф" даже не перенеся туда большей части архивных материалов.

Другой пример - сайты ликвидированных ведомств. Федеральный сайт ФМС [1] закрыт в день ликвидации, территориальные сайты ликвидировались в течении нескольких дней.

Таких примеров очень много, единственный пример того как грамотно была организована доступность архивных сайтов - это Федеральная служба по финансовым рынкам, а далее ЦБ РФ хранили все сайты всех ведомств которые были до них с 2003 года [2].

Но в России нет такого явления как цифровые государственные архивы, аналогичный Библиотеке Конгресса в США или Национальные архивы в Великобритании [3].

Причем эти архивы, в первую очередь, создаются как архивы веб-сайтов, поскольку именно архивы веб-сайтов содержат большую часть публичной государственной информации.
В мире много таких проектов и неполный их список есть в Википедии [4]

Для того чтобы такой проект вести нужно немало ресурсов которые уходят на несколько направлений:
- собрать ссылки и расставить приоритеты о том какие сайты надо архивировать - это работа с сообществом, чаще всего
- собрать данные с сайтов и заархивировать их в специальный формат WARC разработанный для хранения архивов
- обеспечить их долгосрочное хранение и доступность
- дать возможность просматривать архивные страницы как это делает Интернет архив (archive.org)

Все это требует особой инфраструктуры. Специально развернутой оболочки которая называется Heritrix и с настройками его под те цифровые коллекции которые создаются. Именно Heritrix используется в большинстве интернет-архивов, это большое тяжелое ПО на Java которое еще и надо адаптировать под славянские языки.

Альтернативой ему является подход команды ArchiveTeam [5] когда группа энтузиастов не делает интерфейсов на собранных данных, вместо этого они собирают данные с сайтов с помощью специального настроенного краулера wget адаптированного для скриптов на языке Lua и таким образом они создают WARC файлы из архивных сайтов, но потом только складируют их для общего доступа, но не делают над ними веб-интерфейс.

Для исследователей этот формат вполне удобен, для рядовых пользователей куда меньше, разбираться с техническими файлами архивов не так просто.

Для проекта который веду я никогда не было внешнего финансирования, он был сделан по модели ArchiveTeam, но без такого же числа волонтеров и с приоритетом на сайты государства.

Со временем эти приоритеты немного расширились и коллекции которые я собирал и собираю попали исчезающие общественные явления, такие как сайты банков (особенно ликвидируемых), крупнейшие ресурсы забаненые Роскомнадзором, разного рода антинаучные сайты и значимые общественные проекты.

На сегодня архив состоит из:
- 1.4 терабайта веб архивов включая:
- 345 сайтов банков
- 39 сайтов международного мемориала
- 9 сайтов крупных международных конференций в России
- 5 сайтов выборов
- 10 сайтов политиков и политических партий в периоды выборных кампаний
- 20 сайтов Олимпиады в Сочи
- 20 сайтов Открытого правительства, РВК, ФРИИ, АСИ и других институтов развития и государственных структур реформ
- 55 сайтов РИА Новостей до приходу туда новой команды Д. Киселева
- все сайты региональных арбитражных судов до слияния с Верховным Судом

- около 500 сайтов органов власти
- множество отдельных наборов данных, порталов открытых данных и коллекций собранных другими
- это около 15 терабайт в разжатом виде и несколько краулеров которые регулярно что-то качают.

У всего проекта мало описания. С архивами ситуация хуже - каждый раз архивируя обычно суетишься так чтобы успеть сохранить что-то до того как сайт снесли. Например, между отзывом лицензии у банка и ликвидации его сайта может быть всего пара часов, а может и их не быть. Поэтому для многих архивов нет метаданных с описаниями.

Но все что есть собрано на Github'е https://github.com/infoculture/preserved-russia/wiki, на старом сайте про открытые данные https://opengovdata.ru/projects/govarchive/ и в Google Drive https://drive.google.com/drive/u/0/folders/0B5haFpvgzsyhYW1lOHBiT1hrRG8 с информацией по текущему скачанному и описанному (скачано куда больше, нет рук описывать).

Особенность и отличие от Интернет архива в том что я собираю все материалы, а не только веб страницы. Выкачиваются все документы, видео, аудио и технические файлы. Все что только есть на сайте.

В текущей форме этот проект может существовать вечно. Пока я буду находить на него 1-2 часа времени в неделю. Может ли он стать чем-то большим? Возможно, но только если когда-либо удасться собрать команду тех кто будет считать что архивация рунета - это действительно важная задача. Может быть это один из тех проектов которые надо отделить в отдельный фонд и заниматься фандрайзингом средств, а может быть найти на него средств в текущей активности Инфокультуры.

Главная потребность в ресурсах следующая:
- хостинг: это 1-2 сервера для краулинга и условно неограниченное хранилище + трафик. Сейчас он выходит в 100-200 евро в месяц, в зависимости от того как много качают. Все хранится на Hetzner'е что дает относительно дешевый хостинг и не самую большую надежность;
- проектирование того как должна быть устроена архитектура такого проекта;
- развертывание Heritrix'а и интерфейса над архивами для рядовых пользователей;
- программирование сервиса резервного копирования архивов с сохранением на Archive.org, Backblaze и Amazon Drive и другие сервисы (возможно);
- развернуть отдельный экземпляр CKAN'а и туда загрузить ссылки на все архивные файлы с метаданными и тем самым сделать поиск хотя бы по описаниям архивов.

И, конечно, самое главное - приоритезация того что надо краулить и сохранять.

Пока же:
- если у Вас есть какие-то архивные данные/материалы которыми Вы были бы рады поделиться;
- если Вы хотите организовать веб-архивацию в своей области или в своей теме и ищите совета;
- если Вы готовы помочь проекту хостингом;
- если Вы готовы помочь проекту финансово или же есть какие-либо другие предложения;

То пишите мне на Ibegtin@infoculture.ru

Ссылки:
[1] https://www.fms.gov.ru
[2] http://www.cbr.ru/finmarkets/?PrtId=archive
[3] http://www.nationalarchives.gov.uk/
[4] https://en.wikipedia.org/wiki/List_of_Web_archiving_initiatives
[5] http://www.archiveteam.org/index.php?title=Main_Page

#archives #opendata

В продолжение прошлой публикации я таки закончил форму заявки на архивацию сайтов - ее можно заполнить по ссылке https://docs.google.com/forms/d/e/1FAIpQLSesJ-9BQieL9k6s7WeVX6dQgAwcpo81-gfDS8I7VZzNZkhHbw/viewform

Специально для тех кто регулярно сталкивается с тем что информация может исчезнуть и не факт что останется в Интернет-архиве. Сейчас это обобщенная заявка, без наполнения конкретных коллекций, в первую очередь хочется понять кому нужна архивация сайтов и кто готов участвовать в этой работе хотя бы давая ссылки на ресурсы которые могут быть потеряны.

#opendata #governmentarchives #archives

С 2016 года США потеряли статус "full democracy" (полной демократии) и получили статус "flawed democracy" (демократия с искажениями). В индексе демократий мира от The Economist Intelligence Unit отдельно темой проходит "Brexit, Trump and the 2016 revolt against the elites".

Бунт против элит как бунт против демократии - это не новое явление. Много лет уже идут разговоры о том что классическая демократия в эпоху масс-медиа перестала быть универсальным способом управления государством. Но, как и много веков назад, объективно и тщательно проработанных альтернатив нет и по сей день.

Доклад полностью доступен на сайте EIU [1] и, конечно, охватывает гораздо больше вопросов чем избрание Трампа президентом.

Ссылки:
[1] http://pages.eiu.com/Jan-2017-Democracy-Index_reg.html

#opendata #opengovernment

На ОТР (Общественное телевидение) в передаче отражение вчера я выступал примерно полчаса про госзакупки и их прозрачность. Подробнее можно прочитать и увидеть тут [1]

Не удивляйтесь только опечатке в моей фамилии. Обещают исправить.

Ссылки:
[1] https://otr-online.ru/programmi/segodnya-v-rossii-27580/goszakupki-pitayutsya-vivesti-64679.html

#opendata #opengov #procurement

Страхи того что администрация Дональда Трампа может закрыть многие данные оказались небезосновательны.
Его администрация потребовала от агентства по защите окружающей среды в США публиковать данные только после их анализа политическими сотрудниками администрации. Об этом пишет The Guardian в статье "Trump administration: EPA studies, data must undergo political review before release" [1]

В другой статье The Guardian упоминается что сотрудникам EPA запретили публиковать данные и пользоваться социальными сетями [2]

В CNN пишут о том что администрация Трампа запретила отправлять твиты национально
й парковой службе [3] и похожая история происходит в Департамента транспорта [4].

А в HuffingtonPost вышла заметка о том что всех федеральных служащих обязали приостановить активность в соц сетях [5].

Сейчас рано говорить, какие шаги Дональда Трампа пойдут на благо США, какие приведут к усилению внутреннего протеста в госаппарате, но точно видны шаги идущие против долгосрочного тренда на открытость власти.

Ссылки:
[1] https://www.theguardian.com/environment/2017/jan/25/donald-trump-epa-gag-order-political-review
[2] https://www.theguardian.com/us-news/2017/jan/24/epa-department-agriculture-social-media-gag-order-trump
[3] http://edition.cnn.com/2017/01/21/politics/trump-national-park-service-tweets/index.html
[4] http://www.politico.com/story/2017/01/transportation-department-social-media-on-hold-234044
[5] http://www.huffingtonpost.com/entry/trump-communication-freeze_us_58878b3ae4b0441a8f7114e

#opendata #opengov #EPA #trump

National Consortium for the Study of Terrorism and Responses to Terrorism (коротко - START) опубликовали на Kaggle базу 150 000 террористических атаках за 49 лет [1]. В общей сложности - это 27 мегабайт ZIP файл. Опубликовали относительно недавно, в июле 2016 года, а на днях вышла заметка [2] Erin Miller с подробностями о том как работать с этими данными.

Обратите внимание на системный подход при формировании этой базы. На ее сайте [3] размещена полная методология сбора и со множеством пояснений [4], разработан образовательный курс [5] и доступны множество публикаций [6] команды работающей с этими данными.

Ссылки:
[1] https://www.kaggle.com/START-UMD/gtd
[2] http://blog.kaggle.com/2017/01/26/open-data-spotlight-the-global-terrorism-database/
[3] http://www.start.umd.edu/gtd/
[4] http://www.start.umd.edu/gtd/downloads/Codebook.pdf
[5] http://www.start.umd.edu/education/using-global-terrorism-database
[6] http://www.start.umd.edu/publications

#opendata #opengov #datasets

Прокуратура Казахстана переходит в цифровой формат [1] - это новость телеканала Мир с выступлением Генпрокурора Казахстана, который, кстати, упоминает и предсказание преступлений, и big data, и многие другие инновации в правоохранительной сфере.

О том же на первом канале Казахстана [2] и о том же в выступлении Ергали Мабиева, Заместителя председателя Комитета правовой статистики ГП РК [3] гораздо подробнее.

Еще раньше ГП РК представила систему "Зандылык" в виде информационно-аналитической системы надзора за уголовными делами и не только.

От себя я могу добавить что Казахстан с их сервисом правовой статистики [4] уже сейчас предоставляет цифровых услуг и данных больше чем многие другие страны мира.

Например, в Казахстане есть публичные карты преступности [5] с детализацией до каждого преступления и до каждого дома.

Если бы мы проводили наши хакатоны в рамках проекта "Открытая полиция" там, то у нас бы точно были данные. Но пока получается что данные у нас появятся только когда Генпрокуратура в России будет публиковать аналогичную информацию на российском портале Crimestat.ru [6].

Четыре месяца назад я писал об этом портале и всей российской ситуации в статье в Форбс "Почему в России недоступна информация о преступлениях" [7].

Приятно наблюдать что открытость в Казахстане активно развивается и очень хочется, вот действительно очень, чтобы прогресс был бы и в России.

Ссылки:
[1] http://mir24.tv/news/society/15640947
[2] https://1tv.kz/?p=16935
[3] http://24.kz/ru/tv-projects/intervyu/item/158784-intervyu-ergali-mabiev
[4] http://service.pravstat.kz/portal/page/portal/POPageGroup/MainMenu
[5] http://infopublic.pravstat.kz/crime/
[6] http://crimestat.ru
[7] http://www.forbes.ru/mneniya/siloviki/327227-pochemu-v-rossii-nedostupna-informatsiya-o-prestupleniyakh

#opendata #opengov #crimestat