Ivan Begtin
7.99K subscribers
1.82K photos
3 videos
101 files
4.53K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts ivan@begtin.tech
Download Telegram
Я так много пишу про открытые данные в последние годы что многие давно забыли что много лет назад, до 2012 года, основной моей деятельностью и была работа с данными госфинансов - в первую очередь госконтрактов.

И сейчас вот уже год как я вернулся к этой работе как одной из основных. Я являюсь руководителем экспертной группы ЦСРа по контрактной системе и занимаюсь анализом того что называется большими данными о госконтрактах. Не просто в применении общепринятом, но для гораздо более глубокого понимания российской экономики. Обязательно подкрепленное цифрами.

Сегодня вышла статья в Ведомостях (http://www.vedomosti.ru/economics/articles/2016/12/29/671668-goszakaza-dostaetsya) с некоторыми нашими цифрами и комментариями, я возьму на себя смелость скопировать ее целиком из под paywall'а Ведомостей.
——
80% госзаказа достается 6% поставщиков
Конкуренция на тендерах часто имитируется

В 2016 г. государство закупило на 5 трлн руб. (открытые данные на 28 декабря) – минимум после 2011 г. Госкомпании разместили извещений на 22,5 трлн руб. – на 500 млрд меньше, чем год назад.
Единственным поставщикам досталась пятая часть госзаказа (23% в 2016 г., 22% в 2015 г.) и 38% – госкомпаний (40%). Но руководитель ФАС Игорь Артемьев считает, что 95% закупок госкомпаний уходят единственному поставщику, так как больше половины процедур маскируют отсутствие конкурса, например «наш любимый способ закупки». Обязать госкомпании закупать по более строгим правилам Минэкономразвития собирается уже два года. В 2015 г. поправки были внесены в Госдуму, но не прошли дальше первого чтения. Госкомпании не просто защищались, а атаковали: по их просьбе Минэкономразвития согласилось смягчить даже действующие процедуры – вывести из-под закона внутригрупповые сделки и закупки финансовых услуг. Нельзя исходить из того, что все менеджеры обуреваемы только идеей – как украсть, говорил «Ведомостям» замминистра Евгений Елин.

Но и в самом госзаказе конкуренция невелика. На 6% поставщиков (25 000 компаний) приходится 80% госзакупок, говорится в исследовании ЦСР («Ведомости» ознакомились с частью доклада). Данные за 2015 г., но в первые девять месяцев 2016 г. пропорция сохраняется, говорит руководитель экспертной группы ЦСР Иван Бегтин. Представитель Минэкономразвития посоветовала искать информацию на zakupki.gov.ru. Данные ЦСР совпадают с данными информационной системы, подтвердил чиновник федерального казначейства. Треть из этих 25 000 компаний – те же государственные организации, подведомственные заказчикам, уточняет исполнительный директор Бюро контрактной информации Ольга Анчишкина: государство делает вид, что торгует, а по сути – распределяет.
Контрактная система оказалась выгодна крупным игрокам, считает Бегтин, и неудобна для остальных – многие участвуют в торгах один раз и больше не приходят: это не только фирмы-однодневки, но и компании, которым не нравится, что поставщик бесправен. 70% госзаказа приходится на стройку и фармацевтику, замечает Елин, такая концентрация возможна. Но это говорит не о качестве контрактной системы, а об уровне конкуренции в экономике, уверен он. На торгах есть конкуренция – в среднем три участника, но, если посмотреть, кто получает контракты, становится понятно, что госзаказ близок к чистой монополии, говорит Анчишкина: конкуренция имитируется.
Задуманная «реформа» госзаказа – перевод в электронный вид всех процедур – не является реформой и не изменит ситуацию, замечает Анчишкина. Нужно не контролировать процедуру размещения заказа, а изменить отношение к контрактной системе, предлагает она: сделать из госзакупок современную систему снабжения, от эффективности которой в компаниях зависит 75% себестоимости продукции; ограничить список тех, кто имеет право размещать госзаказы: «Почему решили, что это может быть любой бюджетополучатель?» Нужны централизация, кооперация и совместное использование товаров, чтобы, к примеру, детский сад даже теоретически не мог претендовать на закупку собственной снегоуборочной машины, рассуждает Анчишкина. Также необходим реестр результатов исполнения контрактов: не отчеты о потраченных деньгах, а учет приобретенной продукции, продолжает Анчишкина, а для типовых закупок – электронный магазин. Электронный магазин – действительно важный инструмент, его запуск в планах на 2017 г., уточнил Елин.

Конечно, надо следить за результатом, соглашается Елин. Но стоит задача сократить издержки, самые чувствительные из которых коррупционные, объясняет он, а для этого нужно максимально снизить участие чиновника в принятии решений, вот и получается, что сначала необходимо описать процедуры. Контроль за результатом станет возможным, когда система будет полностью готова, когда каталог, который будет поэтапно запускаться с 1 января 2017 г., позволит сравнивать подобное с подобным, когда появятся референтные цены, говорит Елин.


#goszakaz
В то время как в России экспертная группа во главе с Абызовым не пропустила ни одной народной петиции собравшей более 100 тысяч голосов на портале Российской общественной инициативы [1], одновременно с этим в США вышел обзор "‘We the People’: Five Years of Online Petitions" [2] от Pew Research Center посвященный онлайн петициям.

Обзор сделан на детальнейшем API петиций на портале Белого дома [3] и их содержательного анализа. В целом это подробный и интересный обзор того как работает живая система петиций и того как она в дальнейшем воплощается в государственную политику.

Сейчас все гадают как изменится государственная политика в США в этой области с приходом Президента Трампа, впрочем ждать осталось недолго.

Ссылки:
[1] https://www.roi.ru/complete/
[2] http://www.pewinternet.org/2016/12/28/we-the-people-five-years-of-online-petitions/
[3] https://petitions.whitehouse.gov/developers

#opengov #petitions
Вышло новое исследование Open Knowledge Foundation о том как собирать данные от граждан и делать их полезными. Оно так и называется Making Citizen-Generated Data Work [1]. Авторы Danny Lämmerhirt, Shazade Jameson и Eko Prasetyo пишут о многочисленных примерах краудсорсинговых проектов которые создавали бы реальную конечную ценность для общества и авторов.

Исследование является совместным для Open Knowledge Foundation и проекта DataShift [2] помогающего НКО по всему миру собирать данные от граждан и создавать на их основе проекты.

Исследование рекомендую всем кто когда-либо исследовал того как собираются данные через краудсорсинг и задумывался о том в каких случаях это работает, а в каких нет.

Ссылки:
[1] https://blog.okfn.org/2016/12/22/new-report-making-citizen-generated-data-work/
[2] http://civicus.org/thedatashift/

#opendata #opengov
Для тех кто пишет научные и исследовательские работы на тему открытых данных рекомендую прочитать "Towards a Genealogy of Open Data" [1] это научная статья 2014 года написанная Jonathan Gray и посвященная истории появления терминов открытое государство и открытые данные, а также политическая история которая им предшествовала.

В 2012 году я также писал на эту тему публицистическую статью "Открытое государство. История и новый смысл" [2].

Рано или поздно, сразу после или прямо перед оставкой последнего федерального Правительства ревизия сделанного и несделанного будет проведена. И тогда будет время провести и смысловую ревизию, насколько оно отклонилось от изначальных приниципов и чем "открытость по российски" отличается от открытости в мире.

Ссылки:
[1] https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2605828
[2] http://polit.ru/article/2012/06/28/open_gov/

#opendata #opengov
Всех с наступившим 2017 годом!
В Монреале власти города решили организовать мониторинг трафика через 100 сенсоров Bluetooth на наиболее загруженных магистралях [1]. Непосредственно работу осуществляла компания Orange Traffic [2], а все данные передаются в Urban Mobility Management Center города.

Цифровизация существующей инфраструктуры меняет не только подход к мониторингу трафика, но и отношения между водителями и гос-вом. В Индии начали выдавать цифровые лицензии для водителей [3], а точнее дали возможность предъявлять полицейским данные со специального приложения Digilocker, вместо бумажной лицензии.


Ссылки:
[1] https://www.springwise.com/montreal-monitoring-city-traffic-via-drivers-bluetooth
[2] http://www.orangetraffic.com/en
[3] https://yourstory.com/2016/09/digilocker/

#opendata #opengov #digitalgov #driving #smartcity
84.8 миллиарда рублей долга только 858 крупных должников Газпром Межрегионгаз на ноябрь 2016 года [1]. При том что Газпром охватывает лишь 59 регионов - эти данные при сочетании с другими, особенно при регулярном их мониторинге, позволяют оценить масштаб внутренней задолженности в стране.

Агрегированные данные по регионам выложены на хаб открытых данных [2], а сам интерес к ним в том что рано или поздно вопросы огромного числа внутренних и внешних долгов в России станут одними из первоочередных и создание проекта "Страна долгов" или "Долговая Россия" уже сейчас возможно на этих данных, данных бюро кредитных историй, банков, списков должнников по ЖКХ и многому другому.

Ссылки:
[1] http://mrg.gazprom.ru/implementation/spisok-dolzhnikov/#list,by_amount
[2] https://hubofdata.ru/dataset/gazprom-mrg-debtors

#opendata #corporatedata #debts
Вышло большое исследование "How can we improve urban resilience with open data?" [1] посвященное использованию открытых данных для создания комфортной городской жизни. Исследование делалось в рамках проекта Open data for Development коллективом из команды Open North и все при поддержке Института откртыых данных Великобритании (Open Data Institute).

Основные выводы исследования можно прочитать в блоге ODI.

Вот лишь некоторые примеры из этого исследования:
- NYC Business Atlas - инструмент анализа бизнес-возможностей по районам Нью-Йорка, с информации о демографии, разрешениях на строительство и так далее.
- BuildingEye in San Francisco - гражданский проект с удобным интерфейсом для активистов для работы с данными о городской инфраструктуре
- The Open Data for Resilience Initiative - проект помогающий государственным властям взаимодействовать с сообществами по сбору данных

Другие примеры: Betaville, Greater Toronto Area Housing Action Lab, Digital Matatus, Dublin City Dashboard, District 2030, Civic Accelerator Programme

и многие другие. Исследование стоит внимательно прочтения, как минимум, из-за обилия живых примером.

Ссылки:
[1] https://drive.google.com/file/d/0B8BZxtR6WDBJcHYzallaZFNBRFU/view
[2] http://theodi.org/blog/improving-the-resilience-of-cities-using-open-data

#opendata #opengov #smartcity #cityresilence #urbandata
Компания Uber открыла проект Movement [1] в котором по запросу готова предоставлять данные о более чем 2 миллиардах поездках машин на Uber по всему миру. Подробнее о том как устроен их проект в ролике на Youtube [2] и, на русском языке, в заметке на Roem [3].

Резонный вопрос который может задать любой читатель этой новости в том зачем коммерческая компания будет предоставлять данные которые являются, в том числе, топливом на котором она строит свою бизнес модель. Ответ в том что для создания репутации и "торга" с властями городов по всему миру. Власти пытающиеся ограничить Uber получают в обратную сторону данные которых они так желают. Журналисты получают возможность ссылаться на Uber в своих data-расследованиях.

И да, конечно, Uber не единственный краудсорсинговый проект придерживающийся подобной политики. В основном его, конечно, реализуют общественные проекты такие как Wikipedia, OpenStreetMap, Dmoz и десятки других созданные некоммерческими организациями и общественными движениями. Но, также, подобная практика есть и у коммерческих компаний. Некоторые из них дают собственные данные, например, Google раздающий данные из своего Transparency report [4] или Citymapper призывающий власти публиковать больше открытых данных [5], [6].

Что можно сказать точно, так это то что крупные международные игроки куда больше вкладывают усилий в популяризацию работы, как со своими данными, так и в публикацию открытых данных властями, по сравнению с практически всем российским интернет-бизнесом. Не называя имен конкретных компаний, можно говорить о том что они лоббируют эксклюзивный доступ к госданным и не предоставляют их, ни пользователям, ни по запросу. В результате, рано или поздно окажется что единственный способ получить данные из некоторых российских компаний будет очень негуманным, лоббированием регулирования раскрытия ими информации через российских законодателей. Но этот способ борьбы с вампирами с помощью людоедов красивым никому не покажется.


Ссылки:
[1] https://movement.uber.com/cities
[2] https://www.youtube.com/watch?time_continue=5&v=bszvEIMVsIc
[3] https://roem.ru/09-01-2017/239968/uber-movment/
[4] https://www.google.com/transparencyreport/
[5] https://theodi.org/news/citymapper-government-open-data-improve-cities
[6] https://medium.com/citymapper/building-a-city-without-open-data-124356672deb

#opendata #opengov #citydata #uber #ubermovement
Специально для тех кто не знает как Uber Movement выглядит изнутри вот картинка
Британское статистическое бюро ONS (Office of National Statistics) разместило в своем блоге обзор их практики публикации открытых данных [1].

Это один из лучших подходов к этой теме у статистических ведомств, а сам сайт бюро [2] - это наглядный пример того как должен выглядеть сайт дата-ориентированного ведомства. Если сравнить с российским Росстатом [3] то разница в подходах почувствуется еще более остро.

Ключевое в доступности данных для анализа. Для всех баз и индикаторов публикуются, и Excel файлы, и машиночитаемые данные в CSV и других форматах (например, в формате SDMX).

Возможно именно по этой причине у Twitter'аккаунта ONS более 245 тысяч подписчиков [4], а у Росстата 354 читателя [5] и 2.5 тысячи подписчиков во Вконтакте [6].

Ссылки:
[1] https://blog.ons.digital/2017/01/06/some-open-data-publishing-principles/
[2] https://www.ons.gov.uk/
[3] http://www.gks.ru/
[4] https://twitter.com/ONS
[5] https://twitter.com/rosstatistika
[6] https://vk.com/rosstatistika

#opendata #opengov #statistics
TCData360 [1] - это новый проект Всемирного банка с 1800 индикаторами [2] из разных баз данных по внешней торговле, торговому балансу стран, инновациям, рейтингам и так далее.

По каждой стране есть ее профиль, например, вот страны постсоветского пространства:
- Россия - http://tcdata360.worldbank.org/countries/RUS
- Украина - http://tcdata360.worldbank.org/countries/UKR
- Казахстан - http://tcdata360.worldbank.org/countries/KAZ
- Беларусь - http://tcdata360.worldbank.org/countries/BLR

Данные из TCData360 доступны через API проекта [3], а визуализация данных в экспериментальном режиме есть по ссылке Visually Explore TCdata360 [4].

Этот портал не первый, и похоже, не последний портал данных Мирового банка. Напомню про другие их проекты с данными:
- Open Data Catalog - http://datacatalog.worldbank.org/
- DataBank - http://databank.worldbank.org/data/home.aspx
- Microdata Library - http://microdata.worldbank.org/
- World Development Indicators - http://wdi.worldbank.org/
- Open Finances - https://finances.worldbank.org/
- Projects and operations - http://www.worldbank.org/projects
- Open Data Toolkit - http://opendatatoolkit.worldbank.org/en/
- AidFlows - http://www.aidflows.org/
- Global Consumption Database - http://datatopics.worldbank.org/consumption/

Из всех международных структур Всемирный банк лидирует по раскрытию его баз данных. Возможно лишь ООН, как совокупность структур, вскоре приблизится к его масштабам раскрытия информации.

Ссылки:
[1] http://tcdata360.worldbank.org/
[2] http://tcdata360.worldbank.org/topics
[3] http://tcdata360.worldbank.org/tools
[4] https://alberto-sanchez-rodelgo.shinyapps.io/datascoper/

#opendata #opengov #data #worldbank
Появилась в открытом доступе запись моей лекции "От больших данных к большому брату" [1] в рамках лектория Новой Газеты.

Я рассказывал о том что большие данные давно используют для слежки за гражданами, но не стоит думать что государства лидируют в этой области. Корпорации куда больше мотивированы извлекать из нас знания (и деньги). Впрочем подробнее именно в этой лекции.

Ссылки:
[1] https://www.youtube.com/watch?v=lgqy_V8RCCM

#privacy #bigdata #paranoid #happyparanoid
John Tornhill из Financial Times написал заметку о том как дата-капиталисты наживаются на нашей приватности [1], однако немногие смогут прочитать ее за paywall'ом, поэтому стоит почитать ее пересказ [2] на сайте The GovLab.

Смысл статьи в том что данные настолько меняюи общество, сдвигают приоритеты в управлении что можно говорить о Dataism'е как его описывал израильский писатель Yuval Noah Harari [3], [4], [5] в книге Homo Deus которая окажется в продаже с 21 февраля 2017 года.

В том что данные все более управляют обществом уже давно нет новизны, но все еще и нет осознания рядовыми гражданами. Это довольно спорное утверждение что "скоро все все-равно будет прозрачным". У меня есть ровно противоположные предсказания, вплоть до появления сект людей противников сбора какой-либо информации о их жизни. Обязательно будут появляться места, дома, комнаты, изолированные от любого сбора информации. Точно также буду возникать и изолированные сети не подключенные ни к одной общей сети. Не как Tor, а вообще существующие изолированно физически.

Но это, конечно, будут капли в море общества которое начнет призывать к цифровому коммунизму. А борьба с data-капитализмом начнет приобретать не только экзотические национальные формы как в России, но и станет частью политической повестки множества стран.

Ссылки:
[1] https://www.ft.com/content/c0a6b882-d65d-11e6-944b-e7eb37a6aa8e
[2] http://thegovlab.org/data-capitalism-is-cashing-in-on-our-privacy%E2%80%89-%E2%80%89-%E2%80%89-%E2%80%89for-now/
[3] http://www.wired.co.uk/article/yuval-noah-harari-dataism
[4] https://www.ft.com/content/50bb4830-6a4c-11e6-ae5b-a7cc5dd5a28c
[5] http://www.dw.com/en/harari-on-homo-deus-immortality-dataism-and-health-the-infinite-market/a-19523293

#opendata #privacy #dataism #data