Stack Overflow опубликовал результаты ежегодного опроса разработчиков всего мира. Вопросы касаются как предпочтений в технологиях, так и образования, карьеры, профессиональных приоритетов, а также выбора музыки для прослушивания во время программирования.

Некоторые выводы:
- Самый быстрорастущий язык программирования среди разработчиков – Python.
- DevOps’ы и инженеры по надёжности сайтов являются самыми высокооплачиваемыми и довольными специалистами своей работой.
- 7,9% опрошенных являются дата-сайентистами, и еще 7,2% опрошенных идентифицируют себя дата-инженеры.
- Около 65% респондентов работают с программным обеспечением с открытым исходным кодом хотя бы раз в год.

Анонимизированные данные опросов будут опубликованы под лицензией Open Database License (ODbL).

Подробнее: https://insights.stackoverflow.com/survey/2019.

Human Rights Watch опубликовали подробный разбор приложения по массовой слежке китайского правительства за уйгурами [1] через специальное мобильное приложение. О нём же статья в Boing Boing с некоторыми подробностями и акцентами [2] на том что то что экспериментируется в Синцзяне против уйгур будет в дальнейшем применяться по всему Китаю.

Разбор интересен во многих аспектах. И в том что в нем глобально нет ничего нового, лишь подтверждение того что и так было известно, но есть много технических подробностей о тех триггерах на которых приложение срабатывает и о том как отслеживают жителей на специальных постах. Правильнее, конечно, говорить не о мобильном приложении, а о полноценноый сложной системе контроля за поведением огромного числа людей.

При этом, конечно, опасения что создатели аппаратных платформ и программных собирают гораздо больше информации чем даже это китайское приложение - вполне обоснованы. Apple, Google, Samsung, Xiaomi, Microsoft все кто делают как цельное решение от железа до начинки (Apple) так и в связке нескольких решений в одно - все они могут реализовать если не то же самое, то очень близкое. Это всё приводит к очень серьёзному вопросу о юрисдикции и самих компаний и, вопрос о котором нельзя забывать, юрисдикции их датацентров. Но это вопрос глобального противостояния спецслужб, глобальных корпораций и иных интересантов к персональным данным граждан. В основном через ретроспективный доступ, от инцидентов.

Китайский же пример важен именно цельностью внедрённой системы. Приложение + система уведомлений + система чекпоинтов + система централизованного мониторинга и ещё многое что остаётся за кадром.

Пример такого тотального контроля, безусловно страшен. Но реализуем только в ситуации сильной диктатуры. Можно ли перенести китайскую модель на другие страны? В те которые смогут выстроить жёсткую модель государственного насилия - безусловно. В те в которых это не получится - бессмысленно.

Но. Я хочу напомнить что то относительное изобилие в котором живёт человечество в последние десятилетия (пару столетий) может оказаться совсем не долговременным периодом истории человечества. В случае глобальных техногенных, антропогенных и иных катаклизмов способных перевернуть отношение общества к институциональному насилию - сценарий когда подобный подход будет реализовываться в ранее благополучных средах, совсем не иллюзорен.

Ссылки:
[1] https://www.hrw.org/report/2019/05/01/chinas-algorithms-repression/reverse-engineering-xinjiang-police-mass-surveillance
[2] https://boingboing.net/2019/05/07/terrorism-is-the-pretense.html

#privacy #surveillance

3-ю часть исследования про персональные данные из государственных информационных систем я не публиковал сам, а передал РБК. Почему? Вы поймёте это прочитав только что вышедшую статью https://www.rbc.ru/politics/15/05/2019/5cdac8469a79479a27bd4eca о том чьи паспортные данные оказались в открытом доступе. И не только паспортные данные.

В открытом доступе я на днях опубликую открытую часть, без методик воспроизведения.

После прошлой публикации мне "оборвали телефон" журналисты так что сразу ответы на несколько вопросов:
1. Всё это было передано журналистам через 8(!) месяцев после того как материалы передавались Роскомнадзору и они даже отвечали в форме "с чем-то мы согласны, с чем-то несогласны". Роскомнадзору это передавалось после того как значительно ранее часть госорганов я предупреждал что такая проблема в их информационных системах есть, не прореагировал _никто_.
2. По наиболее серьёзным утечкам перс-данных органы власти, операторы систем были предупреждены ещё 8 месяцев назад, а то и раньше. Некоторые по нескольку раз. Лично я понял что механизм предупреждения любыми неформальными способами - не работает.
3. В этот раз проблема не в объёме, а в том чьи данные раскрываются.
4. Особо про Минюст. Я скажу максимально вежливо - очень много вопросов по профессионализму тех кто ведёт их реестры. Утечки перс данных - это лишь один из примеров крайне низкого качества данных в целом.

И да, конечно же, это не все государственные информационные ресурсы на которых публикуют персональные данные. Это та их часть до которой у меня дошли руки полгода назад всё задокументировать.

Самый быстрый способ со мной связаться это почта ivan@begtin.tech или телеграм https://t.me/ibegtin
Я обычно, почти никогда не беру звонки с городских телефонов, и могу не взять звонок с неизвестного телефона если сижу на совещании. Поэтому лучше писать чем звонить.

Но в принципе в статье в РБК всё понятно изложено.

#privacy #security #personaldata

На прошедшем Дне открытых данных Юлия Духовнова рассказала о планах ФНС России по публикации в апреле открытых данных налоговой статистики в муниципальном разрезе.

В конце апреля реестр открытых данных ФНС России действительно был дополнен и теперь можно использовать данные о:

- налоговой базе и структуре начислений по налогу, уплачиваемому в связи с применением упрощенной системы налогообложения в разрезе муниципальных образований;
- налоговой базе и структуре начислений по единому сельскохозяйственному налогу в разрезе муниципальных образований;
- налоговой базе и структуре начислений по единому налогу на вмененный доход для отдельных видов деятельности в разрезе муниципальных образований.

Единственное, на мой взгляд, пока не хватает привязки муниципалитетов к регионам, указания наименований муниципалитетов в едином формате и в датасетах отдельных регионов не совсем корректна структура csv. Думаю, что в следующих версиях наборов эти недочеты будут устранены.

А вообще получается странная ситуация: региональных бюджетов на портале "Электронного бюджета" все еще нет (хотя должны были быть с 1 января 2018 года, а с 1 января 2020 года должны быть уже и муниципальные бюджеты, но будут ли?), а муниципальная налоговая статистика уже есть. 🙂

https://www.nalog.ru/opendata/

Репост из блога https://begtin.tech/pdleaks-p3-govsys/
Обещанная публичная часть исследования по утечкам персональных данных из государственных информационных систем. Об этом уже вышла статья в РБК [1]

Это исследование проводилось в августе 2018 года и охватывало 8 государственных информационных ресурсов:

Реестр субсидий федерального бюджета
Реестр отчётов некоммерческих организаций (Минюст России)
Обращения граждан на портале Онлайн Инспектор
База правовых решений на портале ФАС России
Портал торгов по госимуществу
Портал управления многоквартирными домами г. Москвы
Портал поставщиков г. Москвы
Портал государственного и муниципального заказа РФ (zakupki.gov.ru)

Его результаты были переданы в Роскомнадзор и ряду органов власти.
Документ исследования можно скачать по ссылке [2]

Из документа отчёта убраны все ссылки на конкретные примеры, кроме портала zakupki.gov.ru в части электронных подписей и тех примеров которые можно легко проверить через поисковые системы.

В общей сложности и по минимальной оценке - это источник персональных данных в виде не менее 360 тысяч записей.


А я ранее писал про утечки данных в 2.2 миллиона записей на электронных торговых площадках [3] и в чуть меньшем объёме из удостоверяющих центров [4].

Все вопросы по исследованию/расследованию можно направлять мне на ivan@begtin.tech

И, конечно, это далеко не все госсистемы в которых можно получить персональные данные без особых усилий.

Ссылки:
[1] https://www.rbc.ru/politics/15/05/2019/5cdac8469a79479a27bd4eca
[2] http://files.begtin.tech/f/f75964ea1fe94f2d8d61/?dl=1
[3] https://begtin.tech/pdleaks-p2-etp/
[4] https://begtin.tech/pdleaks-p1-uc/

#privacy #personaldata #data

Очень приятно, что ровно через год после упразднения Открытого правительства тема открытых данных не просто не забыта, а находится на повестке одного из ключевых федеральных органов. Будем надеяться, что Счетная Палата будет не только развивать свою открытость, но и мотивировать другие госорганы.

«Когда я говорю про анализ данных, то он должен сопровождаться и самими данными, которые должны формироваться качественно, сверяться, чтобы мы могли с ними работать. Мы готовы взять на себя миссию продвижения принципа открытых данных в стране», - заключил Председатель Счетной Палаты.

http://audit.gov.ru/press_center/news/36955

А я предупреждал насчёт Яндекс.Облака и вот, Shit happens. Яндекс удалил часть виртуальных машин в своем облаке

Мы многое говорим о том что нас ждёт если в России "наступит Китай" и о шансах отсутствия приватности. Рассмотрим примеры того что сейчас происходит в странах от Китая очень далёких политически и территориально:

- ZDNet пишет о том что в Нью Йорке для идентификации подозреваемого которого камера засняла в низком качестве картинки поняли что подозреваемый похож на Вуди Харрельсона и искали по фото знаменитости всех похожих [1]. Всё это в отчёте [2] Center on Privacy & Technology at Georgetown Law с рекомендациями серьёзных ограничений этой практики и распознавания по лицам в принципе.

- другая статья в ZDNet о том что компании соблюдают секретность в использовании искусственного интеллекта [3] и не раскрывают достаточный объём информации для общественности и инвесторов;

- в Великобритании полиция потребовала от жертвы насилия предоставить её телефон и разблокировать его чтобы они могли скачать всё его содержимое и проверить на достоверность утверждений [4]. Причём эти материалы могут быть переданы юристам стороны защиты обвиняемого(-ых);

- в 2018 году Privacy International публиковали отчёт о похожей практике когда полиция в Великобритании секретно скачивала всё содержание телефона [5] не только преступников и подозреваемых, но и свидетелей. Полиция делает это с помощью специального ПО XRY от MSAB [6] и им пользуется уже около 97% полицейских управлений;

- в Канаде пограничная полиция утверждает что имеет право на проверку телефонов даже без решения суда [7]. Они также используют продукцию от MSAB и Cellebrite [8] позволяющие получать доступ к содержимому телефонов даже без знания паролей и иных аутентификационных факторов. Аналогично и в Калифорнии полиция на границе утверждает что у них есть право на досмотр мобильных устройств [9]

Ссылки:
[1]
https://www.zdnet.com/article/report-slams-police-for-using-garbage-data-with-facial-recognition-tools/
[2] https://www.flawedfacedata.com
[3] https://www.zdnet.com/article/why-is-a-i-reporting-so-bad/
[4] https://www.independent.co.uk/news/uk/crime/rape-victims-phones-police-investigation-disclosure-forms-cps-a8888376.html
[5] https://privacyinternational.org/press-release/1700/new-report-reveals-uk-police-are-secretly-downloading-content-suspects-mobile
[6] https://www.msab.com/products/xry/
[7] https://www.cbc.ca/news/business/cbsa-boarder-security-search-phone-travellers-openmedia-1.5119017
[8] https://www.cellebrite.com/en/home/
[9] https://www.techdirt.com/articles/20190331/18014441916/7th-circuit-punts-border-smartphone-searches-says-riley-decision-doesnt-affect-anything.shtml

#privacy

С прошлой пятницы я и ряд моих коллег - это Оля Пархимович (автор канала @ahminfin) и многие кто менее публичен начинаем работу над проектами внутри Счетной палаты Российской Федерации.

Это не только продолжение того что все эти годы мы делали в виде проектов таких как ГосЗатраты, но и многое другое связанное с открытыми данными.

Для меня это было непростым решением, многие годы работы в некоммерческом секторе с большой степенью свободы позволили сделать многие проекты в области открытости и понятности всей нашей командой. Но Алексей Кудрин (глава СП РФ) и Мария Шклярук из ЦПУР умеют убеждать и, действительно, многие из проектов по открытости так и просятся к практике работы в аудите и надзоре.

Моя новая работа не позволяет мне совмещать её с коммерческой деятельностью которую я уже свернул, но позволяет учить и управлять некоммерческими организациями. Поэтому я остаюсь и в Информационной культуре (@infoculture) и в Ассоциация участников рынка данных (@AURData).

И этот канал тоже останется.

#opendata #opengov

Эхо публикаций про персональные данные летит всё дальше. Вот и депутаты подтянулись [1]. Понимают ли они что это лишь верхушка айсберга?

Ссылки:
[1] http://duma.gov.ru/news/45016/

Михаил Петров (глава департамента цифровой трансформации в Счетной палате) написал в Republic статью [1] о Huawei и текущую ситуацию с этим китайским конгломератом. Статья хорошая, взвешенная и с продуманными выводами о том что развитие отечественной электроники и производителей - это не про прибыль и экономическую эффективность, а про купирование рисков.

Но я хочу сказать не об этом. Противостояние Huawei vs. Правительство США - это про технологии, включая технологии слежки. Huawei если не единственная, то крупнейшая компания находящаяся на территории за пределами альянса Five Eyes [2] имеющая серьёзный масштаб внедрения их устройств. Атака на Huawei - это подавление конкурента, а не компании в стране под санкциями или компаниями под санкциями. Но конкурента в слежке.

Поэтому да, что в России, что в других странах это вопрос зависимости, в том числе зависимости от того кто за Вами следит - Китай или альянс демократических спецслужб.

Но я не разделяю пиетета по поводу жертвенности России или любой другой страны в этой ситуации. Будем честными, будь наша экономика сильной, а Россия значимым игроком геополитики со своими вендорами, чипами и тд., она бы делала то же самое что и Китай и США - поддерживала бы своих производителей для слежки за всем миром. В "большой игре" правила именно таковы.

Вечный вопрос - что делать маленькому человеку в этом уже не новом мире где цифровой тоталитаризм гораздо ближе цифрового рая?

Ссылки:
[1] https://republic.ru/posts/93768
[2] https://en.wikipedia.org/wiki/Five_Eyes

#privacy #surveillance

Что делать с порталом открытых данных data.gov.ru? Он должен был быть центральным местом публикации открытых данных страны, но выполняет ли он эти функции сейчас?
anonymous poll

Полностью переделать, сделать акцент на ключевых данных, API и внедрить контроль качества и контроль публикации – 104
👍👍👍👍👍👍👍 56%

Полностью переделать и тд. + вести его должно не Минэкономразвития – 62
👍👍👍👍 33%

Ничего не делать, пусть помрёт никому ненужная система – 11
👍 6%

Надо сделать минимальные правки и снова следить за тем чтобы публиковали данные – 6
▫️ 3%

Ничего не делать, хорошо работает – 3
▫️ 2%

👥 186 people voted so far.

Хорошая новость в том что по итогам публикаций я иду на рабочую группу по перс. данным в Госдуму.

Хорошая относительно нулевой реакции Минсвязи и отрицательной реакции Роскомнадзора.

Плохая новость в том что выбор экспертов по критерию "медийности" не лучшая идея. Я вот себя экспертом именно по перс данным никогда не позиционировал, так что же я им стал оказавшись "в телевизоре" и на первых полосах газет? Это, конечно, смешно и работает наоборот. Больше пиара - меньше компетенций.

Тем временем Минюст вылечил наиболее чувствительную утечку паспортных данных, но все PDF файлы с отчётами НКО с персданными доступны по прежнему.

А я напомню что в следующих публикациях про утечки персональных данных из информационных систем я за 8 месяцев Роскомнадзор предупреждать не буду. Не работает этот механизм.

#privacy #personaldata

Давайте будем честными, если бы Минэкономразвития и Росреестр, всерьёз хотели бы бороться с источниками "недостоверной информации" из ЕГРН, то они бы запрещали не публикацию данных, а защищали бы права потребителей этой информации и устанавливали бы ответственность только именно за факты _недостоверности_, а не факты _публикации данных_.

Последний их законопроект с поправками в кодекс
административных нарушений [1], о котором пишут Ведомости [2]

Истории про "спекулятивный рынок" - это, извините, но про уничтожение рынка. Никто не будет делать бизнес на открытых данных и данных государства, когда ключевые владельцы данных гос-ва ведут себя так что рынок разрушают. Данные Росреестра нужны:
- гражданам - во всех сделках с недвижимостью
- риэлторам, нотариусам - в повседневной работе
- местным и региональным властям в стратегическом планировании
- строителям, проектировщикам и многим другим.

Это одни из тех данных доступность которых нормальна и важна для естественной работы слишком большого числа участников экономических отношений.

Они, в принципе, должны быть открыты настолько насколько возможно, а тарифы на предоставление финальных выписок должны быть эффективными, а не запретительными. Передача выписки из ЕГРН третьим лицам - это, также, часть работы с ними, они подтверждают владение имущества как раз перед третьими лицами.

А вот борьба общественными расследователями законодательным образом бессмысленна. Она лишь приведёт к ещё большему перетоку публикаций компромата и расследований в анонимные источники вроде телеграм каналов.

Ссылки:
[1] https://regulation.gov.ru/projects#npa=88067
[2] https://www.vedomosti.ru/newspaper/articles/2019/05/28/802602-minekonomrazvitiya-zapretit

#data

28 мая в Великобритании опубликовали новый план действий по открытости государтсва с 2019 по 2021 годы [1]

План подробный, с конкретными обещаниями из которых ключевые:

- Grants data
- Public participation
- Open policy making
- Open contracting data
- Natural resource transparency
- Innovation in democracy programme
- Effective knowledge sharing for sustainable OG policies and practises across public services in the UK
- Local transparency

Обо всём можно написать подробно, и про открытости данных по госконтрактам и про данные грантов, но я хочу обратить внимание на Open Policy Making. Самый сложный аспект открытости государства - это законотворчество. Когда-то Россия была одним из лидеров в этой теме. Проекты вроде zakon.government.ru (сейчас отключён) давали платформу для народной экспертизы.

Сейчас же стоит следить за этой инициативой в UK, в блоге Open Policy [2].

Напомнию что похожие инициативы по цифровому нормотворчеству есть в:
- Новой Зеландии [3]
- Австралии [4] (на базе OpenFisca)

А также частные:
- Digital Legislation [5]
- Vizlegal [6]
- Case.Law [7]

И обязательно про австралийский опыт в видео гайде, там в том числе с оценками сложности законодательства [8]

Ссылки:
[1] https://www.gov.uk/government/publications/uk-national-action-plan-for-open-government-2019-2021
[2] https://openpolicy.blog.gov.uk/
[3] https://www.digital.govt.nz/dmsdocument/95-better-rules-for-government-discovery-report/html
[4] https://www.digital.nsw.gov.au/digital-transformation/the-policy-lab
[5] https://digital-legislation.net/
[6] https://www.vizlegal.com/
[7] https://case.law/
[8] https://www.youtube.com/watch?v=OV1fioszg0M

#opengov #opendata

Я могу долго говорить про НСУД, но обращаю внимание на ключевое - открытых данных там нет.

Доклад Константина Носкова на заседании Правительства
http://government.ru/dep_news/36845/

О формировании национальной системы управления данными.

О инновациях в правоохранительной системе и современных технологиях у меня есть очень красивый и яркий пример в лице онлайн ресурсов МВД.

Для тех кто, возможно, не знает. У МВД России на специальной странице на сайте [1] есть сервис приёма сообщений. С виду удобная форма, а на практике в ней полностью не работает вставка текста, а по разговорам с несколькими людьми которые пытались через него оформить обращения - там и при редактировании текст не сохраняется и с обновлением страницы он теряется. Если он потерялся то можно только вбить его заново, скопировать откуда-либо нельзя.

Какие всё таки изобретательные люди в МВД РФ. Я бы, честно, никогда о таком бы не додумался

Ссылки:
[1] https://xn--b1aew.xn--p1ai/request_main

#мвд

Я обещал написать свои мысли про Национальную систему управления данными и пишу сейчас. Я считаю безусловно важным проводить работу по систематизации и анализу государственных информационных систем, и работа в этом направлении безусловно важна однако есть нюансы и вопросы без ответа, о которых не говорить нельзя.

1. Полная потеря открытых данных в повестке Минцифраза, большинства органов власти и председателя правительства лично. НСУД не решает проблем граждан и бизнеса с доступностью данных.

2. Единственная реальная область применения НСУД - это цифровой профиль. Фактически НСУД превращается в бэкэнд для цифрового профиля и превращается из концепции в государственную информационную систему.

3. НСУД системно не решает проблемы качества данных поскольку НСУД сейчас сводят не в набор правил и контроль за ними, а в агрегатор данных.

4. Разработчики НСУДа так и не представили системного видения будут ли там хранить персональные данные из других систем или же они там будут "только обрабатываться".

5. Бизнес так и не получил подтверждения что не будет принуждения к сдаче корп. данных в НСУД.

6. Граждане так и не получили подтверждения об этичном использовании их данных в НСУД. Даже на уровне этических деклараций.

7. Принятая концепция НСУД всё ещё остаётся очень сырой, во многом навязанной органам власти, с неразрешёнными рисками и проблемами.

8. Причины по которым ответственные силовые органы не выступили резко против НСУДа мне непонятны. Консолидация персональных данных в таком масштабе в цифровых профилях делает эту систему более критичной чем многие из тех где хранятся сведения по гостайне.

9. В НСУД полностью проигнорирована позиция региональных властей. По факту с представителями субъектов федерации не проводилось содержательного обсуждения НСУДа.

10. Разработка НСУД велась и ведётся Аналитическим центром при Правительстве. Структуре переведённой Пр-вом в статус АНО и вышедшей из под законов 44-ФЗ и 223-ФЗ о госзакупках и корп закупках, неконкурентным образом напрямую просубсидированное из федерального бюджета.

11. В текущей форме очень скоро НСУД окажется самым слабым звеном в нац. проекте цифровая экономика. Если умозрительно предположить что ответственные за нее сменятся через год или два, то старую команду будут 'прессовать' именно за НСУД. Вопрос - зачем так подставляться?

При этом я лично, повторюсь, считаю идеологически правильным
наличие сильной госполитики в регулировании госданных, но вижу это как стратегию и свод правил, а не как ИТ систему.

Иван Бегтин

О необходимости архивации данных и о том почему когда-то в Информационной культуре мы начали Национальный цифровой архив России (ruarxive.org).

На сайте Правительства более не публикуются сведения о государственных программах. Они всё ещё находятся через поисковики запросом: "site:government.ru/programs", но на странице "Госпрограммы" [1] их более нет, а ссылки с поисковиков теперь выдают ошибку 404. Ранее там были ссылки которые вели на новости по каждой из госпрограмм и подробности их реализации. Специальный портал госпрограмм [2] этих сведений не содержит, также как и остальные онлайн ресурсы.

Материалы о госпрограммах не были перемещены, заархивированы, перенесены на другой ресурс. Они были именно сняты с сайта правительства. Поэтому, даже не смотря на то что в целом Правительство является одной из немногих государственных структур которая официально [предполагается что] хранит архивные версии сайтов правительств прошлых составов [3] c 2008 года, тем не менее в рамках работы одного правительства материалы могу исчезать безвозвратно.

Ситуация усугубляется тем что, на самом деле, официальные архивы сайта Правительства также не дают гарантии сохранности материалов. Например, Архив сайта Правительства России 07.05.2008-07.05.2012 (archive.government.ru) [4] более недоступен и не открывается, архив сайта Правительства за 2012-2018 годы просто отсутствует, а сайты до 2008 года просто нигде не найти кроме как восстанавливая из общедоступных открытых сервисов Archive.org и CommonCrawl.

Гораздо хуже происходит с сайтами органов власти которые подвергаются реорганизации, таких как Минобрнауки РФ до его разделения. Их сайт минобрнауки.рф [5] более недоступен, материалы с него перенесены не все, его архивацию никто не проводил.

Отсутствие целевой госполитики в сохранении хотя бы официальных, государственных цифровых документов и материалов приводит к тому что каждая реорганизация органа власти всегда приводит к существенным потерям данных, знаний и информации. Исправить это можно только путём обязательного сохранения в цифровых архивах всех материалов являющихся результатом деятельности органов власти.

Ссылки:
[1] http://government.ru/programs/
[2] http://programs.gov.ru
[3] http://government.ru/archive/
[4] http://archive.government.ru/
[5] http://xn--80abucjiibhv9a.xn--p1ai/

#opengov #opendata #digitalpreservation #archives