В Glowing Flow короткий и полезный текст про управление метаданными [1], конечно, с акцентом на корпоративные системы управления метаданными, но ими не ограничиваясь.

Полезно для понимания того как рынок корпоративных данных будет структурироваться в ближайшее время. Каждый блок - это кусок функций единой системы или отдельный, но интегрированный продукт.

Ссылки:
[1] https://gradientflow.com/the-growing-importance-of-metadata-management-systems/

Для тех кто изучает то как государство раздает деньги, новый полезный набор данных "Данные грантовых конкурсов Ростуризма" [1] собран с сайта грантов Ростуризма [2] и охватывает всех получателей и заявителей на гранты.

Нам этот набор был интересен, в первую очередь, с точки зрения его подключения к проектам Открытые НКО [3], Госзатраты [4] и Госрасходы [5], но уверен что многие найдут ему разные другие способы применения.

Данные в формате CSV, описание полей и структуры файлов есть в описании набора, поскольку текст описания многострочен, то файл надо правильно открывать, впрочем Excel, OpenOffice и все программные пакеты обработки CSV это умеют.

Данные будут полезны журналистам исследователям, всем изучающим деятельность Ростуризма и распределение госфинансирования.

Отдельно обращу внимание что, с одной стороны, Ростуризм начал значительно лучше публиковать данные, создали специальный портал opendata.tourism.gov.ru [6] и даже кое-что полезное там публикуют, а вот этих данных там нет и на самом сайте системы публикации грантов тоже нет.

Но у нас есть и никогда не жалко поделиться.

Ссылки:
[1] https://ngodata.ru/dataset/grant-contests-rosturizm
[2] https://1619.tourism.gov.ru/
[3] http://openngo.ru
[4] http://clearspending.ru
[5] http://spending.gov.ru
[6] http://opendata.tourism.gov.ru

#opendata #data #tourism #grants

Тем кто ищет большие данные со множеством взаимосвязей и пригодных для углублённого анализа, набор данных графовой базы Software Heritage [1] - это несколько терабайт данных о исходном коде архивируемом в этом проекте. Включает данные о релизах, файлах исходного кода, авторах, каждой строке, изменениях в коде и так далее, для это есть описание схемы [2] и инструкций по развертыванию этой базы у себя.

Software Heritage [3] - это французский проект в INRIA по созданию универсального хранилища всего исходного кода человечества. У проекта довольно сильный акцент на научном использовании, авторы регулярно пишут научные статьи о сохранении исходного кода, а также есть фокус на сохранение исходного кода создаваемого в рамках научное работы. Поэтому, например, сохраняются исходные коды из системы открытых научных архивов Франции HAL [4] и многое другое.

А сам проект поддерживается Microsoft, Huawei, Intel, Societe Generale и ещё рядом крупных компаний и академических структур.

Ссылки:
[1] https://docs.softwareheritage.org/devel/swh-dataset/graph/index.html
[2] https://docs.softwareheritage.org/devel/swh-dataset/graph/schema.html#
[3] https://softwareheritage.org
[4] https://hal.archives-ouvertes.fr/

#opendata #opensource #opengov

Алексей Лукацкий довольно сдержанно пишет о довольно важной проблеме, российское регулирование отстаёт даже у, казалось бы, неглупых людей в Минцифре РФ. При всей той критике что я в их адрес могу адресовать, я, всё же, несмотря ни на что и вопреки всему, считаю что это тот редкий случай когда люди понимающие в ИТ там есть. Но современное ИТ - это не набор готового ПО на которое у его разработчиков есть все права. Это сложный механизм управления зависимостями (dependency management), отдельная и большая индустрия software and application intelligence и так далее.

Если какой-то продукт сделан без внешних, особенно опенсорсных компонентов, то это или, извините, или "вещь в себе" (например, управление навигацией истребителя или атомной подводной лодкой), или "уникальное произведение искусства" (крайне редкое, всё таки Леонардо да Винчи и другие полиматы это редкость), либо и чаще "кусок устаревшего говна" (устаревшее, неинтегрируемое, никому не нужное ПО).

Да, регулирование зависимостей это куда более сложная задача чем "всё запретить", это требует гораздо более серьёзного разговора с владельцами ИТ продуктов, переговоров с их разработчиками, наличия экспертных центров и тд. и тп. В принципе, системной политики в части разработки ПО, но даже её, даже очень осмысленную, многие разработчики софта проклянут последними словами потому что всё это время все эти зависимости были предметом коммерческой и технической целесообразности.

#opensource #software

Минцирк хочет обязать иметь исходники всего ПО на территории России, если хочешь попасть в реестр отечественного ПО (а также иметь права на все ПО, включая компоненты и библиотеки, включая право на модификацию) - https://t.co/BtdqLXbvz3
— Alexey Lukatsky (@alukatsky) February 11, 2021

Для тех кто задается вопросами о том в чём риски встраиваемых трекеров, большое исследование от цифровой лаборатории ExpressVPN по трекерам использовавших SDK X-Mode [1]

Исследование выявило использование этого трекера в 450 приложениях скачанных совокупно 1.7 миллиардов раз.
Именно с его помощью правительство США следило (а может и следит сейчас) за мусульманскими общинами.

Это сейчас один из главных вызовов для рынка AdTech. Он вырос настолько и создал столь эффективные инструменты коммерческой слежки что уже нельзя говорить о том что "пусть о нас собирают данные, они ведь просто хотят наши деньги". Проблема в том что государства в данном случае могут выступать не только как "этичные регуляторы", но и как неэтичные потребители собираемых данных слежки за собственными гражданами и гражданами других стран.

Ссылки:
[1] https://www.expressvpn.com/digital-security-lab/investigation-xoth

#privacy #xmode #mobile #adtech

Продолжая рефлексию на реакцию на наш доклад о приватности госприложений [1], меня больше всего удивило что нас за него никто не критиковал, потому что поводов для критики хватает и, я не скрою, изначальная задумка у нас была и, в какой-то степени, остаётся больше чем то что было опубликовано. Я обращу внимание на то что за кадром, но то что остаётся важным.

1. Совершенно точно исследование покрывает далеко не все госприложения. Искать их не так просто, либо по сайтам госорганов, либо в Google Play, но в том же Google Play поиск по разработчикам работает не всегда. Например. Поиск не работает по СПБ ГУП "СПБ ИАЦ" [2] вот из этого приложения "Наш Санкт-Петербург" [3], а московский ГКУ Информационный город [4] находит легко. Поэтому, конечно, исследование охватывает далеко не все госприложения и многие новые появятся в этом году.
2. Это исследование включает только/ самый базовый анализ. Того что можно гарантированно подтвердить по наличию кода SDK трекера в приложении. А есть многое что касается передачи данных на сервера разных контрагентов для чего нет SDK или SDK не используется. Самый простой пример - это карты и геокодеры. Например, в Стопкоронавирус.РФ [5] есть вшитый код и библиотек кода Яндекс.Карт, но базово как трекер статическим анализом они не выявляются, потому что формально трекером они не считаются (не находятся в базах Exodus Privacy), но данные туда передаются.
3. Чтобы не говорилось про госприложения в них многократно меньше трекеров чем в топ 100 самых популярных андроид приложений в России. Есть популярные мобильные приложения в которых вшито до 20 трекеров, при том что в госприложениях их 1-3, очень редко больше. Но мы специально не стали давать такого сравнения потому что есть такие важные факторы:
- нормативные органичения у госорганов из-за требований к КИИ и законе о персональных данных;
- в отличие от всех остальных приложений, госприложения монопольны, а некоторые будут предустанавливаться.
- рынок adtech хотя многим и не нравится (и мне тоже не очень то, если честно), но часто российское госрегулирование хуже даже плохих рыночных практик.
4. Создатели госприложений начали играть в обсуфскацию кода. Это когда наименование компонентов программы и тексты классов Java в приложении заменяются и преобразуются так чтобы восстановить исходный код было бы сложнее. Например, всё то же приложение Стопкоронавирус.РФ сделано с обфускацией кода. Учитывая что там нет какой-то сверхзначимой интеллектуальной собственности которую надо защищать и наоборот этот код надо бы раскрывать, то выглядит это подозрительно и как-будто целенаправлено для ограничения декомпиляции приложения общественными исследователями.
5. Почему нет анализа того какой трафик передаётся от приложений? Есть три причины:
а) Это трудоёмкая задача, требующая построения тестового стенда, даже если и виртуального, и довольно много времени на каждое приложение. Автоматическое тестирование приложений даёт только малую часть картины и тут требуется ручная проверка от нескольких дней до пары недель.
б) Многие госприложения работают только после авторизации на госуслугах, что также ограничивает тестирование их функций. Кроме того получается что тот кто тестирует приложения должен быть
в) В отличие от статического анализа, выявления факта передачи данных даёт возможность говорить о фактах передачи данных в третьим лицам и трансграничную передачу данных. Статический анализ говорит что "эй ребята мы тут нашли всякое в вашем приложении что потенциально может вредить пользователям" и даёт возможность разработчикам скорректировать приложение. А выявление факта передачи говорит уже "эй ребята, мы тут нашли что вы сливаете данные куда не надо, вами могут заинтересоваться правоохранители".

Ссылки:
[1] https://privacygosmobapps.infoculture.ru/
[2] https://play.google.com/store/apps/developer?id=%D0%A1%D0%9F%D0%91+%D0%93%D0%A3%D0%9F+%22%D0%A1%D0%9F%D0%91+%D0%98%D0%90%D0%A6%22
[3] https://play.google.com/store/apps/details?id=ru.spb.iac.ourspb
[4] https://play.google.com/store/apps/developer?id=%D0%98%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B9+%D0%B3%D0%BE%D1%80%D0%BE%D0%B4+%D0%93%D0%9A%D0%A3
[5] https://play.google.com/store/apps/details?id=com.minsvyaz.gosuslugi.stopcorona

#privacy #mobile

Вышел свежий доклад The State of Open Humanitarian Data 2021 [1] от Центра гуманитарных данных при UN OCHA (Управление по координации гуманитарных вопросов ООН) о доступности данных о гуманитарных проблемах в развивающихся странах.

Я регулярно пишу про их проект data.humdata.org как один из лучших порталов открытых данных существующих по модели data for good. Данные они получают не только от структур ООН, но много добровольных пожертвований от крупного бизнеса.

Ссылки:
[1] https://centre.humdata.org/the-state-of-open-humanitarian-data-2021/

#opendata #data #un #humdata

Для тех кто ищет открытые данные, продолжаю регулярную публикацию полезных наборов данных.

База всех участковых России [1] собрана из открытого, но недокументированного API МВД РФ, включает сведения о более чем 47 тысячах участковых и 2 гигабайта с их фотографиями с сайта МВД России.

Данные включают сведения о:
- ФИО
- должности
- местонахождению
- координатах
- времени работы

Когда-то этот набор данных мы собирали в рамках проекта "Открытая полиция", теперь публикуем на портале "Данные НКО'. Его можно использовать в самых разных задачах, от гендерных исследований (сколько женщин работает участковыми), ведомственных (сколько участковых имеют должность полковника полиции?), социальных - сделать мобильные приложения для своего субъекта/задач и так далее.

Ссылки:
[1] https://ngodata.ru/dataset/mvd-districts

#opendata #police

В Bloomberg воскресили историю 2018 года о том что сервера с продуктами SuperMicro содержали инструменты для слежки в пользу Китая [1], на сей раз речь идёт о серверах которые использовались Минобороны США в несекретных сетях. И тут важно вспомнить что в прошлый раз когда эта тема всплывала, её отрицали все - АНБ, Apple, сама компания SuperMicro и тд. [2]. Интересный вопрос возникает, они тогда отчаянно врали, и если да то почему?

Ссылки:
[1] https://www.bloomberg.com/features/2021-supermicro/
[2] https://9to5mac.com/2021/02/12/super-micro-spy-chip-story/

#spying #china #us #supermicro

1-3 марта состоится 52 сессия статкомитета ООН. Она пройдет виртуально и выступления на ней можно будет увидеть онлайн [1], до неё будет несколько дополнительных мероприятий, 17-го и 24-го февраля:
- 17 February 2021 - Second Global Chat on the 52nd session of the Statistical Commission
- 24 February 2021 - High-level event: The COVID-19 pandemic: How the data and statistical community stepped up to the new challenges

Увидеть которые можно там же на сайте UNStat

Ссылки:
[1] https://unstats.un.org/unsd/statcom/52nd-session/

#un #unstats #statistics

Свежая книга Public Policy Analytics: Code & Context for Data Science in Government [1] за авторством Ken Steif о том как необходимо использовать науку о данных (data science) как часть планирования при принятии решений.

В книге есть явный акцент на геоданные и транспорт и много очень практических примеров моделирования. И, конечно, с данными привязанными к примерам в книге [2]

Ссылки:
[1] https://urbanspatial.github.io/PublicPolicyAnalytics/
[2] https://github.com/urbanSpatial/Public-Policy-Analytics-Landing

#opendata #policymaking #data

Границы между корпоративной ответственностью и геополитикой стремительно размываются (с). Дискуссионный документ Chattam House посвящённый корпоративной защите гражданских свобод/гражданского сектора (разные перевод термина civic space) [1]. В том числе и с упоминанием технологических компаний и, конечно же, всё это на фоне COVID-19 и разговоров про социальную ответственность корпораций в "новом мире".

С моей личной точки зрения позиция тема обсуждения спорная, но, в виду источника дискуссий и то что это не первое обсуждение на эту тему, она явно получит продолжение.

Ссылки:
[1] https://www.chathamhouse.org/sites/default/files/2021-01/2021-01-29-private-sector-protecting-civic-space-freeman-et-al.pdf.pdf

#tech #policy #corporates

Новый проект Tracing the tracers [1] от Algorithmwatch посвящён мониторинг автоматизированных систем на время пандемии COVID-19.

Объекты мониторинга:
- приложения отслеживания контактов и уведомлений о контактах;
- носимые, биометрические и иные устройства и технологии для мер социального дистанцирования;
- паспорта вакцинации;
- приложения с ИИ для проверки симптомов, предсказания риска заражения или отслеживания безопасности вакцин;
- интеллектуальный анализ агрегированных данных о передвижении;
- QR коды для отслеживания контактов и применения мер поддержания общественного здоровья;
- автоматизированные системы слежки в специальных контекстах (рабочие места, образование и тд.)

Результаты по форме подачи будут похожи на доклад ADM Systems in the COVID-19 Pandemic: A European Perspective [2] и, ожидаемо, будут охватывать только европейские страны.

Параллельно с января идёт проект Vaccine passports and COVID status apps [3] в институте Ады Лавлейс (Ada Lovelace Institute) в Великобритании. Он идёт в виде экспертных панелей обсуждения практических и этических вопросов мониторинга во время COVID-19. А также множество других инициатив, смысл которых в ревизии мер предпринятых в 2020 году по сбору персональных данных и созданию систем автоматизации принятия решений.

Ссылки:
[1] https://algorithmwatch.org/en/project-launch-tracing-the-tracers-adm-covid/
[2] https://algorithmwatch.org/en/project/automating-society-2020-covid19/
[3] https://www.adalovelaceinstitute.org/project/vaccine-passports-covid-status-apps/

#ai #policy #covid19 #research #adm

Германское правительство расширяет требования по обязательной открытости данных госорганов и госструктур. 10 февраля принят акт [1] который расширяет регулирование 2017 года и включает требования по публикации открытых данных организациям "indirect administration", не являющихся министерствами. Например, это разного рода институты, корпорации и фонды и иные структуры, за исключением малых организаций.

Для этого будут наняты координаторы открытых данных, но они будут обязательны только для организаций с административным аппаратом более 50 человек (таких организаций не так много).

Ссылки:
[1] https://www.euractiv.com/section/digital/news/german-government-will-make-more-data-publicly-available-with-new-law/

#opendata #germany #policy

Знаете ли вы, что в середине декабря Росмолодежь провела онлайн Хакатон идей? Этот хакатон, оплаченный из бюджетных средств, стоил нам, гражданам, 16 млн руб.

Заявки на хакатон принимались с 16 ноября. Контракт заключили 23 ноября со сроком исполнения до конца 2020 года. Результатов хакатона на сайте хакатона нет, официальный пресс-релиз Росмолодежи с результатами также не нашла. Никакой информации о менторах, жюри, участниках, победителях и количестве победителей нет.

Один из победителей (Академия МЧС) на своем сайте пишет, что на хакатон поступило 1500 заявок.

"Опубликованное" на сайте видео с трансляцией трех дней хакатона недоступно. В сообществе ВК 269 участников, с 11 декабря (даты начала хакатона) публикаций в сообществе не было. В FB - 6 участников, с конца ноября публикаций не было.

Телефон "горячей линии" хакатона молчит, телефон Росмолодежи также не отвечает.

Интересно, что значимость "цены контракта" в закупке составляла 60%. Победитель в своей заявке снизил стоимость работ на 1,5 млн руб., а в день начала проведения хакатона было подписано доп. соглашение, увеличивающее стоимость контракта на 1,4 млн руб. (10% - максимально допустимое увеличение суммы контракта доп. соглашением).

Дата доп. соглашения (11.12) в скане написана карандашом, а размещено в системе ЕИС доп. соглашение только после завершения хакатона (15.12).

Еще интересно, что в контракте отсутствует смета/стоимость работ. То есть невозможно определить, сколько из 15,9 млн руб. составляет оплата работ поставщика, а сколько - призовой фонд хакатона.

Ознакомиться с контрактом можно тут: https://zakupki.gov.ru/epz/contract/contractCard/common-info.html?reestrNumber=1770367235120000062

В NewYorker статья "Who Should Stop Unethical A.I.?" [1] о нарастающей тревоге учёных за результаты разработки искусственного интеллекта. Чем лучше идут исследования, чем совершеннее становятся системы автоматического принятия решения, тем больше опасений. Многие начинают избегать направления исследований которые потенциально могут привести к появлению оружия нового поколения.

Там же отсылки про саморегулирование научного сообщества, как это было с исследованиями плутония в 1941 году, когда учёные сознательно, придерживали их до конца войны или с исследованиями связанными с возможностью создания биооружия. Главные риски в том что почти все исследования в области ИИ имеют двойное назначение.

Сейчас Вы разрабатываете автономных дронов для доставки грузов вместо курьеров, а через несколько лет они могут разрушать инфраструктуру противника в гибридных войнах. Сейчас Вы проектируете системы распознавания лиц, поведения и угроз для выявления преступников, а через несколько лет они могут использоваться диктатурами для подавления протестов населения и ужесточения контроля за гражданами. И так далее, это длинный список всех рисков и последствий.

И, действительно, в случае ИИ до сих пор нет "своей Хиросимы", большого знакового события-катастрофы с участием ИИ или автоматической системы принятия решения способного напугать человечество.
Если оно произойдёт то мы получим мощнейший всплеск нео-луддизма с тотальным ограничением всех ИИ исследований по всему миру.

Ссылки:
[1] https://www.newyorker.com/tech/annals-of-technology/who-should-stop-unethical-ai

#ai #ethics