Мы опубликовали запись вебинара «Как организовать веб-архив и архив социальных сетей. Стандарты, инструменты и продукты» на нашем ютуб-канале.

Иван Бегтин, директор АНО «Инфокультура», рассказал:
🔹 Что такое цифровая архивация и какие международные и российские проекты существуют в этой сфере
🔹 Как организовать веб-архив
🔹 Как устроены современные веб-архивы
🔹Каковы основные веб-стратегии, стандарты и инструменты архивации
🔹Как сохранять социальные сети

🔜 Мы обязательно продолжим вебинары по этой тематике. Следите за нашими анонсами!

Росводресурсы открыли прототип системы "Водные данные" [1] о чем публикация на сайте Минприроды РФ [2].

Сам ресурс содержит сведения о:
- Водохозяйственных участках
- Водных объектах
- Водопользовании
- ГМВО (Государственном мониторинге водных объектов)

Кроме того доступны API для получения данных по формам ГВР [3], а данные в форме открытых данных доступны как CSV файлы и с цифровой подписью.

Если кратко резюмировать, то по форме представления данных всё выглядит довольно прилично.

А если немного углубиться в детали, то есть на что обратить внимание:
1. Нет такого понятия как ЭЦП в российском законодательстве уже давно, есть электронная подпись (ЭП) и она точно реализуется иначе и должна быть проверяема, например, через сервис на портале госуслуг. Сейчас эта проверка не проходит.
2. Хотя на сайте есть паспорта набора данных там нет ничего про метаданные. То есть паспорта сделаны не по метод рекомендациям опубликованным на data.gov.ru которые, хотя и весьма и весьма неидеальны, но даже их не соблюдают.
3. В том числе отсутствуют метаднные по структуре полей наборов данных. Иначе говоря данные есть, документации к ним нет.
4. Документация к API есть, но почему-то, не в формате Swagger, а просто HTML описанием без примеров.
5. Наборы данных опубликованы все через ajax, как следствие ни у одного набора данных нет отдельной веб страницы, они не будут находиться поисковыми системами.

Это было про форму публикации данных, а теперь про их качество и полноту:
- не все наборы данных опубликованы, по некоторым открываются пустые файлы. Например, набор данных " Данные о состоянии гидротехнических сооружений, находящихся в собственности" в разделе ГВМО пустой (обратите внимание что я не могу дать ссылку на сам набор потому что сайт так сделан)
- данные смешаны и в одном поле публикуется то что должно быть разделено на несколько полей для удобного поиска. Например, в данных по форме ГВР 2-6 есть поле owner_person, которое совсем не про владельца физ. лица, а про сведения о любом владельце и содержат наименование организации или физ. лица, адрес местонахождения и ИНН. Все вместе, хотя в большинстве реестров эти данные разделяют на 3 поля минимум, а максимум ещё и декомпозируют адрес и добавляют ему коды ОКАТО или ОКТМО.
- в опубликованных данных есть неполное заполнение данных. Всё в тех же данных по форме ГВР 2-6 есть 46 867 записей из которых код ИНН отсутствует у 4259, около 9% записей. Что означает что для сопоставления объекта водопользования с юр лицом придется выяснять ИНН юр. лица.
- даже в тех случаях когда ИНН указан, проверка показывает что в 507 случаях код указан с ошибкой, по некоторым кодам, очевидно сразу что они вводились как неверные. Например: часто встречается указание кода 7600000000 в отношении водопользователей Ярэнерго и других юр лиц. Что это означает? Что в системе(-ах) Росводресурсов нет форматно-логического контроля и данные вводятся с ошибками. И это только по самым очевидным случаям поддающимся автоматическому анализу, а многое можно понять уже создавать правила проверки под конкреный источник данных.

В качестве резюме, хорошо что эти данные публикуются, но много над чем есть работать.

Ссылки:
[1] https://gis.favr.ru/web/guest/opendata
[2] https://www.mnr.gov.ru/press/news/rosvodresursy_otkryli_vodnye_dannye/
[3] https://gis.favr.ru/external-api

#dataquality #opendata #waterdata #voda

How Data is Adding to the Unfolding Crisis in Afghanistan [1] в рассылке Data Values Digest [2] о том как доступность данных играет на руку талибам только что захвативших Афганистан. Например, талибы затребовали у религиозных лидеров списки всех девушек от 15 лет и вдов до 45 лет для замужества [3], а сами афганцы спешно удаляют цифровые следы в соцсетях и других ресурсах чтобы не быть идентифицированными талибами.

Там же ссылка статью об истории 2017 года когда UNHCR дали доступ правительствам Мьянмы и Бангладеша к персональным данным о беженцах рохинджа [5]. Об этом был подробный отчет от Human Rights Watch несколько лет назад [6]. При том что сами рохинджа находятся под угрозой геноцида [7]

Всё это о том что не стоит недооценивать доступность данных о личности, отсутствие приватности может приводить к смертельным последствиям.

Ссылки:
[1] https://datavaluesdigest.substack.com/p/how-data-is-adding-to-the-unfolding
[2] https://datavaluesdigest.substack.com
[3] https://www.hindustantimes.com/world-news/taliban-asks-for-list-of-girls-widows-to-be-married-to-their-fighters-reports-101626413987086.html
[4] https://www.reuters.com/article/afghanistan-tech-conflict/afghans-scramble-to-delete-digital-history-evade-biometrics-idUSL8N2PO1FH
[5] https://www.thenewhumanitarian.org/opinion/2021/6/21/rohingya-data-protection-and-UN-betrayal
[6] https://www.hrw.org/news/2021/06/15/un-shared-rohingya-data-without-informed-consent
[7] https://news.un.org/en/story/2019/09/1046442

#data #privacy

Пытался сформулировать мысли про происходящее и СМИ иноагенты. Главная проблема, конечно, в том что все что касается открытости государства, данных, взаимодействия государства - во всем этом лидерами были в первую очередь расследовательские медиа. В самом деле, зачем открытость если ее некому применять? Вот и закрытия и иноагентизация вначале НКО, а далее СМИ создают ситуацию когда открытость государства становится рудиментом потому что все ее потребители изгнаны из публичного пространства.

Я вижу что ликвидация СМИ и НКО - это часть идеологии рудиментизации открытости, подмены реальной прозрачности государства и общества на суррогаты из пиара, подмены понятий, искажения смыслов и работе на имитацию позиций в рейтингах вместо качественных изменений.
Насилие через запреты говорить, выражать мнение, неважно, верное или ошибочное, неприятное или резкое - всё это признаки слабости государства, крайне опасное в самой ближайшей перспективе.

Каков бы ни был кризис журналистики в России, блокировка СМИ проходит не по критерию низкого качества, а по критерию наличия альтернативной точки зрения государственному мейнстриму. Но лишать общество разнообразия мнений - это тупиковый путь, показывающий что диалог невозможен, есть лишь методы цензуры.

И из этого тупика нам ещё придётся выходить.

Новые наборы данных в APICrafter:
- Статистика регистрации юридических лиц по почтовым индексам https://beta.apicrafter.ru/packages/egrulpoststats
- Статистика регистрации юридических лиц по кодам КЛАДР https://beta.apicrafter.ru/packages/egrulkladrstats
- Записи из ЕГРЮЛ сокращённые для статистического анализа https://beta.apicrafter.ru/packages/egrulstatsrecords (11,2 миллиона записей), 5.8 гигабайт

Если первые два набора - это уже рассчитанные статистические показатели, то третий набор включает данные для анализа регистрации и ликвидации юридических лиц по почтовым индексам, кодам КЛАДР, кодам ОКОПФ, кодам ОКФЭД и основаниям ликвидации. Фактически, можно замерить сколько юр лиц по конкретному коду ОКВЭД создаётся и ликвидируется по дням, месяцам, годам, территориям и так далее.

Эти наборы данных являются открытыми и их можно скачать целиком в форматах CSV, BSON и JSON lines в разделах "версии и сборки" по каждому набору данных или воспользоваться API для доступа к данным.

Все эти наборы данных созданы на базе ЕГРЮЛ, доступ к которому также есть через систему APICrafter https://apicrafter.ru и там же можно оформить подписку для коммерческого доступа к данным.

#opendata #data #egrul

Странно что к российским выборам никто из политиков не предложил штрафовать за замедление старых устройств вендорами. Как например это делает Apple, за что и были оштрафованы во Франции и во Франции перестали это делать. Теперь выходят публикации о том что если переключить старый iPhone 7 на регион Франция, то он работает быстрее [1].

Ссылки:
[1] https://www.gizchina.com/2021/08/23/old-iphones-become-faster-if-you-change-the-region-to-france/

#tech #apple #globaltech

За последние годы наше правительство "поднаторело" в регулировании прослеживания самых разных товаров. Сельхозпродукции, лекарств, да и ещё много чего. И хочется задать лишь один вопрос, а прослеживать законы или приказы органы власти уже научились? Кто, когда, по какой причине написал НПА, кто внес правки, кто их завизировал, кто утвердил и кто принял? Потому что я лично не устаю повторять что если цепочки ответственных нет, то виноват всегда руководитель.

Потому что если нет виноватых (читай - ответственных) Приказ Министерства науки и высшего образования Российской Федерации от 21.08.2020 № 1076 "Об утверждении Порядка приема на обучение по образовательным программам высшего образования - программам бакалавриата, программам специалитета, программам магистратуры" [1] [2]

Потому что в пункте 79 этого приказа есть:
79. В конкурсном списке указываются следующие сведения:

1) номер страхового свидетельства обязательного пенсионного страхования (при наличии), уникальный код, присвоенный поступающему (при отсутствии указанного свидетельства);

Потому из-за этого университеты теперь массово публикуют списки абитуриентов с указанием СНИЛС каждого. Примеры:
- Бауманка [3]
- СФУ [4]
- КГПУ [5]

И продолжать можно долго. Тем кто не понимает что это значит я поясню. СНИЛС - это постоянный идентификатор человека выдаваемый ему, считайте, на всю жизнь. По СНИЛС можно идентифицировать ФИО конкретного человека. Базы сопоставляющие СНИЛС и ФИО периодически всплывают, я писал о доступности сертификатов удостоверяющих центров в которых по умолчанию (спасибо Минцифре и ФСБ) вписываются СНИЛСы физ. лиц, как следствие найти ФИО и другие сведения по СНИЛС совершенно точно возможно.

Возвращаясь к вопросу о прослеживаемости. По прежнему интересно кто был такой умный вставил этот пункт в этот приказ? Ну и если ответственных нет, то виноват, как всегда, министр лично.

А нам остается помнить что не хакеры, а государство - вот кто главный враг приватности граждан.

Ссылки:
[1] http://publication.pravo.gov.ru/Document/View/0001202009140014
[2] https://www.garant.ru/products/ipo/prime/doc/74441661/
[3] https://priem.bmstu.ru/lists/upload/enrollees/first/moscow-1/01.03.02.pdf
[4] https://admissions.sfu-kras.ru/stats
[5] http://www.kspu.ru/upload/documents/2021/08/02/792308e2ea453f5e6a07114ca192a6dc/tehnologiya-s-osnovami-predprinimatelstva.pdf

#government #education #privacy

Fiscal Note [1] компания по мониторингу изменений в законодательстве и решений политиков купили [2] стартап Predata [3]. Predata - это весьма интересный стартап декларирующий использование ИИ для выявления аномалий, трендов и индикаторов в информационной медийной повестке на основе данных СМИ и соцсетей. Основной прицел был на участников рынка. Они привлекли относительно немного инвестиций в $3.3 миллиона [4] и стали частью системы альтернативных данных собираемых Bloomberg'ом [5]

В общем и целом любопытный стартап на растущем рынке альтернативных данных.

Ссылки:
[1] https://fiscalnote.com
[2] https://fiscalnote.com/press-room/fiscalnote-announces-acquisition-of-predata
[3] https://www.predata.com
[4] https://www.crunchbase.com/organization/predata
[5] https://www.businesswire.com/news/home/20190312005155/en/Bloomberg-Offering-Predata’s-Alternative-Data-Set-Data

#alternativedata #data #predata #fiscalnote

К вопросу о доступности данных и работе государственных информационных систем.

С июня месяца ГИБДД (читай - МВД) не публикует данные о ДТП на сайте stat.gibdd.ru [1]. На сайте указано что Доступ к показателям состояния безопасности дорожного движения временно ограничен в связи с проведением технических работ и будет восстановлен в полном объёме по их завершении.

Без указания конкретных дат когда эти работы будут закончены, при том что раскрытие данных прописано в Постановлении Правительства РФ от 19.09.2020 N 1502 "Об утверждении Правил учета дорожно-транспортных происшествий, об изменении и признании утратившими силу некоторых актов Правительства Российской Федерации". Часть 1, пункт 10 и Часть 2, пункт 16. [2]

По слухам у МВД вышли из строя часть серверов и их функциональность они восстановили лишь частично.

Фактически требования этого постановления Правительства уже нарушаются.
Возникают вопросы:
1. Так когда же данные начнут обновляться?
2. Применительно к открытости данных и информационных системам мониторинг правоприменения может быть автоматизирован. Может быть и Минюсту стоит над этим задуматься или Минцифре? Насколько я знаю худо-бедно-плохо-нормально мониторинг организован только в СМЭВе.

Всё это к вопросу о том что вот данные МВД недоступны и даже непонятно к кому обращаться для того чтобы хотя бы узнать когда они появятся не говоря уже о их доступности в целом. Конечно, можно писать запрос в МВД, и ждать 30 дней ответа. Что видимо и придётся сделать в итоге.

Ссылки:
[1] http://stat.gibdd.ru/
[2] https://www.garant.ru/products/ipo/prime/doc/74580240/

#opendata #data #mvd #gibdd #dtp

В Австралии, при офисе комиссара по данным (National Data Commisioner) создается проект по Dataplace [1] для запросов на данные к органам власти и госструктурам. Обратите внимание что это не запросы на доступ к информации в классическом понимании (FOI), а именно data requests. Обещают сделать beta версию к концу 2021 года и релиз в 2022 году.

Там же анонсировали проект всегосударственного каталога данных [2] и пилотных проектов по инвентаризации данных. Обратите внимание - это общедоступный каталог всех данных, основная его идея в том что чтобы понять что должно быть открыто вначале необходимо понять, а что есть и метаданные, сведения о наборах данных и базах данных, должны быть общедоступны. Пока же с 2022 по 2024 годы в Австралии будут инвентаризировать данные небольшими командами в рамках этого пилотного проекта.


Ссылки:
[1] https://www.datacommissioner.gov.au/media-hub/creating-human-centric-government-data-request-process
[2] https://www.datacommissioner.gov.au/media-hub/new-pilot-program-deliver-government-wide-data-catalogue

#opendata #data #australia #datacatalogs

В Motherboard статья "How Data Brokers Sell Access to the Backbone of the Internet" [1] о том как Интернет провайдеры приторговывают втихую данными о трафике (netflow) и помогают отслеживать пользователей VPN. Там подробно рассказывается о компании Team Cymru, в том числе историю о том как CitizenLab с помощью инструментов Team Cymru ловили израильский малварь Candiru [2].

Статья полезная для тех кто хочет больше о том как устроена реальная приватность, а ещё вернее её отсутствие, и о том что VPN далеко не гарантировано защищает от слежки и, если очень надо и при наличии финансовых ресурсов, всё отслеживается.

Ссылки:
[1] https://www.vice.com/en/article/jg84yy/data-brokers-netflow-data-team-cymru
[2] https://citizenlab.ca/2021/07/hooking-candiru-another-mercenary-spyware-vendor-comes-into-focus/

#privacy #internet #teamcymru

Europeana подвела итоги [1] 1st Digital Storytelling Festival в победителях:
- История кошек которые стали мумиями [2]
- Анимация старых движущихся картинок [3]
и Celebrating women — Art and machine learning [4]
Последнее любопытно, там автор взяла две старые фотографии и применила Runway ML software with DeOldify model [5]. Фактически сама она ничего не программировала в machine learning, но применила уже имеющиеся разработки.

Лично мне очень по душе такие фестивали как и все инициативы цифрового культурного наследия по применению технологий в обеспечении их доступности. А digital storytelling - это ещё и хорошая тема для журналистов рассказывающих истории из прошлого и настоящего.

Ссылки:
[1] https://medium.com/digital-storytelling-festival/discover-the-winners-of-the-1st-digital-storytelling-festival-b2d5b5c49561
[2] https://medium.com/digital-storytelling-festival/story-of-cats-who-became-mummies-8163e1815e93
[3] https://medium.com/digital-storytelling-festival/animating-old-morphing-pictures-28df9ef76090
[4] https://medium.com/digital-storytelling-festival/celebrating-women-art-and-machine-learning-89ba03a09433
[5] https://github.com/jantic/DeOldify

#digitalheritage #digitalstorytelling

Эй гражданин! Ты только не зверей
Думаешь вокруг случайные погрешности?
В госуслугах избегают теперь
«образы людей не славянской внешности»

Ты в зеркало то на себя посмотрел?
То-то
Всегда найдешь в себе разное генетическое чего-то
А тут, на тебе, евгенестические чуда природы
Отрицают что все мы немного разной породы

Вместо добросовестного разнообразия
Предлагают лишь одну форму безобразия
Может у составителей брендбука
Поехала кукуха

А может они нам на что-то намекают неаккуратно
Что госполитику мы не знаем или знаем превратно
И тувинцам и татарам в нашем правительстве
Не поможет от цензуры партийное представительство

Национализм не шутка
и не предмет для
мелких
локальных
исправлений
А для прокуророрской проверки,
посадок и увольнений

Источник вдохновения: В составленном Минкомсвязи брендбуке «Госуслуг» нашли требование не использовать «образы людей не славянской внешности» http://breakingmad.me/ru/11485

В Нигерии появился портал раскрытия данных о госзакупках/госконтрактах [1] в форматах открытых данных. Портал создан в рамках реформы государственных закупок Нигерии [2]. Но расследование от Dataphyte показало что по контрактам на сумму 70 миллиардов нигерийских найр (27 миллиардов в рублях) отсутствуют ключевые сведения о поставщиках [3], такие как их наименования и идентификаторы.

В Мексике Институт конкуренции IMCO выпустил индекс коррупционных рисков для 278 федеральных агентств [4]. Общий вывод - ухудшение ситуации и рост коррупционных рисков. Визуализация рейтинга с 2018 года [5] и открытые данные исследования в Excel [6].

В США поставщики по оборонному бюджету получили в общей сложности $1 миллиард на работы в Афганистане после вывода оттуда войск [7]. Неизвестно продолжатся ли эти контракты после окончания вывода войск или же будут расторгнуты.

Ссылки:
[1] https://bigfutportal.azurewebsites.net/Home/OcdsRecords
[2] https://bpp.ekitistate.gov.ng/about-us/public-procurement-reforms-program/
[3] https://www.dataphyte.com/economy/ekiti-bpp-flouts-procurement-law-publish-contracts-worth-over-n70-billion-without-vendors-name-identifiers/
[4] https://imco.org.mx/indice-de-riesgos-de-corrupcion/
[5] https://imco.org.mx/riesgosdecorrupcion/
[6] https://drive.google.com/drive/folders/1HZe-AZkTtyjWtA9RJOEPpGo3VRN5Qjgi
[7] https://www.opensecrets.org/news/2021/08/defense-contractors-spent-big-in-afghanistan-before-the-us-left-taliban-took-control

#opendata #opengov #procurement #spending

Главный радиочастотный центр (ФГУП при Роскомнадзоре) объявил закупку на "Выполнение работ по созданию автоматизированной системы мониторинга нарушений прав субъектов персональных данных в сети «Интернет» " [1] (АС МПДн)

Закупают они по 223-ФЗ, поэтому победителя торгов мы не узнаем, а вот на что точно можно и нужно обратить внимание так это на чрезвычайно детальное техническое задание с тщательным перечислением всех технических средств предполагаемых к использованию, что, чаще, бывает когда ТЗ пишет поставщик предопределенный госзаказчиком. Но, опять же, с сайта ЕИС мы о поставщике не узнаем.

Зато можно обратить внимание по каким ключевым словам Роскомнадзор собирается искать сайты распространяющие ПДн.

Как бы сказать помягче, система в будет совершенно бессмысленна. Её заказчики явно не понимают как устроено распространение персональных данных.

Ссылки:
[1] https://zakupki.gov.ru/223/purchase/public/purchase/info/common-info.html?regNumber=32110590564

#privacy #rkn #procurement

Почему в разговорах о пенсионной реформе никто не поднимает вопрос о необходимости опрозрачивания пенсионной системы?

О том что статистика и аналитика выплат по категориям застрахованных должна быть предельно подробной, с разбивкой по социальным группам, типам пенсионеров, субъектам федерации и тд и тп.

То что данные о расходах ПФ РФ должны быть открыты.
То что необходимо ежеквартальный отчёт ВЭБа по вложениям пенсионных средств.
То что должна быть особая политики прозрачности и предоставление информации по запросу от журналистов не за 30 дней, а гораздо быстрее

и многое и многое другое.

В США сенаторы и конгрессмены должны отчитываться о покупках и продажах акций. На основе этих данных инженер Tim Carambat [1] создал два проекта: House Stock Watcher [2] и Senate Stock Watcher [3] чтобы отслеживать как они инвестируют средства.

Всё на основе общедоступных раскрываемых сведений тут конгрессом [4] и сенатом [5].

Ссылки:
[1] https://twitter.com/tcarambat
[2] https://housestockwatcher.com/
[3] https://senatestockwatcher.com/
[4] https://disclosures-clerk.house.gov/
[5] https://efdsearch.senate.gov/search/home/

#opendata #dataviz

Быть может не каталоги данных, а каталоги метаданных? Свежий проект OpenMetadata [1] нацелен на автоматизацию сбора именно данных-о-данных которые находятся под Вашим управлением в самых разных СУБД - MySQL, PostgreSQL, MSSQL, ElasticSearch и иногие другие. По сути это почти то же самое что корпоративный каталог данных, но без претензий на "швейцарский нож". OpenMetadata начинает со стандартизации и продолжает интеграцией и взаимодействием пользователей.

Плюс - это подход от стандартизации и открытый код
Минус - в пока ещё слабой поддержке NoSQL и других источников данных

Реализуемые идеи очень похожи на те что у нас в движке DataCrafter'а [2], но с акцентом на корпоративные, а не на общедостурные данные.

В любом случае это интересный проект за которым стоит понаблюдать и попробовать.

Ссылки:
[1] https://open-metadata.org
[2] https://beta.apicrafter.ru

#opendata #metadata #data #datacatalogs

Как исчезают официальные данные в сети - в первую очередь через ликвидацию организаций. Приведу в пример Уставной суд Санкт-Петербурга. Это был один из конституционных судов субъектов федерации, о нем есть статья в Википедии [1]. 31 марта 2021 года законодательное собрание Санкт-Петербурга приняло решение о его ликвидации [2], а с 1 июля (всего 2 месяца назад) суд ликвидирован, а сайт суда закрыт.

Обычно, если организация ликвидируется через реорганизацию, то у нее есть правопреемник, которому передаются архивы, имущество и тд.
Но уставной суд именно ликвидировался, а не реорганизовывался, имущество, скорее всего, было возвращено в собственность города, а вот процедуры сохранения материалов публикуемых в цифровой форме в России нет и не было.

Поэтому сайт суда просто одномоментно закрыли. В лучшем случае его решения остались в коммерческих системах вроде Консультант плюс или Гарант. С высокой вероятностью их нет в государственных системах регистрации нормативно-правовых документов, поскольку это был суд вне юрисдикции Судебного департамента и поскольку решения судов не регистрируются в pravo.gov.ru или системах Минюста России.

Это довольно маленький, очень небольшой пример, того как материалы органов власти исчезают при реорганизации. Он, конечно, несравним с моментальным закрытием всех материалов ФМС и ФСКН после их возврата в МВД. Тогда МВД убрали из сети все материалы этих ведомств в тот же день когда был анонсирован указ Президента РФ о реорганизации этих ведомств.

Ссылки:
[1] https://ru.wikipedia.org/wiki/Уставный_суд_Санкт-Петербурга
[2] http://www.assembly.spb.ru/ndoc/doc/0/706135935

#digitalpreservation #data