О том что не так с докладом СП РФ по открытости государства. Часть 3. Что реально происходило с открытостью
Открытость государства, конечно, охватывает довольно много областей. Взаимодействие с гражданами, свобода доступа к информации и открытые данные. При этом открытость данных уже давно является приоритетной темой для большинства развитых стран и рассматривается скорее отдельно от открытости коммуникации поскольку имеет не только социальные, но и экономические эффекты. Открытость данных государств замеряется многими способами, были Open Data Index и Open Data Barometer, а также и по сей день существуют методики оценки Global Data Barometer и OURData. Это специализированные рейтинги, посвящённые открытости данных, подробные и хорошо документированные.
Среди них ключевым я бы выделил оценку от Global Data Barometer как наиболее продуманную и детальную, а OURData — это был индекс ОЭСР и охватывал только развитые страны и кандидатов в ОЭСР.
Ключевое во всех международных рейтингах в том, что они оценивают не органы власти, не конкретное министерство, службу или какое-то там учреждение, они оценивают принципиальную доступность данных в конкретной области. Например, данных о качестве работы школ или данных о национальном бюджете или данных о государственных закупках/контрактах и так далее. Доступность этих данных — это решения не органов власти, а Правительства как политической структуры, иначе говоря, это исключительно политические решения. Кстати, в разговорах с чиновниками министерств эта также вскрывается. В тех случаях, когда внутри органа власти нет жёсткого сопротивления всё равно всё упирается в то есть ли политическое решение на открытость или нет.
Позиции России в рейтинге Global Data Barometer в 2021были не такими уж плохими примерно, как у Португалии, но это всё было результатом решений принятых ещё в 2005-2018 годах, после этого периода, более 5 лет тренд шёл на закрытость данных.
Это выражалось во многом. В том что были закрыты данные о субсидиях федеральной власти, в том что были скрыты сведения об учредителях вначале НКО, а далее всех юр лиц, в том были скрыты сведения о получателях контрактов по закупкам по 223-ФЗ (госкомпании и естественные монополии), в том что скрываются значительные пласты данных по статистике, в том что что более не публикуются данные криминальной статистики и так далее.
#opendata #russia
Открытость государства, конечно, охватывает довольно много областей. Взаимодействие с гражданами, свобода доступа к информации и открытые данные. При этом открытость данных уже давно является приоритетной темой для большинства развитых стран и рассматривается скорее отдельно от открытости коммуникации поскольку имеет не только социальные, но и экономические эффекты. Открытость данных государств замеряется многими способами, были Open Data Index и Open Data Barometer, а также и по сей день существуют методики оценки Global Data Barometer и OURData. Это специализированные рейтинги, посвящённые открытости данных, подробные и хорошо документированные.
Среди них ключевым я бы выделил оценку от Global Data Barometer как наиболее продуманную и детальную, а OURData — это был индекс ОЭСР и охватывал только развитые страны и кандидатов в ОЭСР.
Ключевое во всех международных рейтингах в том, что они оценивают не органы власти, не конкретное министерство, службу или какое-то там учреждение, они оценивают принципиальную доступность данных в конкретной области. Например, данных о качестве работы школ или данных о национальном бюджете или данных о государственных закупках/контрактах и так далее. Доступность этих данных — это решения не органов власти, а Правительства как политической структуры, иначе говоря, это исключительно политические решения. Кстати, в разговорах с чиновниками министерств эта также вскрывается. В тех случаях, когда внутри органа власти нет жёсткого сопротивления всё равно всё упирается в то есть ли политическое решение на открытость или нет.
Позиции России в рейтинге Global Data Barometer в 2021были не такими уж плохими примерно, как у Португалии, но это всё было результатом решений принятых ещё в 2005-2018 годах, после этого периода, более 5 лет тренд шёл на закрытость данных.
Это выражалось во многом. В том что были закрыты данные о субсидиях федеральной власти, в том что были скрыты сведения об учредителях вначале НКО, а далее всех юр лиц, в том были скрыты сведения о получателях контрактов по закупкам по 223-ФЗ (госкомпании и естественные монополии), в том что скрываются значительные пласты данных по статистике, в том что что более не публикуются данные криминальной статистики и так далее.
#opendata #russia
О том что не так с докладом СП РФ по открытости государства. Часть 4. Что реально происходило с открытостью, в примерах
Всё это находилось и находится в ведении, не отдельных ФОИВов, не они принимают решения, решения принимаются на уровне Правительства и Президента. Хотя правильнее сказать не принимаются.
Я приведу несколько примеров. Данные криминальной статистики публиковались до недавнего времени на портале crimestat.ru, при этом у него не было никогда нормативного закрепления и требований по доступности, он был создан исключительно по "доброй воле Генеральной прокуратуры РФ". Но Генеральная прокуратура не ФОИВ, им вообще никто не может приказать кроме законодателя что-то открывать. Составители доклада даже не предполагали, видимо, что какие-то данные могут быть не у исполнительной власти.
Другой пример, данные результатов судебных слушаний. По ним полная монополия у Судебного департамента, который, опять же, никому кроме законодателей в лице ГД, СФ и ПР РФ не подчиняется, эти данные не были и не планируются к открытию. Участники рынка данных прекрасно знают, что как минимум поверх базы данных арбитражных судов существуют коммерческий монополист, которого де-факто почти не обойти, когда нужны данные в этой области.
И таких примеров много, очень много. Но особенно яркая картина за все эти годы складывалась вокруг национального портала открытых данных data.gov.ru. Минэкономразвития РФ, которое отвечало за его ведение, вначале превратило его в помойку из бесконечного числа сверх мелких бессмысленных датасетов по 10–20 строчек вакансий или подведов организаций, а закончилось всё закрытием портала открытых данных.
#opendata #russia
Всё это находилось и находится в ведении, не отдельных ФОИВов, не они принимают решения, решения принимаются на уровне Правительства и Президента. Хотя правильнее сказать не принимаются.
Я приведу несколько примеров. Данные криминальной статистики публиковались до недавнего времени на портале crimestat.ru, при этом у него не было никогда нормативного закрепления и требований по доступности, он был создан исключительно по "доброй воле Генеральной прокуратуры РФ". Но Генеральная прокуратура не ФОИВ, им вообще никто не может приказать кроме законодателя что-то открывать. Составители доклада даже не предполагали, видимо, что какие-то данные могут быть не у исполнительной власти.
Другой пример, данные результатов судебных слушаний. По ним полная монополия у Судебного департамента, который, опять же, никому кроме законодателей в лице ГД, СФ и ПР РФ не подчиняется, эти данные не были и не планируются к открытию. Участники рынка данных прекрасно знают, что как минимум поверх базы данных арбитражных судов существуют коммерческий монополист, которого де-факто почти не обойти, когда нужны данные в этой области.
И таких примеров много, очень много. Но особенно яркая картина за все эти годы складывалась вокруг национального портала открытых данных data.gov.ru. Минэкономразвития РФ, которое отвечало за его ведение, вначале превратило его в помойку из бесконечного числа сверх мелких бессмысленных датасетов по 10–20 строчек вакансий или подведов организаций, а закончилось всё закрытием портала открытых данных.
#opendata #russia
О том что не так с докладом СП РФ по открытости государства. Часть 5. Завершение
Чуть ли не самое главное в отношение доклада в том что, казалось бы, доклад должен иметь практическое применение. Но что с его выводами могу сделать я или кто-либо ещё? Кто его адресаты? Для кого он пишется? Ответы были бы понятны если бы госполитика открытости в какой-либо форме в России существовала и была бы последовательной. В мире она бывает с разными акцентами:
- на политической прозрачности власти и повышения доверия
- на выравнивании социальной несправедливости и доступности данных о качестве жизни
- на развитии цифрового бизнеса и любого иного бизнеса связанного с данными
- на развитии науки и интеграции в мировую научную инфраструктуру
Это довольно очевидные направления, в разных формах реализуемые в большинстве стран и, как правило, закреплённые законами, дорожными картами и так далее.
Очень недолгое время в России акцент был на политической прозрачности, позже было несколько попыток связать открытые данные и потребности бизнеса, сейчас нет вообще ничего. Отсюда проистекает и "подвешенность" этого доклада, невозможно ответить на вопрос зачем он нужен, потому что предметная область находится в зыбком состоянии.
Был бы в нём акцент на политической прозрачности, речь бы шла о доступности данных деклараций чиновников, выборов, госфинансов помимо публикуемой информации и ещё много что.
Был бы в нём акцент на экономическом развитии, речь бы шла о экономическом эффекте и открытии данных из государственных информационных систем, публикации геоданных и тд.
Был бы в нём акцент на социальной несправедливости, речь бы шла о доступности данных об успешности операций, качестве образования, уровне преступности, уровне загрязнения почвы, воды, воздуха и тому подобном в максимально детальном разрезе
Был бы в нём акцент на развитии науки, речь бы шла о публикации результатов научных исследований, наличии данных полученных российскими исследователями на платформах публикации научных данных.
Но в докладе нет об этом всё ровным счётом ничего, а от сравнения ФОИВов по _абсолютно любой методике_ мы ничего не приобретаем. Даже Счетная палата уже давно ничего не приобретает поскольку изначальная цель в получении больших полномочий по надзору за открытостью уже совершенно точно недостижима. Люди внутри органов власти это, также, прекрасно понимают, потому что никакого содержательного выхлопа нет ни от доклада, ни от тех кто мог бы подискутировать вокруг его результатов.
Да и сам повод для обсуждения стал совершенно ничтожным. Я бы даже не писал об этом если бы какая-то часть моей жизни много лет назад не была бы связана с подготовкой первых редакций. Но, пожалуй, и у меня интереса не осталось.
Открытые данные как тема существовала и существует без органов власти, может развиваться без их вовлечения или с минимальным вовлечением тех кто ещё готов выстраивать диалог с потребителями. Вне зависимости от того последний ли это доклад Счетной палаты, будет ли следующий значительно лучше или останется таким же плохим, он ни на что не влияет.
#opendata #russia #opengov
Чуть ли не самое главное в отношение доклада в том что, казалось бы, доклад должен иметь практическое применение. Но что с его выводами могу сделать я или кто-либо ещё? Кто его адресаты? Для кого он пишется? Ответы были бы понятны если бы госполитика открытости в какой-либо форме в России существовала и была бы последовательной. В мире она бывает с разными акцентами:
- на политической прозрачности власти и повышения доверия
- на выравнивании социальной несправедливости и доступности данных о качестве жизни
- на развитии цифрового бизнеса и любого иного бизнеса связанного с данными
- на развитии науки и интеграции в мировую научную инфраструктуру
Это довольно очевидные направления, в разных формах реализуемые в большинстве стран и, как правило, закреплённые законами, дорожными картами и так далее.
Очень недолгое время в России акцент был на политической прозрачности, позже было несколько попыток связать открытые данные и потребности бизнеса, сейчас нет вообще ничего. Отсюда проистекает и "подвешенность" этого доклада, невозможно ответить на вопрос зачем он нужен, потому что предметная область находится в зыбком состоянии.
Был бы в нём акцент на политической прозрачности, речь бы шла о доступности данных деклараций чиновников, выборов, госфинансов помимо публикуемой информации и ещё много что.
Был бы в нём акцент на экономическом развитии, речь бы шла о экономическом эффекте и открытии данных из государственных информационных систем, публикации геоданных и тд.
Был бы в нём акцент на социальной несправедливости, речь бы шла о доступности данных об успешности операций, качестве образования, уровне преступности, уровне загрязнения почвы, воды, воздуха и тому подобном в максимально детальном разрезе
Был бы в нём акцент на развитии науки, речь бы шла о публикации результатов научных исследований, наличии данных полученных российскими исследователями на платформах публикации научных данных.
Но в докладе нет об этом всё ровным счётом ничего, а от сравнения ФОИВов по _абсолютно любой методике_ мы ничего не приобретаем. Даже Счетная палата уже давно ничего не приобретает поскольку изначальная цель в получении больших полномочий по надзору за открытостью уже совершенно точно недостижима. Люди внутри органов власти это, также, прекрасно понимают, потому что никакого содержательного выхлопа нет ни от доклада, ни от тех кто мог бы подискутировать вокруг его результатов.
Да и сам повод для обсуждения стал совершенно ничтожным. Я бы даже не писал об этом если бы какая-то часть моей жизни много лет назад не была бы связана с подготовкой первых редакций. Но, пожалуй, и у меня интереса не осталось.
Открытые данные как тема существовала и существует без органов власти, может развиваться без их вовлечения или с минимальным вовлечением тех кто ещё готов выстраивать диалог с потребителями. Вне зависимости от того последний ли это доклад Счетной палаты, будет ли следующий значительно лучше или останется таким же плохим, он ни на что не влияет.
#opendata #russia #opengov
Forwarded from Ах, этот Минфин (Olya Parkhimovich)
До свидания, «Госрасходы»
Пришло время сообщить, что с 1 августа 2023 года мы больше не занимаемся проектом СП РФ «Госрасходы».
Это был, наверно, единственный крупный проект по открытости, запущенный после упразднения Открытого Правительства (с 2018 года). Пользуясь случаем, не могу не поблагодарить А.Л. Кудрина (@AlekseiKudrin) и Ивана Бегтина (@begtin) за то, что этот проект существовал и активно развивался больше 4 лет. Еще и на домене, на который мы засматривались года с 2013 (spending.gov.ru).
За это время было немало сделано (но хотелось, конечно, больше):
- мы почти достигли 1 млн уникальных посетителей;
- посещаемость сайта проекта практически в два раза превышала посещаемость сайта СП РФ;
- мы запустили раздел «Нацпроекты», методика отбора контрактов для которого была точнее, чем у Казначейства России;
- проект был единственным государственным источником, содержавшим архив реестра субсидий из федерального бюджета (реестр был удален с Портала Электронного бюджета);
- мы агрегировали данные по Госпрограммам, предоставляя их в более детализированном виде, чем на портале госпрограмм;
- мы разработали профили организаций, вовлеченных в операции с бюджетными средствами, объединив данные из ЕГРЮЛ, субсидий и контрактов;
- мы смогли придумать формат представления данных о федеральном бюджете, позволяющий не только отслеживать построчное исполнение бюджета, но и наглядно расшифровывать для пользователей все используемые классификаторы;
- мы формировали собственные справочники бюджетной классификации, вычищая дубликаты, черновые записи и добавляя недостающие записи в те файлы, которые официально публиковались Минфином России и Федеральным казначейством;
- отдельного внимания заслуживает интерактивный рейтинг регионального протекционизма и наборы индикаторов по разработанным аналитиками проекта методикам;
- также мы занимались и «невидимой» пользователям работой, взаимодействуя с инспекциями СП РФ, предоставляя им данные и разрабатывая методики для проверки гипотез и проведения контрольных мероприятий.
Большое спасибо коллегам из СП РФ, которые участвовали в работе над проектом и использовали его данные в реальных задачах, и, конечно, спасибо команде проекта, без которой не было бы этих результатов ♥️.
Надеюсь, это не последний крупный государственный проект по открытости, а мы в свою очередь продолжаем работу над «Госзатратами» (clearspending.ru) и готовим кое-что новое.
Пришло время сообщить, что с 1 августа 2023 года мы больше не занимаемся проектом СП РФ «Госрасходы».
Это был, наверно, единственный крупный проект по открытости, запущенный после упразднения Открытого Правительства (с 2018 года). Пользуясь случаем, не могу не поблагодарить А.Л. Кудрина (@AlekseiKudrin) и Ивана Бегтина (@begtin) за то, что этот проект существовал и активно развивался больше 4 лет. Еще и на домене, на который мы засматривались года с 2013 (spending.gov.ru).
За это время было немало сделано (но хотелось, конечно, больше):
- мы почти достигли 1 млн уникальных посетителей;
- посещаемость сайта проекта практически в два раза превышала посещаемость сайта СП РФ;
- мы запустили раздел «Нацпроекты», методика отбора контрактов для которого была точнее, чем у Казначейства России;
- проект был единственным государственным источником, содержавшим архив реестра субсидий из федерального бюджета (реестр был удален с Портала Электронного бюджета);
- мы агрегировали данные по Госпрограммам, предоставляя их в более детализированном виде, чем на портале госпрограмм;
- мы разработали профили организаций, вовлеченных в операции с бюджетными средствами, объединив данные из ЕГРЮЛ, субсидий и контрактов;
- мы смогли придумать формат представления данных о федеральном бюджете, позволяющий не только отслеживать построчное исполнение бюджета, но и наглядно расшифровывать для пользователей все используемые классификаторы;
- мы формировали собственные справочники бюджетной классификации, вычищая дубликаты, черновые записи и добавляя недостающие записи в те файлы, которые официально публиковались Минфином России и Федеральным казначейством;
- отдельного внимания заслуживает интерактивный рейтинг регионального протекционизма и наборы индикаторов по разработанным аналитиками проекта методикам;
- также мы занимались и «невидимой» пользователям работой, взаимодействуя с инспекциями СП РФ, предоставляя им данные и разрабатывая методики для проверки гипотез и проведения контрольных мероприятий.
Большое спасибо коллегам из СП РФ, которые участвовали в работе над проектом и использовали его данные в реальных задачах, и, конечно, спасибо команде проекта, без которой не было бы этих результатов ♥️.
Надеюсь, это не последний крупный государственный проект по открытости, а мы в свою очередь продолжаем работу над «Госзатратами» (clearspending.ru) и готовим кое-что новое.
ГосЗатраты
ГосЗатраты - Общественный мониторинг госзакупок в Рф
Автоматизированный мониторинг и аналитика по заключенным госконтрактам – инструменты для общественного анализа, выявления злоупотреблений, борьбы с коррупцией и неэффективным расходованием государственных средств.
Свежий портал открытых данных, на сей раз в Баварии open.bydata.de [1]
Более 1100 наборов данных, несколько видов API для доступа; через SPARQL, API для CKAN и своё API для доступа к внутренней базе.
Что характерно для всех европейских порталов с данными почти половина наборов данных - это геоданные. Они включают: слои к геокартам в формате WMS, файлы GeoJSON, файлы Esri Shape (SHP) и API серверов ArcGIS.
Помимо геоданных большая часть других датасетов посвящена городской инфраструктуре и её использованию в городах Баварии. У портала явный акцент на вовлечение в использовании городских/территориальных данных.
Ссылки:
[1] https://open.bydata.de
#opendata #datasets #germany
Более 1100 наборов данных, несколько видов API для доступа; через SPARQL, API для CKAN и своё API для доступа к внутренней базе.
Что характерно для всех европейских порталов с данными почти половина наборов данных - это геоданные. Они включают: слои к геокартам в формате WMS, файлы GeoJSON, файлы Esri Shape (SHP) и API серверов ArcGIS.
Помимо геоданных большая часть других датасетов посвящена городской инфраструктуре и её использованию в городах Баварии. У портала явный акцент на вовлечение в использовании городских/территориальных данных.
Ссылки:
[1] https://open.bydata.de
#opendata #datasets #germany
В Forbes, который не российский, а глобальный большая статья про открытые данные [1] от Linux Foundation, с незамысловатыми акцентами на том что open source, open hardware и open data - это всё разные стороны одного глобального движения за открытость. С явным акцентом на языковые модели, открытые стандарты и международные организации активные в этой области. При этом важно помнить что Linux Foundation всегда были про открытый код, в том числе для управления корпоративными данными, но про открытые данные они почти не были.
Честно говоря, даже интересно, является ли эта статья прологом к тому что в этой области появится ещё один институциональный игрок или это просто, можно сказать, обзор в контексте популярной темы открытых языковых моделей. Я вот не знаю, но интересно.
Впрочем кое что уже есть, например, Overture Maps Foundation [2] это порождение от Linux Foundation, также как и Agstack [3] проект по открытой цифровой инфраструктуре для сельского хозяйства - это тоже Linux Foundation.
В свою очередь сам фонд - это порождение коллективных активностей Big Tech, которые где-то конкурируют, а где совместно создают весьма любопытные продукты. Скажем так - это наиболее социально значимая/социально ответственная область их деятельности.
Ссылки:
[1] https://www.forbes.com/sites/adrianbridgwater/2023/09/20/linux-foundation-why-open-data-matters/
[2] https://overturemaps.org
[3] https://agstack.org
#opendata #readings
Честно говоря, даже интересно, является ли эта статья прологом к тому что в этой области появится ещё один институциональный игрок или это просто, можно сказать, обзор в контексте популярной темы открытых языковых моделей. Я вот не знаю, но интересно.
Впрочем кое что уже есть, например, Overture Maps Foundation [2] это порождение от Linux Foundation, также как и Agstack [3] проект по открытой цифровой инфраструктуре для сельского хозяйства - это тоже Linux Foundation.
В свою очередь сам фонд - это порождение коллективных активностей Big Tech, которые где-то конкурируют, а где совместно создают весьма любопытные продукты. Скажем так - это наиболее социально значимая/социально ответственная область их деятельности.
Ссылки:
[1] https://www.forbes.com/sites/adrianbridgwater/2023/09/20/linux-foundation-why-open-data-matters/
[2] https://overturemaps.org
[3] https://agstack.org
#opendata #readings
Forbes
Linux Foundation: Why Open Data Matters
Open data exists as an information management practice to provide a controlled means of making data accessible, editable and sharable by any user or entity.
В рубрике интересных наборов данных CloudDrift, a platform for accelerating research with Lagrangian climate data [1] - это программная библиотека для доступа к данным собираемым с 25 тысяч дрейфующих буев в рамках программы Global Drifter Program (GDP) [2] реализуемой Национальным управлением океанических и атмосферных исследований США. Сами данные размещены на серверах Amazon и доступны в их сервисе S3 [3].
Особенность Clouddrift в том к конкретным датасетам публикуется ещё и полноценная библиотека для доступа к ним и анализа с учётом специфики данных и контекста. Авторы не первые и не единственные кто так делает, для Python есть какое-то количество программных библиотек реализованных на том же принципе, когда данные доступны не только как файлы и API, но и сразу в виде DataFrame для Pandas или как XArray в данном случае.
Что характерно, этот проект один из десятков проектов данных и инструментов о Земле финансируемый Национальным научным фондом США в рамках сообщества и программы EarthCube [4]
Ссылки:
[1] https://cloud-drift.github.io/clouddrift/
[2] https://www.aoml.noaa.gov/phod/gdp/
[3] https://registry.opendata.aws/noaa-oar-hourly-gdp/
[4] https://www.earthcube.org/funded-projects
#opendata #opensource #science #usa #earthsciences #geodata
Особенность Clouddrift в том к конкретным датасетам публикуется ещё и полноценная библиотека для доступа к ним и анализа с учётом специфики данных и контекста. Авторы не первые и не единственные кто так делает, для Python есть какое-то количество программных библиотек реализованных на том же принципе, когда данные доступны не только как файлы и API, но и сразу в виде DataFrame для Pandas или как XArray в данном случае.
Что характерно, этот проект один из десятков проектов данных и инструментов о Земле финансируемый Национальным научным фондом США в рамках сообщества и программы EarthCube [4]
Ссылки:
[1] https://cloud-drift.github.io/clouddrift/
[2] https://www.aoml.noaa.gov/phod/gdp/
[3] https://registry.opendata.aws/noaa-oar-hourly-gdp/
[4] https://www.earthcube.org/funded-projects
#opendata #opensource #science #usa #earthsciences #geodata
Наглядная визуализация датасетов Google и Microsoft с распознанными зданиями [1], а также открытый код библиотеки Leafmap[2] с помощью которой идет визуализация. Автор утверждает что для отображения всего набора данных в 165 ГБ потребовалось всего несколько строчек кода [3]
Ссылки:
[1] https://apps.opengeos.org/buildings.html
[2] https://github.com/opengeos/leafmap
[3] https://twitter.com/giswqs/status/1706800470290051548
#opendata #dataviz #geodata
Ссылки:
[1] https://apps.opengeos.org/buildings.html
[2] https://github.com/opengeos/leafmap
[3] https://twitter.com/giswqs/status/1706800470290051548
#opendata #dataviz #geodata
В который раз напишу что комментировать все законодательные инициативы российских нормотворцев дело крайне вредное для желудка и настроения. Не пропущу только вот эту инициативу по доступу силовиков к базам персональных данных коммерческих операторов и возможности эти данные менять. О ней написали в российском Forbes [1], а также можно прочитать (продраться до смысла) в первоисточнике на сайте ГД [2].
У этого законопроекта много разных плохих последствий, начиная сглубокой государственной руки в задницах российских интернет компаний вмешательства государства в бизнес деятельность и есть ещё одна немаленькая хрень немаловажная проблема. Компании в российской юрисдикции оперируют данными пользователей других стран наравне с россиянами. Это жители Казахстана, Грузии, Армении, Узбекистана, Кыргызстана, Узбекистана и др., да и в каких-то ещё странах. Что сделают регуляторы этих стран после принятия такого закона в России? Правильно, потребуют от всех компаний в на которые регулирование распространяется подтвердить что данные их жителей в единой базе компаний не содержаться и российским силовикам недоступны.
Хотите перечислим компании у которых будетпиздец сёрьёзные проблемы с регуляторами? Многие, очень многие. Сотовые операторы как минимум, но не только.
И это, заметим, что я привожу только понятные нормотворцам проблемы. Не вдаваясь в этические и проблемы нарушения прав человека, вмешательства силовиков в частную жизнь и, наоборот, сокрытие информации оразного рода нехороших людях особых категориях граждан определённых указом ПП РФ.
Ссылки:
[1] https://www.forbes.ru/tekhnologii/497493-biznes-vystupil-protiv-beskontrol-nyh-pravok-silovikov-v-bazah-personal-nyh-dannyh
[2] https://sozd.duma.gov.ru/bill/416441-8
#privacy #regulation #russia
У этого законопроекта много разных плохих последствий, начиная с
Хотите перечислим компании у которых будет
И это, заметим, что я привожу только понятные нормотворцам проблемы. Не вдаваясь в этические и проблемы нарушения прав человека, вмешательства силовиков в частную жизнь и, наоборот, сокрытие информации о
Ссылки:
[1] https://www.forbes.ru/tekhnologii/497493-biznes-vystupil-protiv-beskontrol-nyh-pravok-silovikov-v-bazah-personal-nyh-dannyh
[2] https://sozd.duma.gov.ru/bill/416441-8
#privacy #regulation #russia
Forbes.ru
Бизнес выступил против бесконтрольных правок силовиков в базах персональных данных
Прямой доступ силовых структур к информационным системам, который планирует ввести правительство ради защиты «значимых персональных данных», нарушит их целостность и создаст для бизнеса угрозу нарушения других законов, считают в Ассоциации больших да
Свежее исследование Consumer Surveillance and Financial Fraud [1] о том как новые требования к приложениям по ограничению слежки за пользователями повлияли кибербезопасность и частоту жалоб пользователей, опубликованное National Bureau of Economic Research в США.
Тем кому лень читать всё исследование расскажу коротко. Apple ввели App Tracking Transparency (ATT) в 2021 году как обязательное требование для всех кто создает приложения для iOS, iPadOS и tvOS [2]. Эти требования сильно ограничили бизнес компаний которые отслеживали поведение пользователей внутри приложений и внешними трекерами.
В исследовании выяснилось что если 10% пользователей блокируют сбор данных, то снижение жалоб на взломы и нарушение приватности снижается на 3.21%. Много ли это или мало? Это очень много.
Ссылки:
[1] https://www.nber.org/papers/w31692
[2] https://support.apple.com/en-us/HT212025
#privacy #apple #mobileapps
Тем кому лень читать всё исследование расскажу коротко. Apple ввели App Tracking Transparency (ATT) в 2021 году как обязательное требование для всех кто создает приложения для iOS, iPadOS и tvOS [2]. Эти требования сильно ограничили бизнес компаний которые отслеживали поведение пользователей внутри приложений и внешними трекерами.
В исследовании выяснилось что если 10% пользователей блокируют сбор данных, то снижение жалоб на взломы и нарушение приватности снижается на 3.21%. Много ли это или мало? Это очень много.
Ссылки:
[1] https://www.nber.org/papers/w31692
[2] https://support.apple.com/en-us/HT212025
#privacy #apple #mobileapps
NBER
Consumer Surveillance and Financial Fraud
Companies near constantly surveil their customers to collect, analyze, and profit from their private information. A prevailing concern is that the market for private data and security breaches expose consumers to financial fraud. In this study, we exploit…
Международная активность по открытым данным иногда для меня удивительна.
Например, есть свежая инициатива и разговоры про стандартизацию публикации открытых данных о выборах от OKF. Было несколько таких проектов, на самом деле много проектов, например Open Election Data [1] профинансированный USAID и, похоже, не институционализированный. А у OASIS стандарт Election Markup Language (EML) [2], а также множество национальных и других стандартов и форматов.
Как бы ни было удобно иметь данные о выборах в машиночитаемой форме, сдаётся мне что не это главное в конкретном данном случае. К примеру, "открытость данных" блокчейна с электронными голосами в России доверие государству нисколько не повысили. А вот ситуация когда власти могут использовать международные стандарты для "симуляции открытости" без соблюдения других условий прозрачности выборов и наблюдения за ними, вполне возможно.
В каких-то странах сложившейся или переходной демократии они могут быть важны, но уже в рамках общей открытости того что называют political integrity.
Что думаете? Актуальны ли стандарты публикации данных о выборах?
Ссылки:
[1] https://openelectiondata.net
[2] https://www.oasis-open.org/standard/eml/
[3] https://datastandards.directory/Elections
#opendata #openstandards
Например, есть свежая инициатива и разговоры про стандартизацию публикации открытых данных о выборах от OKF. Было несколько таких проектов, на самом деле много проектов, например Open Election Data [1] профинансированный USAID и, похоже, не институционализированный. А у OASIS стандарт Election Markup Language (EML) [2], а также множество национальных и других стандартов и форматов.
Как бы ни было удобно иметь данные о выборах в машиночитаемой форме, сдаётся мне что не это главное в конкретном данном случае. К примеру, "открытость данных" блокчейна с электронными голосами в России доверие государству нисколько не повысили. А вот ситуация когда власти могут использовать международные стандарты для "симуляции открытости" без соблюдения других условий прозрачности выборов и наблюдения за ними, вполне возможно.
В каких-то странах сложившейся или переходной демократии они могут быть важны, но уже в рамках общей открытости того что называют political integrity.
Что думаете? Актуальны ли стандарты публикации данных о выборах?
Ссылки:
[1] https://openelectiondata.net
[2] https://www.oasis-open.org/standard/eml/
[3] https://datastandards.directory/Elections
#opendata #openstandards
OASIS Open
Election Markup Language (EML) v5.0 - OASIS Open
Describes the background and purpose of the Election Markup Language, the electoral processes from which it derives its structure and the security and audit mechanisms it is designed to support. It also provides an explanation of the core schemas used throughout…
Для тех кто работает с открытыми данными регулярно не могу не напомнить что у Open Knowledge Foundation есть проект Frictionless Data и, в частности, frictionless-py [1], программная библиотека и утилита командной строки для анализа данных и подготовки пакетов данных для публикации. Это инструмент совершенно далёкий для большинства тех кто занимается корпоративной дата-инженерией, но уже немного известный тем кто готовит научные данные для публикации. Инструмент сильно развился за последний год, там теперь поддерживается много разных форматов, наконец-то поддерживаются форматы вроде Parquet и JSONl/NDJSON. Если бы он был на несколько лет раньше, я бы многие свои инструменты делал на его основе. Как бы то ни было это существенная часть экосистемы вокруг ПО порталов для публикации открытых данных CKAN.
Сейчас его же авторы сделали GUI обёртку под названием Open Data Editor [2], продукт позволяющий готовить данные вручную и отправлять на публикацию в CKAN, Zenodo или Github.
Пока ещё это не финальный продукт и ошибки встречаются, но вот это хороший прогресс в экосистеме публикации открытых данных в мире.
Ссылки:
[1] https://framework.frictionlessdata.io
[2] https://opendataeditor.okfn.org
#opensource #opendata #ckan #datatools
Сейчас его же авторы сделали GUI обёртку под названием Open Data Editor [2], продукт позволяющий готовить данные вручную и отправлять на публикацию в CKAN, Zenodo или Github.
Пока ещё это не финальный продукт и ошибки встречаются, но вот это хороший прогресс в экосистеме публикации открытых данных в мире.
Ссылки:
[1] https://framework.frictionlessdata.io
[2] https://opendataeditor.okfn.org
#opensource #opendata #ckan #datatools
Можно сказать новый/старый жанр в технических инструментах, сделай как лидер рынка, но с открытым кодом и приватностью. Bruno - это клиент с открытым кодом для тестирования и работы с API [1], фактическая замена продукта Postman хорошо известного инструмента в среде создателей API.
Особенность Bruno в том что в нём нет никакой необходимости в облачном аккаунте, нет синхронизации в облаке и есть явный акцент на приватности. Дословно это звучит так
Bruno is offline-only. There are no plans to add cloud-sync to Bruno, ever. We value your data privacy and believe it should stay on your device. Read our long-term vision here.
Авторы подробно рассказывают о своём видении подобных инструментов [2], сравнивают их и описывают свой как единственный полностью оффлайновый.
А тем кто хочет синхронизовать свои спецификации API с другими, они дают возможность делать это через git, на Github или другом сервисе.
Лично я на этот инструмент обратил внимание по двум причинам.
Первая, конечно, в том что инструменты моделирования API будут актуальны ещё долго.
И вторая в том что сама модель оффлайн инструментов с синхронизацией через Git представляется хорошей идеей. Не монетизируемой, но востребованной.
Ссылки:
[1] https://www.usebruno.com
[2] https://github.com/usebruno/bruno/discussions/269
#opensource #api
Особенность Bruno в том что в нём нет никакой необходимости в облачном аккаунте, нет синхронизации в облаке и есть явный акцент на приватности. Дословно это звучит так
Bruno is offline-only. There are no plans to add cloud-sync to Bruno, ever. We value your data privacy and believe it should stay on your device. Read our long-term vision here.
Авторы подробно рассказывают о своём видении подобных инструментов [2], сравнивают их и описывают свой как единственный полностью оффлайновый.
А тем кто хочет синхронизовать свои спецификации API с другими, они дают возможность делать это через git, на Github или другом сервисе.
Лично я на этот инструмент обратил внимание по двум причинам.
Первая, конечно, в том что инструменты моделирования API будут актуальны ещё долго.
И вторая в том что сама модель оффлайн инструментов с синхронизацией через Git представляется хорошей идеей. Не монетизируемой, но востребованной.
Ссылки:
[1] https://www.usebruno.com
[2] https://github.com/usebruno/bruno/discussions/269
#opensource #api
В рубрике интересных наборов данных проект Census Tree [1] как результат работы группы исследователей по сопоставлению данных переписей США с 1870 по 1940 годы и созданию наборов данных связей между людьми. Причём искали их создавая специальный алгоритм сопоставления и используя генеалогические базы данных. Уникально и то что в США существуют открытые микроданные переписей начиная с 1790 года [2] и то что исследователи могут с этим работать.
Результаты представлены в виде коллекции наборов данных [3] сопоставлений связей между двумя переписями. Наборы данных включают файлы от нескольких мегабайт до нескольких гигабайт, но для выгрузки нужна регистрация на OpenICPSR [4].
Данные доступны в формате CSV под лицензией CC-BY 4.0
Ссылки:
[1] https://www.censustree.org
[2] https://usa.ipums.org/usa/full_count.shtml
[3] https://www.censustree.org/data
[4] https://www.openicpsr.org
#opendata #usa #census #sociology #datasets
Результаты представлены в виде коллекции наборов данных [3] сопоставлений связей между двумя переписями. Наборы данных включают файлы от нескольких мегабайт до нескольких гигабайт, но для выгрузки нужна регистрация на OpenICPSR [4].
Данные доступны в формате CSV под лицензией CC-BY 4.0
Ссылки:
[1] https://www.censustree.org
[2] https://usa.ipums.org/usa/full_count.shtml
[3] https://www.censustree.org/data
[4] https://www.openicpsr.org
#opendata #usa #census #sociology #datasets
В рубрике интересных продуктов на данных SemOpenAlex [1] граф знаний на 26 миллиардов RDF triples с базой из более чем 249 миллионов научных работ от 135 миллионов авторов и из 226 тысяч источников.
Проект включает открытое API и возможность скачать дамп целиком [2].
Данные и API доступны под лицензией CC0 и имеют множество возможных применений во всём что касается картирования науки и научной деятельности.
Ссылки:
[1] https://semopenalex.org
[2] https://semopenalex.org/resource/?uri=http%3A%2F%2Fdatasets.metaphacts.com%2Fsemopenalex
#opendata #datasets #researchdata #science #semanticdata
Проект включает открытое API и возможность скачать дамп целиком [2].
Данные и API доступны под лицензией CC0 и имеют множество возможных применений во всём что касается картирования науки и научной деятельности.
Ссылки:
[1] https://semopenalex.org
[2] https://semopenalex.org/resource/?uri=http%3A%2F%2Fdatasets.metaphacts.com%2Fsemopenalex
#opendata #datasets #researchdata #science #semanticdata
Forwarded from Национальный цифровой архив
В связи с новостями о том что Роснано может стать банкротом в ближайшее время [1] напомним что ещё в 2021 году на новостях со сменой руководства госкорпорации мы делали полный архив известных на тот момент сайтов организации. Архив доступен в форматах warc по ссылке [2].
Архив покрывает сайты:
- edunano.ru
- en.rusnano.com
- fiop.site
- nanocertifica.ru
- rusnano-dmm.ru
- schoolnano.ru
- startbase.ru
- thesaurus.rusnano.com
- www.rusnano.com
Если вам известны какие-либо сайты Роснано не заархивированные ранее, и ещё доступные или иные общедоступные материалы госкорпорации которые могут исчезнуть, напишите нам, мы оперативно их сохраним.
Ссылки:
[1] https://www.rbc.ru/business/03/10/2023/651c547b9a79471892df4083
[2] https://cdn.ruarxive.org/public/webcollect2021/rusnano2021/
#digitalpreservation #rosnano #webarchive #ruarxive
Архив покрывает сайты:
- edunano.ru
- en.rusnano.com
- fiop.site
- nanocertifica.ru
- rusnano-dmm.ru
- schoolnano.ru
- startbase.ru
- thesaurus.rusnano.com
- www.rusnano.com
Если вам известны какие-либо сайты Роснано не заархивированные ранее, и ещё доступные или иные общедоступные материалы госкорпорации которые могут исчезнуть, напишите нам, мы оперативно их сохраним.
Ссылки:
[1] https://www.rbc.ru/business/03/10/2023/651c547b9a79471892df4083
[2] https://cdn.ruarxive.org/public/webcollect2021/rusnano2021/
#digitalpreservation #rosnano #webarchive #ruarxive
РБК
«Роснано» предупредило о риске банкротства
«Роснано» сообщило, что не сможет до конца года погасить долги за счет собственных средств. Его чистый долг составляет 95 млрд руб. Оно испытывает подобные проблемы уже несколько лет. Путин говорил о
Свежая новость о том что Правительство РФ планирует выделить 250 миллионов рублей на раскрытие данных для бизнеса [1] в рамках разработки моделей ИИ. По нынешнему курсу это что-то около 2.5 миллионов долларов США. Много это или мало?
Примеры, навскидку:
- в 2014 году Правительство Великобритании создало два фонда Breakthrough Fund и Release of Data Fund на который ежегодно [2], общий их бюджет составлял 9.5 миллионов фунтов в год, он распределялся грантами по региональным и муниципальным властям чтобы те открывали свои данные.
- в Испании на языковые данные и технологии было выделено 330 миллионов евро на 2020-2026 годы и до этого 90 миллионов евро за 2016-2020 годы [3]
И таких примеров много, особенно, конечно, характерна модель "создания" наборов данных в России. В мире государства инвестируют в ИИ через грантовые программы ВУЗам и научным центрам и предоставление им и на их основе инфраструктуры для их открытой публикации. Те же испанцы публиковали языковые модели на Kaggle и Huggingface.
Судя по тому что я пока видел из активностей Минцифры РФ в этой области, я бы не ждал чего-то выдающегося. Тем более что, похоже, там сами до сих пор не знают что именно будет публиковаться, насколько открыто и так далее.
Ссылки:
[1] https://t.me/government_rus/9165
[2] https://www.gov.uk/government/publications/breakthrough-fund-and-release-of-data-fund
[3] https://plantl.mineco.gob.es/Paginas/index.aspx
#opendata #datasets #ai #russia
Примеры, навскидку:
- в 2014 году Правительство Великобритании создало два фонда Breakthrough Fund и Release of Data Fund на который ежегодно [2], общий их бюджет составлял 9.5 миллионов фунтов в год, он распределялся грантами по региональным и муниципальным властям чтобы те открывали свои данные.
- в Испании на языковые данные и технологии было выделено 330 миллионов евро на 2020-2026 годы и до этого 90 миллионов евро за 2016-2020 годы [3]
И таких примеров много, особенно, конечно, характерна модель "создания" наборов данных в России. В мире государства инвестируют в ИИ через грантовые программы ВУЗам и научным центрам и предоставление им и на их основе инфраструктуры для их открытой публикации. Те же испанцы публиковали языковые модели на Kaggle и Huggingface.
Судя по тому что я пока видел из активностей Минцифры РФ в этой области, я бы не ждал чего-то выдающегося. Тем более что, похоже, там сами до сих пор не знают что именно будет публиковаться, насколько открыто и так далее.
Ссылки:
[1] https://t.me/government_rus/9165
[2] https://www.gov.uk/government/publications/breakthrough-fund-and-release-of-data-fund
[3] https://plantl.mineco.gob.es/Paginas/index.aspx
#opendata #datasets #ai #russia
В Великобритании правительственная цифровая служба анонсировала [1] сервис создания форм для госагенств GOV.UK Forms [2].
Идея проста, сделать универсальный генератор форм которые могли бы создавать специалисты без технических знаний. Аналог TypeForm, Google Forms и других коммерческих продуктов, но с учётом требований и особенностей госорганов.
Продукт чрезвычайно похож на Сингапурский государственный проект FormSG [3] который ещё и существует с открытым кодом и построенном на тех же принципах, конструктора форм, кроме всего прочего поддерживающего аутентификацию через государственных и частных провайдеров аутентификации в Сингапуре.
Что характерно, FormSG - это открытый код, можно скачать его себе и использовать даже не будучи государственным агентством.
Интересный вопрос в том почему только в Сингапуре и Великобритании есть такие проекты?
Ссылки:
[1] https://gds.blog.gov.uk/2023/10/03/how-were-opening-up-access-to-gov-uk-forms/
[2] https://www.forms.service.gov.uk
[3] https://form.gov.sg
#opensource #govtech #government #singapore #uk
Идея проста, сделать универсальный генератор форм которые могли бы создавать специалисты без технических знаний. Аналог TypeForm, Google Forms и других коммерческих продуктов, но с учётом требований и особенностей госорганов.
Продукт чрезвычайно похож на Сингапурский государственный проект FormSG [3] который ещё и существует с открытым кодом и построенном на тех же принципах, конструктора форм, кроме всего прочего поддерживающего аутентификацию через государственных и частных провайдеров аутентификации в Сингапуре.
Что характерно, FormSG - это открытый код, можно скачать его себе и использовать даже не будучи государственным агентством.
Интересный вопрос в том почему только в Сингапуре и Великобритании есть такие проекты?
Ссылки:
[1] https://gds.blog.gov.uk/2023/10/03/how-were-opening-up-access-to-gov-uk-forms/
[2] https://www.forms.service.gov.uk
[3] https://form.gov.sg
#opensource #govtech #government #singapore #uk
Для тех кто заботится о приватности по умолчанию, Consent-O-Matic [1] расширение для браузера Chrome автоматически закрывающее окна [1] с выбором объёма кук на которые Вы согласны.
Разработано командной из Aarhus University в Дании, поддерживает около 680 видов всплывающих окошек с запросом выбора режима сохранения кук.
На сайте есть, также, версия для Firefox и Safari и полностью открытый код [2]
Ссылки:
[1] https://chrome.google.com/webstore/detail/consent-o-matic/mdjildafknihdffpkfmmpnpoiajfjnjd
[2] https://consentomatic.au.dk/
#opensource #privacy #cookies
Разработано командной из Aarhus University в Дании, поддерживает около 680 видов всплывающих окошек с запросом выбора режима сохранения кук.
На сайте есть, также, версия для Firefox и Safari и полностью открытый код [2]
Ссылки:
[1] https://chrome.google.com/webstore/detail/consent-o-matic/mdjildafknihdffpkfmmpnpoiajfjnjd
[2] https://consentomatic.au.dk/
#opensource #privacy #cookies