Global Wind Atlas [1] веб-проект, карта и большая база данных ветров на планете. В первую очередь с точки зрения потенциала для ветроэнергетики и с большим объёмом открытых данных [2]

Проект может быть полезен всем кто ищет данные о ветрах в своих странах.

Ссылки:
[1] https://globalwindatlas.info/
[2] https://globalwindatlas.info/downloads/gis-files

#opendata #winds

Что надо делать в первую очередь при любых административных изменениях? Сохранять архивы!

Я хочу напомнить что в конце прошлого года Пр-вом РФ была анонсирована большая реформа институтов развития. Это такие структуры как ВЭБ.РФ, РВК, Фонд содействия инновациям, Корпорация МСП и ещё довольно много разного [1]

В проекте Национальный цифровой архив нами собраны 54 веб-ресурса относящиеся к этим организациям [2]. Они включают официальные сайты, сайты мероприятий, конкурсов, контентных проектов, информационных систем, систем раскрытия информации и так далее. Наиболее вероятно что не исчезнут веб-ресурсы ВЭБ.РФ, наверное большая часть других тоже останется, но, поскольку параметры реформы всё ещё неизвестны, то перестраховка всегда важна.

Кроме ресурсов перечисленных в списке, есть многочисленные данные об институтах развития в системах госзакупок, бюджетной отчетности, отчетности НКО, систем регистрации судебных дел и иных официальных и иных информационных системах.
Чаще эти данные не исчезают, но, бывает всякое. Поэтому остаётся вопрос - надо ли архивировать и эти сведения тоже. В принципе, например, сведения по госконтрактам архивируются в рамках проекта Госрасходы [3], но, они, в виду значительных объёмов, не включают документы: тексты документации, контрактов и протоколов и так далее.

Ключевые вопросы:
1. Надо ли провести полное сохранение этих данных или исходим из доверия к этим системам?
2. Надо ли выделить отдельные наборы данных с закупками, базовой информацией по юр. лицам по этим организациям и так далее для исследователей и журналистов?

Ссылки:
[1] https://www.rbc.ru/business/23/11/2020/5fb8ce659a79471e74bd2245
[2] https://docs.google.com/spreadsheets/d/1YIwLeSBJ3WqR4nvsPq50rLkX2Z_4uHpW2q9ni8hw8x0/edit#gid=0
[3] https://spending.gov.ru

#opendata #opengov

Напомню что у Инфокультуры естт телеграм канал @infoculture где регулярно пишут о проектах по работе с данными для НКО

Онлайн-агрегатор «Капитан Грантов» — партнер конкурса «Исследователь».

На портале https://cptgrants.org вы можете найти информацию о грантах и конкурсах во всех регионах России. Кроме того, регулярная подборка актуальных грантов выходит в телеграм-канале: t.me/cptgrantov

Некоммерческие организации и социальные предприниматели могут получить индивидуальные консультации, присоединиться к обучающим вебинарам и семинарам, посвященным написанию заявок и участию в конкурсах.

Будьте в курсе возможностей с «Капитаном грантов»!
_ _ _
Напоминаем, что прием заявок на конкурс «Исследователь» идет до 31 января: https://ngo-research.ru/contest

Хотел написать по доброму, как получилось не знаю
-----
- Папа, папа!
- Да, сынок?
- А расскажи что такое проактивные госуслуги?
- А хочешь покажу в действии? Давай одевайся потеплее и пойдём.
...
- Видишь вот там сугроб и лед на земле скользкий. Давай туда подойдём. Вставай, вот тут. Возьми телефон, чуть подними, наклонись и ... падай спиной в сугроб как будто ты подскользнулся и говори громко (шёпотом) "Грёбаный гололёд", а потом ничего не говори, а послушай
- А мама мне не разрешает в снегу валяться и ругаться
- Сегодня можно. Ну что готов?
- Готов
- Поехали!
- (падает спиной в снег словно подскользнулся и кричит) "Грёбаный гололёд!"
- (голос из телефона) Здравствуйте, я городской цифровой помощник. Зафиксирована потеря устойчивости и возможное падение. Вам необходима медицинская помощь?
- (громко) Спасибо, нет
- (голос из телефона) Вы хотите оформить жалобу или обращение?
- (громко) Да, хочу
- (голос из телефона) Опишите Вашу ситуацию
- (громко) Шёл по улице. Подскользнулся. Упал, хорошо что гипса нет. Двор не убран, коммунальные службы работают плохо
- (голос из телефона) Ваше заявление зарегистрирована в течение 1 часа Вы получите официальный ответ. Ответственное лицо - Мартынов Игорь Игоревич, руководитель <неразборчиво>. Спасибо за обращение в городскую службу. Доброго Вам дня.
...
- (отряхивает спину и штаны сыну) Ну как?
- Прикольно! Получается так на всё что угодно можно пожаловаться?
- Ну, почти, потихоньку подключают, местные службы не всегда работают хорошо. Как всегда
- А почему "грёбаный"? Это волшебное слово такое
- Не, просто слово вводное, значит что ты что-то важное цифровому помощнику хочешь сказать. Ещё важна интонация и тд. Но ты его при маме только не говори, ей это знать не обязательно. Хорошо?
- Хорошо! А на учителя можно так пожаловаться? Например, "Грёбанная Мария Ивановна плохо провела урок истории".
- Нет, про школу нельзя и про соседей нельзя. Пока только про двор/дороги/ветеринарные службы/сантехников/таксистов/компании можно
- А это как?
- Вот смотри (громко) Грёбанные машины Тыгыдыкса. Весь двор ими заставили.
- (голос из телефона) Здравствуйте, я цифровой помощник транспортного управления Санкт-Газпромбурга. Вы хотите оставить жалобу о злоупотреблении общественным пространством?
- (громко) Нет, в другой раз.
- (голос из телефона) Извините за беспокойство. Доброго Вам дня
- огого! Как круто! Слово "грёбанный" какое-то волшебное. Мне нравится!
- да, но используй его пореже. Оно называется бранное, мама расстроится если узнает что я тебя им учу...
- (телефон вибрирует и говорит) Вам пришло новое сообщение
- О, а вот сообщение на наше обращение. Пишут что в связи с новыми требованиями Правительства по борьбе с 27-й волной коронавируса лед будет убран через 10 дней, а нам ходить по улице не рекомендуется.
- А почему они не исправляют
- Ну как сынок почему. Потому что в нашей стране много вот таких вот грёбанных Мартыновых Игорей Игоревичей не желающих делать её лучше ...
- (голос из телефона) Здравствуйте! Я цифровой помощник службы кадров Санкт-Газпромбурга. Вы хотите зарегистрировать обращение по работе сотрудника Мартынова Игоря Игоревича
- (громко и раздражённо) Нет не хочу! Отключись уже тебе говорят!
- (голос из телефона) Извините за беспокойство
- Пап, спокойнее, пойдём домой.
- Да, прости сынок. Каждый день разбираю столько жалоб и все на всё жалуются, особенно на правительство, а сами ничего не делают. Вот буквально вчера сотни писем все одно за одним пишут мол "Грёбанное правительство" и куча всего... Устаёт твой папка
- (голос из телефона) Здравствуйте, с Вами говорит голосовой помощник службы сбора штрафов города Санкт-Газпробурга. Вам с Вашего счетна списан штраф в 1000 рублей за бранные слова в адрес должностных лиц.
- Сынок, подожди, я на минуту отойду (в телефон) Алиса, ну хватит уже прикалываться
- Это тебе хватит уже сына учить ругаться. Давайте домой, обед стынет и я уже не поспеваю голоса переключать. Как заработает твоя система так и будешь хвастаться, а сына обманывать сама не хочу, для кармы плохо. Домой идите)
...

Google анонсировали закрытие поиска в Австралии [1] если будет принят закон о плате местным СМИ за указание ссылок в выдаче на их сайты.

Позиция понятная, жёсткая, и показывает самосоознание Google/Alphabet себя как участника переговоров, а не объекта регулирования. Похоже что глобальные цифровые корпорации доросли до нового собственного позиционирования, интересно как дальше это всё пойдет.

Тем временем, интересна и позиция властей Австралии, прогнутся ли они или же надавят, а в Австралию придут Bing (Microsoft), DuckDuckGo, Yandex и другие игроки, готовые играть по правилам страны, а не своим собственным.

Ссылки:
[1] https://about.google/google-in-australia/an-open-letter/

#search #data

Алгоритмы во благо это, например, предсказание поломок у жестких дисков с помощью машинного обучения в блоге Datto Engineering [1]. Хороший технический текст, с пониманием возможностей и ограничений.

В нём же ссылка на ещё один важный, но очень специальный набор открытых данных. С 2013 года компания Backblaze публикует очень подробные данные по своим жестким дискам [2]. несколько гигабайт в сжатом виде - это данные собираемые по показателям SMART по каждому диску, бесценны для их производителей и эксплуатантов этих дисков.

Ссылки:
[1] https://datto.engineering/post/predicting-hard-drive-failure-with-machine-learning
[2] https://www.backblaze.com/b2/hard-drive-test-data.html#helpful-hints-and-caveats

#opendata #data #ml

Слов нет. Вернее есть, но все матерные. Тут важно помнить что pravo.gov.ru ведёт ФСО России, охраняющее первых лиц и ещё много чего обеспечивающее. По моему скромному мнению высокий профессионализм службы незаслуженно остаётся без внимания.

Защищайте свои пароли!!!

Есть такой анекдот:

-как же он узнал мой пароль?
-а какой у тебя был пароль?
-год в который Эрик XI Эрикссон вернул себе трон шведского короля после смерти Кнута II.
-а какой это был год?
-тысяча двести тридцать четвёртый.

==========

Специалист по кибербезопасности смог войти в «админку» сайта для публикации российских законов по логину и паролю «admin/admin». Видео того, как он это сделал, опубликовал в своем твиттере.

Статья в Govering "5 Domains of Government That Are Ripe for Transformation" [1] от William D. Eggers из Делойт, как видно из заголовка о 5 направлениях в которых государство созрело для трансформации.

Написано под рынок США/Великобритании и других развитых стран, но актуально для многих.

Какие эти 5 направлений?
- Предоставление услуг (Service delivery)
- Операционное управление (Operations)
- Госполитика и принятие решений (Policy- and decision-making)
- Регуляторика и правоприменение (Regulation and enforcement)
- Таланты и рабочая сила (Talent/workforce)

В статье достаточное число примеров и, если дочитать её до конца, то можно убедиться что многое из написанного там внедряется и у нас в стране. Госуслуги всё более омниканальные (госпортал, мобильное приложение, офисы "Мои документы"), попытки реформировать найм рабочей силы и талантов тоже идут, скорее тяжело, но понемногу.

Ссылки:
[1] https://www.governing.com/next/5-Domains-of-Government-That-Are-Ripe-for-Transformation.html

#government #policy

Научная статья A Taxonomy for Data Ecosystems [1] о том как устроены экосистемы данных с научной точки зрения. Для меня это одна из самых интересных тем, с точки зрения того как экономика данных развивается, как устроены большие общественные и научные проекты экосистем данных.

Авторы пишут об этом не в первый раз, простой поиск в Research Gate даёт ссылки на множественные их публикации и немало других по теме Data Ecosystems можно сейчас найти.

Всё больше идёт к тому что экосистемы данных станут не только объектом научного интереса, но и предметом регулирования

Ссылки:
[1] https://www.researchgate.net/publication/348035570_A_Taxonomy_for_Data_Ecosystems

#data

Не украли, а потеряли (с) так можно описать ситуацию с удалением 400 тысяч записей о преступлениях, преступниках и их идентификационных данных в системе регистрации преступлений Великобритании [1] [2].

Данные о более чем 26 тысячах записях ДНК о 21,7 тысячах персон, 30 тысячах отпечатков и ещё многие иные записи были удалены из-за технической ошибки. Несмотря на то что техники пытаются восстановить эти данные, ситуация уже вылилась в публичный скандал.

Что характерно, всё произошло из-за человеческой ошибки, а восстановить данные оказалось не так то просто.

Остаётся вопрос - бывают ли подобные ситуации в других странах, например, в России?

Ссылки:
[1] https://www.theguardian.com/politics/2021/jan/16/priti-patel-faces-increasing-pressure-over-deletion-of-police-records
[2] https://www.theguardian.com/politics/2021/jan/15/priti-patel-under-fire-as-150000-police-records-accidentally-lost

#privacy #errors #data

Вышел ещё один большой релиз продукта - Prefect [1], ранее существовавший как облачный сервис, выпустили в открытый код сервера Prefect Server [2] и панели управления Prefect UI [3]

Prefect - это продукт по созданию data pipelines, цепочек обработки и проверки данных. Такие продукты используются для создания корпоративных озёр данных, аналитических хранилищ и так далее.

То что код проекта открывается в итоге меня не удивляет. Обработка данных через data pipelines сейчас - это высококонкурентная среда с большим числом продуктов с открытым кодом таких как Argo, KubeFlow, MLFlow, Luigi, Airflow, Apache Nifi, Dagster, Reflow и многих других.

Правда Prefect один из наиболее интересных инструментов и его релиз - это хорошая новость.

Ссылки:
[1] https://cloud.prefect.io
[2] https://github.com/PrefectHQ/server
[3] https://github.com/PrefectHQ/ui

#prefect

Относительно свежее направление в открытости геонаук (open geoscience) - это принципы ICON-FAIR [1] и открытость науки ещё на стадии её планирования (дизайна) [2]

При этом принципы FAIR известны ещё с 2016 года [3] - это findability, accessibility, interoperability, and reusability (находимость, доступность, интегрируемость и повторное использование)

А ICON это расширение FAIR через Integrated, Coordinated, Open, and Networked (Интегрированность, Скоординированность, Открытость и Сеть)

Ссылки:
[1] https://www.pnnl.gov/projects/WHONDRS/icon-fair-framework
[2] https://eos.org/editors-vox/special-collection-on-open-collaboration-across-geosciences
[3] https://en.wikipedia.org/wiki/FAIR_data

#opendata #openaccess #openscience