В рубрике интересных продуктов по работе с API Metatype [1], платформа для декларативной разработки API, как сами создатели его позиционируют, продукт позволяющий проектировать API не будучи программистом. Внутри всё построено вокруг Typegraph [2], одновременно идеи и одноимённого пакета для Python с помощью которого описывается спецификация API. У продукта своя система типов, своя система управления доступа к ресурсам, интеграция с Prism, Deno и другими инструментами и ещё много чего.

Похоже что он годится как элемент строительного блока для построения собственной API платформы, хотя и удивляет что авторы игнорируют стандарт OpenAPI кроме как использования его спецификации для импорта описаний [3]

Выглядит интересно, а ещё интереcно что команда разработки явно вкладывается в документацию и, похоже, делают продукт под классическую нынче модель инвестиций когда есть корневой продукт с открытым кодом и облачная платформа на его основе. Облачную платформу пока не видно, но явно она появится.

Ссылки:
[1] https://metatype.dev
[2] https://metatype.dev/docs/concepts/typegraph
[3] https://metatype.dev/docs/guides/importing-openapi-definitions

#opensource #api #datatools

В рубрике неизвестных каталогов открытых данных в России подборка ссылок на доступные геоданные:
- https://fires.dvinaland.ru/geoserver/web/ геосервер по ГИС по пожарам в Ростовской области
- http://geo3d.scanex.ru:8090 WMS сервер компании Scanex на базе MapProxy
- https://geoanswer.ru/geoserver/web/ геосервер компании Geoanswer
- https://geo.uriit.ru - геосервер ХМАО на базе NextGIS
- https://geo.uriit.ru/mp/mapproxy WMS сервер ХМАО на базе MapProxy как часть геопортала на базе NextGIS
- http://gisa.aari.ru:8080/geoserver/web/ геосервер ААНИИ
- https://gis.dornadzor-sz.ru/drn/rest/services ArcGIS REST API сервера компании Дорнадзор
- http://gis.esimo.ru/eko/web/ геосервер ЕСИМО
- http://gis-vo.volganet.ru/arcgis/rest/services ArcGIS сервер Волгоградской области
- http://mapserver.cepl.rssi.ru:8080/geoserver геосервер Центра по проблемам экологии и продуктивности лесов РАН.
- https://portal.kgilc.ru:6443/arcgis/rest/services ArcGIS сервер Мурманской области

#opendata #datasets #geodata #russia

В рубрике интересных каталогов данных Sentinel Hub Public Collections [1] каталог 46 наборов данных снимков земной поверхности опубликованных в рамках проекта Sentinel Hub, компании Scorpius Labs из Словении.

Особенность в том что каталог основан на коде Amazon Open Data Registry [2] и все описания наборов данных хранятся в репозитории на Github в виде YAML файлов. Сами данные доступны под лицензией CC-BY 4.0 и являются данными из проекта Copernic, агентства ESA и других источников обработанные в Sentinel Hub.

Ссылки:
[1] https://collections.sentinel-hub.com
[2] https://registry.opendata.aws

#opendata #datacatalogs #geodata

Отвлекаясь от темы данных, не могу не написать что всё идёт к тому что до конца года Википедию в России заблокируют. Ничего хорошего в этом, разумеется, нет, а главный признак этого события в том что как на дрожжах появилось несколько альтернатив:

1) Большая российская энциклопедия в какой-то момент обновили свой сайт [1], приглашают авторов и сам ресурс стал выглядеть, относительно, приличнее, но общий объём статей, скажем так, несущественнен по мировым меркам. Энциклопедия существовала и раньше, в неё было "вбухано" много денег и я писал про них много раз, в последний раз в 2021 году, 2 года назад [2].

2) Знание.Вики [3] относительно новый проект Общества Знание, похоже что активно запущенный совсем недавно. Внутри его движок MediaWiki и они активно зазывают авторов, позиционируя проект как авторский и экспертный. По ощущениям, многое берётся из Википедии, но это не полный импорт, потому что нет страниц даже каких-то базовых понятий, например, не все страны.

3) RUWIKI [4], по сути, это клон русскоязычной Википедии с цензурированием всех тех страниц которые Роскомнадзор хотел бы чтобы цензурировались в самой Википедии. Поскольку это клон то объёмы сильно превосходят Знание.Вики и БРС, но в целом это вторичный продукт по отношению к Википедии поскольку никаких новаций в нём нет, только отцензурированная версия Википедии. Внутри движок Mediawiki
—
Я бы сказал что всё это сигналы что Википедию заблокируют до конца года, а в школах начнут продвигать использование одного из этих проектов или всех трёх, не берусь судить заранее, думаю что и сами инициаторы не знают до конца как это будет. Почему в школах? Потому что уже в университетах выше потребность в специализированных знаниях и если ищут в русскоязычной Википедии то только чтобы потом переключиться на другой язык или чтобы найти первоисточники и их изучить.

Впрочем речь не только об этом. Википедию неправильно рассматривать только как энциклопедию, это огромная свободно распространяемая база данных используемая Google, Bing, Yandex и другими для поисковых индексов и используемая почти всеми генеративными ИИ и ещё много кем. Собственно классические поисковые системы "отжирают" у Википедии больше трафика чем все вот эти потенциальные альтернативы или аналогичные альтернативы в других странах (Китай, Baidu).

Всё это российские "альтернативы" заменить не могут при всём желании, особенно Большая российская энциклопедия, где даже нет и не было условий использования материалов и возможности их распространения.

В любом случае я не перестаю повторять именно блокировка популярных ресурсов вроде Порнхаба или Википедии более всего вносит вклад в массовое обучение рядовых россиян для использования VPN сервисов для обхода блокировок.

Так что лично я предсказываю блокировку Википедии Роскомнадзором до конца года, со всеми вытекающими последствиями.

UPDATE:
Туда же в список альтернатив Википедиии:
- Энциклопедия Руниверсалис [5], также полный клон русской википедии
- Энциклопедия Кирилла и Мефодия [6] не вики проект и достаточно давний, по размерам меньше БРЭ, но под свободной лицензией

А также большая подборка ссылок на русскоязычные Вики проекты и инструменты работы с проектами фонда Wikimedia [7]

Ссылки:
[1] https://bigenc.ru
[2] https://t.me/begtin/3236
[3] https://znanierussia.ru/articles/Заглавная_страница
[4] https://ru.ruwiki.ru
[5] https://руни.рф
[6] https://megabook.ru
[7] https://github.com/alexeilutay/wiki4journals

#russia #wikipedia #censorship

В рубрике интересных поисковых систем Openverse [1] поисковик по изображениям и аудио опубликованным под свободными лицензиями Creative Commons или в статусе Public Domain. Ищет по более чем 700 миллионам объектов, предоставляет открытое API [2], основные источники: Flickr, iNaturalist и Wikimedia Commons [3], а для реализация поиска используют индекс Common Crawl. У проекта полностью открытый код [4] (внутри Python, Django, Typescript, Vue). Данные собираются с помощью Apache Airflow, а внутри поисковика Elasticsearch и сотни контрибьюторов. Очень живой и развивающийся проект

До него существовал поиск на сайте Creative Commons, но теперь он превратился в мета-поиск с выбором одной из поисковых систем [5].

Ссылки:
[1] https://openverse.org
[2] https://api.openverse.engineering/v1/
[3] https://openverse.org/sources
[4] https://github.com/WordPress/openverse
[5] https://search.creativecommons.org

#openapi #searchengines #opensource

Теперь уже 7055 каталогов данных в реестре каталогов данных registry.commondata.io из которых как минимум 5393 потенциально индексируемых в поиск. Много это или мало? Много. В dataportals.org всего 598 порталов, в Datashades.info 530 инсталляций CKAN, в re3data.org 3125 порталов научных данных.

Самое сложное - это собирать описания всех записей, а для этого нужны метрики качества. Для любого дата проекта нужны метрики качества и автоматизация их улучшения.

Вот в данном случае это референсная база данных, не транзакционная, а справочная для любых других проектов по систематизации данных. Полнота метаданных имеет значение и поэтому метрики именно про эту полноту: есть ли какое-то поле, ненулевое ли оно и так далее.

Вот чего не хватает так это простой системы метрик которую можно было бы пристыковать к базе данных в виде СУБД или в виде CSV/NDJSON файла.

Существующие движки оценки и мониторинга качества данных не подходят. Какие существуют альтернативы кроме как изобретать свой велосипед?

#opendata #datatools #metadata #datacatalogs #commondataindex

В рубрике как это устроено у них большая часть переписей населения в Южной Америке работает на ПО Redatam [1], оно же используется во многих странах Африки и Юго-Восточной Азии. Это продукт разработанный в Экономической комиссии для Латинской Америки и Карибского бассейна (ECLAC), специализированном подразделении ООН. На сайте продукта собраны и ссылки все опубликованные переписи населения и иные опросы в 24 странах [2], а также примеры микроданных [3].


Ссылки:
[1] https://www.redatam.org/en
[2] https://www.redatam.org/en/online-process
[3] https://www.redatam.org/en/microdata

#opendata #census #datasets #datacatalogs

Госзатраты. Перезапуск

К десятилетию проекта (которое состоится в начале 2024 года) мы планируем перезапуск общественного проекта «Госзатраты» (clearspending.ru) и будем рады фидбеку, пожеланиям и критике. Если вы давно пользуетесь сайтом, API или открытыми данными проекта, нам будут полезны ваши пожелания как по сайту, так и по содержанию баз данных и API. А если еще не пользуетесь, но интересуетесь финансовыми данными или мониторите госзакупки, можете написать о том, каких функций вам не хватает в сторонних проектах. Писать можно в комментарии или в лс (@k0shk), кому как удобнее.

За последний год аудитория нашего проекта составила почти 2 млн уникальных пользователей, надеемся, что с новой версией сайта и базы данных она продолжит расти.

Python внутри MS Excel [1] - это признание востребованности языка для дата-анализа и тем что Python уже стал стандартом де-факто для всех кто данные обрабатывает. Но то что только в облаке Microsoft Cloud сильно ограничивает корпоративное его применение для всех кто в облаке работать не готов.

Для тех кто использовал/использует MS Excel для очистки и обогащения данных не могу не напомнить про OpenRefine [2], продукт в котором Python (Jython) был встроен с самого начала. Когда надо полуавтоматически/полувручную проверять табличные данные - это незаменимый инструмент.

Ссылки:
[1] https://techcommunity.microsoft.com/t5/microsoft-365-blog/introducing-python-in-excel-the-best-of-both-worlds-for-data/ba-p/3905482
[2] https://openrefine.org

#microsoft #excel #datatools

Хорошая статья на Хабре про девушку которая в виду отсутствия данных о качестве воздуха в Ереване самостоятельно начала собирать датчики [1] и сделала сайт для публикации данных. Лучший способ побуждать любое государство публиковать данные - это создавать данные. Иногда, правда, у государств просто нет ресурсов. Например, Армения не самая богатая страна и данных о качестве жизни не так уж много.

Тут и сайт есть, и данные и сообщество будет формироваться. Просто отличная инициатива!

А мы обязательно добавим эти данные в каталог данных Open Data Armenia [2]

Ссылки:
[1] https://habr.com/ru/articles/755586/
[2] https://data.opendata.am

#armenia #opendata #lifequality #airquality #sensors

Действительно несколько лет назад я делал такое исследование и его несложно повторить. В одном российском госоргане это привело к большим внутренним проверкам, но это было давно.

Во второй раз за пару дней репощу @ahminfin, на сей раз про культуру "открытости" коммуникации ЦБ РФ. Хотелось бы сказать, они же публикуют данные и не всё так плохо, но... на деле то у ЦБ данных очень много и они рассеяны по всему их сайту и никогда не сводились в каталог для доступа. Максимум, что было - это что-то доступно через API, но далеко, далеко не всё. Учитывая что Пр-во РФ давно уже сползает от открытости данных к "открытости коммуникаций" с заведением аккаунтов в соцсетях госорганов, то можно пронаблюдать как такие коммуникации происходят. ЦБ, конечно, не орган власти, но всё очень и очень показательно;)

#opengov #russia #bankofrussia

«А с чего вы взяли, что мы обиделись?», «Молчать придется вам», «У вас какой-то особенный канал связи с реальностью?» - Банк России завел телеграм-чат и теперь общается с гражданами

Банк России добавил к телеграм-каналу @centralbank_russia чат и активно взаимодействует с гражданами.

Приведу несколько цитат админов чата (см. скрины):

- "Знаете, если вы чего-то не видели, это не значит, что этого нет"

- "Если вы будете придерживаться такого тона, то молчать придется вам"

- "Простите, но это просто чушь"

- "А как по-вашему формировать статистические данные? Может быть, у вас есть какой-то супер лайфхак?"

- "У вас какой-то особый канал связи с реальностью, где инфляция 70%? Не нужно тут писать ерунду, здесь рады только конструктивным диалогам и интеллигентному юмору (иногда)"

- "Стоит думать, прежде чем воспользоваться любым советом, и не дважды, а постоянно"

- "Если вы знаете наш ответ, то зачем продолжаете спрашивать? Думаете, повторение одного и того же действия может дать иной результат?"

- "Просьба только обойтись без сарказма вроде тезиса об уборке помещений, это грубо. Мы ведь и ответить можем )"

- "Может быть у вас есть аргументы сильнее, чем "бред сивой кобылы"?"

- "Не нужно тут ставить никому оценок, тем более админам. За хамство - бан"

- "Вы о чем вообще?". "У кого "у нас" не работают переводы? И с чего вы взяли что мы пользуемся swift?"

- "А с чего вы взяли, что мы обиделись? Мы просто следим тут за порядком"

- "То есть вы считаете, что мы все сложили в одну кучу? А с чего вы это взяли? Вернитесь к текстам по ссылкам еще раз, там указано, какие другие были кучи и каких активов"

- "Разозлившийся комментатор, пишущий саркастический комментарий - это не оскорбление. Злиться нормально, писать комментарии - тоже. Не обижайтесь )"

- "Оскорбления (и постановка диагнозов по интернету) в комментариях запрещены"

Кстати, меня в этом чате забанили после вопроса о том, как записаться на экскурсию в Музей ЦБ, но на таком фоне это и не удивляет - наверно, не вписалась в корпоративную стилистику :D

Давно откладываю и всё никак не завершу обещанный обзор корпоративных каталогов данных и больше лонгридов, но пока длинные тексты даются мне с трудом. Кстати, до сих пор это как одно из последствий ковида, просто чувствую как на способность много-много-много писать он повлиял.

А вот что касается публикации открытых данных, то я на днях обновил список на Awesome Open Data software [1] и там большая подборка открытого и коммерческого ПО для публикации открытых данных, геоданных, научных данных и ещё ссылки на инструменты их подготовки и многочисленные стандарты.

Если думаете как и на чём публиковать данные, список будет полезен. Я постоянно нахожу что-то новое при создание каталога-каталогов данных и всё записываю в этот список, так что он растёт и развивается.

Ссылки:
[1] https://github.com/commondataio/awesome-opendata-software

#opendata #opensource #datacatalogs