Ivan Begtin
7.98K subscribers
1.82K photos
3 videos
101 files
4.53K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts ivan@begtin.tech
Download Telegram
В рубрике полезных наборов данных по России, общедоступные точки подключения к ArcGIS государственных и научных порталов:
- https://agoracle.asutk.ru/arcgis/rest/services
- http://apieatlas.mos.ru/arcgis/rest/services
- https://geoportal.gcras.ru/arcgis/rest/services
- https://gisn.kgilc.ru:6443/arcgis/rest/services
- https://gisnao.ru/arcgis/rest/services/
- http://gis.rkomi.ru/arcgis/rest/services/
- https://karta.yanao.ru/arcgisserver/rest/services
- https://lgtgis.aari.ru/arcgis/rest/services
- http://map.govvrn.ru/arcgis/rest/services
- http://maps1.dvinaland.ru/arcgis/rest/services
- https://meteo-dv.ru/arcgis/rest/services/
- https://portal.shipsea.ru/arcgis/rest/services

У ArcGIS серверов нет указания на лицензии и право повторного использования данных, поэтому используйте на свой страх и риск. Большая часть этих порталов упомянуто в каталоге каталогов datacatalogs.ru и уже в расширённом объёме они будут в проекте Common Data Index

#opendata #datasets #geospatial #geodata #data #arcgis
Большой пласт открытых, но скрытых данных скрывается в многочисленных сайтах ArcGIS в облаке ESRI. Они все находятся в виде поддоменов у maps.arcgis.com или в виде доменов прилинкованных к облачному сервису. Например, по Армении есть сайт GIS 4 Armenia [1] работающий на этом сервисе и в его основе сервис сервера ArcGIS доступный по прямому адресу [2].

И таких сайтов десятки тысяч, они существуют параллельно сервисам ESRI по публикации открытых данных [3].

Среди этих сервисов есть и некоторые российские, например, портал геоданных Тверского госуниверситета [4] и его геоданные [5].

Это всё можно отнести к категории "скрытые данные". На этих сайтах ArcGIS не афишируется что можно выкачать все слои доступные на картах, но, тем не менее, это возможно.

Ссылки:
[1] https://armenia.maps.arcgis.com
[2] https://services4.arcgis.com/XZEtqni2CM1tP1ZM/ArcGIS/rest/services
[3] https://hub.arcgis.com
[4] https://gymnasiumtsu.maps.arcgis.com
[5] https://services6.arcgis.com/eBtYRazoKYOLGPmU/arcgis/rest/services

#opendata #datasets #geodata #arcgis #maps #geoportals
В рубрике больших каталогов геоданных - портал ArcGIS и поиск на нём [1] на онлайн сервисе компании Esri .

Ещё до появления хаба открытых данных Esri [2] который используют многочисленные муниципалитеты для публикации геоданных и данных, у Esri был и остаётся сервис поиска по георесурсам которые создавали пользовали их облачной платформы и далее делали их общедоступными.

Эти ресурсы включают: слои карт, карты, сцены, приложения, файлы и дата истории. По большей части, конечно, слои карт и файлы.

Точные объёмы измерить сложно, но вряд ли это меньше чем сотни тысяч гео ресурсов.

Главный минус - ограниченные метаданные ассоциированные с этими ресурсами.

Главный плюс - возможность найти геоданные по странам где собственные геоданные почти не существуют онлайн.

Ссылки:
[1] https://www.arcgis.com/home/search.html
[2] https://hub.arcgis.com

#opendata #arcgis #datasets #geodata #maps
Вдогонку к тексту про недокументированные API, маленький лайфхак о котором мало кто знает. У сервисов ArcGIS проверка доступа к ним зависит от вида запрашиваемого контента, для одних и тех же данных. Если обратится по ссылке к HTML представлению то может быть ошибка 403, а если к JSON то всё возвращается.

На скриншотах сервер с данными ArcGIS в Индии. Его можно открыть по ссылке. Он выдаст 403 ошибку, потом добавляем ?f=json и получаем ответ в формате JSON. Что важно, даже несмотря на то что администратор ограничил просмотр директорий с сервисами.

Это уже чуть-чуть ближе к инфобезу, но серьёзные данные и так не выставляют в ArcGIS в открытый доступ, а краулеры вообще не знают что там администратор ограничил. JSON доступен и парсится? Вот и славно.

#opendata #undocumentedapi #datasets #arcgis #geodata