Вчера сделал первое обновление сервиса. Обновил данные - при первом запуске данные были от 01 сентября, теперь от 11 сентября. И стало работать на минуту быстрее. Был план (и он остается) - делать автоматические обновления прямо по дельтам - но не вывез. Поэтому обновление прошло по полному файлу ГАР и это хорошо - я фактически откатал полный пайплан от скачки 54ГБ файла до до подготовки витрин АДМ и МУН деления, откуда и формируется полный адрес ГАР. 54ГБ превращаются 7-8ГБ только актуальных записей без исторических, без машиномест, помещений и других ненужных данных. И в целом план такой: 2-4 месяца сервис обновляется дельтами, а потом полным файлом. Почему: дельты маленькие, но очень много таблиц, но все обновится за минуты: 300 тыс записей против 34 млн строения+24 млн ЗУ актуальных записей полного файла ГАР. Подготовка полного файла ГАР в АДМ/МУН витрины занимает около 8 часов. Но я пока опасаюсь, что обновления по дельтам могут копить ошибки, поэтому периодически планирую обновлять по полному файлу ГАР.
Ссылка на сервис: https://data.evgenybelavsky.com/address-service/

#Геосервисы #SpatialDataEngineering

Искусство заголовка :)
Здесь скорее речь идет о внутреннем (+ для клиентов СДЭКа) картографическом сервисе. Сейчас он сидит на Яндекс-картах и наверное хочет соскочить - стоимость геокодера, тайлового сервиса и поиска очень негуманная. Для крупной компании издержки могут составлять миллионы и сейчас уже возможно, десятки миллионов рублей в год. А У СДЭК как минимум 2 публичных сервиса на Я-картах + логистика на этих же картах. Могу предположить, что это будет картографический сервис аналогичный WB-картам, но под свои задачи. Кстати, есть что сказать про WB-карты

Как устроены карты WB: и карта ПВЗ (https://map.wb.ru), и сама карта (https://wb-maps.wb.ru) устроены одинаково – это тайлы MVT (Mapbox Vector Tiles), структура талов соответствует распространённой схеме представления OSM-данных в MVT. Структура атрибутики тоже характерна для данных ОСМ. Внешний вид определяется JSON-стилем, всего есть 372 правила оформления:
Линейные правила (line): 269
Площадные правила (fill): 44
Символы и подписи (symbol): 54
Маркеры (circle): 2
3D правила (fill-extrusion): 2
Фон (background): 1
Архитектурно, тайлы имеют 3 источника: planet, geodata и poi. При этом разделение проходит не строго по типам объектов: дороги и POI встречаются сразу в нескольких источниках. По видимому, это сделано для того, чтобы картографическое подразделение могло детализировать отдельные слои и объекты.

Принципиально, практически все исходные данные (хотя я не смотрел много, только Москву, область и Донецкую область) – это OSM, не только структура и содержание, но и идентификаторы конкретных объектов: в тайлах карты WB совпадают с идентификаторами тех же объектов в ОСМ. Можно было предположить, что это сделано для того, чтобы обновлять WB карты при изменении ОСМ, но на момент проверки фрагмента Мск в ОСМ точек подъезда (входы в здания) было больше, чем в данных WB карт, так же, диапазоны квартир для конкретных подъездов в ОСМ заполнено больше, чем в WB картах.
MVT тайлы WB-карт можно подключить прямо в QGIS и поиграться с ними, и даже сделать стили отображения условно близкое к web представлению. В целом, в WB-картах я не нашел каких-то значительных отличий от ОСМ (на проверяемых участках) со всем косяками ОСМ на просмотренных участках. Вероятно картографические подразделения в РФ, Узбекистане делают что-то что пока не видно стороннему наблюдателю. Может быть нацелены на картографию для именно такси и доставки на территории Белоруссии или Узбекистана.

#Геосервисы #SpatialDataEngineering

ЗD объекты (отдельные детализированные архитектурные объекты) на WB-картах реализованы через отдельные геопривязанные 3D-модели в формате glTF 2.0. Они загружаются HTTP-запросами из инфраструктуры статических ресурсов WB независимо от MVT-тайлов как отдельная пространственная сущность. Они имеют трёхмерную геометрию, материалы и текстуры. В исследованных файлах встречается THREE.GLTFExporter - инструмент экспорта из экосистемы Three.js.
Вокруг московского кремля я выловил 49 уникальных ЗD моделей (но это не 49 зданий, а именно моделей – т.к. конкретные здания могут состоять из нескольких моделей, например: Собор Василия Блаженного - 4 модели, стены кремля - несколько самостоятельных участков).
Я откуда все это знаю? Я ходил к ним собесы (несколько), изучал их продукт. Но не подошел, наверное квалификации не хватило хе-хе.

#Геосервисы #SpatialDataEngineering

Пару постов выше выше я упоминал про браузерную утилиту, которая облегчает жизнь инженера, когда лень долго копаться в сайтах, чтобы найти нужные геоданные. Дошли руки, сделал Spatial Data Hunter - сразу покажет, где геоданные или списки с цифрами, похожими на координаты, даст ссылку, сделает и скачает геоджсон. В целом - работает, иногда корявенько, но в текущих задачах справляется отлично. сейчас она зацепляет и векторные тайлы - надо будет это устранить, векторные тайлы - это отдельная задача, т.к. их нужно сажать в правильные СК и координаты, это исправлю в следующий раз, когда руки дойдут

Хотел сделать утилиту, которая превращала бы GeoPackage, наборы SHP или GeoJson в красивые GIS-видео.
В чем классность идеи - в том, что можно делать красвые видео на реальных данных и на реальном местоположении, отображая координаты, объемы, количество объектов, связи между ними, ареалы распространения во времени и т.д. И это все на реальных, проверяемых данных.
В целом, задача казалась выполнимой. Но только для небольшх и нескольких однотипных анимаций. Проблема возникла тогда, когда захотелось уйти от одинаковых видео или изменить сценарий. Если для 2-3 слоев еще реально вручную задать время и место анимации, то для бОльшего количества, где уже нужно приблизить камеру, потом показать отдельный счётчик, затем изменить масштаб, добавить подпись, задержать кадр и плюсом синхронизировать всё это между собой - это уже придется делать собственный видеоредактор.
Но зато теперь понятно как делать простейшие анимациии
Что использовалось: Python - логика сценария и последовательность появления объектов, на входе GeoPackage с 3 слоями библиотека Pillow, для создания и отрисовки отдельных кадров и FFmpeg для сборки и экспорта в MP4.

#ГИСИнструменты

Интересное наблюдение: все объекты (почтовые отделения, почтоматы, постоматы), показанные на сайте почты России в данных имеют fias_id вида 392163c4-b14f-40a4-a984-2aab4b369031, который позволяет автоматически обновлять адрес при изменении адреса в ГАР.
А на странице поиска индекса по адресу сайта почты России адреса очень похожи на структуру ГАР, либо легко сматчатся с ГАР. Что это дает:
1. Каждому адресному объекту ГАР можно присвоить индекс (там, где соответствующей таблице AS_HOUSE_PARAMS поле индекса пустое).
2. Когда каждому адресному объекту будет присвоен индекс для города или области - можно будет построить почтовые зоны. Это будут конечно не красивые официальные почтовые зоны, а расчётные. Они будут выглядеть криво, но все объекты с одинаковым индексом окажутся в одном полигоне

Адресный сервис https://data.evgenybelavsky.com/address-service отработал в промышленном масштабе лайт. Результат: 2396 адресных записей ГАР с пространственным положением за 1307 секунд. Это 0,55 секунды на каждый адрес. Норм.

Обогащение адресной базы собственных картографических сервисов, построенных на основе OSM (но не только OSM: пространственное положение есть, адресная строка нормализована). Пример г. Руза Московской области:
На ОСМ: 902 строения с адресом
ГАР: 1444 адреса с пространственным положением (это уже отфильтрованы пересечения с ОСМ) - видео

То есть за 20 минут можно добавить 1444 адреса. Но 20 минут, конечно, это условное время: на город Руза за 20 минут чере Address Data Service выгрузилось 2396 адресов, далее фильтрация, и некоторая доработка: сервис выгружает адресные строки с координатами в двух сущностях - адрес дома, а если к этому месту нет записи для дома - выгружается адрес земельного участка. Если в 90% адрес дома попадает в контур строения, то адресная точка земельного участка - это центроид самого земельного участка, которую надо сдвинуть на строение. Это от 3 до 7 секунд на одну точку.

#SpatialDataEngineering #Инструменты