Четверг - технический пост.
Слово нашему техлидеру Николаю, мастеру короткой прозы и абстрактных картинок.
——-
«Редактирование MVT»

Одним из недостатков использования механизма публикации геоданных на основе векторных тайлов является невозможность отображения данных в режиме real-time. Тайловый кэш всегда подготавливаются либо однократно, либо по заданному расписанию. Но очень хочется совместить скорость отображения больших массивов геоданных через MVT и возможность их онлайн-редактирования.

Первая реакция пользователей после внедрения MVT: мы только что нарисовали, где он на общей карте???
Путей решения может быть несколько:
- пытаться вместо тайлового кэша преобразовывать данные в MVT на лету из базы данных. Попробовали. Нагрузка на сервер БД 100% примерно всегда. Не подходит.
- пытаться обновлять кэш при обновлении записей в БД, применяя либо триггеры, либо другие событийные механизмы. Попробовали. Так как кэш мультимасштабный, обновление одного объекта даже самого маленького ведет к пересчету всех тайлов с ним, включая, например, тайл (0, 0, 0). Операции INSERT, UPDATE, DELETE выполняются долго, сервер также загружен на момент обновления. Не подходит.

В итоге остановились на следующем варианте.
Рассматриваем ситуацию spatial таблицы в базе данных, которая только дополняется, т.е. записи в таблице никогда не удаляются. К примеру, практически все данные в ГИСОГД идут по такому принципу. Документы не удаляются, а помечаются как недействующие. Земельные участки не удаляются, а меняют статус на «Снят с кадастрового учета». Количество добавленных или измененных данных за день не велико и сильно меньше общего объема данных в таблице.

Источники геоданных публикуются по 2 маршрутам:
/collections/LandPlot/items - OGC API Features, напрямую из БД.
/collections/LandPlot/tiles/{tileMatrix}/{tileRow}/{tileCol} - OGC API Tiles, данные из тайлового кэша.
Особенностью новых стандартов является поддержка «из коробки» мультивременных данных. Это означает, что каждый источник на уровне запросов может поддерживать параметр datetime, определяющий за какой промежуток времени запросить данные. Например, открытый интервал: 2022-10-27T00:00:00Z/..
Таким образом для Features API мы можем запрашивать данные с момента последнего обновления тайлового кэша.

Синхронизируем на клиенте. К примеру, для OpenLayers наследуемся от класса ol/source/VectorTile, перегружаем tileLoadFunction и делаем параллельный запрос к OGC API Features с учетом даты последнего обновления тайлового кэша, объединяем данные по идентификаторам. По итогу с точки зрения клиента слой остается один, стиль отображения также един, но данные берутся из 2 источников.
Поход чем-то близок по духу к Lambda Architecture:
- горячие (Hot) данные по ветке OGC API Tiles. Запрашиваются быстро, часто, регулярно, большой объем.
- холодные (Cold) данные по ветке OGC API Features. Запрашиваются медленнее, содержат полную информацию (как графику, так и семантику объектов).
Ну и фактически подход объединения геоданных разной степени «прожарки» может быть применен для источников не на основе OGC API. Главное – синхронизация по времени.
——-
Слово обратно менеджеру Андрею.

Если вы осилили дочитать до конца, - теперь у нас онлайн-редактор больших объемов данных (несколько миллионов - тестировали, но принципиальных технических ограничения нет и на больший объем) с быстрым отображением. Это крутая техническая фича, позволяет выйти на объемы типа "один редактируемый слой зданий на всю страну" без дебильных ухищрений. Звоните, пишите, если хотите у себя такой редактор.

Традиционная абстрактная картинка, которая должна пояснять, но увы - мало поясняет текст. Пока ищем свой неповторимый стиль...

Хорошую новость принес вечер, поэтому нафиг правила - второй пост за день.
Консорциум в составе МИИГАИК (головной), Самарский университет и еще несколько компаний, универов и НИИ стали Центром компетенций Национальной технологической инициативы (НТИ) по геоданным.

История началась в 2018 году, когда мы (точнее - я лично) очень захотел быть в НТИ со своим проектом. Четыре с небольшим года усилий, десяток документов (концепций, стратегий, проектов и программ разной степени завершенности) , 12 групп в телеге по теме, пару-тройку десятков зумов, несколько "окончательных" решений бросить все нафиг - и, наконец, какой-то результат. Но и это только начало.

Самарская часть заявки и программы (примерно 1/3 от общего объема в 700 млн.руб. на 5 лет) - работа по трем ключевым проектам
1) "Робот-картограф" и Геохаб
2) "Цифровой двойник территории" (решение задач "если-то" на цифровых моделях на геоданных)
3) "Автопривязка данных ДЗЗ"
Попробуем как можем поддержать и общественную энергию того, что раньше называлось "ГИС-ассоциация".

Конкурентами у нас были коллеги из Иннополиса. У них была очень сильная заявка и очень хорошие оценки экспертов! Респект.

Ключевую роль сыграла поддержка Росреестра и Роскартографии, Роскосмоса, пяти рынков NET, Правительства Самарской области, Полпредства ПФО.

Теперь не облажаться бы.

По выходным - "лёгкое чтиво", ситуации для управленческих поединков

«Мелкие, но вонючие»

Мы поставили ПО на 100 тысяч рублей для вновь образовавшейся землеустроительной фирмы ООО «Ветерок». Обучения не было, так как туда перешла от нашего прежнего заказчика сотрудница Глаша, которая знакома с нашим софтом и сказала, что «ничего не надо». Директор ООО «Ветерок» - брат чиновника из Администрации, который влияет на крупные бюджеты, при начале сотрудничества от него были звонки с просьбой помочь его брату. Через месяц после поставки звонит Глаша и говорит, что ничего не может сделать, так как по прежнему месту работы у нее была база данных, все настроено, а тут «ничего этого нет», а ей срочно сдавать работу по оцифровке крупной территории.

Роли и интересы

Землемеров Иван Карлович (Директор ООО «Ветерок») - выполнить договор по оцифровке, наладить дальше техпроцесс, не платить дополнительных денег за софт нам, в крайнем случае – надавить через брата.

Глаша – сделать работу по оцифровке, обеспечить себе комфортные условия работы «как на прежнем месте»

Чернов (наш руководитель) – не потерять Заказчика ООО «Ветерок», разрешить ситуацию себе не в убыток, сохранить репутацию перед Администрацией.

Маша (наша сотрудница) – не делать дополнительной работы по-возможности, «проучить Глашу», так как на этапе заключения договора она демонстрировала всезнайство и пренебрежение, отказалась от наших разумных предложений.

ГИСОГД. Как обеспечить качество и непротиворечивость данных.

Приказ 433 регламентирует правила ведения ГИСОГД в части корректности и полноты заполнения данных.
Большинство требований достаточно простые типа:
- поле ХХХ является обязательным;
- в папку "Утверждающий документ" должен быть прикреплен файл формата *.doc или *.pdf вместе с ЭПЦ *.sig";
- у РС должна быть ссылка на документ ГПЗУ или ППТ/ПМТ.
Есть более сложные условия, типа "не требовать тех. плана для РВ, если РВ выдан ранее 13.07.2015".
Программистам в коде их реализовать не сложно, но когда условий становится больше сотни, и еще не надо их менять под законы и требования, нужен специальный инструмент.

Поэтому у нас в системе реализован гибкий low-code вариант настойки правил верификации для конкретных типов документов, который позволяет не отвлекать программистов, а настроить правила проверки силами аналитиков и специалистов тех.поддержки.

В результате пользователи системы (операторы из ОМС) не могут ввести "кривые" и неполные данные, которые не будет соответствовать информационной модели 433 приказа и требованиям градкодекса.

Аналогично, реализованы верификаторы на пространственную корректность геоданных.
——
В целом, практически каждая ГИС сталкивается с проблемой качества геоданных и реестровых данных.
Обеспечение их - муторная, не сильно визуальная, но необходимая часть внедрения системы. Из выброшенных у нас в стране "в помойку" региональных и федеральных ГИС, навскидку, более половины из-за качества данных и наполненности, а не ущербности программного обеспечения.

Не сильно "веселый" и не сильно красивый пост - мораль тоже скучная, как этот дождливый понедельник. Все что может ввестись неправильно - введется неправильно, поэтому тщательно и нудно надо с самого начала обеспечивать непротиворечивость данных , такими простыми и понятными верификаторами. Иначе потом будете несколько лет выгребать и никогда не выгребете.

Дорогие друзья, подписчики! С Новым Годом! Мы, конечно, месяц пошумели, а потом подзависли на целых 2 месяца из-за сдачи проектов. Очень извините нас! После каникул, конечно, продолжим.
Желаем вам мира и добра в новом году!

Друзья, рассказываем,что 2023й год у нас на столько плодотворный, что немного подзабыли про наш канал.
А нам есть чем поделиться с вами😊. Например, сегодня наши коллеги побывали с деловым визитом в Минске и встретились с директором РЦТТ Александром Успенским и замом директора по производству УП «Геоинформационные системы» НАН Беларуси Игорем Страшко.
В ходе данного мероприятия обменялись опытом и обсудили состояние и перспективы реализации процесса Дорожной карты научно-технического сотрудничества между Национальной академией наук Беларуси и АНО «Институт регионального развития» управляющей компанией научно-образовательного центра мирового уровня «Инженерия будущего» на 2022-2025 гг.
Подробностей будем ждать от наших коллег по возвращении домой😊.
_____
На фото презентуем КСДМ.

Привет!

Это Андрей Чернов.
Вот прочитаю сегодня публичную лекцию https://vk.com/save_as_samara?w=wall-218463989_95

Тема "Самарские дворики" здесь условная. Реальная тема: "Как добыть информацию из открытых и полуоткрытых источниках о вашей квартире, доме, земельном участке". К примеру, когда вы рассматриваете их покупку.

Где найти информацию о правовом статусе, инженерных сетях, перспективах территории - в общем, "снять неопределенность". Как посчитать "что выгоднее".

Будут и лайфхаки. Велкам, сегодня в 19 часов в музее Алабина.