Вторник - день вольных рассуждений про геоинформатику.

Предположим, Вы очень крутой спец в области геоданных, хотите замутить стартап и всех победить. И начинаете искать предметную область ну или хотя бы сегменты рынка ("в средней полосе" России, чтобы без экзотического Севера).

Смотрите на B2C (для граждан). Хм, там плотно Яндекс и 2ГИС. А больше чем поиск по адресу, интересным местам, навигатор с пробками и прогнозами общественного транспорта - вроде как обычному жителю и не надо. Потребность "ориентироваться в пространстве" в целом закрыта.

ОК, давайте посмотрим на B2B. Кому нужна "точная картография", чтобы ежедневно - еженедельно.
Геомаркетинг? Крупные ритейлеры имеют свои отделы, а мелкие не доросли.
Лес? Очень "кривой" рынок.
Кадастровые работы? Оценщики? Разработка граддокументации? Все мелковато и масса конкурентов...
Ресурсоснабжающие организации? Интересно, но все под естественными монополиями, туда фиг проберешься.
Сельхозка? Да!! Низкая база (по первости хватает простой оцифровки полей, компоновки по ним данных снимков, метеорологии и почв), растущий рынок в целом, много независимых потребителей (можно 1 раз сделал - много раз продал). Но там миллион стартапов - все туда и рванули.

Ок, B2G. Но под B2G стартап денег не очень-то и дают. Ну и региональная информатизация потихоньку "вымывается" на федеральный уровень. Так же как 5-10 лет назад это произошло с муниципальной информатизацией - она фактически осталась только в крупных городах (миллионниках), да и то не всех. К тому же, B2G это жесткие регламенты, которые пока не очень-то и заточены на цифровые методы.

Читаете отчеты и презентации Роскосмоса и Росреестра двухлетней давности - там экзотика (типа маршрутов оленей) или "результаты будут востребованы широким кругом потребителей в различных отраслях народного хозяйства".
——
Останавливаетесь, напиваетесь с горя, похмеляетесь и идете по второму кругу, с подробным анализом. И оказывается, что в складочках, в швах и соединениях много чего притаилось. И жители не только и не столько ищут ближайшую аптеку и смотрят пробки... И бизнес не такой тупой как кажется. И данные всем нужны, но только на порядок качественнее, чем есть на рынке. И в сегменте B2G есть куча интересантов, куча желания и стремления к цифровизации, надо только понять "правила игры".

А если присмотреться, то вся ткань состоит из складочек, потертостей и гниловатых кусков, которые можно закрыть своими решениями. Но это уже не стартап, а бизнес "вдолгую".

Удачи нам всем!

Расскажем про очередную подсистему проекта КСДМ (Комплексная система дистанционного мониторинга) - мониторинг мест размещения отходов в Самарской области.
Слово руководителю проекта Михаилу. Он у нас очень подробный чел, поэтому текст длинный.
-----
Места размещение отходов бывают двух видов
1) Полигоны размещения отходов.
2) "Места несанкционированного размещения отходов" (проще говоря "свалки")

Полигоны размещения отходов это официально выделенные места, куда эти отходы можно вывозить.
Пока работаем только с полигонами ТКО/ТБО (твёрдых коммунальных/бытовых отходов), с полигонами промышленных отходов - в ближайших планах, по ним сложно найти официальный реестр.
В Самарской области 11 действующих полигонов ТКО (16 шт всего).

Первым делом мы нанесли границы этих полигонов на карту по кадастру, а потом по космическим снимкам нашли места, где полигон выходит за установленные границы - выявили возможные нарушения. Затем, следуя регламенту КСДМ, для каждого возможного нарушения создаётся карточка верификации, в которой пользователи должны проставить статус: достоверное нарушение или ложное. Выполняют камерально или "в поле" (при выезде на место) в нашем мобильном приложении с прикреплением фото.

Собственно на этапе выездов и выяснилось, чем куча нелегального мусора обычно отличается от абсолютно легитимной кучи камней при взгляде из космоса: ничем не отличается.То есть часть обнаруженных нами нарушений ожидаемо оказались ложными. Зато другая часть подтвердилась, информация была передана в Росприроднадзор, который даже вычислил возможные штрафы, и начал контрольно-надзорные мероприятия (КНД).

Второй тип объектов, которые мы мониторим, это уже упомянутые выше места несанкционированного размещения отходов ("свалки", программисты везде в коде в комментах пишут "помойки", я всё жду, где же это наконец вылезет на какую-нибудь экранную форму или в отчет).

Муниципалитеты раньше вели в экселе список этих свалок с характеристиками типа площади/адреса,э. То есть все знают, что там свалка, но прямо сейчас вывезти не могут, но планируют к вывозу, потом вывозят, потом свалка довольно часто восстаёт из мёртвых на том же месте, ну и дальше по кругу.

При переходе из эксель к ГИС очень важно сильно не усложнить пользователям жизнь. Сделать удобный редактор карточек объектов с переходом на карту и возможностью выгрузки обратно в Эксель.
В прошлом году геокодировали и сделали карту свалок, с этого года подключили муниципалов (все 37), и они сами внутри КСДМ ведут реестры, обновляют информацию, цепляют фото и т.д. По пути сильно уменьшилось количество собираемых отчётов - они просто не нужны, все выгружается из системы.

Одновременно с созданием учётного геореестра свалок мы стали мониторить свалки по космоснимкам (нужно разрешение не меньше 2м, а лучше "лучше"). Всю территорию Самарской области космомониторить таким образом нереально и не нужно (все разрушенные здания, каменистые пустыри очень похожи на свалки). Поэтому мы ищем всё похожее на пятна мусора в радиусе 500 метров от существующей либо уже ликвидированной свалки (второе самое нужное).

Если площадь "космического мусора" для существующей свалки заметно отличается от заявленной в документах, то это проверяется на месте, так как эта площадь потом пересчитается в размер выделяемых средств на его вывоз.

Ну а если мы видим мусор около "ликвидированной по документам" свалки, то это однозначно возможное нарушение. И дальше с ним разбирается управление экологического контроля по установленной схеме: карточка верификации, простановка статуса (возможно с выездом и фотками) и так далее.

Сейчас в реестрах 321 существующая свалка и 325 ликвидированных, но космомониторинг обнаружил около 41 из ликвидированных свалок что-то похожее на пятна мусора (2 дня назад, будем проверять).

Четверг - технический пост.
Слово нашему техлидеру Николаю, мастеру короткой прозы и абстрактных картинок.
——-
«Редактирование MVT»

Одним из недостатков использования механизма публикации геоданных на основе векторных тайлов является невозможность отображения данных в режиме real-time. Тайловый кэш всегда подготавливаются либо однократно, либо по заданному расписанию. Но очень хочется совместить скорость отображения больших массивов геоданных через MVT и возможность их онлайн-редактирования.

Первая реакция пользователей после внедрения MVT: мы только что нарисовали, где он на общей карте???
Путей решения может быть несколько:
- пытаться вместо тайлового кэша преобразовывать данные в MVT на лету из базы данных. Попробовали. Нагрузка на сервер БД 100% примерно всегда. Не подходит.
- пытаться обновлять кэш при обновлении записей в БД, применяя либо триггеры, либо другие событийные механизмы. Попробовали. Так как кэш мультимасштабный, обновление одного объекта даже самого маленького ведет к пересчету всех тайлов с ним, включая, например, тайл (0, 0, 0). Операции INSERT, UPDATE, DELETE выполняются долго, сервер также загружен на момент обновления. Не подходит.

В итоге остановились на следующем варианте.
Рассматриваем ситуацию spatial таблицы в базе данных, которая только дополняется, т.е. записи в таблице никогда не удаляются. К примеру, практически все данные в ГИСОГД идут по такому принципу. Документы не удаляются, а помечаются как недействующие. Земельные участки не удаляются, а меняют статус на «Снят с кадастрового учета». Количество добавленных или измененных данных за день не велико и сильно меньше общего объема данных в таблице.

Источники геоданных публикуются по 2 маршрутам:
/collections/LandPlot/items - OGC API Features, напрямую из БД.
/collections/LandPlot/tiles/{tileMatrix}/{tileRow}/{tileCol} - OGC API Tiles, данные из тайлового кэша.
Особенностью новых стандартов является поддержка «из коробки» мультивременных данных. Это означает, что каждый источник на уровне запросов может поддерживать параметр datetime, определяющий за какой промежуток времени запросить данные. Например, открытый интервал: 2022-10-27T00:00:00Z/..
Таким образом для Features API мы можем запрашивать данные с момента последнего обновления тайлового кэша.

Синхронизируем на клиенте. К примеру, для OpenLayers наследуемся от класса ol/source/VectorTile, перегружаем tileLoadFunction и делаем параллельный запрос к OGC API Features с учетом даты последнего обновления тайлового кэша, объединяем данные по идентификаторам. По итогу с точки зрения клиента слой остается один, стиль отображения также един, но данные берутся из 2 источников.
Поход чем-то близок по духу к Lambda Architecture:
- горячие (Hot) данные по ветке OGC API Tiles. Запрашиваются быстро, часто, регулярно, большой объем.
- холодные (Cold) данные по ветке OGC API Features. Запрашиваются медленнее, содержат полную информацию (как графику, так и семантику объектов).
Ну и фактически подход объединения геоданных разной степени «прожарки» может быть применен для источников не на основе OGC API. Главное – синхронизация по времени.
——-
Слово обратно менеджеру Андрею.

Если вы осилили дочитать до конца, - теперь у нас онлайн-редактор больших объемов данных (несколько миллионов - тестировали, но принципиальных технических ограничения нет и на больший объем) с быстрым отображением. Это крутая техническая фича, позволяет выйти на объемы типа "один редактируемый слой зданий на всю страну" без дебильных ухищрений. Звоните, пишите, если хотите у себя такой редактор.

Традиционная абстрактная картинка, которая должна пояснять, но увы - мало поясняет текст. Пока ищем свой неповторимый стиль...

Хорошую новость принес вечер, поэтому нафиг правила - второй пост за день.
Консорциум в составе МИИГАИК (головной), Самарский университет и еще несколько компаний, универов и НИИ стали Центром компетенций Национальной технологической инициативы (НТИ) по геоданным.

История началась в 2018 году, когда мы (точнее - я лично) очень захотел быть в НТИ со своим проектом. Четыре с небольшим года усилий, десяток документов (концепций, стратегий, проектов и программ разной степени завершенности) , 12 групп в телеге по теме, пару-тройку десятков зумов, несколько "окончательных" решений бросить все нафиг - и, наконец, какой-то результат. Но и это только начало.

Самарская часть заявки и программы (примерно 1/3 от общего объема в 700 млн.руб. на 5 лет) - работа по трем ключевым проектам
1) "Робот-картограф" и Геохаб
2) "Цифровой двойник территории" (решение задач "если-то" на цифровых моделях на геоданных)
3) "Автопривязка данных ДЗЗ"
Попробуем как можем поддержать и общественную энергию того, что раньше называлось "ГИС-ассоциация".

Конкурентами у нас были коллеги из Иннополиса. У них была очень сильная заявка и очень хорошие оценки экспертов! Респект.

Ключевую роль сыграла поддержка Росреестра и Роскартографии, Роскосмоса, пяти рынков NET, Правительства Самарской области, Полпредства ПФО.

Теперь не облажаться бы.

По выходным - "лёгкое чтиво", ситуации для управленческих поединков

«Мелкие, но вонючие»

Мы поставили ПО на 100 тысяч рублей для вновь образовавшейся землеустроительной фирмы ООО «Ветерок». Обучения не было, так как туда перешла от нашего прежнего заказчика сотрудница Глаша, которая знакома с нашим софтом и сказала, что «ничего не надо». Директор ООО «Ветерок» - брат чиновника из Администрации, который влияет на крупные бюджеты, при начале сотрудничества от него были звонки с просьбой помочь его брату. Через месяц после поставки звонит Глаша и говорит, что ничего не может сделать, так как по прежнему месту работы у нее была база данных, все настроено, а тут «ничего этого нет», а ей срочно сдавать работу по оцифровке крупной территории.

Роли и интересы

Землемеров Иван Карлович (Директор ООО «Ветерок») - выполнить договор по оцифровке, наладить дальше техпроцесс, не платить дополнительных денег за софт нам, в крайнем случае – надавить через брата.

Глаша – сделать работу по оцифровке, обеспечить себе комфортные условия работы «как на прежнем месте»

Чернов (наш руководитель) – не потерять Заказчика ООО «Ветерок», разрешить ситуацию себе не в убыток, сохранить репутацию перед Администрацией.

Маша (наша сотрудница) – не делать дополнительной работы по-возможности, «проучить Глашу», так как на этапе заключения договора она демонстрировала всезнайство и пренебрежение, отказалась от наших разумных предложений.

ГИСОГД. Как обеспечить качество и непротиворечивость данных.

Приказ 433 регламентирует правила ведения ГИСОГД в части корректности и полноты заполнения данных.
Большинство требований достаточно простые типа:
- поле ХХХ является обязательным;
- в папку "Утверждающий документ" должен быть прикреплен файл формата *.doc или *.pdf вместе с ЭПЦ *.sig";
- у РС должна быть ссылка на документ ГПЗУ или ППТ/ПМТ.
Есть более сложные условия, типа "не требовать тех. плана для РВ, если РВ выдан ранее 13.07.2015".
Программистам в коде их реализовать не сложно, но когда условий становится больше сотни, и еще не надо их менять под законы и требования, нужен специальный инструмент.

Поэтому у нас в системе реализован гибкий low-code вариант настойки правил верификации для конкретных типов документов, который позволяет не отвлекать программистов, а настроить правила проверки силами аналитиков и специалистов тех.поддержки.

В результате пользователи системы (операторы из ОМС) не могут ввести "кривые" и неполные данные, которые не будет соответствовать информационной модели 433 приказа и требованиям градкодекса.

Аналогично, реализованы верификаторы на пространственную корректность геоданных.
——
В целом, практически каждая ГИС сталкивается с проблемой качества геоданных и реестровых данных.
Обеспечение их - муторная, не сильно визуальная, но необходимая часть внедрения системы. Из выброшенных у нас в стране "в помойку" региональных и федеральных ГИС, навскидку, более половины из-за качества данных и наполненности, а не ущербности программного обеспечения.

Не сильно "веселый" и не сильно красивый пост - мораль тоже скучная, как этот дождливый понедельник. Все что может ввестись неправильно - введется неправильно, поэтому тщательно и нудно надо с самого начала обеспечивать непротиворечивость данных , такими простыми и понятными верификаторами. Иначе потом будете несколько лет выгребать и никогда не выгребете.

Дорогие друзья, подписчики! С Новым Годом! Мы, конечно, месяц пошумели, а потом подзависли на целых 2 месяца из-за сдачи проектов. Очень извините нас! После каникул, конечно, продолжим.
Желаем вам мира и добра в новом году!

Друзья, рассказываем,что 2023й год у нас на столько плодотворный, что немного подзабыли про наш канал.
А нам есть чем поделиться с вами😊. Например, сегодня наши коллеги побывали с деловым визитом в Минске и встретились с директором РЦТТ Александром Успенским и замом директора по производству УП «Геоинформационные системы» НАН Беларуси Игорем Страшко.
В ходе данного мероприятия обменялись опытом и обсудили состояние и перспективы реализации процесса Дорожной карты научно-технического сотрудничества между Национальной академией наук Беларуси и АНО «Институт регионального развития» управляющей компанией научно-образовательного центра мирового уровня «Инженерия будущего» на 2022-2025 гг.
Подробностей будем ждать от наших коллег по возвращении домой😊.
_____
На фото презентуем КСДМ.

Привет!

Это Андрей Чернов.
Вот прочитаю сегодня публичную лекцию https://vk.com/save_as_samara?w=wall-218463989_95

Тема "Самарские дворики" здесь условная. Реальная тема: "Как добыть информацию из открытых и полуоткрытых источниках о вашей квартире, доме, земельном участке". К примеру, когда вы рассматриваете их покупку.

Где найти информацию о правовом статусе, инженерных сетях, перспективах территории - в общем, "снять неопределенность". Как посчитать "что выгоднее".

Будут и лайфхаки. Велкам, сегодня в 19 часов в музее Алабина.