Evgeny Belavsky | Geodata Spatial Data Engineering
8 subscribers
49 photos
3 videos
7 links
Пространственные данные, Spatial ETL, ГАР/ФИАС, location intelligence, data products. Кейсы, автоматизация, источники данных и инженерия геоданных

Data Products: data.evgenybelavsky.com
Address Data Service: data.evgenybelavsky.com/address-service/
Download Telegram
Прикол. Я еще ровно год назад этому улыбался. Первые два фото - карта и снимки Яндекса третий и четвертый - публичный портал пространственных данных, госорган. Все, что заставили Яндексу заблюрить - есть на публичном государственном портале. Не только фото, но и общее направление деятельности предприятия, адреса, материал стен, количество подземных этажей.
Ради объективности, надо отметить, что часть данных с публичного портала всетаки убрали (назначения, контура зданий, их параметры), но космические изображения остались без изменений.
Вообще непонятно зачем это делают - кроме этих Яндекса есть множество других картографических ресурсов, при этом часто обновляемых, где не занимаются апликацией.

#Картография
Я вот о чем подумал - ведь если это видит глаз, значит это можно автоматизировать? и сразу получить полигоны заблюренных объектов.
А с другой стороны: кто-то принес в Яндекс список с грифом, как минимум, "ДСП", а может и "секретно" - ведь это агрегированный список спец объектов по всей РФ. Сотрудник Яндекса, скорее всего без допуска к документам ограниченного доступа, заблюрил фото и показал всему миру местоположение этих объектов.
Хитро, ничего не скажешь
Evgeny Belavsky | Geodata Spatial Data Engineering
Прикол. Я еще ровно год назад этому улыбался. Первые два фото - карта и снимки Яндекса третий и четвертый - публичный портал пространственных данных, госорган. Все, что заставили Яндексу заблюрить - есть на публичном государственном портале. Не только фото…
Оказывается, идея с блюром - не оригинальна. Вот одна из балканских стран: первое фото - Google, второе - реестр недвижимости.
Тогда реализация на картах Яндекса, когда объекты закрывают лесной растительностью, конечно получше. Такой метод, как минимум, применяют в Северной Корее.
🔥2
Обновил сервис Address Data Service, теперь текущая версия данных ГАР - 06.10.2026. Обновления по дельтам не вывез второй раз уже, хотя казало бы чего проще - там всего 20-30 тыс записей. В чем основная проблема - добавить новые записи -проблем нет - иерархические структуры МУН/АДМ есть, если новый объект структуры тоже добавляется. проблема в постоянных изменениях уже существующих объектов. Изменений в структуре существующих объектов - 917. Здесь и не вывез. Зато: обновил обработку и обновление МУН/АДМ структур и сократил объем баз и время накатывания полного файла ГАР полностью без моего участия, мое - только QA по результатам. Время накатывания МУН/АДМ баз - 9 часов. Если удастся сократить до 2-3 часов, то можно будет не заморачиваться с дельтами - раз в 3 дня накатывать новый файл. Что нужно для этого? вычислительные мощности. Ниже карточки по прошедшему обновлению

#ГАР #SpatialDataEngineering
Полный текст - в линкине https://www.linkedin.com/feed/update/urn:li:activity:7514818026752454656/
Кстати, часть кейсов обновления, ради интереса, проверил на Яндекс-картах и 2ГИС. визуально эти обновления ГАР на их картах не видны, кроме одного у Яндекса. Хотя с их ресурсами то это сделать как 2П (2 пальца), хотя возможно в их базах все эти изменения применены и поиск работает правильно. В другом кейсе - с переименованием НП даже не буду проверять - НП найдется, т.к. названия почти одинаковые. Еще замечание - что у обоих сервисов неправильная иерархическая структура - нет больше сельских поселений в той части Новгородской области. И да, Яндекс пока не видит 2-ю Красноармейскую в Дербенте.
Evgeny Belavsky | Geodata Spatial Data Engineering
Прикол. Я еще ровно год назад этому улыбался. Первые два фото - карта и снимки Яндекса третий и четвертый - публичный портал пространственных данных, госорган. Все, что заставили Яндексу заблюрить - есть на публичном государственном портале. Не только фото…
А вот с уничтожением ЦОДов Яндекса какая мысль появилась.
В РФ с июля 2016 года не выдаются свидетельства о собственности на недвижимость, только выписки Росреестра. Где находятся их ЦОДы? Не в одном ли месте они сосредоточены, как организовано резервное копирование, распределены ли в пространстве резервные копии?
Потерять терабайт личных фоток на ЯДиске терпимо, а как с квартирой на патриках, или на рублёвке? Да даже в Южном Бутово наверное будет досадно.
Твиттер - алгоритмы распознавания ИИ-контента. Нет ничего плохого делать картинки при помощи ИИ - делать вручную ну очень долго. Единственное, что при генерации картинок, какая бы информативная и полезная она не была - ты получаешь клеймо ИИ-слоппера. Как избежать: генеришь картинку. Закидываешь в фигму (другую программу). Пересохраняешь. На фото одна и та же картинка. В первом случае Твиттер видит ИИ, во втором нет.
Сейчас, пока я оглядываюсь по сторонам, сделал парсер Линкина. Что делает: выгружает контакты в эксель, а другой агент ищет личные контакты (почты, телефон), которые засветились где-то публично. Сейчас я анализирую рекрутеров, но можно наверное применять и для продаж
Завершил очередные этапы - получение diff пространственного положения между релизами. При чем не только новые адресные точки, но оценка точности и классы Распознанные (гуд)/ Отсутствуют в кадастре (не гуд)/ Есть в кадастре, но без координат (не гуд). Все прошел ручками.
На картинке Diff с самым большим приростом адресов за месяц -16,300 адресных точек. Найдено пространственное положение для 80 процентов новых адресов
Второй микросервис - полный эксель всех адресов ГАР/ФИАС на любую административную единицу, причем с HOUSE/STEAD semantic dedup. когда отфильтрованы дублирующиеся адреса у строения и ЗУ, на котором стоит строение. Это не только дает FIAS Coverage, но реализует продуктовый сценарий, когда в полуавтоматическом режиме можно создать адресные точке в структуре ФИАС, которых нет в кадастре, получив максимально подробное адресное покрытие любой территории. Осталось только вывести это на фронт