ПРОСТРАНСТВЕННЫЙ ВЫБРОС

Определение
Пространственный выброс – это пространственный объект, непространственные атрибуты которого значительно отличаются от непространственных атрибутов его соседей.

Назначение
Пространственные выбросы выявляют аномалии в наборе пространственных данных, требующие дальнейшего изучения.

Обнаружение пространственных выбросов можно использовать для следующих целей:

- анализ преступности: в районе А кол-во преступлений значительно выше, чем в соседних, это указывает на признак гетто.
- геомаркетинг: продукт в районе А покупают значительно реже, чем в соседних, это указывает на затрудненный доступ к продукту в этом районе или на плохую маркетинговую кампанию.
#геоаналитика #spatialdatascience

«Геоэмбеддинги: векторное представление контекста в пространственной аналитике»

Юлий Шамаев, Data Science Team Lead, Банк ВТБ В задачах пространственной или геоаналитики очень важно правильно учесть окружение исследуемого объекта. Так, например, стоимость объекта недвижимости может зависеть от удалённости от метро, а нагрузка на банкомат будет выше в торговом центре.

Схожая проблематика возникает и в других доменах машинного обучения. Контекст предложения влияет на значение слова в NLP, а взаимное расположение пикселей — на содержание изображения в Computer Vision.

В нашем подходе мы используем современную архитектуру трансформера в приложении к геоданным, чтобы получить векторное представление.
Ссылка на YouTube https://youtu.be/e6Wl8xJ9aNo?si=s9KpBGI5lyO5qiQJ

Из канала https://t.me/datainthecity

#города #экономика

Геочеки от ФНС
https://geochecki-vpd.nalog.gov.ru/geochecks

Открытые данные Федеральной налоговой службы о потреблении товаров и услуг в различных локациях, агрегированные по гексагональной сетке.

Может пригодиться для исследований городских центров и решения геомаркетинговых задач

Интересный сервис по поиску земельных участков для застройщиков и инвесторов https://www.udel.tech/ , основатель сервиса https://dorozhnij.com/

❗️Написал парсер данных Геочек с сайта ФНС, которые по ограничивающей геометрии скачивает информацию с сайта ФНС и преобразует в гео датафрейм

ESDA vs EDA

ESDA – Exploration Spatial Data Analysis (Исследовательский Анализ Пространственных Данных)

EDA –Exploration Data Analysis (Исследовательский Анализ Данных)

Определение

ESDA – это набор вычислительных методов и методов визуализации, используемых для анализа пространственных данных, путем:
- применения классической непространственной описательной статистики
- выявления пространственных взаимодействий, отношений и закономерностей с использованием матрицы пространственных весов, проверкой гипотез и различных показателей.

Методы и инструменты ESDA
- описание и обобщение распределения пространственных данных
- визуализация пространственного распределения
- изучение пространственной автокорреляции
- выявление пространственных выбросов
- выявление кластеров
- определение «горячих» и «холодных» точек

📚 Шпаргалки по статистике и теории вероятностей от Стэнфордского университета 🏫

Центрографическая статистика

Определение

Центрографическая статистика – это инструмент анализа географического распределения путем измерения центра. дисперсии и направленного тренда пространственного расположения.

Инструменты

Чаще всего используются такие центрографические статистики, как средний центр, медианный центр, центральный объект, стандартное расстояние и эллипс стандартного отклонения.

Отличия статистик

Центрографические статистики вычисляются на основе местоположений объектов, что является их главным отличием от описательных статистик, которые относятся только к непространственным атрибутам пространственных объектов.

Настройка Python проекта на Git

В рамках прохождения трека на ODS.ai «MLOps и production в DS исследованиях» выкладываю ссылку на git репозиторий по домашнему заданию. Можно клонировать и использовать в качестве шаблона для своих ML проектов на Python, получился полезный инструмент.

Цель этого домашнего задания подготовить репозиторий для работы в нем:
• настроить необходимые линтеры и форматеры
• описать конфиг pre-commit
• сформировать contributing.md где описано, что и как нужно делать в репозитории для внесения изменений

Для этого нужно выполнить следующие шаги:

1. Опубликовать репозиторий на gitlab (или аналоге, но курс ориентирован на gitlab).
2. Выбрать линтеры и форматеры. Можно выбирать те, которые озвучивались в материалах курса, или какие-то свои, которые вам привычны.
3. Зафиксировать необходимые зависимости для линтеров
4. Настроить pre-commit в репозитории
5. Провести настройки линтеров и форматеров в pyproject.toml, прописать основные параметры инструментов
6. Зафиксировать в contributing.md, как пользоваться линтерами в вашем проекте. Добавить в readme.md методологию ведения вашего репозитория

Сделано:

• Создан git-проект на Github, созданы две ветки (master – для кода в продакте, dev – препрод среда, остальные ветки создают участники команды исследования).

• Создано виртуальное окружение с использованием conda.

• Установлен python пакет pre-commit - фреймворк, использующий git pre-commit hook для запуска хуков (инструментов) перед созданием коммита.

• Установлены пакеты с линтерами и форматерами для настройки оформления python кода (ruff, black, pip-compile).

• Установлено poetry для формирования файла pyproject.toml

Ссылка на репозиторий KarimDataMaster/mlops_2024: Трек MLOps и production в DS в исследованиях 3.0 от ODS.ai (github.com)

Ссылка на трек от ODS.ai https://ods.ai/tracks/mlops3-course-spring-2024

Ссылка на статью, которая сильно помогла при выполнении ДЗ Лучшие open-source инструменты для Python проектов / Хабр (habr.com)

Spatial Data Catalog - Каталог пространственных данных по подписке от компании CARTO

CARTO - компания на лидирующих мировых позициях в предоставлении пространственных сервисов и данных.

На сайте CARTO есть полезные разделы, один из них с обширным каталогом пространственных данных, которые можно использовать в разнообразных задачах по гео аналитике. Есть публичные данные (доступны после оформления демо-подписки) и платные.

Можно использовать этот каталог в качестве источника вдохновения для данных к вашим проектам. Попытаться найти бесплатные ресурсы и обработать, чтобы добиться похожих результатов.

На мой взгляд, этот подход к распространению данных является жизнеспособным и наиболее правильным с точки зрения монетизации. Не зря же один из флагманов делает упор именно на него.

А как вы считаете?

Типовые кейсы применения геопространственного анализа для ритейла

• Выявление пространственных кластеров с высокими и низкими значениями исследуемых параметров (Hotspot Analysis)

• Поиск областей‑двойников (Twin Area Analysis)

• Моделирование выручки планируемого магазина с учётом его месторасположения и окружения (Revenue Prediction)

• Расчёт коммерческой ёмкости месторасположения (White Space Analysis)

Прочитать подробнее можно в статье на Хабре

Добро пожаловать в крупнейший каталог урбанистических каналов Telegram!

🏙 Откройте для себя мир урбанистики в России через наш уникальный каталог, где мы собрали самые информативные и вдохновляющие каналы, посвящённые архитектуре, градостроительству, транспорту, общественным пространствам и городской жизни.

💡 Что вы найдёте в нашем каталоге?

- Авторские каналы: Личные заметки и размышления экспертов, которые делятся своим видением и опытом в области урбанистики.
- Коллективные проекты: Каналы от команд и организаций, предлагающие глубокий анализ, новости и обсуждения актуальных городских вопросов.
- Тематическое разнообразие: От зелёных зон и экологии до транспортной инфраструктуры и культурных событий — все аспекты городской жизни в одном месте.

🔍 Удобная навигация

- Фильтрация по размеру: Найдите каналы, соответствующие вашим предпочтениям — от небольших, уютных сообществ до крупных информационных платформ.
- Поиск по тегам: Используйте теги для быстрого доступа к каналам, которые соответствуют вашим интересам. Будь то "Городское планирование", "Общественный транспорт" или "Архитектура" — легко находите то, что вам нужно.

🌟 Постоянное обновление

Каталог постоянно пополняется новыми каналами и обновлениями от уже существующих. Следите за обновлениями, чтобы всегда быть в курсе последних трендов и дискуссий в мире урбанистики России.

🤝 Присоединяйтесь к сообществу

Станьте частью активного и знающего сообщества, обсуждайте идеи, делитесь мнениями и получайте новые знания каждый день.

🔗 Перейти в каталог

🗂 Подписаться на каналы разом
upd: (ссылка устарела и папка содержит не все каналы)

***
Хотите добавить свой канал? Заполните анкету

Есть вопросы? Пишите нам через бота @urbancat_bot

Очень крутая подборка урбанистических каналов. Спасибо за наводку https://t.me/urban_data_mess

Earth Engine Data Catalog

A planetary-scale platform for Earth science data & analysis

Earth Engine's public data archive includes more than forty years of historical imagery and scientific datasets, updated and expanded daily.

Каталог со снимками и другими полезными пространственными данными.

Ссылка на датасеты https://developers.google.com/earth-engine/datasets

Ссылка на топик по обсуждению на gis.stackexchange.com