Для работы с пространственными данными удобно, когда все приложения и зависимости находятся в одном месте. Особенно, это касается пакета gdal, который так просто не устанавливается и приходится бороться с ошибками. Подготовил настроенный docker контейнер для spatial data science проектов. Использовал в основе образ osgeo/gdal на ubuntu.

Скачать контейнер (весит около 900 Мб)
docker pull kuper26/geospatial_minimal:1

Запуск контейнера
docker run -it -p 8888:8888 kuper26/geospatial_minimal:1

Запуск ноутбука в терминале контейнера
jupyter notebook --ip 0.0.0.0 --no-browser –allow-root

Или запуск Lab
jupyter-lab --ip 0.0.0.0 --no-browser –allow-root

Скопировать ссылку с токеном из терминала в браузер, откроется локально ноутбук или Lab

Предустановленные пакеты:
pandas
numpy
geopandas
matplotlib
scikit-learn
folium
osmnx
networkx
и другие

#docker #datascience

Хакатон ML TALENT MATCH.

Принимаем участие командой в хакатоне ML Talent Match. Результаты и рабочие материлы выложу в канал позже. В каких хакатонах вы принимали участие, как строили взаимодействие в команде, делитесь опытом задавайте вопросы в комментариях?!

Залетели в топ-5! Еее 💪 команда YaTeam

Сертификат ;)

ПРОСТРАНСТВЕННЫЙ ВЫБРОС

Определение
Пространственный выброс – это пространственный объект, непространственные атрибуты которого значительно отличаются от непространственных атрибутов его соседей.

Назначение
Пространственные выбросы выявляют аномалии в наборе пространственных данных, требующие дальнейшего изучения.

Обнаружение пространственных выбросов можно использовать для следующих целей:

- анализ преступности: в районе А кол-во преступлений значительно выше, чем в соседних, это указывает на признак гетто.
- геомаркетинг: продукт в районе А покупают значительно реже, чем в соседних, это указывает на затрудненный доступ к продукту в этом районе или на плохую маркетинговую кампанию.
#геоаналитика #spatialdatascience

«Геоэмбеддинги: векторное представление контекста в пространственной аналитике»

Юлий Шамаев, Data Science Team Lead, Банк ВТБ В задачах пространственной или геоаналитики очень важно правильно учесть окружение исследуемого объекта. Так, например, стоимость объекта недвижимости может зависеть от удалённости от метро, а нагрузка на банкомат будет выше в торговом центре.

Схожая проблематика возникает и в других доменах машинного обучения. Контекст предложения влияет на значение слова в NLP, а взаимное расположение пикселей — на содержание изображения в Computer Vision.

В нашем подходе мы используем современную архитектуру трансформера в приложении к геоданным, чтобы получить векторное представление.
Ссылка на YouTube https://youtu.be/e6Wl8xJ9aNo?si=s9KpBGI5lyO5qiQJ

Из канала https://t.me/datainthecity

#города #экономика

Геочеки от ФНС
https://geochecki-vpd.nalog.gov.ru/geochecks

Открытые данные Федеральной налоговой службы о потреблении товаров и услуг в различных локациях, агрегированные по гексагональной сетке.

Может пригодиться для исследований городских центров и решения геомаркетинговых задач

Интересный сервис по поиску земельных участков для застройщиков и инвесторов https://www.udel.tech/ , основатель сервиса https://dorozhnij.com/

❗️Написал парсер данных Геочек с сайта ФНС, которые по ограничивающей геометрии скачивает информацию с сайта ФНС и преобразует в гео датафрейм

ESDA vs EDA

ESDA – Exploration Spatial Data Analysis (Исследовательский Анализ Пространственных Данных)

EDA –Exploration Data Analysis (Исследовательский Анализ Данных)

Определение

ESDA – это набор вычислительных методов и методов визуализации, используемых для анализа пространственных данных, путем:
- применения классической непространственной описательной статистики
- выявления пространственных взаимодействий, отношений и закономерностей с использованием матрицы пространственных весов, проверкой гипотез и различных показателей.

Методы и инструменты ESDA
- описание и обобщение распределения пространственных данных
- визуализация пространственного распределения
- изучение пространственной автокорреляции
- выявление пространственных выбросов
- выявление кластеров
- определение «горячих» и «холодных» точек