Для работы с пространственными данными удобно, когда все приложения и зависимости находятся в одном месте. Особенно, это касается пакета gdal, который так просто не устанавливается и приходится бороться с ошибками. Подготовил настроенный docker контейнер для spatial data science проектов. Использовал в основе образ osgeo/gdal на ubuntu.
Скачать контейнер (весит около 900 Мб)
docker pull kuper26/geospatial_minimal:1
Запуск контейнера
docker run -it -p 8888:8888 kuper26/geospatial_minimal:1
Запуск ноутбука в терминале контейнера
jupyter notebook --ip 0.0.0.0 --no-browser –allow-root
Или запуск Lab
jupyter-lab --ip 0.0.0.0 --no-browser –allow-root
Скопировать ссылку с токеном из терминала в браузер, откроется локально ноутбук или Lab
Предустановленные пакеты:
pandas
numpy
geopandas
matplotlib
scikit-learn
folium
osmnx
networkx
и другие
#docker #datascience
Скачать контейнер (весит около 900 Мб)
docker pull kuper26/geospatial_minimal:1
Запуск контейнера
docker run -it -p 8888:8888 kuper26/geospatial_minimal:1
Запуск ноутбука в терминале контейнера
jupyter notebook --ip 0.0.0.0 --no-browser –allow-root
Или запуск Lab
jupyter-lab --ip 0.0.0.0 --no-browser –allow-root
Скопировать ссылку с токеном из терминала в браузер, откроется локально ноутбук или Lab
Предустановленные пакеты:
pandas
numpy
geopandas
matplotlib
scikit-learn
folium
osmnx
networkx
и другие
#docker #datascience
🔥2
Хакатон ML TALENT MATCH.
Принимаем участие командой в хакатоне ML Talent Match. Результаты и рабочие материлы выложу в канал позже. В каких хакатонах вы принимали участие, как строили взаимодействие в команде, делитесь опытом задавайте вопросы в комментариях?!
Принимаем участие командой в хакатоне ML Talent Match. Результаты и рабочие материлы выложу в канал позже. В каких хакатонах вы принимали участие, как строили взаимодействие в команде, делитесь опытом задавайте вопросы в комментариях?!
ПРОСТРАНСТВЕННЫЙ ВЫБРОС
Определение
Пространственный выброс – это пространственный объект, непространственные атрибуты которого значительно отличаются от непространственных атрибутов его соседей.
Назначение
Пространственные выбросы выявляют аномалии в наборе пространственных данных, требующие дальнейшего изучения.
Обнаружение пространственных выбросов можно использовать для следующих целей:
- анализ преступности: в районе А кол-во преступлений значительно выше, чем в соседних, это указывает на признак гетто.
- геомаркетинг: продукт в районе А покупают значительно реже, чем в соседних, это указывает на затрудненный доступ к продукту в этом районе или на плохую маркетинговую кампанию.
#геоаналитика #spatialdatascience
Определение
Пространственный выброс – это пространственный объект, непространственные атрибуты которого значительно отличаются от непространственных атрибутов его соседей.
Назначение
Пространственные выбросы выявляют аномалии в наборе пространственных данных, требующие дальнейшего изучения.
Обнаружение пространственных выбросов можно использовать для следующих целей:
- анализ преступности: в районе А кол-во преступлений значительно выше, чем в соседних, это указывает на признак гетто.
- геомаркетинг: продукт в районе А покупают значительно реже, чем в соседних, это указывает на затрудненный доступ к продукту в этом районе или на плохую маркетинговую кампанию.
#геоаналитика #spatialdatascience
«Геоэмбеддинги: векторное представление контекста в пространственной аналитике»
Юлий Шамаев, Data Science Team Lead, Банк ВТБ В задачах пространственной или геоаналитики очень важно правильно учесть окружение исследуемого объекта. Так, например, стоимость объекта недвижимости может зависеть от удалённости от метро, а нагрузка на банкомат будет выше в торговом центре.
Схожая проблематика возникает и в других доменах машинного обучения. Контекст предложения влияет на значение слова в NLP, а взаимное расположение пикселей — на содержание изображения в Computer Vision.
В нашем подходе мы используем современную архитектуру трансформера в приложении к геоданным, чтобы получить векторное представление.
Ссылка на YouTube https://youtu.be/e6Wl8xJ9aNo?si=s9KpBGI5lyO5qiQJ
Юлий Шамаев, Data Science Team Lead, Банк ВТБ В задачах пространственной или геоаналитики очень важно правильно учесть окружение исследуемого объекта. Так, например, стоимость объекта недвижимости может зависеть от удалённости от метро, а нагрузка на банкомат будет выше в торговом центре.
Схожая проблематика возникает и в других доменах машинного обучения. Контекст предложения влияет на значение слова в NLP, а взаимное расположение пикселей — на содержание изображения в Computer Vision.
В нашем подходе мы используем современную архитектуру трансформера в приложении к геоданным, чтобы получить векторное представление.
Ссылка на YouTube https://youtu.be/e6Wl8xJ9aNo?si=s9KpBGI5lyO5qiQJ
YouTube
«Геоэмбеддинги: векторное представление контекста в пространственной аналитике»
«Геоэмбеддинги: векторное представление контекста в пространственной аналитике»
Юлий Шамаев, Data Science Team Lead, Банк ВТБ
В задачах пространственной или геоаналитики очень важно правильно учесть окружение исследуемого объекта. Так, например, стоимость…
Юлий Шамаев, Data Science Team Lead, Банк ВТБ
В задачах пространственной или геоаналитики очень важно правильно учесть окружение исследуемого объекта. Так, например, стоимость…
👍2🔥1
Forwarded from data.world (Mikhail Topnikov)
#города #экономика
Геочеки от ФНС
https://geochecki-vpd.nalog.gov.ru/geochecks
Открытые данные Федеральной налоговой службы о потреблении товаров и услуг в различных локациях, агрегированные по гексагональной сетке.
Может пригодиться для исследований городских центров и решения геомаркетинговых задач
Геочеки от ФНС
https://geochecki-vpd.nalog.gov.ru/geochecks
Открытые данные Федеральной налоговой службы о потреблении товаров и услуг в различных локациях, агрегированные по гексагональной сетке.
Может пригодиться для исследований городских центров и решения геомаркетинговых задач
👍2
Интересный сервис по поиску земельных участков для застройщиков и инвесторов https://www.udel.tech/ , основатель сервиса https://dorozhnij.com/
👎1
data.world
#города #экономика Геочеки от ФНС https://geochecki-vpd.nalog.gov.ru/geochecks Открытые данные Федеральной налоговой службы о потреблении товаров и услуг в различных локациях, агрегированные по гексагональной сетке. Может пригодиться для исследований городских…
❗️Написал парсер данных Геочек с сайта ФНС, которые по ограничивающей геометрии скачивает информацию с сайта ФНС и преобразует в гео датафрейм
🔥2👀2
ESDA vs EDA
ESDA – Exploration Spatial Data Analysis (Исследовательский Анализ Пространственных Данных)
EDA –Exploration Data Analysis (Исследовательский Анализ Данных)
Определение
ESDA – это набор вычислительных методов и методов визуализации, используемых для анализа пространственных данных, путем:
- применения классической непространственной описательной статистики
- выявления пространственных взаимодействий, отношений и закономерностей с использованием матрицы пространственных весов, проверкой гипотез и различных показателей.
Методы и инструменты ESDA
- описание и обобщение распределения пространственных данных
- визуализация пространственного распределения
- изучение пространственной автокорреляции
- выявление пространственных выбросов
- выявление кластеров
- определение «горячих» и «холодных» точек
ESDA – Exploration Spatial Data Analysis (Исследовательский Анализ Пространственных Данных)
EDA –Exploration Data Analysis (Исследовательский Анализ Данных)
Определение
ESDA – это набор вычислительных методов и методов визуализации, используемых для анализа пространственных данных, путем:
- применения классической непространственной описательной статистики
- выявления пространственных взаимодействий, отношений и закономерностей с использованием матрицы пространственных весов, проверкой гипотез и различных показателей.
Методы и инструменты ESDA
- описание и обобщение распределения пространственных данных
- визуализация пространственного распределения
- изучение пространственной автокорреляции
- выявление пространственных выбросов
- выявление кластеров
- определение «горячих» и «холодных» точек
👍6
📚 Шпаргалки по статистике и теории вероятностей от Стэнфордского университета 🏫
stanford.edu
CME 106 - Statistics Cheatsheet
Teaching page of Shervine Amidi, Adjunct Lecturer at Stanford University.
Центрографическая статистика
Определение
Центрографическая статистика – это инструмент анализа географического распределения путем измерения центра. дисперсии и направленного тренда пространственного расположения.
Инструменты
Чаще всего используются такие центрографические статистики, как средний центр, медианный центр, центральный объект, стандартное расстояние и эллипс стандартного отклонения.
Отличия статистик
Центрографические статистики вычисляются на основе местоположений объектов, что является их главным отличием от описательных статистик, которые относятся только к непространственным атрибутам пространственных объектов.
Определение
Центрографическая статистика – это инструмент анализа географического распределения путем измерения центра. дисперсии и направленного тренда пространственного расположения.
Инструменты
Чаще всего используются такие центрографические статистики, как средний центр, медианный центр, центральный объект, стандартное расстояние и эллипс стандартного отклонения.
Отличия статистик
Центрографические статистики вычисляются на основе местоположений объектов, что является их главным отличием от описательных статистик, которые относятся только к непространственным атрибутам пространственных объектов.
❗️Принял участие вместе с командой в хакатоне IT Purple Hack с 9 по 15 марта.
Уже есть результаты на public (6 место) и private (9 место) лидербордах. Высокая плотность результатов в первой десятке , команды очень близко расположились, отличия в метриках всего лишь на тысячные доли. нами применяли разные подходы: feature engineering, бустинговые модели LightGBM, CatBoost, ансамблирование, стекинг. Понравилась наша командная работа, генерили разные подходы, обменивались идеями. Есть планы заскочить на гео кейс от Data Fusion. (кому интересно пишите здесь в комментарии или в личку, можем объединиться для участия в хакатоне Data Fusion)
Направление:
Искусственный интеллект
Заказчик:
Сбер
Задача:
Прогнозирование оттока зарплатного клиента ФЛ.
Описание задачи:
Клиент получает зарплату на карту банка A. Пока клиент получает зарплату в банке, он считается зарплатным клиентом банка A. В какой-то момент Х он перестает получать зарплату на карту банка A (событие оттока).
Необходимо до возникновения события оттока спрогнозировать его, используя данные поведения клиента: транзакции, продукты, мобильное приложение, терминалы, прочее.
Уже есть результаты на public (6 место) и private (9 место) лидербордах. Высокая плотность результатов в первой десятке , команды очень близко расположились, отличия в метриках всего лишь на тысячные доли. нами применяли разные подходы: feature engineering, бустинговые модели LightGBM, CatBoost, ансамблирование, стекинг. Понравилась наша командная работа, генерили разные подходы, обменивались идеями. Есть планы заскочить на гео кейс от Data Fusion. (кому интересно пишите здесь в комментарии или в личку, можем объединиться для участия в хакатоне Data Fusion)
Направление:
Искусственный интеллект
Заказчик:
Сбер
Задача:
Прогнозирование оттока зарплатного клиента ФЛ.
Описание задачи:
Клиент получает зарплату на карту банка A. Пока клиент получает зарплату в банке, он считается зарплатным клиентом банка A. В какой-то момент Х он перестает получать зарплату на карту банка A (событие оттока).
Необходимо до возникновения события оттока спрогнозировать его, используя данные поведения клиента: транзакции, продукты, мобильное приложение, терминалы, прочее.
Настройка Python проекта на Git
В рамках прохождения трека на ODS.ai «MLOps и production в DS исследованиях» выкладываю ссылку на git репозиторий по домашнему заданию. Можно клонировать и использовать в качестве шаблона для своих ML проектов на Python, получился полезный инструмент.
Цель этого домашнего задания подготовить репозиторий для работы в нем:
• настроить необходимые линтеры и форматеры
• описать конфиг pre-commit
• сформировать contributing.md где описано, что и как нужно делать в репозитории для внесения изменений
Для этого нужно выполнить следующие шаги:
1. Опубликовать репозиторий на gitlab (или аналоге, но курс ориентирован на gitlab).
2. Выбрать линтеры и форматеры. Можно выбирать те, которые озвучивались в материалах курса, или какие-то свои, которые вам привычны.
3. Зафиксировать необходимые зависимости для линтеров
4. Настроить pre-commit в репозитории
5. Провести настройки линтеров и форматеров в pyproject.toml, прописать основные параметры инструментов
6. Зафиксировать в contributing.md, как пользоваться линтерами в вашем проекте. Добавить в readme.md методологию ведения вашего репозитория
Сделано:
• Создан git-проект на Github, созданы две ветки (master – для кода в продакте, dev – препрод среда, остальные ветки создают участники команды исследования).
• Создано виртуальное окружение с использованием conda.
• Установлен python пакет pre-commit - фреймворк, использующий git pre-commit hook для запуска хуков (инструментов) перед созданием коммита.
• Установлены пакеты с линтерами и форматерами для настройки оформления python кода (ruff, black, pip-compile).
• Установлено poetry для формирования файла pyproject.toml
Ссылка на репозиторий KarimDataMaster/mlops_2024: Трек MLOps и production в DS в исследованиях 3.0 от ODS.ai (github.com)
Ссылка на трек от ODS.ai https://ods.ai/tracks/mlops3-course-spring-2024
Ссылка на статью, которая сильно помогла при выполнении ДЗ Лучшие open-source инструменты для Python проектов / Хабр (habr.com)
В рамках прохождения трека на ODS.ai «MLOps и production в DS исследованиях» выкладываю ссылку на git репозиторий по домашнему заданию. Можно клонировать и использовать в качестве шаблона для своих ML проектов на Python, получился полезный инструмент.
Цель этого домашнего задания подготовить репозиторий для работы в нем:
• настроить необходимые линтеры и форматеры
• описать конфиг pre-commit
• сформировать contributing.md где описано, что и как нужно делать в репозитории для внесения изменений
Для этого нужно выполнить следующие шаги:
1. Опубликовать репозиторий на gitlab (или аналоге, но курс ориентирован на gitlab).
2. Выбрать линтеры и форматеры. Можно выбирать те, которые озвучивались в материалах курса, или какие-то свои, которые вам привычны.
3. Зафиксировать необходимые зависимости для линтеров
4. Настроить pre-commit в репозитории
5. Провести настройки линтеров и форматеров в pyproject.toml, прописать основные параметры инструментов
6. Зафиксировать в contributing.md, как пользоваться линтерами в вашем проекте. Добавить в readme.md методологию ведения вашего репозитория
Сделано:
• Создан git-проект на Github, созданы две ветки (master – для кода в продакте, dev – препрод среда, остальные ветки создают участники команды исследования).
• Создано виртуальное окружение с использованием conda.
• Установлен python пакет pre-commit - фреймворк, использующий git pre-commit hook для запуска хуков (инструментов) перед созданием коммита.
• Установлены пакеты с линтерами и форматерами для настройки оформления python кода (ruff, black, pip-compile).
• Установлено poetry для формирования файла pyproject.toml
Ссылка на репозиторий KarimDataMaster/mlops_2024: Трек MLOps и production в DS в исследованиях 3.0 от ODS.ai (github.com)
Ссылка на трек от ODS.ai https://ods.ai/tracks/mlops3-course-spring-2024
Ссылка на статью, которая сильно помогла при выполнении ДЗ Лучшие open-source инструменты для Python проектов / Хабр (habr.com)
🔥2