Центрографическая статистика
Определение
Центрографическая статистика – это инструмент анализа географического распределения путем измерения центра. дисперсии и направленного тренда пространственного расположения.
Инструменты
Чаще всего используются такие центрографические статистики, как средний центр, медианный центр, центральный объект, стандартное расстояние и эллипс стандартного отклонения.
Отличия статистик
Центрографические статистики вычисляются на основе местоположений объектов, что является их главным отличием от описательных статистик, которые относятся только к непространственным атрибутам пространственных объектов.
Определение
Центрографическая статистика – это инструмент анализа географического распределения путем измерения центра. дисперсии и направленного тренда пространственного расположения.
Инструменты
Чаще всего используются такие центрографические статистики, как средний центр, медианный центр, центральный объект, стандартное расстояние и эллипс стандартного отклонения.
Отличия статистик
Центрографические статистики вычисляются на основе местоположений объектов, что является их главным отличием от описательных статистик, которые относятся только к непространственным атрибутам пространственных объектов.
❗️Принял участие вместе с командой в хакатоне IT Purple Hack с 9 по 15 марта.
Уже есть результаты на public (6 место) и private (9 место) лидербордах. Высокая плотность результатов в первой десятке , команды очень близко расположились, отличия в метриках всего лишь на тысячные доли. нами применяли разные подходы: feature engineering, бустинговые модели LightGBM, CatBoost, ансамблирование, стекинг. Понравилась наша командная работа, генерили разные подходы, обменивались идеями. Есть планы заскочить на гео кейс от Data Fusion. (кому интересно пишите здесь в комментарии или в личку, можем объединиться для участия в хакатоне Data Fusion)
Направление:
Искусственный интеллект
Заказчик:
Сбер
Задача:
Прогнозирование оттока зарплатного клиента ФЛ.
Описание задачи:
Клиент получает зарплату на карту банка A. Пока клиент получает зарплату в банке, он считается зарплатным клиентом банка A. В какой-то момент Х он перестает получать зарплату на карту банка A (событие оттока).
Необходимо до возникновения события оттока спрогнозировать его, используя данные поведения клиента: транзакции, продукты, мобильное приложение, терминалы, прочее.
Уже есть результаты на public (6 место) и private (9 место) лидербордах. Высокая плотность результатов в первой десятке , команды очень близко расположились, отличия в метриках всего лишь на тысячные доли. нами применяли разные подходы: feature engineering, бустинговые модели LightGBM, CatBoost, ансамблирование, стекинг. Понравилась наша командная работа, генерили разные подходы, обменивались идеями. Есть планы заскочить на гео кейс от Data Fusion. (кому интересно пишите здесь в комментарии или в личку, можем объединиться для участия в хакатоне Data Fusion)
Направление:
Искусственный интеллект
Заказчик:
Сбер
Задача:
Прогнозирование оттока зарплатного клиента ФЛ.
Описание задачи:
Клиент получает зарплату на карту банка A. Пока клиент получает зарплату в банке, он считается зарплатным клиентом банка A. В какой-то момент Х он перестает получать зарплату на карту банка A (событие оттока).
Необходимо до возникновения события оттока спрогнозировать его, используя данные поведения клиента: транзакции, продукты, мобильное приложение, терминалы, прочее.
Настройка Python проекта на Git
В рамках прохождения трека на ODS.ai «MLOps и production в DS исследованиях» выкладываю ссылку на git репозиторий по домашнему заданию. Можно клонировать и использовать в качестве шаблона для своих ML проектов на Python, получился полезный инструмент.
Цель этого домашнего задания подготовить репозиторий для работы в нем:
• настроить необходимые линтеры и форматеры
• описать конфиг pre-commit
• сформировать contributing.md где описано, что и как нужно делать в репозитории для внесения изменений
Для этого нужно выполнить следующие шаги:
1. Опубликовать репозиторий на gitlab (или аналоге, но курс ориентирован на gitlab).
2. Выбрать линтеры и форматеры. Можно выбирать те, которые озвучивались в материалах курса, или какие-то свои, которые вам привычны.
3. Зафиксировать необходимые зависимости для линтеров
4. Настроить pre-commit в репозитории
5. Провести настройки линтеров и форматеров в pyproject.toml, прописать основные параметры инструментов
6. Зафиксировать в contributing.md, как пользоваться линтерами в вашем проекте. Добавить в readme.md методологию ведения вашего репозитория
Сделано:
• Создан git-проект на Github, созданы две ветки (master – для кода в продакте, dev – препрод среда, остальные ветки создают участники команды исследования).
• Создано виртуальное окружение с использованием conda.
• Установлен python пакет pre-commit - фреймворк, использующий git pre-commit hook для запуска хуков (инструментов) перед созданием коммита.
• Установлены пакеты с линтерами и форматерами для настройки оформления python кода (ruff, black, pip-compile).
• Установлено poetry для формирования файла pyproject.toml
Ссылка на репозиторий KarimDataMaster/mlops_2024: Трек MLOps и production в DS в исследованиях 3.0 от ODS.ai (github.com)
Ссылка на трек от ODS.ai https://ods.ai/tracks/mlops3-course-spring-2024
Ссылка на статью, которая сильно помогла при выполнении ДЗ Лучшие open-source инструменты для Python проектов / Хабр (habr.com)
В рамках прохождения трека на ODS.ai «MLOps и production в DS исследованиях» выкладываю ссылку на git репозиторий по домашнему заданию. Можно клонировать и использовать в качестве шаблона для своих ML проектов на Python, получился полезный инструмент.
Цель этого домашнего задания подготовить репозиторий для работы в нем:
• настроить необходимые линтеры и форматеры
• описать конфиг pre-commit
• сформировать contributing.md где описано, что и как нужно делать в репозитории для внесения изменений
Для этого нужно выполнить следующие шаги:
1. Опубликовать репозиторий на gitlab (или аналоге, но курс ориентирован на gitlab).
2. Выбрать линтеры и форматеры. Можно выбирать те, которые озвучивались в материалах курса, или какие-то свои, которые вам привычны.
3. Зафиксировать необходимые зависимости для линтеров
4. Настроить pre-commit в репозитории
5. Провести настройки линтеров и форматеров в pyproject.toml, прописать основные параметры инструментов
6. Зафиксировать в contributing.md, как пользоваться линтерами в вашем проекте. Добавить в readme.md методологию ведения вашего репозитория
Сделано:
• Создан git-проект на Github, созданы две ветки (master – для кода в продакте, dev – препрод среда, остальные ветки создают участники команды исследования).
• Создано виртуальное окружение с использованием conda.
• Установлен python пакет pre-commit - фреймворк, использующий git pre-commit hook для запуска хуков (инструментов) перед созданием коммита.
• Установлены пакеты с линтерами и форматерами для настройки оформления python кода (ruff, black, pip-compile).
• Установлено poetry для формирования файла pyproject.toml
Ссылка на репозиторий KarimDataMaster/mlops_2024: Трек MLOps и production в DS в исследованиях 3.0 от ODS.ai (github.com)
Ссылка на трек от ODS.ai https://ods.ai/tracks/mlops3-course-spring-2024
Ссылка на статью, которая сильно помогла при выполнении ДЗ Лучшие open-source инструменты для Python проектов / Хабр (habr.com)
🔥2
Spatial Data Catalog - Каталог пространственных данных по подписке от компании CARTO
CARTO - компания на лидирующих мировых позициях в предоставлении пространственных сервисов и данных.
На сайте CARTO есть полезные разделы, один из них с обширным каталогом пространственных данных, которые можно использовать в разнообразных задачах по гео аналитике. Есть публичные данные (доступны после оформления демо-подписки) и платные.
Можно использовать этот каталог в качестве источника вдохновения для данных к вашим проектам. Попытаться найти бесплатные ресурсы и обработать, чтобы добиться похожих результатов.
На мой взгляд, этот подход к распространению данных является жизнеспособным и наиболее правильным с точки зрения монетизации. Не зря же один из флагманов делает упор именно на него.
А как вы считаете?
CARTO - компания на лидирующих мировых позициях в предоставлении пространственных сервисов и данных.
На сайте CARTO есть полезные разделы, один из них с обширным каталогом пространственных данных, которые можно использовать в разнообразных задачах по гео аналитике. Есть публичные данные (доступны после оформления демо-подписки) и платные.
Можно использовать этот каталог в качестве источника вдохновения для данных к вашим проектам. Попытаться найти бесплатные ресурсы и обработать, чтобы добиться похожих результатов.
На мой взгляд, этот подход к распространению данных является жизнеспособным и наиболее правильным с точки зрения монетизации. Не зря же один из флагманов делает упор именно на него.
А как вы считаете?
Типовые кейсы применения геопространственного анализа для ритейла
• Выявление пространственных кластеров с высокими и низкими значениями исследуемых параметров (Hotspot Analysis)
• Поиск областей‑двойников (Twin Area Analysis)
• Моделирование выручки планируемого магазина с учётом его месторасположения и окружения (Revenue Prediction)
• Расчёт коммерческой ёмкости месторасположения (White Space Analysis)
Прочитать подробнее можно в статье на Хабре
• Выявление пространственных кластеров с высокими и низкими значениями исследуемых параметров (Hotspot Analysis)
• Поиск областей‑двойников (Twin Area Analysis)
• Моделирование выручки планируемого магазина с учётом его месторасположения и окружения (Revenue Prediction)
• Расчёт коммерческой ёмкости месторасположения (White Space Analysis)
Прочитать подробнее можно в статье на Хабре
🔥3❤1
Forwarded from 🌇 Каталог урбанистических каналов
Добро пожаловать в крупнейший каталог урбанистических каналов Telegram!
🏙 Откройте для себя мир урбанистики в России через наш уникальный каталог, где мы собрали самые информативные и вдохновляющие каналы, посвящённые архитектуре, градостроительству, транспорту, общественным пространствам и городской жизни.
💡 Что вы найдёте в нашем каталоге?
- Авторские каналы: Личные заметки и размышления экспертов, которые делятся своим видением и опытом в области урбанистики.
- Коллективные проекты: Каналы от команд и организаций, предлагающие глубокий анализ, новости и обсуждения актуальных городских вопросов.
- Тематическое разнообразие: От зелёных зон и экологии до транспортной инфраструктуры и культурных событий — все аспекты городской жизни в одном месте.
🔍 Удобная навигация
- Фильтрация по размеру: Найдите каналы, соответствующие вашим предпочтениям — от небольших, уютных сообществ до крупных информационных платформ.
- Поиск по тегам: Используйте теги для быстрого доступа к каналам, которые соответствуют вашим интересам. Будь то "Городское планирование", "Общественный транспорт" или "Архитектура" — легко находите то, что вам нужно.
🌟 Постоянное обновление
Каталог постоянно пополняется новыми каналами и обновлениями от уже существующих. Следите за обновлениями, чтобы всегда быть в курсе последних трендов и дискуссий в мире урбанистики России.
🤝 Присоединяйтесь к сообществу
Станьте частью активного и знающего сообщества, обсуждайте идеи, делитесь мнениями и получайте новые знания каждый день.
🔗 Перейти в каталог
🗂 Подписаться на каналы разом
upd: (ссылка устарела и папка содержит не все каналы)
***
Хотите добавить свой канал? Заполните анкету
Есть вопросы? Пишите нам через бота @urbancat_bot
🏙 Откройте для себя мир урбанистики в России через наш уникальный каталог, где мы собрали самые информативные и вдохновляющие каналы, посвящённые архитектуре, градостроительству, транспорту, общественным пространствам и городской жизни.
💡 Что вы найдёте в нашем каталоге?
- Авторские каналы: Личные заметки и размышления экспертов, которые делятся своим видением и опытом в области урбанистики.
- Коллективные проекты: Каналы от команд и организаций, предлагающие глубокий анализ, новости и обсуждения актуальных городских вопросов.
- Тематическое разнообразие: От зелёных зон и экологии до транспортной инфраструктуры и культурных событий — все аспекты городской жизни в одном месте.
🔍 Удобная навигация
- Фильтрация по размеру: Найдите каналы, соответствующие вашим предпочтениям — от небольших, уютных сообществ до крупных информационных платформ.
- Поиск по тегам: Используйте теги для быстрого доступа к каналам, которые соответствуют вашим интересам. Будь то "Городское планирование", "Общественный транспорт" или "Архитектура" — легко находите то, что вам нужно.
🌟 Постоянное обновление
Каталог постоянно пополняется новыми каналами и обновлениями от уже существующих. Следите за обновлениями, чтобы всегда быть в курсе последних трендов и дискуссий в мире урбанистики России.
🤝 Присоединяйтесь к сообществу
Станьте частью активного и знающего сообщества, обсуждайте идеи, делитесь мнениями и получайте новые знания каждый день.
🔗 Перейти в каталог
🗂 Подписаться на каналы разом
upd: (ссылка устарела и папка содержит не все каналы)
***
Хотите добавить свой канал? Заполните анкету
Есть вопросы? Пишите нам через бота @urbancat_bot
Очень крутая подборка урбанистических каналов. Спасибо за наводку https://t.me/urban_data_mess
Telegram
GeoGosha
urbanism, complex networks and data
❤2
Earth Engine Data Catalog
A planetary-scale platform for Earth science data & analysis
Earth Engine's public data archive includes more than forty years of historical imagery and scientific datasets, updated and expanded daily.
Каталог со снимками и другими полезными пространственными данными.
Ссылка на датасеты https://developers.google.com/earth-engine/datasets
Ссылка на топик по обсуждению на gis.stackexchange.com
A planetary-scale platform for Earth science data & analysis
Earth Engine's public data archive includes more than forty years of historical imagery and scientific datasets, updated and expanded daily.
Каталог со снимками и другими полезными пространственными данными.
Ссылка на датасеты https://developers.google.com/earth-engine/datasets
Ссылка на топик по обсуждению на gis.stackexchange.com
Google for Developers
Earth Engine Data Catalog | Google for Developers
Google Earth Engine combines a multi-petabyte catalog of satellite imagery and geospatial datasets with planetary-scale analysis capabilities and makes it available for scientists, researchers, and developers to detect changes, map trends, and quantify differences…
🔥2
Геоаналитика на дашбордах в FineBI от GloweByte. На мой взгляд, инструменты BI будут наращивать потенциал по работе с пространственными данными и приближаться к веб-гис. При наличии нужных данных и команды геоаналитиков в компании можно будет закрывать разные практические кейсы. Есть ощущение, что конкуренция между похожими сервисами с геоаналитическимм инструментами будет сильно расти в ближайшее время и функционал примерно сравняется. Вопрос, что будет являться главным конкурентам преимуществом? Уникальные данные, подготовка умных предрассчитанных сервисов, возможность дополнить продажу приложения поддержкой команды DS или что-то другое? Поживем, увидим. А как обстоят дела на зарубежных рынках? Очень интересно посмотреть такой анализ. Не сталкивался на medium с подобными обзорами. Натолкнулся на статью на vc.ru с подборкой геоаналитических приложений и попробовал ее расширить. Готовлю список, выложу в ближайшее время. Буду благодарен, если поделитесь своими мыслями и опытом взаимодействия с похожими инструментами в комментариях.
❤2🫡1
Курс Геопространственный анализ данных (бета-версия)
ODS.ai (сообщество Open Data Science) подготовили новый открытый русскоязычный курс по геоаналитике. Срок обучения с 22 апреля по 22 июля. Уже можно записаться. Лично я жду много интересного в процессе и уже записался. Присоединяйтесь, объединяйтесь в команды и активно участвуйте!
Материалы курса будут полезны специалистам в области Data Scientist, поскольку позволят решать геопространственные задачи, а также проводить исследования в области Geospatial Data Science.
Ссылка на курс https://ods.ai/tracks/geoanalytics-course-spring24
ODS.ai (сообщество Open Data Science) подготовили новый открытый русскоязычный курс по геоаналитике. Срок обучения с 22 апреля по 22 июля. Уже можно записаться. Лично я жду много интересного в процессе и уже записался. Присоединяйтесь, объединяйтесь в команды и активно участвуйте!
Материалы курса будут полезны специалистам в области Data Scientist, поскольку позволят решать геопространственные задачи, а также проводить исследования в области Geospatial Data Science.
Ссылка на курс https://ods.ai/tracks/geoanalytics-course-spring24
🔥3👍1🤔1
Давно не было постов, был немного занят, но я вернулся и снова в деле! 😄
Please open Telegram to view this post
VIEW IN TELEGRAM
🥰1
Хороший ресурс для изучения python, с Яндекс браузером и его шикарными переводами вообще не проблема, что на английском https://realpython.com
Realpython
Python Tutorials – Real Python
Learn Python online: Python tutorials for developers of all skill levels, Python books and courses, Python news, code examples, articles, and more.
👍1
Погрузился в изучение библиотеки Transformers ,в свободное время прохожу вводный курс по NLP от Hugging Face https://huggingface.co/learn/nlp-course/
huggingface.co
Introduction · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
Есть такая штука, как Метод аналитической иерархии (AHP — Analytical Hierarchy Process) — это многоцелевой метод принятия решений, который помогает решить задачи выбора на основе сравнения пар элементов, который помогает для составления разного рода интегральных рейтингов на основании многофакторного анализа. Используется в том числе и в гео аналитике.
Вот несколько полезных ссылок посмотреть, поизучать тему:
https://digital-geography.com/ahp-arcgis-10-x-using-python/
https://www.youtube.com/watch?v=ht0Wm33xEno
https://medium.datadriveninvestor.com/step-by-step-tech-stock-selection-using-the-analytic-hierachy-process-ahp-establishing-177f32cbf2ec
Доступ к Medium надо приобретать или попробовать воспользоваться расширениями в Firefox.
Вот несколько полезных ссылок посмотреть, поизучать тему:
https://digital-geography.com/ahp-arcgis-10-x-using-python/
https://www.youtube.com/watch?v=ht0Wm33xEno
https://medium.datadriveninvestor.com/step-by-step-tech-stock-selection-using-the-analytic-hierachy-process-ahp-establishing-177f32cbf2ec
Доступ к Medium надо приобретать или попробовать воспользоваться расширениями в Firefox.
Digital Geography
AHP for ArcGIS 10.x using Python - Digital Geography
When it comes to site selection problems or suitability models, the spatial Multi-Criteria Analysis (Weighted Overlay) is the most commonly used method. It’s easy, simple and popular. However,…
👍3
Полезные ссылки на учебные ресурсы по пространственной аналитике с канала Наука и данные
Forwarded from Наука и данные
Urban Analysis & Spatial Science 🏡
На канале уже было множество различных источников связанных с пространственным анализом городской среды на основе языков R и Python (книги на R + книги на Python). Elijah Knaap пишет книгу Urban Analysis & Spatial Science, которая представляет собой введение в основы современного городского анализа с использованием Python и набора библиотек PySAL (The Python Spacial Analysis Library - сайт) + geosnap (The Geospatial Neighborhood Analysis Package - руководство).
Книга подходит для прикладных исследователей или аспирантов в области городских социальных наук, желающих повысить свой технический потенциал в области городских данных, а также для студентов, желающих познакомиться с теоретическими основами городской аналитики.
В настоящий момент текст книги находится в разработке, поэтому какие-то главы или часть ноутбуков могут на момент написания этого обзора отсутствовать. Печатная версия книги будет опубликована в издательстве CRC Press в 2025 году.
На канале уже было множество различных источников связанных с пространственным анализом городской среды на основе языков R и Python (книги на R + книги на Python). Elijah Knaap пишет книгу Urban Analysis & Spatial Science, которая представляет собой введение в основы современного городского анализа с использованием Python и набора библиотек PySAL (The Python Spacial Analysis Library - сайт) + geosnap (The Geospatial Neighborhood Analysis Package - руководство).
Книга подходит для прикладных исследователей или аспирантов в области городских социальных наук, желающих повысить свой технический потенциал в области городских данных, а также для студентов, желающих познакомиться с теоретическими основами городской аналитики.
В настоящий момент текст книги находится в разработке, поэтому какие-то главы или часть ноутбуков могут на момент написания этого обзора отсутствовать. Печатная версия книги будет опубликована в издательстве CRC Press в 2025 году.
👍5