Настройка Python проекта на Git

В рамках прохождения трека на ODS.ai «MLOps и production в DS исследованиях» выкладываю ссылку на git репозиторий по домашнему заданию. Можно клонировать и использовать в качестве шаблона для своих ML проектов на Python, получился полезный инструмент.

Цель этого домашнего задания подготовить репозиторий для работы в нем:
• настроить необходимые линтеры и форматеры
• описать конфиг pre-commit
• сформировать contributing.md где описано, что и как нужно делать в репозитории для внесения изменений

Для этого нужно выполнить следующие шаги:

1. Опубликовать репозиторий на gitlab (или аналоге, но курс ориентирован на gitlab).
2. Выбрать линтеры и форматеры. Можно выбирать те, которые озвучивались в материалах курса, или какие-то свои, которые вам привычны.
3. Зафиксировать необходимые зависимости для линтеров
4. Настроить pre-commit в репозитории
5. Провести настройки линтеров и форматеров в pyproject.toml, прописать основные параметры инструментов
6. Зафиксировать в contributing.md, как пользоваться линтерами в вашем проекте. Добавить в readme.md методологию ведения вашего репозитория

Сделано:

• Создан git-проект на Github, созданы две ветки (master – для кода в продакте, dev – препрод среда, остальные ветки создают участники команды исследования).

• Создано виртуальное окружение с использованием conda.

• Установлен python пакет pre-commit - фреймворк, использующий git pre-commit hook для запуска хуков (инструментов) перед созданием коммита.

• Установлены пакеты с линтерами и форматерами для настройки оформления python кода (ruff, black, pip-compile).

• Установлено poetry для формирования файла pyproject.toml

Ссылка на репозиторий KarimDataMaster/mlops_2024: Трек MLOps и production в DS в исследованиях 3.0 от ODS.ai (github.com)

Ссылка на трек от ODS.ai https://ods.ai/tracks/mlops3-course-spring-2024

Ссылка на статью, которая сильно помогла при выполнении ДЗ Лучшие open-source инструменты для Python проектов / Хабр (habr.com)

Spatial Data Catalog - Каталог пространственных данных по подписке от компании CARTO

CARTO - компания на лидирующих мировых позициях в предоставлении пространственных сервисов и данных.

На сайте CARTO есть полезные разделы, один из них с обширным каталогом пространственных данных, которые можно использовать в разнообразных задачах по гео аналитике. Есть публичные данные (доступны после оформления демо-подписки) и платные.

Можно использовать этот каталог в качестве источника вдохновения для данных к вашим проектам. Попытаться найти бесплатные ресурсы и обработать, чтобы добиться похожих результатов.

На мой взгляд, этот подход к распространению данных является жизнеспособным и наиболее правильным с точки зрения монетизации. Не зря же один из флагманов делает упор именно на него.

А как вы считаете?

Типовые кейсы применения геопространственного анализа для ритейла

• Выявление пространственных кластеров с высокими и низкими значениями исследуемых параметров (Hotspot Analysis)

• Поиск областей‑двойников (Twin Area Analysis)

• Моделирование выручки планируемого магазина с учётом его месторасположения и окружения (Revenue Prediction)

• Расчёт коммерческой ёмкости месторасположения (White Space Analysis)

Прочитать подробнее можно в статье на Хабре

Добро пожаловать в крупнейший каталог урбанистических каналов Telegram!

🏙 Откройте для себя мир урбанистики в России через наш уникальный каталог, где мы собрали самые информативные и вдохновляющие каналы, посвящённые архитектуре, градостроительству, транспорту, общественным пространствам и городской жизни.

💡 Что вы найдёте в нашем каталоге?

- Авторские каналы: Личные заметки и размышления экспертов, которые делятся своим видением и опытом в области урбанистики.
- Коллективные проекты: Каналы от команд и организаций, предлагающие глубокий анализ, новости и обсуждения актуальных городских вопросов.
- Тематическое разнообразие: От зелёных зон и экологии до транспортной инфраструктуры и культурных событий — все аспекты городской жизни в одном месте.

🔍 Удобная навигация

- Фильтрация по размеру: Найдите каналы, соответствующие вашим предпочтениям — от небольших, уютных сообществ до крупных информационных платформ.
- Поиск по тегам: Используйте теги для быстрого доступа к каналам, которые соответствуют вашим интересам. Будь то "Городское планирование", "Общественный транспорт" или "Архитектура" — легко находите то, что вам нужно.

🌟 Постоянное обновление

Каталог постоянно пополняется новыми каналами и обновлениями от уже существующих. Следите за обновлениями, чтобы всегда быть в курсе последних трендов и дискуссий в мире урбанистики России.

🤝 Присоединяйтесь к сообществу

Станьте частью активного и знающего сообщества, обсуждайте идеи, делитесь мнениями и получайте новые знания каждый день.

🔗 Перейти в каталог

🗂 Подписаться на каналы разом
upd: (ссылка устарела и папка содержит не все каналы)

***
Хотите добавить свой канал? Заполните анкету

Есть вопросы? Пишите нам через бота @urbancat_bot

Очень крутая подборка урбанистических каналов. Спасибо за наводку https://t.me/urban_data_mess

Earth Engine Data Catalog

A planetary-scale platform for Earth science data & analysis

Earth Engine's public data archive includes more than forty years of historical imagery and scientific datasets, updated and expanded daily.

Каталог со снимками и другими полезными пространственными данными.

Ссылка на датасеты https://developers.google.com/earth-engine/datasets

Ссылка на топик по обсуждению на gis.stackexchange.com

Геоаналитика на дашбордах в FineBI от GloweByte. На мой взгляд, инструменты BI будут наращивать потенциал по работе с пространственными данными и приближаться к веб-гис. При наличии нужных данных и команды геоаналитиков в компании можно будет закрывать разные практические кейсы. Есть ощущение, что конкуренция между похожими сервисами с геоаналитическимм инструментами будет сильно расти в ближайшее время и функционал примерно сравняется. Вопрос, что будет являться главным конкурентам преимуществом? Уникальные данные, подготовка умных предрассчитанных сервисов, возможность дополнить продажу приложения поддержкой команды DS или что-то другое? Поживем, увидим. А как обстоят дела на зарубежных рынках? Очень интересно посмотреть такой анализ. Не сталкивался на medium с подобными обзорами. Натолкнулся на статью на vc.ru с подборкой геоаналитических приложений и попробовал ее расширить. Готовлю список, выложу в ближайшее время. Буду благодарен, если поделитесь своими мыслями и опытом взаимодействия с похожими инструментами в комментариях.

Курс Геопространственный анализ данных (бета-версия)

ODS.ai (сообщество Open Data Science) подготовили новый открытый русскоязычный курс по геоаналитике. Срок обучения с 22 апреля по 22 июля. Уже можно записаться. Лично я жду много интересного в процессе и уже записался. Присоединяйтесь, объединяйтесь в команды и активно участвуйте!

Материалы курса будут полезны специалистам в области Data Scientist, поскольку позволят решать геопространственные задачи, а также проводить исследования в области Geospatial Data Science.

Ссылка на курс https://ods.ai/tracks/geoanalytics-course-spring24

Хороший ресурс для изучения python, с Яндекс браузером и его шикарными переводами вообще не проблема, что на английском https://realpython.com

Погрузился в изучение библиотеки Transformers ,в свободное время прохожу вводный курс по NLP от Hugging Face https://huggingface.co/learn/nlp-course/

Есть такая штука, как Метод аналитической иерархии (AHP — Analytical Hierarchy Process) — это многоцелевой метод принятия решений, который помогает решить задачи выбора на основе сравнения пар элементов, который помогает для составления разного рода интегральных рейтингов на основании многофакторного анализа. Используется в том числе и в гео аналитике.

Вот несколько полезных ссылок посмотреть, поизучать тему:
https://digital-geography.com/ahp-arcgis-10-x-using-python/
https://www.youtube.com/watch?v=ht0Wm33xEno
https://medium.datadriveninvestor.com/step-by-step-tech-stock-selection-using-the-analytic-hierachy-process-ahp-establishing-177f32cbf2ec

Доступ к Medium надо приобретать или попробовать воспользоваться расширениями в Firefox.

Полезные ссылки на учебные ресурсы по пространственной аналитике с канала Наука и данные

Urban Analysis & Spatial Science 🏡

На канале уже было множество различных источников связанных с пространственным анализом городской среды на основе языков R и Python (книги на R + книги на Python). Elijah Knaap пишет книгу Urban Analysis & Spatial Science, которая представляет собой введение в основы современного городского анализа с использованием Python и набора библиотек PySAL (The Python Spacial Analysis Library - сайт) + geosnap (The Geospatial Neighborhood Analysis Package - руководство).

Книга подходит для прикладных исследователей или аспирантов в области городских социальных наук, желающих повысить свой технический потенциал в области городских данных, а также для студентов, желающих познакомиться с теоретическими основами городской аналитики.

В настоящий момент текст книги находится в разработке, поэтому какие-то главы или часть ноутбуков могут на момент написания этого обзора отсутствовать. Печатная версия книги будет опубликована в издательстве CRC Press в 2025 году.

Внимание, гео аналитическая вакансия на горизонте

📰 🤔 Статья от Геоинтеллекта про гео маркетинг и гео аналитику

Записываю разные приемчики в гео аналитике на языке python, складываю в репозиторий, кому интересно можете периодически заглядывать, буду потихоньку добавлять. Есть домашние задания :) https://github.com/KarimDataMaster/python_geo_course