Подготовил ноутбук, в котором показываю как:
1. Загрузить границы города
2. Загрузить границы городских районов
3. Визуализировать на карте
4. Сохранить результаты на диск: интерактивная карта в html, данные в geopackage
5. Прочитать и визуализировать сохраненные данные
Используемая среда: Jupyter Notebook
Используемые библиотеки: geopandas
#geopython #geopandas #interactivemaps #openstreetmap
По ссылке код на GitHub https://github.com/KarimDataMaster/geo_python/tree/0cdf54937dde44cce0fd5eeb98913a728e02d15e/notebooks/1_Download%20administrative%20boundaries
В приложении к посту ноутбук в формате html и интерактивная карта
Вы сможете получить такой же результат самостоятельно, а если будут вопросы пишите и комментируйте, обсудим!

Прохожу курс Deep Learning School от МФТИ на Stepik Программа курса – Deep Learning (семестр 1, весна 2024) – Stepik
Курс ведет от основ машинного обучения до мультимодальной (текст, изображение, голос) обработки при помощи нейросетей.
Выкладываю ноутбук с первым домашним заданием. Простой пайплайн обучения логистической регрессии и методом KNN, поиск лучших параметров GridSearch.

Проводил исследование, чтобы проверить – можно ли при помощи гео анализа рассчитать, в какой зоне находится здание: на 1й линии или внутри кварталов. Такая информация может пригодиться при анализе и оценке коммерческой недвижимости. Результат порадовал. Морфометрический анализ городских территорий значительно ускоряется при помощи пакета momepy.
Гипотеза: если полигоны закрытой тесселяции зданий (т.е. ограниченные дорожной сетью) соприкасаются с дорожной сетью уровня motorway, trunk, primary, secondary, tertiary, то значит здание находится на первой линии, если нет соприкосновения - здание находится на второй линии.

Прикладываю ноутбук с результатами исследования.

Что такое пространственная автокорреляция?

Определение.
Это мера пространственной зависимости, ассоциации или корреляции между наблюдаемыми значениями одного и того же атрибута у соседних пространственных объектов.

Назначение.
Исследуется с целью определить наличие связи между значениями атрибутов соседних местоположений и закономерностей их распределения в пространстве.

Интерпретация.
Пространственная автокорреляция измеряет, насколько значение переменной в определенном месте связано со значениями той же переменной в соседних местоположениях. Например, соседние регионы имеют выраженную зависимость в уровне школьного образования.

Краткий обзор исследования пространственной автокорреляции на python есть на сайте библиотеки PySal. Ознакомиться можно по ссылке https://pysal.org/esda/notebooks/spatialautocorrelation.html

В 2022-2023 гг увлёкся темой Data Engineering. Интересно было познакомиться с современными решениями для хранения и обработки больших данных в машинном обучении. В апреле 2023 года успешно завершил 6 месячный курс от KarpovCourses. Впечатления от курса только положительные. Топовый состав преподавателей от Яндекс до Сбер. Разбор всего актуального стека от Greenplum до Spark, от Docker до AirFlow, плотная работа в облаках. Подготовленные лекции и домашние задания, неплохая поддержка на курсе. Прокачался в ETL процессах на SQL и Python. Задним умом понимаю, что решение было принято абсолютно верное, несмотря на высокий ценник.

На этом я решил не останавливаться и поступил на курс от Бауманского университета по специальности Архитектор данных. Курс успешно завершился сдачей итоговой выпускной работы, которая предусматривала создание архитектура для хранения данных в СУБД PostgreSQL, спарсенных из интернета, их обработку с целью дальнейшей передачи в модель машинного обучения, обучение модели, поднятие сервиса AirFlow в Docker контейнере, постановка на расписание и мониторинг результатов работы в ML Flow. Таким образом, годовой цикл погружения в Data Engineering, который начался в ноябре 2022 года завершился в ноябре 2023 года. Чему я откровенно рад, т.к. у меня появилось свободное время на погружение в Data Science, от которого я кайфую несравненного больше.

Нравится канал про Data Science, который публикует короткие посты про наиболее распространенные вопросы на собеседованиях. Я поступаю следующим образом, если сталкиваюсь с интересным постом. Читаю и затем суммаризую у себя в заметках для запоминания информации. Ссылка на канал кому интересно https://t.me/ds_interview_lib

И есть еще один очень крутой канал про DS, который публикует различные исследования https://t.me/dataminingteam

NLP

Поигрался с темой ранжирования текстовых данных, первый подход и знакомство с темой.

Препроцессинг (стемминг, лемматизация) при помощи nltk. Перевод в эмбединги при помощи нейросетки BERT от Google. Нахождение похожих по косинусному расстоянию.

Ноутбук приложил. Данные можно использовать любые, у меня вакансии и резюме.

Первый закон географии Тоблера

Объекты, расположенные по соседству или близко друг от друга, обладают общими характеристиками и, вероятно, будут взаимодействовать друг с другом чаще, чем объекты, находящиеся далеко друг от друга.

Тут короткая статья на русском ПЕРВЫЙ И ВТОРОЙ ЗАКОНЫ ГЕОГРАФИИ ТОБЛЕРА | Эпонимы и Мы | Дзен (dzen.ru)

Здесь статья на английском, которая затрагивает смежные темы пространственной автокорреляции и гравитационной модели What is Tobler's First Law of Geography? - GIS Geography