Что такое пространственная автокорреляция?

Определение.
Это мера пространственной зависимости, ассоциации или корреляции между наблюдаемыми значениями одного и того же атрибута у соседних пространственных объектов.

Назначение.
Исследуется с целью определить наличие связи между значениями атрибутов соседних местоположений и закономерностей их распределения в пространстве.

Интерпретация.
Пространственная автокорреляция измеряет, насколько значение переменной в определенном месте связано со значениями той же переменной в соседних местоположениях. Например, соседние регионы имеют выраженную зависимость в уровне школьного образования.

Краткий обзор исследования пространственной автокорреляции на python есть на сайте библиотеки PySal. Ознакомиться можно по ссылке https://pysal.org/esda/notebooks/spatialautocorrelation.html

В 2022-2023 гг увлёкся темой Data Engineering. Интересно было познакомиться с современными решениями для хранения и обработки больших данных в машинном обучении. В апреле 2023 года успешно завершил 6 месячный курс от KarpovCourses. Впечатления от курса только положительные. Топовый состав преподавателей от Яндекс до Сбер. Разбор всего актуального стека от Greenplum до Spark, от Docker до AirFlow, плотная работа в облаках. Подготовленные лекции и домашние задания, неплохая поддержка на курсе. Прокачался в ETL процессах на SQL и Python. Задним умом понимаю, что решение было принято абсолютно верное, несмотря на высокий ценник.

На этом я решил не останавливаться и поступил на курс от Бауманского университета по специальности Архитектор данных. Курс успешно завершился сдачей итоговой выпускной работы, которая предусматривала создание архитектура для хранения данных в СУБД PostgreSQL, спарсенных из интернета, их обработку с целью дальнейшей передачи в модель машинного обучения, обучение модели, поднятие сервиса AirFlow в Docker контейнере, постановка на расписание и мониторинг результатов работы в ML Flow. Таким образом, годовой цикл погружения в Data Engineering, который начался в ноябре 2022 года завершился в ноябре 2023 года. Чему я откровенно рад, т.к. у меня появилось свободное время на погружение в Data Science, от которого я кайфую несравненного больше.

Нравится канал про Data Science, который публикует короткие посты про наиболее распространенные вопросы на собеседованиях. Я поступаю следующим образом, если сталкиваюсь с интересным постом. Читаю и затем суммаризую у себя в заметках для запоминания информации. Ссылка на канал кому интересно https://t.me/ds_interview_lib

И есть еще один очень крутой канал про DS, который публикует различные исследования https://t.me/dataminingteam

NLP

Поигрался с темой ранжирования текстовых данных, первый подход и знакомство с темой.

Препроцессинг (стемминг, лемматизация) при помощи nltk. Перевод в эмбединги при помощи нейросетки BERT от Google. Нахождение похожих по косинусному расстоянию.

Ноутбук приложил. Данные можно использовать любые, у меня вакансии и резюме.

Первый закон географии Тоблера

Объекты, расположенные по соседству или близко друг от друга, обладают общими характеристиками и, вероятно, будут взаимодействовать друг с другом чаще, чем объекты, находящиеся далеко друг от друга.

Тут короткая статья на русском ПЕРВЫЙ И ВТОРОЙ ЗАКОНЫ ГЕОГРАФИИ ТОБЛЕРА | Эпонимы и Мы | Дзен (dzen.ru)

Здесь статья на английском, которая затрагивает смежные темы пространственной автокорреляции и гравитационной модели What is Tobler's First Law of Geography? - GIS Geography

Для работы с пространственными данными удобно, когда все приложения и зависимости находятся в одном месте. Особенно, это касается пакета gdal, который так просто не устанавливается и приходится бороться с ошибками. Подготовил настроенный docker контейнер для spatial data science проектов. Использовал в основе образ osgeo/gdal на ubuntu.

Скачать контейнер (весит около 900 Мб)
docker pull kuper26/geospatial_minimal:1

Запуск контейнера
docker run -it -p 8888:8888 kuper26/geospatial_minimal:1

Запуск ноутбука в терминале контейнера
jupyter notebook --ip 0.0.0.0 --no-browser –allow-root

Или запуск Lab
jupyter-lab --ip 0.0.0.0 --no-browser –allow-root

Скопировать ссылку с токеном из терминала в браузер, откроется локально ноутбук или Lab

Предустановленные пакеты:
pandas
numpy
geopandas
matplotlib
scikit-learn
folium
osmnx
networkx
и другие

#docker #datascience

Хакатон ML TALENT MATCH.

Принимаем участие командой в хакатоне ML Talent Match. Результаты и рабочие материлы выложу в канал позже. В каких хакатонах вы принимали участие, как строили взаимодействие в команде, делитесь опытом задавайте вопросы в комментариях?!