Природный ландшафт
И, раз я начал говорить про Халонг, покажу несколько фото бухты. Место, и правда, красивое
И, раз я начал говорить про Халонг, покажу несколько фото бухты. Место, и правда, красивое
❤27👍1
Forwarded from Струя Добра (Ilya Abramov)
Какая новость!
Наша книга "ПРОВОЦИРУЮЩИЕ ЛАНДШАФТЫ" уже в предзаказе. Поисковый проект: по задаче, географии, исследователям, выполненный в духе Географии Человека, восходящей к истокам классической географии, где человек не вырван из среды, не превращен языком в ресурс, средство производства или кадр. Так, по крайней мере, задумывалось. Это проект, под который собрался интересный коллектив, с очень разным бэкграундом и оптикой, и я не знаю, кто бы кроме Федора Корандея превратил собранные материалы в монолит книги.
Под одной обложкой вы найдете очень разные тексты, объединенные скорее пространством, нежели проблематикой. Это сразу понятно по оглавлению и в этом я предвижу основную критику, к которой сам часто прибегал в наших внутренних дискуссиях. Книга вышла в серии "Studia Urbanica", но там целый раздел посвященный Воде, и конкретно мы с Федором пишем про Вызов Болот на материале Тобольского Заболотья - изолированной местности и обособленного сообщества сибирских татар. Собственно теория провоцирующих ландшафтов (привет, Тим Ингольд) обкатывалась там - в лодке, в болоте и по локоть в клюкве.
Там мы открыли татарскую Венецию - сеть каналов, к сооружению которых взывал обводненный ландшафт. Эта сеть ускоряла коммуникацию людей, рыб и прочих ресурсов среды, но требовала постоянных вложений труда как любая рукотворная инфраструктура. О таких явлениях как-то не принято размышлять в духе модерна. Мы же склонны говорить о непрерывности и непреложности физических условий и человеческих практик, которые из них проистекают. Третий в мире по водности бассейн удивительно мало понял про себя и свою предопределенность.
Помимо этого, в моей памяти остались прекрасные автомобильные поездки по той неуловимой картографией местности, что зовется Зауральем - пологой равнине, что сползает от Екатеринбурга в Тобол, где реки на полпути меняют скалистые берега на большие разливные поймы. О том, как именно разрасталось пространство между Екатеринбургом и Тюменью статья нашего заглавного географа Александра Шелудкова.
Но Зауралье куда шире этого отрезка, и мы далеки от мысли, что сумели его концептуально охватить и репрезентировать. Мы хотя мы не проскочили его на скорости 110, а задержались в треугольнике между Екатеринбургом, Челябинском и Курганом и попытались уловить вайб градиент перехода Урала в Сибирь.
Об этом, к сожалению, нет отдельного сюжета в книге. Большая часть наблюдений осела в дневниках, которые как известно, не горят, но прекрасно тонут в цифровых хранилищах. Поэтому я думаю, что прикреплю чуть позже полюбившийся фрагмент. Пусть это будет разогрев для книги.
Наша книга "ПРОВОЦИРУЮЩИЕ ЛАНДШАФТЫ" уже в предзаказе. Поисковый проект: по задаче, географии, исследователям, выполненный в духе Географии Человека, восходящей к истокам классической географии, где человек не вырван из среды, не превращен языком в ресурс, средство производства или кадр. Так, по крайней мере, задумывалось. Это проект, под который собрался интересный коллектив, с очень разным бэкграундом и оптикой, и я не знаю, кто бы кроме Федора Корандея превратил собранные материалы в монолит книги.
Под одной обложкой вы найдете очень разные тексты, объединенные скорее пространством, нежели проблематикой. Это сразу понятно по оглавлению и в этом я предвижу основную критику, к которой сам часто прибегал в наших внутренних дискуссиях. Книга вышла в серии "Studia Urbanica", но там целый раздел посвященный Воде, и конкретно мы с Федором пишем про Вызов Болот на материале Тобольского Заболотья - изолированной местности и обособленного сообщества сибирских татар. Собственно теория провоцирующих ландшафтов (привет, Тим Ингольд) обкатывалась там - в лодке, в болоте и по локоть в клюкве.
Там мы открыли татарскую Венецию - сеть каналов, к сооружению которых взывал обводненный ландшафт. Эта сеть ускоряла коммуникацию людей, рыб и прочих ресурсов среды, но требовала постоянных вложений труда как любая рукотворная инфраструктура. О таких явлениях как-то не принято размышлять в духе модерна. Мы же склонны говорить о непрерывности и непреложности физических условий и человеческих практик, которые из них проистекают. Третий в мире по водности бассейн удивительно мало понял про себя и свою предопределенность.
Помимо этого, в моей памяти остались прекрасные автомобильные поездки по той неуловимой картографией местности, что зовется Зауральем - пологой равнине, что сползает от Екатеринбурга в Тобол, где реки на полпути меняют скалистые берега на большие разливные поймы. О том, как именно разрасталось пространство между Екатеринбургом и Тюменью статья нашего заглавного географа Александра Шелудкова.
Но Зауралье куда шире этого отрезка, и мы далеки от мысли, что сумели его концептуально охватить и репрезентировать. Мы хотя мы не проскочили его на скорости 110, а задержались в треугольнике между Екатеринбургом, Челябинском и Курганом и попытались уловить
Об этом, к сожалению, нет отдельного сюжета в книге. Большая часть наблюдений осела в дневниках, которые как известно, не горят, но прекрасно тонут в цифровых хранилищах. Поэтому я думаю, что прикреплю чуть позже полюбившийся фрагмент. Пусть это будет разогрев для книги.
❤10
Forwarded from (Не)изящный хинтерланд
"ПРОВОЦИРУЮЩИЕ ЛАНДШАФТЫ" должны будут выйти примерно к августу. Мы поехали в первую экспедицию по этому проекту в начале 2020 года, пандемия уже началась. Когда мы были в Заболотье, пришла новость о китайской студентке, которая заболела в Тюмени. Не мне судить, что получилось в научном плане, но для меня этот проект - личная вещь. Последние месяцы я много раз редактировал этот сборник и много раз вспоминал места, где побывал, людей, с которыми там был, и многое еще. Прекрасные воспоминания о довольно печальных временах. https://www.nlobooks.ru/books/studia_urbanica/28537/
НЛО
Провоцирующие ландшафты
❤11🔥1
Сеточные данные о плотности населения в России в 2021 г.
На геопортале Центра геоданных ВШЭ опубликованы открытые данные о плотности населения, созданные нашей научно-учебной группой.
Во многих проектах, например, по оценке климатических рисков, требуются детальные данные о размещении населения на очень большую территорию, вплоть до масштабов страны. Муниципальные данные для таких задач не подходят, а открытые глобальные модели (GHS-POP, WorldPop, LandScan) не проходили валидацию на территории России, то есть сказать наверняка, насколько точно они описывают реальное расселение, невозможно.
Мы валидировали и скорректировали для России набор данных GHS – Population Grid R2023. Исходная модель разработана Объединенным исследовательским центром (JRC) Европейской комиссии. Она содержит оценки плотности резидентного населения на основе дезагрегации статистических данных о численности населения в ячейки регулярной сетки разрешением 100 м по данным о жилой застройке согласно классификации снимков Sentinel-2.
На геопортале Центра геоданных ВШЭ опубликованы открытые данные о плотности населения, созданные нашей научно-учебной группой.
Во многих проектах, например, по оценке климатических рисков, требуются детальные данные о размещении населения на очень большую территорию, вплоть до масштабов страны. Муниципальные данные для таких задач не подходят, а открытые глобальные модели (GHS-POP, WorldPop, LandScan) не проходили валидацию на территории России, то есть сказать наверняка, насколько точно они описывают реальное расселение, невозможно.
Мы валидировали и скорректировали для России набор данных GHS – Population Grid R2023. Исходная модель разработана Объединенным исследовательским центром (JRC) Европейской комиссии. Она содержит оценки плотности резидентного населения на основе дезагрегации статистических данных о численности населения в ячейки регулярной сетки разрешением 100 м по данным о жилой застройке согласно классификации снимков Sentinel-2.
🔥18❤3
Шелудков_и_др_Сеточные_данные_11_июня_2025.pdf
15 MB
Мы провели двухэтапную коррекцию данных, устранив 1) несоответствия результатам Всероссийской переписи населения 2021 г. на уровне муниципальных образований верхнего уровня и 2) ошибки размещения населения в промышленных зонах через сопоставление с данными о землепользовании из OSM. Результаты валидировали на трех городах с разной морфологией застройки - Саратове, Набережных Челнах и Краснодаре. Итоговая точность скорректированных данных, при сравнении с информацией из реестров жилого фонда, составила 47–56% для ячеек разрешением 100 м и 75–83% при агрегации по ячейкам разрешением 1 км.
На рисунке ваше - пример визуализации для Москвы и соседних регионов.
Данные доступны в формате GeoTIFF разрешением 100 м и 1 км.
По этой работе выйдет статья, где можно будет подробнее прочитать про методику коррекции и валидации данных и их ограничения, а пока прикладываю свою презентацию с доклада на МАРСе 11 июня.
P.S.: Если найдете ошибки в данных, пишите мне на asheludkov@hse.ru. Буду благодарен за обратную связь
На рисунке ваше - пример визуализации для Москвы и соседних регионов.
Данные доступны в формате GeoTIFF разрешением 100 м и 1 км.
По этой работе выйдет статья, где можно будет подробнее прочитать про методику коррекции и валидации данных и их ограничения, а пока прикладываю свою презентацию с доклада на МАРСе 11 июня.
P.S.: Если найдете ошибки в данных, пишите мне на asheludkov@hse.ru. Буду благодарен за обратную связь
🔥17❤1
Spatial machine learning with R
На geocompx вышла серия постов от Якуба Новосада и соавторов, где подробно разбираются существующие фреймворки для машинного обучения в R: caret, tidymodels и ml3. Главное отличие от других туториалов по ML - авторы делают акцент именно на пространственных данных и связанных с ними особенностях учета пространственной автокорреляции на разных этапах построения модели. В качестве примера решается задача восстановления температурного поля по точечным данным с метеостанций в Испании с использованием дополнительных переменных, таких как абсолютные высоты, близость к побережью, плотность населения и др. В последних главах также разбираются более экзотичные алгоритмы на основе случайного леса и библиотеки для пространственной кросс-валидации.
Идеальное чтиво, пока за окном льет дождь
На geocompx вышла серия постов от Якуба Новосада и соавторов, где подробно разбираются существующие фреймворки для машинного обучения в R: caret, tidymodels и ml3. Главное отличие от других туториалов по ML - авторы делают акцент именно на пространственных данных и связанных с ними особенностях учета пространственной автокорреляции на разных этапах построения модели. В качестве примера решается задача восстановления температурного поля по точечным данным с метеостанций в Испании с использованием дополнительных переменных, таких как абсолютные высоты, близость к побережью, плотность населения и др. В последних главах также разбираются более экзотичные алгоритмы на основе случайного леса и библиотеки для пространственной кросс-валидации.
Идеальное чтиво, пока за окном льет дождь
👍13❤2
Модели мобильности
В этом году мы получили в Институте небольшой грант на изучение моделей внутригородской (суточной) мобильности населения. У темы огромное количество приложений, а мой личный интерес касается создания данных о дневной плотности населения без привязки к proxy, вроде данных социальных сетей и сотовых операторов.
За последние 15 лет в этой области сделан большой прогресс и не только благодаря появлению новых вычислительных алгоритмов и мощностей, но и созданию аналитических моделей, которые пытаются статистически оценить вероятность выбора человеком разных маршрутов и теснят традиционный гравитационный подход, например, радиационная модель, PWO и др. На эту тему есть, правда, уже немного устаревший, но обширный обзор 2018 г.
Я еще разбираюсь в литературе, но пока такое наблюдение: даже лучшие модели, откалиброванные на локальных данных, редко показывают точность выше 75-80%. Видимо, это естественный предел, с которым можно описать структуру перемещений «усредненного» населения. Все остальное выходит за рамки типичного маршрута дом-работа/учеба-дом.
В этом году мы получили в Институте небольшой грант на изучение моделей внутригородской (суточной) мобильности населения. У темы огромное количество приложений, а мой личный интерес касается создания данных о дневной плотности населения без привязки к proxy, вроде данных социальных сетей и сотовых операторов.
За последние 15 лет в этой области сделан большой прогресс и не только благодаря появлению новых вычислительных алгоритмов и мощностей, но и созданию аналитических моделей, которые пытаются статистически оценить вероятность выбора человеком разных маршрутов и теснят традиционный гравитационный подход, например, радиационная модель, PWO и др. На эту тему есть, правда, уже немного устаревший, но обширный обзор 2018 г.
Я еще разбираюсь в литературе, но пока такое наблюдение: даже лучшие модели, откалиброванные на локальных данных, редко показывают точность выше 75-80%. Видимо, это естественный предел, с которым можно описать структуру перемещений «усредненного» населения. Все остальное выходит за рамки типичного маршрута дом-работа/учеба-дом.
🔥12❤2👍2
Естественные пределы предсказуемости. Ч. 1
В продолжение предыдущего поста о моделях мобильности населения. Я писал, что эмпирическая точность таких моделей редко превышает 70-80%. А можно ли определить какой-то естественный (теоретический) порог точности? Другими словами, насколько перемещения людей в принципе потеницально предсказуемы?
С одной стороны, на уровне индивидов транспортное поведение крайне разнообразно и зависит от огромного количества факторов, включая тип мобильности, локальный контекст города/местности, время суток, день недели, сезон и пр., характеристики самих индивидов - гендер, возраст, профессия, образ жизни и т.д. С другой стороны, перемещения людей отличаются заметной регулярностью: большинство наших поездок охватывают одни и те же места. В пользу предсказуемости говорит и тот факт, что потоки мобильности тесно связаны со структурой городского пространства, в котором функциональная центральность мест, частота и дальность поездок жителей формируют равновесные системы (интересная статья на эту тему).
В продолжение предыдущего поста о моделях мобильности населения. Я писал, что эмпирическая точность таких моделей редко превышает 70-80%. А можно ли определить какой-то естественный (теоретический) порог точности? Другими словами, насколько перемещения людей в принципе потеницально предсказуемы?
С одной стороны, на уровне индивидов транспортное поведение крайне разнообразно и зависит от огромного количества факторов, включая тип мобильности, локальный контекст города/местности, время суток, день недели, сезон и пр., характеристики самих индивидов - гендер, возраст, профессия, образ жизни и т.д. С другой стороны, перемещения людей отличаются заметной регулярностью: большинство наших поездок охватывают одни и те же места. В пользу предсказуемости говорит и тот факт, что потоки мобильности тесно связаны со структурой городского пространства, в котором функциональная центральность мест, частота и дальность поездок жителей формируют равновесные системы (интересная статья на эту тему).
❤6👍2
Естественные пределы предсказуемости. Ч. 2
С появлением больших данных о мобильности было сделано несколько попыток оценить такую потеницальную предсказуемость с точки зрения теории информации. Например, в широко цитируемой работе в Science 2010 г. авторы оценивали неопределенность индивидуальных перемещений на основе разных энтропийных мер и пришли к выводу, что потенциальная предсказумость перемещений человека не зависит от дальности поездок и в среднем составляет 93%. Таким образом, лишь 7% перемещений можно назвать случайными. В схожей работе 2013 г. оценка авторов оказалась чуть ниже - 88%, но им также удалось показать, что этот предел эмпирически достижим: модели на основе марковских цепей показали точность в 87% (а в некоторых условиях - и выше).
Рисунок: иллюстрация из статьи китайских авторов, которая на данных из разных стран показывает, что в структуре перемещений людей доминируют простые двух- и трехчастные поездки.
С появлением больших данных о мобильности было сделано несколько попыток оценить такую потеницальную предсказуемость с точки зрения теории информации. Например, в широко цитируемой работе в Science 2010 г. авторы оценивали неопределенность индивидуальных перемещений на основе разных энтропийных мер и пришли к выводу, что потенциальная предсказумость перемещений человека не зависит от дальности поездок и в среднем составляет 93%. Таким образом, лишь 7% перемещений можно назвать случайными. В схожей работе 2013 г. оценка авторов оказалась чуть ниже - 88%, но им также удалось показать, что этот предел эмпирически достижим: модели на основе марковских цепей показали точность в 87% (а в некоторых условиях - и выше).
Рисунок: иллюстрация из статьи китайских авторов, которая на данных из разных стран показывает, что в структуре перемещений людей доминируют простые двух- и трехчастные поездки.
👍9🔥4❤1
Хорошие новости
Эта неделя принесла сразу две хорошие новости.
Первая - вышли «Провоцирующие ландшафты». Это книга о пространстве и о путешествиях, в которой переплетаются самые разные сюжеты, написанные историками, антропологами и географами. Читатель обнаружит главы о водных каналах в далеком Заболотье, гигантских промзонах уральских городов, о сельских мечетях, зимниках и плавмагазинах; о том, как на деревенских пустырях живут призраки прошлого, как из археологических памятников возникают новые «святые» и туристические места и о многом другом. Все эти истории разворачиваются в очень конкретных местах, а вместе создают рассказ о большом и интересном регионе между Уралом и Тоболом. Все написаны по итогам путешествий, где мы собирали материал, обсуждали, осмысляли и проживали увиденное.
Я благодарен Федору Корандею, главному организатору и вдохновителю проекта, за приглашение принять участие в этой работе. Моя глава рассказывает о городском фронтире современных Тюмени и Екатеринбурга — о векторах и формах городского роста, стремительно меняющем ландшафт повседневности внутри и вокруг двух столиц. Как и во всей книге, вы найдете в ней не только академический взгляд, но и немного литературы — моих личных впечатлений и размышлений.
Вторая новость - победа на выборах лучших преподавателей на факультете. Это очень приятно! Спасибо всем моим студентам
Эта неделя принесла сразу две хорошие новости.
Первая - вышли «Провоцирующие ландшафты». Это книга о пространстве и о путешествиях, в которой переплетаются самые разные сюжеты, написанные историками, антропологами и географами. Читатель обнаружит главы о водных каналах в далеком Заболотье, гигантских промзонах уральских городов, о сельских мечетях, зимниках и плавмагазинах; о том, как на деревенских пустырях живут призраки прошлого, как из археологических памятников возникают новые «святые» и туристические места и о многом другом. Все эти истории разворачиваются в очень конкретных местах, а вместе создают рассказ о большом и интересном регионе между Уралом и Тоболом. Все написаны по итогам путешествий, где мы собирали материал, обсуждали, осмысляли и проживали увиденное.
Я благодарен Федору Корандею, главному организатору и вдохновителю проекта, за приглашение принять участие в этой работе. Моя глава рассказывает о городском фронтире современных Тюмени и Екатеринбурга — о векторах и формах городского роста, стремительно меняющем ландшафт повседневности внутри и вокруг двух столиц. Как и во всей книге, вы найдете в ней не только академический взгляд, но и немного литературы — моих личных впечатлений и размышлений.
Вторая новость - победа на выборах лучших преподавателей на факультете. Это очень приятно! Спасибо всем моим студентам
❤26🔥11👍5❤🔥1
Географически-взвешенная регрессия (GWR)
Один из моих любимых методов. GWR — это частный случай локально-взвешенной регрессии, в которой веса наблюдений определяются расстояниями. Метод работает, когда сила и характер статистической связи между переменными меняются в пространстве вместе с локальными условиями (т.е. мы имеем дело с нестационарным процессом).
На рисунке пример из нашей статьи по староосвоенным районам Европейской России и Урала. В этой работе мы смотрели, как положение в центр-периферийной структуре региона (выраженное через расстояние до столицы и размер районного центра) влияло на плотность населения и миграционную динамику в районах и городах (данные за 2015-21 гг.). Хотя характер связи везде одинаков — чем дальше район и слабее его собственный центр, тем выше вероятность депопуляции, — сила этой связи менялась от региона к региону. Самая высокая — в Нечерноземье: здесь факторы положения объясняли свыше 60% различий между районами в плотности населения и до 40% различий в показателях миграционного прироста. Самая слабая — в Среднем Поволжье.
Природа таких различий между регионами — в сложном комплексе социально-экономических, демографических, этнокультурных и прочих факторов, которые усиливают или ослабляют эффекты центральности и периферийности. И GWR оказалась хорошим способом их показать. Таким образом, за счет включения в модель локального контекста GWR позволяет ухватить множество проявлений пространственной гетерогенности, которые часто неизвестны или сложно формализуемы в качестве отдельных независимых переменных.
Для поиска нелинейных связей, особенно в прогнозных задачах, существуют реализации GWR на основе нейронных сетей и деревьев решений.
Один из моих любимых методов. GWR — это частный случай локально-взвешенной регрессии, в которой веса наблюдений определяются расстояниями. Метод работает, когда сила и характер статистической связи между переменными меняются в пространстве вместе с локальными условиями (т.е. мы имеем дело с нестационарным процессом).
На рисунке пример из нашей статьи по староосвоенным районам Европейской России и Урала. В этой работе мы смотрели, как положение в центр-периферийной структуре региона (выраженное через расстояние до столицы и размер районного центра) влияло на плотность населения и миграционную динамику в районах и городах (данные за 2015-21 гг.). Хотя характер связи везде одинаков — чем дальше район и слабее его собственный центр, тем выше вероятность депопуляции, — сила этой связи менялась от региона к региону. Самая высокая — в Нечерноземье: здесь факторы положения объясняли свыше 60% различий между районами в плотности населения и до 40% различий в показателях миграционного прироста. Самая слабая — в Среднем Поволжье.
Природа таких различий между регионами — в сложном комплексе социально-экономических, демографических, этнокультурных и прочих факторов, которые усиливают или ослабляют эффекты центральности и периферийности. И GWR оказалась хорошим способом их показать. Таким образом, за счет включения в модель локального контекста GWR позволяет ухватить множество проявлений пространственной гетерогенности, которые часто неизвестны или сложно формализуемы в качестве отдельных независимых переменных.
Для поиска нелинейных связей, особенно в прогнозных задачах, существуют реализации GWR на основе нейронных сетей и деревьев решений.
👍15🔥6❤4🤯4⚡2
WorldPop: методы и данные
WorldPop - крупнейший создатель открытых глобальных пространственных данных о населении. Главным продуктом в их линейке являются детальные (100 м) модели численности/плотности населения, которые широко используются не только учеными, но и для гуманитарных целей в деятельности ООН и других некоммерческих организаций.
Философия проекта следует принципам открытой науки: авторы не только подробно рассказывают, какими методами созданы те или иные продукты, но и делятся сырыми данными.
В прошлом году лаборатория выпустила WorldPop Book of Methods, в которой авторы обсуждают методологические допущения моделирования плотности населения, разбирают конкретные алгоритмы и сложные кейсы и приводят обучающие материалы с примерами кода. Рисунок выше - пример top-down дезагрегации результатов переписи для Сан-Паулу, Бразилия, из соответствующей главы книги.
Предикторы для моделей доступны в виде отдельных слоев по миру и отдельным странам: это данные о топографии, климате, речной и дорожной сети, землепользовании, плотности застройки и интенсивности ночного излучения - всего 73 набора. Самое главное, что они уже гармонизированы, то есть даны в едином пространственном (100 м) и временном (2015-2020(23) гг.) разрешении. Источники данных и алгоритм гармонизации описаны в отдельной статье.
Так что, если даже вас не интересуют модели плотности населения, на сайт проекта стоит заглянуть - можно найти много других полезных данных.
WorldPop - крупнейший создатель открытых глобальных пространственных данных о населении. Главным продуктом в их линейке являются детальные (100 м) модели численности/плотности населения, которые широко используются не только учеными, но и для гуманитарных целей в деятельности ООН и других некоммерческих организаций.
Философия проекта следует принципам открытой науки: авторы не только подробно рассказывают, какими методами созданы те или иные продукты, но и делятся сырыми данными.
В прошлом году лаборатория выпустила WorldPop Book of Methods, в которой авторы обсуждают методологические допущения моделирования плотности населения, разбирают конкретные алгоритмы и сложные кейсы и приводят обучающие материалы с примерами кода. Рисунок выше - пример top-down дезагрегации результатов переписи для Сан-Паулу, Бразилия, из соответствующей главы книги.
Предикторы для моделей доступны в виде отдельных слоев по миру и отдельным странам: это данные о топографии, климате, речной и дорожной сети, землепользовании, плотности застройки и интенсивности ночного излучения - всего 73 набора. Самое главное, что они уже гармонизированы, то есть даны в едином пространственном (100 м) и временном (2015-2020(23) гг.) разрешении. Источники данных и алгоритм гармонизации описаны в отдельной статье.
Так что, если даже вас не интересуют модели плотности населения, на сайт проекта стоит заглянуть - можно найти много других полезных данных.
🔥9👍6❤3
Открытые данные о мобильности населения
Для учебных и научных задачек часто ищу открытые данные. Найти что-то по мобильности - большая редкость. Делюсь находками:
spanishoddata: пакет на R, который дает доступ к открытым данным Министерства транспорта и устойчивой мобильности Испании. Данные охватывают территорию всей Испании и доступны в двух версиях: за 2020-21 гг. и с 1 января 2022 г. по настоящее время. Это полноценные матрицы корреспонденции для 3.9 тыс. зон на основе переписных округов с часовым разрешением, составленные по данным мобильных операторов и обогащенные социально-демографической информацией (пол, возраст, уровень дохода). В общем, золото, а не данные. Авторы пакета также снабдили его функциями для быстрой предобработки, а на официальной странице можно найти ссылки на туториалы и воркшопы с примерами анализа и визуализации - как на рисунке выше, где показаны перемещения людей в Барселоне 7 апреля 2021 г.
Население метрополитенского ареала Хельсинки за 24 часа: еще один датасет на основе данных мобильных операторов и статья с рассказом о его создании в Sci Data. Это не совсем данные о перемещениях, но близко - сеточные данные о том, как меняется распределение населения в столице Финляндии и ее пригородах каждый час в будни и выходные дни. Данные собирались в течение октября 2017-января 2018 гг., затем авторы очистили их от шумов и интерполировали с точек базовых станций в ячейки размером 250 м через данные о землепользовании и застройке. На втором рисунке, она из статьи, показано распределение населения в будни между 12 и 13 часами.
Pseudo-PFLOW: синтетические данные о мобильности населения Японии. Это полностью сгенерированный датасет, основанный на переписных и опросных данных, OpenStreetMap и других открытых источниках информации, который затем валидировали по данным сотовых операторов и опросам. Здесь интересен многоступенчатый подход к созданию данных: авторы использовали несколько моделей, которые сначала генерили социально-демографические характеристики домохозяйств, их расписание (частоту и цель поездок), затем выбор места назначения, маршрут и, наконец, тип транспорта. Иллюстрация шагов - на рисунке из статьи выше. В итоге получился объемный набор данных на 130 млн синтетических японских жителей. Для доступа к датасету требуется регистрация на сайте.
Если вам известны другие примеры открытых данных о мобильности, делитесь, пожалуйста, в комментариях
Для учебных и научных задачек часто ищу открытые данные. Найти что-то по мобильности - большая редкость. Делюсь находками:
spanishoddata: пакет на R, который дает доступ к открытым данным Министерства транспорта и устойчивой мобильности Испании. Данные охватывают территорию всей Испании и доступны в двух версиях: за 2020-21 гг. и с 1 января 2022 г. по настоящее время. Это полноценные матрицы корреспонденции для 3.9 тыс. зон на основе переписных округов с часовым разрешением, составленные по данным мобильных операторов и обогащенные социально-демографической информацией (пол, возраст, уровень дохода). В общем, золото, а не данные. Авторы пакета также снабдили его функциями для быстрой предобработки, а на официальной странице можно найти ссылки на туториалы и воркшопы с примерами анализа и визуализации - как на рисунке выше, где показаны перемещения людей в Барселоне 7 апреля 2021 г.
Население метрополитенского ареала Хельсинки за 24 часа: еще один датасет на основе данных мобильных операторов и статья с рассказом о его создании в Sci Data. Это не совсем данные о перемещениях, но близко - сеточные данные о том, как меняется распределение населения в столице Финляндии и ее пригородах каждый час в будни и выходные дни. Данные собирались в течение октября 2017-января 2018 гг., затем авторы очистили их от шумов и интерполировали с точек базовых станций в ячейки размером 250 м через данные о землепользовании и застройке. На втором рисунке, она из статьи, показано распределение населения в будни между 12 и 13 часами.
Pseudo-PFLOW: синтетические данные о мобильности населения Японии. Это полностью сгенерированный датасет, основанный на переписных и опросных данных, OpenStreetMap и других открытых источниках информации, который затем валидировали по данным сотовых операторов и опросам. Здесь интересен многоступенчатый подход к созданию данных: авторы использовали несколько моделей, которые сначала генерили социально-демографические характеристики домохозяйств, их расписание (частоту и цель поездок), затем выбор места назначения, маршрут и, наконец, тип транспорта. Иллюстрация шагов - на рисунке из статьи выше. В итоге получился объемный набор данных на 130 млн синтетических японских жителей. Для доступа к датасету требуется регистрация на сайте.
Если вам известны другие примеры открытых данных о мобильности, делитесь, пожалуйста, в комментариях
❤17🔥3
Стоимость жилья и транспортная доступность
В Известиях вышла наша с Петей Гонюховым статья об эффектах транспортной доступности для цен на жилую недвижимость. Текст написан по материалам курсовой работы Пети на 3 курсе.
Проблематизация строится вокруг идеи, что в условиях роста автомобилизации населения доступность центра города на личном транспорте будет оказывать большие эффекты для цен на жилье, чем доступность общественным транспортом. Полигоном исследования выступил Саратов. Данные были взяты с Kaggle из датасета с объявлениями о продажи квартир на сайтах крупнейших агрегаторов в 2021 г. Различия в характеристиках квартир контролировались через средний возраст зданий. Кроме того, мы тестили два определения центра города - географический (центр улично-дорожной сети) и исторический/деловой (то, что принято считать центром в самом городе). Различия показаны на рисунке выше.
В итоге, получилась иллюстрация классической моноцентрической модели города, где цена предложения продажи жилья линейно падает по мере удаления от (делового) центра города. Вопреки ожиданиям, доступность общественным транспортом оказалась лучшим предиктором, что мы связали с более сильными контрастами доступности по сравнению с автомобилем. В дополнение Петя выделил два субцентра в городе, которые можно использовать для оптимизации сети маршрутов автобусов и трамваев, чтобы сгладить эти контрасты.
В РАНовских журналах статьи закрыты в течение года после публикации, но если вам интересно, напишите в комментариях - я пришлю текст.
UPD: вышла переводная версия статьи в Regional Research of Russia (open access).
В Известиях вышла наша с Петей Гонюховым статья об эффектах транспортной доступности для цен на жилую недвижимость. Текст написан по материалам курсовой работы Пети на 3 курсе.
Проблематизация строится вокруг идеи, что в условиях роста автомобилизации населения доступность центра города на личном транспорте будет оказывать большие эффекты для цен на жилье, чем доступность общественным транспортом. Полигоном исследования выступил Саратов. Данные были взяты с Kaggle из датасета с объявлениями о продажи квартир на сайтах крупнейших агрегаторов в 2021 г. Различия в характеристиках квартир контролировались через средний возраст зданий. Кроме того, мы тестили два определения центра города - географический (центр улично-дорожной сети) и исторический/деловой (то, что принято считать центром в самом городе). Различия показаны на рисунке выше.
В итоге, получилась иллюстрация классической моноцентрической модели города, где цена предложения продажи жилья линейно падает по мере удаления от (делового) центра города. Вопреки ожиданиям, доступность общественным транспортом оказалась лучшим предиктором, что мы связали с более сильными контрастами доступности по сравнению с автомобилем. В дополнение Петя выделил два субцентра в городе, которые можно использовать для оптимизации сети маршрутов автобусов и трамваев, чтобы сгладить эти контрасты.
В РАНовских журналах статьи закрыты в течение года после публикации, но если вам интересно, напишите в комментариях - я пришлю текст.
UPD: вышла переводная версия статьи в Regional Research of Russia (open access).
❤21👍8🔥3
Семинар НУГ - DEGURBA для России
Совсем недавно Департамент по экономическим и социальным вопросам ООН выпустил новый доклад о перспективах мировой урбанизации (WUP 2025). Согласно докладу, в сельской местности сегодня проживает лишь 19% мирового населения, в то время как на города и иные городские территории приходится 81% жителей планеты. Для сравнения, текущие расчеты на основе данных национальных статистических служб дают соотношение городского и сельского населения в мире как 58 против 42%.
Новые оценки основаны на использовании унифицированной методики классификации территорий по уровню урбанизированности DEGURBA. DEGURBA полагается на морфологические критерии плотности населения в ячейках регулярной сетки размером 1 км, их смежности и размера выделенных ареалов расселения. Для расчетов авторы WUP использовали данные GHS-POP. Первый рисунок выше - из доклада.
Пожалуй, самый интересный вопрос, дает ли новая методика лучшее понимание различий в образе жизни людей и социально-экономическом положении территорий с разным уровнем урбанизированности. Полгода назад мы опубликовали скорректированные для России данные GHS-POP, приведя их в соответствие результатам переписи населения 2021 года и устранив некоторые ошибки классификации территорий. И как раз сейчас готовим к публикации новый набор данных с результатами DEGURBA для России и их валидацией через сравнение с данными муниципальной статистики. Кусочек этих данных - на втором рисунке.
Приходите на семинар 1 декабря послушать, что у нас получилось. Или подключайтесь онлайн.
Регистрация - по ссылке: https://geography.hse.ru/nug/announcements/1105742291.html
Совсем недавно Департамент по экономическим и социальным вопросам ООН выпустил новый доклад о перспективах мировой урбанизации (WUP 2025). Согласно докладу, в сельской местности сегодня проживает лишь 19% мирового населения, в то время как на города и иные городские территории приходится 81% жителей планеты. Для сравнения, текущие расчеты на основе данных национальных статистических служб дают соотношение городского и сельского населения в мире как 58 против 42%.
Новые оценки основаны на использовании унифицированной методики классификации территорий по уровню урбанизированности DEGURBA. DEGURBA полагается на морфологические критерии плотности населения в ячейках регулярной сетки размером 1 км, их смежности и размера выделенных ареалов расселения. Для расчетов авторы WUP использовали данные GHS-POP. Первый рисунок выше - из доклада.
Пожалуй, самый интересный вопрос, дает ли новая методика лучшее понимание различий в образе жизни людей и социально-экономическом положении территорий с разным уровнем урбанизированности. Полгода назад мы опубликовали скорректированные для России данные GHS-POP, приведя их в соответствие результатам переписи населения 2021 года и устранив некоторые ошибки классификации территорий. И как раз сейчас готовим к публикации новый набор данных с результатами DEGURBA для России и их валидацией через сравнение с данными муниципальной статистики. Кусочек этих данных - на втором рисунке.
Приходите на семинар 1 декабря послушать, что у нас получилось. Или подключайтесь онлайн.
Регистрация - по ссылке: https://geography.hse.ru/nug/announcements/1105742291.html
👍15❤4