Индустриальный ландшафт. Ч. 2
С колониальных времен Хайфон - главный порт в дельте Красной реки. Не знаю, что именно меня смутило, но полез смотреть исторические снимки Google. Сначала снимок 1998 г.: на северо-западе - сам город, моста еще нет и порта, который я видел, тоже нет, а еще... нет самой территории, на которой он появится. Только ячеистые структуры по берегам, образованные полукруглыми дамбами, намекают о грядущей трансформации ландшафта. На снимке 2024 г.: город отвоевал у Тонкинского залива огромные участки акватории, осушенные земли заняла портовая индустрия, сквозь острова на востоке прорублены каналы, а русла рек сжимают новые ячейки дамб и польдеров.
Если любопытно, вот здесь еще есть подборка исторических карт города более старых времен: https://saigoneer.com/vietnam-heritage/17830-maps-a-brief-cartographic-history-of-hai-phong-in-1898–1968#
С колониальных времен Хайфон - главный порт в дельте Красной реки. Не знаю, что именно меня смутило, но полез смотреть исторические снимки Google. Сначала снимок 1998 г.: на северо-западе - сам город, моста еще нет и порта, который я видел, тоже нет, а еще... нет самой территории, на которой он появится. Только ячеистые структуры по берегам, образованные полукруглыми дамбами, намекают о грядущей трансформации ландшафта. На снимке 2024 г.: город отвоевал у Тонкинского залива огромные участки акватории, осушенные земли заняла портовая индустрия, сквозь острова на востоке прорублены каналы, а русла рек сжимают новые ячейки дамб и польдеров.
Если любопытно, вот здесь еще есть подборка исторических карт города более старых времен: https://saigoneer.com/vietnam-heritage/17830-maps-a-brief-cartographic-history-of-hai-phong-in-1898–1968#
❤16
Природный ландшафт
И, раз я начал говорить про Халонг, покажу несколько фото бухты. Место, и правда, красивое
И, раз я начал говорить про Халонг, покажу несколько фото бухты. Место, и правда, красивое
❤27👍1
Forwarded from Струя Добра (Ilya Abramov)
Какая новость!
Наша книга "ПРОВОЦИРУЮЩИЕ ЛАНДШАФТЫ" уже в предзаказе. Поисковый проект: по задаче, географии, исследователям, выполненный в духе Географии Человека, восходящей к истокам классической географии, где человек не вырван из среды, не превращен языком в ресурс, средство производства или кадр. Так, по крайней мере, задумывалось. Это проект, под который собрался интересный коллектив, с очень разным бэкграундом и оптикой, и я не знаю, кто бы кроме Федора Корандея превратил собранные материалы в монолит книги.
Под одной обложкой вы найдете очень разные тексты, объединенные скорее пространством, нежели проблематикой. Это сразу понятно по оглавлению и в этом я предвижу основную критику, к которой сам часто прибегал в наших внутренних дискуссиях. Книга вышла в серии "Studia Urbanica", но там целый раздел посвященный Воде, и конкретно мы с Федором пишем про Вызов Болот на материале Тобольского Заболотья - изолированной местности и обособленного сообщества сибирских татар. Собственно теория провоцирующих ландшафтов (привет, Тим Ингольд) обкатывалась там - в лодке, в болоте и по локоть в клюкве.
Там мы открыли татарскую Венецию - сеть каналов, к сооружению которых взывал обводненный ландшафт. Эта сеть ускоряла коммуникацию людей, рыб и прочих ресурсов среды, но требовала постоянных вложений труда как любая рукотворная инфраструктура. О таких явлениях как-то не принято размышлять в духе модерна. Мы же склонны говорить о непрерывности и непреложности физических условий и человеческих практик, которые из них проистекают. Третий в мире по водности бассейн удивительно мало понял про себя и свою предопределенность.
Помимо этого, в моей памяти остались прекрасные автомобильные поездки по той неуловимой картографией местности, что зовется Зауральем - пологой равнине, что сползает от Екатеринбурга в Тобол, где реки на полпути меняют скалистые берега на большие разливные поймы. О том, как именно разрасталось пространство между Екатеринбургом и Тюменью статья нашего заглавного географа Александра Шелудкова.
Но Зауралье куда шире этого отрезка, и мы далеки от мысли, что сумели его концептуально охватить и репрезентировать. Мы хотя мы не проскочили его на скорости 110, а задержались в треугольнике между Екатеринбургом, Челябинском и Курганом и попытались уловить вайб градиент перехода Урала в Сибирь.
Об этом, к сожалению, нет отдельного сюжета в книге. Большая часть наблюдений осела в дневниках, которые как известно, не горят, но прекрасно тонут в цифровых хранилищах. Поэтому я думаю, что прикреплю чуть позже полюбившийся фрагмент. Пусть это будет разогрев для книги.
Наша книга "ПРОВОЦИРУЮЩИЕ ЛАНДШАФТЫ" уже в предзаказе. Поисковый проект: по задаче, географии, исследователям, выполненный в духе Географии Человека, восходящей к истокам классической географии, где человек не вырван из среды, не превращен языком в ресурс, средство производства или кадр. Так, по крайней мере, задумывалось. Это проект, под который собрался интересный коллектив, с очень разным бэкграундом и оптикой, и я не знаю, кто бы кроме Федора Корандея превратил собранные материалы в монолит книги.
Под одной обложкой вы найдете очень разные тексты, объединенные скорее пространством, нежели проблематикой. Это сразу понятно по оглавлению и в этом я предвижу основную критику, к которой сам часто прибегал в наших внутренних дискуссиях. Книга вышла в серии "Studia Urbanica", но там целый раздел посвященный Воде, и конкретно мы с Федором пишем про Вызов Болот на материале Тобольского Заболотья - изолированной местности и обособленного сообщества сибирских татар. Собственно теория провоцирующих ландшафтов (привет, Тим Ингольд) обкатывалась там - в лодке, в болоте и по локоть в клюкве.
Там мы открыли татарскую Венецию - сеть каналов, к сооружению которых взывал обводненный ландшафт. Эта сеть ускоряла коммуникацию людей, рыб и прочих ресурсов среды, но требовала постоянных вложений труда как любая рукотворная инфраструктура. О таких явлениях как-то не принято размышлять в духе модерна. Мы же склонны говорить о непрерывности и непреложности физических условий и человеческих практик, которые из них проистекают. Третий в мире по водности бассейн удивительно мало понял про себя и свою предопределенность.
Помимо этого, в моей памяти остались прекрасные автомобильные поездки по той неуловимой картографией местности, что зовется Зауральем - пологой равнине, что сползает от Екатеринбурга в Тобол, где реки на полпути меняют скалистые берега на большие разливные поймы. О том, как именно разрасталось пространство между Екатеринбургом и Тюменью статья нашего заглавного географа Александра Шелудкова.
Но Зауралье куда шире этого отрезка, и мы далеки от мысли, что сумели его концептуально охватить и репрезентировать. Мы хотя мы не проскочили его на скорости 110, а задержались в треугольнике между Екатеринбургом, Челябинском и Курганом и попытались уловить
Об этом, к сожалению, нет отдельного сюжета в книге. Большая часть наблюдений осела в дневниках, которые как известно, не горят, но прекрасно тонут в цифровых хранилищах. Поэтому я думаю, что прикреплю чуть позже полюбившийся фрагмент. Пусть это будет разогрев для книги.
❤10
Forwarded from (Не)изящный хинтерланд
"ПРОВОЦИРУЮЩИЕ ЛАНДШАФТЫ" должны будут выйти примерно к августу. Мы поехали в первую экспедицию по этому проекту в начале 2020 года, пандемия уже началась. Когда мы были в Заболотье, пришла новость о китайской студентке, которая заболела в Тюмени. Не мне судить, что получилось в научном плане, но для меня этот проект - личная вещь. Последние месяцы я много раз редактировал этот сборник и много раз вспоминал места, где побывал, людей, с которыми там был, и многое еще. Прекрасные воспоминания о довольно печальных временах. https://www.nlobooks.ru/books/studia_urbanica/28537/
НЛО
Провоцирующие ландшафты
❤11🔥1
Сеточные данные о плотности населения в России в 2021 г.
На геопортале Центра геоданных ВШЭ опубликованы открытые данные о плотности населения, созданные нашей научно-учебной группой.
Во многих проектах, например, по оценке климатических рисков, требуются детальные данные о размещении населения на очень большую территорию, вплоть до масштабов страны. Муниципальные данные для таких задач не подходят, а открытые глобальные модели (GHS-POP, WorldPop, LandScan) не проходили валидацию на территории России, то есть сказать наверняка, насколько точно они описывают реальное расселение, невозможно.
Мы валидировали и скорректировали для России набор данных GHS – Population Grid R2023. Исходная модель разработана Объединенным исследовательским центром (JRC) Европейской комиссии. Она содержит оценки плотности резидентного населения на основе дезагрегации статистических данных о численности населения в ячейки регулярной сетки разрешением 100 м по данным о жилой застройке согласно классификации снимков Sentinel-2.
На геопортале Центра геоданных ВШЭ опубликованы открытые данные о плотности населения, созданные нашей научно-учебной группой.
Во многих проектах, например, по оценке климатических рисков, требуются детальные данные о размещении населения на очень большую территорию, вплоть до масштабов страны. Муниципальные данные для таких задач не подходят, а открытые глобальные модели (GHS-POP, WorldPop, LandScan) не проходили валидацию на территории России, то есть сказать наверняка, насколько точно они описывают реальное расселение, невозможно.
Мы валидировали и скорректировали для России набор данных GHS – Population Grid R2023. Исходная модель разработана Объединенным исследовательским центром (JRC) Европейской комиссии. Она содержит оценки плотности резидентного населения на основе дезагрегации статистических данных о численности населения в ячейки регулярной сетки разрешением 100 м по данным о жилой застройке согласно классификации снимков Sentinel-2.
🔥18❤3
Шелудков_и_др_Сеточные_данные_11_июня_2025.pdf
15 MB
Мы провели двухэтапную коррекцию данных, устранив 1) несоответствия результатам Всероссийской переписи населения 2021 г. на уровне муниципальных образований верхнего уровня и 2) ошибки размещения населения в промышленных зонах через сопоставление с данными о землепользовании из OSM. Результаты валидировали на трех городах с разной морфологией застройки - Саратове, Набережных Челнах и Краснодаре. Итоговая точность скорректированных данных, при сравнении с информацией из реестров жилого фонда, составила 47–56% для ячеек разрешением 100 м и 75–83% при агрегации по ячейкам разрешением 1 км.
На рисунке ваше - пример визуализации для Москвы и соседних регионов.
Данные доступны в формате GeoTIFF разрешением 100 м и 1 км.
По этой работе выйдет статья, где можно будет подробнее прочитать про методику коррекции и валидации данных и их ограничения, а пока прикладываю свою презентацию с доклада на МАРСе 11 июня.
P.S.: Если найдете ошибки в данных, пишите мне на asheludkov@hse.ru. Буду благодарен за обратную связь
На рисунке ваше - пример визуализации для Москвы и соседних регионов.
Данные доступны в формате GeoTIFF разрешением 100 м и 1 км.
По этой работе выйдет статья, где можно будет подробнее прочитать про методику коррекции и валидации данных и их ограничения, а пока прикладываю свою презентацию с доклада на МАРСе 11 июня.
P.S.: Если найдете ошибки в данных, пишите мне на asheludkov@hse.ru. Буду благодарен за обратную связь
🔥17❤1
Spatial machine learning with R
На geocompx вышла серия постов от Якуба Новосада и соавторов, где подробно разбираются существующие фреймворки для машинного обучения в R: caret, tidymodels и ml3. Главное отличие от других туториалов по ML - авторы делают акцент именно на пространственных данных и связанных с ними особенностях учета пространственной автокорреляции на разных этапах построения модели. В качестве примера решается задача восстановления температурного поля по точечным данным с метеостанций в Испании с использованием дополнительных переменных, таких как абсолютные высоты, близость к побережью, плотность населения и др. В последних главах также разбираются более экзотичные алгоритмы на основе случайного леса и библиотеки для пространственной кросс-валидации.
Идеальное чтиво, пока за окном льет дождь
На geocompx вышла серия постов от Якуба Новосада и соавторов, где подробно разбираются существующие фреймворки для машинного обучения в R: caret, tidymodels и ml3. Главное отличие от других туториалов по ML - авторы делают акцент именно на пространственных данных и связанных с ними особенностях учета пространственной автокорреляции на разных этапах построения модели. В качестве примера решается задача восстановления температурного поля по точечным данным с метеостанций в Испании с использованием дополнительных переменных, таких как абсолютные высоты, близость к побережью, плотность населения и др. В последних главах также разбираются более экзотичные алгоритмы на основе случайного леса и библиотеки для пространственной кросс-валидации.
Идеальное чтиво, пока за окном льет дождь
👍13❤2
Модели мобильности
В этом году мы получили в Институте небольшой грант на изучение моделей внутригородской (суточной) мобильности населения. У темы огромное количество приложений, а мой личный интерес касается создания данных о дневной плотности населения без привязки к proxy, вроде данных социальных сетей и сотовых операторов.
За последние 15 лет в этой области сделан большой прогресс и не только благодаря появлению новых вычислительных алгоритмов и мощностей, но и созданию аналитических моделей, которые пытаются статистически оценить вероятность выбора человеком разных маршрутов и теснят традиционный гравитационный подход, например, радиационная модель, PWO и др. На эту тему есть, правда, уже немного устаревший, но обширный обзор 2018 г.
Я еще разбираюсь в литературе, но пока такое наблюдение: даже лучшие модели, откалиброванные на локальных данных, редко показывают точность выше 75-80%. Видимо, это естественный предел, с которым можно описать структуру перемещений «усредненного» населения. Все остальное выходит за рамки типичного маршрута дом-работа/учеба-дом.
В этом году мы получили в Институте небольшой грант на изучение моделей внутригородской (суточной) мобильности населения. У темы огромное количество приложений, а мой личный интерес касается создания данных о дневной плотности населения без привязки к proxy, вроде данных социальных сетей и сотовых операторов.
За последние 15 лет в этой области сделан большой прогресс и не только благодаря появлению новых вычислительных алгоритмов и мощностей, но и созданию аналитических моделей, которые пытаются статистически оценить вероятность выбора человеком разных маршрутов и теснят традиционный гравитационный подход, например, радиационная модель, PWO и др. На эту тему есть, правда, уже немного устаревший, но обширный обзор 2018 г.
Я еще разбираюсь в литературе, но пока такое наблюдение: даже лучшие модели, откалиброванные на локальных данных, редко показывают точность выше 75-80%. Видимо, это естественный предел, с которым можно описать структуру перемещений «усредненного» населения. Все остальное выходит за рамки типичного маршрута дом-работа/учеба-дом.
🔥12❤2👍2
Естественные пределы предсказуемости. Ч. 1
В продолжение предыдущего поста о моделях мобильности населения. Я писал, что эмпирическая точность таких моделей редко превышает 70-80%. А можно ли определить какой-то естественный (теоретический) порог точности? Другими словами, насколько перемещения людей в принципе потеницально предсказуемы?
С одной стороны, на уровне индивидов транспортное поведение крайне разнообразно и зависит от огромного количества факторов, включая тип мобильности, локальный контекст города/местности, время суток, день недели, сезон и пр., характеристики самих индивидов - гендер, возраст, профессия, образ жизни и т.д. С другой стороны, перемещения людей отличаются заметной регулярностью: большинство наших поездок охватывают одни и те же места. В пользу предсказуемости говорит и тот факт, что потоки мобильности тесно связаны со структурой городского пространства, в котором функциональная центральность мест, частота и дальность поездок жителей формируют равновесные системы (интересная статья на эту тему).
В продолжение предыдущего поста о моделях мобильности населения. Я писал, что эмпирическая точность таких моделей редко превышает 70-80%. А можно ли определить какой-то естественный (теоретический) порог точности? Другими словами, насколько перемещения людей в принципе потеницально предсказуемы?
С одной стороны, на уровне индивидов транспортное поведение крайне разнообразно и зависит от огромного количества факторов, включая тип мобильности, локальный контекст города/местности, время суток, день недели, сезон и пр., характеристики самих индивидов - гендер, возраст, профессия, образ жизни и т.д. С другой стороны, перемещения людей отличаются заметной регулярностью: большинство наших поездок охватывают одни и те же места. В пользу предсказуемости говорит и тот факт, что потоки мобильности тесно связаны со структурой городского пространства, в котором функциональная центральность мест, частота и дальность поездок жителей формируют равновесные системы (интересная статья на эту тему).
❤6👍2
Естественные пределы предсказуемости. Ч. 2
С появлением больших данных о мобильности было сделано несколько попыток оценить такую потеницальную предсказуемость с точки зрения теории информации. Например, в широко цитируемой работе в Science 2010 г. авторы оценивали неопределенность индивидуальных перемещений на основе разных энтропийных мер и пришли к выводу, что потенциальная предсказумость перемещений человека не зависит от дальности поездок и в среднем составляет 93%. Таким образом, лишь 7% перемещений можно назвать случайными. В схожей работе 2013 г. оценка авторов оказалась чуть ниже - 88%, но им также удалось показать, что этот предел эмпирически достижим: модели на основе марковских цепей показали точность в 87% (а в некоторых условиях - и выше).
Рисунок: иллюстрация из статьи китайских авторов, которая на данных из разных стран показывает, что в структуре перемещений людей доминируют простые двух- и трехчастные поездки.
С появлением больших данных о мобильности было сделано несколько попыток оценить такую потеницальную предсказуемость с точки зрения теории информации. Например, в широко цитируемой работе в Science 2010 г. авторы оценивали неопределенность индивидуальных перемещений на основе разных энтропийных мер и пришли к выводу, что потенциальная предсказумость перемещений человека не зависит от дальности поездок и в среднем составляет 93%. Таким образом, лишь 7% перемещений можно назвать случайными. В схожей работе 2013 г. оценка авторов оказалась чуть ниже - 88%, но им также удалось показать, что этот предел эмпирически достижим: модели на основе марковских цепей показали точность в 87% (а в некоторых условиях - и выше).
Рисунок: иллюстрация из статьи китайских авторов, которая на данных из разных стран показывает, что в структуре перемещений людей доминируют простые двух- и трехчастные поездки.
👍9🔥4❤1
Хорошие новости
Эта неделя принесла сразу две хорошие новости.
Первая - вышли «Провоцирующие ландшафты». Это книга о пространстве и о путешествиях, в которой переплетаются самые разные сюжеты, написанные историками, антропологами и географами. Читатель обнаружит главы о водных каналах в далеком Заболотье, гигантских промзонах уральских городов, о сельских мечетях, зимниках и плавмагазинах; о том, как на деревенских пустырях живут призраки прошлого, как из археологических памятников возникают новые «святые» и туристические места и о многом другом. Все эти истории разворачиваются в очень конкретных местах, а вместе создают рассказ о большом и интересном регионе между Уралом и Тоболом. Все написаны по итогам путешествий, где мы собирали материал, обсуждали, осмысляли и проживали увиденное.
Я благодарен Федору Корандею, главному организатору и вдохновителю проекта, за приглашение принять участие в этой работе. Моя глава рассказывает о городском фронтире современных Тюмени и Екатеринбурга — о векторах и формах городского роста, стремительно меняющем ландшафт повседневности внутри и вокруг двух столиц. Как и во всей книге, вы найдете в ней не только академический взгляд, но и немного литературы — моих личных впечатлений и размышлений.
Вторая новость - победа на выборах лучших преподавателей на факультете. Это очень приятно! Спасибо всем моим студентам
Эта неделя принесла сразу две хорошие новости.
Первая - вышли «Провоцирующие ландшафты». Это книга о пространстве и о путешествиях, в которой переплетаются самые разные сюжеты, написанные историками, антропологами и географами. Читатель обнаружит главы о водных каналах в далеком Заболотье, гигантских промзонах уральских городов, о сельских мечетях, зимниках и плавмагазинах; о том, как на деревенских пустырях живут призраки прошлого, как из археологических памятников возникают новые «святые» и туристические места и о многом другом. Все эти истории разворачиваются в очень конкретных местах, а вместе создают рассказ о большом и интересном регионе между Уралом и Тоболом. Все написаны по итогам путешествий, где мы собирали материал, обсуждали, осмысляли и проживали увиденное.
Я благодарен Федору Корандею, главному организатору и вдохновителю проекта, за приглашение принять участие в этой работе. Моя глава рассказывает о городском фронтире современных Тюмени и Екатеринбурга — о векторах и формах городского роста, стремительно меняющем ландшафт повседневности внутри и вокруг двух столиц. Как и во всей книге, вы найдете в ней не только академический взгляд, но и немного литературы — моих личных впечатлений и размышлений.
Вторая новость - победа на выборах лучших преподавателей на факультете. Это очень приятно! Спасибо всем моим студентам
❤26🔥11👍5❤🔥1
Географически-взвешенная регрессия (GWR)
Один из моих любимых методов. GWR — это частный случай локально-взвешенной регрессии, в которой веса наблюдений определяются расстояниями. Метод работает, когда сила и характер статистической связи между переменными меняются в пространстве вместе с локальными условиями (т.е. мы имеем дело с нестационарным процессом).
На рисунке пример из нашей статьи по староосвоенным районам Европейской России и Урала. В этой работе мы смотрели, как положение в центр-периферийной структуре региона (выраженное через расстояние до столицы и размер районного центра) влияло на плотность населения и миграционную динамику в районах и городах (данные за 2015-21 гг.). Хотя характер связи везде одинаков — чем дальше район и слабее его собственный центр, тем выше вероятность депопуляции, — сила этой связи менялась от региона к региону. Самая высокая — в Нечерноземье: здесь факторы положения объясняли свыше 60% различий между районами в плотности населения и до 40% различий в показателях миграционного прироста. Самая слабая — в Среднем Поволжье.
Природа таких различий между регионами — в сложном комплексе социально-экономических, демографических, этнокультурных и прочих факторов, которые усиливают или ослабляют эффекты центральности и периферийности. И GWR оказалась хорошим способом их показать. Таким образом, за счет включения в модель локального контекста GWR позволяет ухватить множество проявлений пространственной гетерогенности, которые часто неизвестны или сложно формализуемы в качестве отдельных независимых переменных.
Для поиска нелинейных связей, особенно в прогнозных задачах, существуют реализации GWR на основе нейронных сетей и деревьев решений.
Один из моих любимых методов. GWR — это частный случай локально-взвешенной регрессии, в которой веса наблюдений определяются расстояниями. Метод работает, когда сила и характер статистической связи между переменными меняются в пространстве вместе с локальными условиями (т.е. мы имеем дело с нестационарным процессом).
На рисунке пример из нашей статьи по староосвоенным районам Европейской России и Урала. В этой работе мы смотрели, как положение в центр-периферийной структуре региона (выраженное через расстояние до столицы и размер районного центра) влияло на плотность населения и миграционную динамику в районах и городах (данные за 2015-21 гг.). Хотя характер связи везде одинаков — чем дальше район и слабее его собственный центр, тем выше вероятность депопуляции, — сила этой связи менялась от региона к региону. Самая высокая — в Нечерноземье: здесь факторы положения объясняли свыше 60% различий между районами в плотности населения и до 40% различий в показателях миграционного прироста. Самая слабая — в Среднем Поволжье.
Природа таких различий между регионами — в сложном комплексе социально-экономических, демографических, этнокультурных и прочих факторов, которые усиливают или ослабляют эффекты центральности и периферийности. И GWR оказалась хорошим способом их показать. Таким образом, за счет включения в модель локального контекста GWR позволяет ухватить множество проявлений пространственной гетерогенности, которые часто неизвестны или сложно формализуемы в качестве отдельных независимых переменных.
Для поиска нелинейных связей, особенно в прогнозных задачах, существуют реализации GWR на основе нейронных сетей и деревьев решений.
👍15🔥6❤4🤯4⚡2
WorldPop: методы и данные
WorldPop - крупнейший создатель открытых глобальных пространственных данных о населении. Главным продуктом в их линейке являются детальные (100 м) модели численности/плотности населения, которые широко используются не только учеными, но и для гуманитарных целей в деятельности ООН и других некоммерческих организаций.
Философия проекта следует принципам открытой науки: авторы не только подробно рассказывают, какими методами созданы те или иные продукты, но и делятся сырыми данными.
В прошлом году лаборатория выпустила WorldPop Book of Methods, в которой авторы обсуждают методологические допущения моделирования плотности населения, разбирают конкретные алгоритмы и сложные кейсы и приводят обучающие материалы с примерами кода. Рисунок выше - пример top-down дезагрегации результатов переписи для Сан-Паулу, Бразилия, из соответствующей главы книги.
Предикторы для моделей доступны в виде отдельных слоев по миру и отдельным странам: это данные о топографии, климате, речной и дорожной сети, землепользовании, плотности застройки и интенсивности ночного излучения - всего 73 набора. Самое главное, что они уже гармонизированы, то есть даны в едином пространственном (100 м) и временном (2015-2020(23) гг.) разрешении. Источники данных и алгоритм гармонизации описаны в отдельной статье.
Так что, если даже вас не интересуют модели плотности населения, на сайт проекта стоит заглянуть - можно найти много других полезных данных.
WorldPop - крупнейший создатель открытых глобальных пространственных данных о населении. Главным продуктом в их линейке являются детальные (100 м) модели численности/плотности населения, которые широко используются не только учеными, но и для гуманитарных целей в деятельности ООН и других некоммерческих организаций.
Философия проекта следует принципам открытой науки: авторы не только подробно рассказывают, какими методами созданы те или иные продукты, но и делятся сырыми данными.
В прошлом году лаборатория выпустила WorldPop Book of Methods, в которой авторы обсуждают методологические допущения моделирования плотности населения, разбирают конкретные алгоритмы и сложные кейсы и приводят обучающие материалы с примерами кода. Рисунок выше - пример top-down дезагрегации результатов переписи для Сан-Паулу, Бразилия, из соответствующей главы книги.
Предикторы для моделей доступны в виде отдельных слоев по миру и отдельным странам: это данные о топографии, климате, речной и дорожной сети, землепользовании, плотности застройки и интенсивности ночного излучения - всего 73 набора. Самое главное, что они уже гармонизированы, то есть даны в едином пространственном (100 м) и временном (2015-2020(23) гг.) разрешении. Источники данных и алгоритм гармонизации описаны в отдельной статье.
Так что, если даже вас не интересуют модели плотности населения, на сайт проекта стоит заглянуть - можно найти много других полезных данных.
🔥9👍6❤3
Открытые данные о мобильности населения
Для учебных и научных задачек часто ищу открытые данные. Найти что-то по мобильности - большая редкость. Делюсь находками:
spanishoddata: пакет на R, который дает доступ к открытым данным Министерства транспорта и устойчивой мобильности Испании. Данные охватывают территорию всей Испании и доступны в двух версиях: за 2020-21 гг. и с 1 января 2022 г. по настоящее время. Это полноценные матрицы корреспонденции для 3.9 тыс. зон на основе переписных округов с часовым разрешением, составленные по данным мобильных операторов и обогащенные социально-демографической информацией (пол, возраст, уровень дохода). В общем, золото, а не данные. Авторы пакета также снабдили его функциями для быстрой предобработки, а на официальной странице можно найти ссылки на туториалы и воркшопы с примерами анализа и визуализации - как на рисунке выше, где показаны перемещения людей в Барселоне 7 апреля 2021 г.
Население метрополитенского ареала Хельсинки за 24 часа: еще один датасет на основе данных мобильных операторов и статья с рассказом о его создании в Sci Data. Это не совсем данные о перемещениях, но близко - сеточные данные о том, как меняется распределение населения в столице Финляндии и ее пригородах каждый час в будни и выходные дни. Данные собирались в течение октября 2017-января 2018 гг., затем авторы очистили их от шумов и интерполировали с точек базовых станций в ячейки размером 250 м через данные о землепользовании и застройке. На втором рисунке, она из статьи, показано распределение населения в будни между 12 и 13 часами.
Pseudo-PFLOW: синтетические данные о мобильности населения Японии. Это полностью сгенерированный датасет, основанный на переписных и опросных данных, OpenStreetMap и других открытых источниках информации, который затем валидировали по данным сотовых операторов и опросам. Здесь интересен многоступенчатый подход к созданию данных: авторы использовали несколько моделей, которые сначала генерили социально-демографические характеристики домохозяйств, их расписание (частоту и цель поездок), затем выбор места назначения, маршрут и, наконец, тип транспорта. Иллюстрация шагов - на рисунке из статьи выше. В итоге получился объемный набор данных на 130 млн синтетических японских жителей. Для доступа к датасету требуется регистрация на сайте.
Если вам известны другие примеры открытых данных о мобильности, делитесь, пожалуйста, в комментариях
Для учебных и научных задачек часто ищу открытые данные. Найти что-то по мобильности - большая редкость. Делюсь находками:
spanishoddata: пакет на R, который дает доступ к открытым данным Министерства транспорта и устойчивой мобильности Испании. Данные охватывают территорию всей Испании и доступны в двух версиях: за 2020-21 гг. и с 1 января 2022 г. по настоящее время. Это полноценные матрицы корреспонденции для 3.9 тыс. зон на основе переписных округов с часовым разрешением, составленные по данным мобильных операторов и обогащенные социально-демографической информацией (пол, возраст, уровень дохода). В общем, золото, а не данные. Авторы пакета также снабдили его функциями для быстрой предобработки, а на официальной странице можно найти ссылки на туториалы и воркшопы с примерами анализа и визуализации - как на рисунке выше, где показаны перемещения людей в Барселоне 7 апреля 2021 г.
Население метрополитенского ареала Хельсинки за 24 часа: еще один датасет на основе данных мобильных операторов и статья с рассказом о его создании в Sci Data. Это не совсем данные о перемещениях, но близко - сеточные данные о том, как меняется распределение населения в столице Финляндии и ее пригородах каждый час в будни и выходные дни. Данные собирались в течение октября 2017-января 2018 гг., затем авторы очистили их от шумов и интерполировали с точек базовых станций в ячейки размером 250 м через данные о землепользовании и застройке. На втором рисунке, она из статьи, показано распределение населения в будни между 12 и 13 часами.
Pseudo-PFLOW: синтетические данные о мобильности населения Японии. Это полностью сгенерированный датасет, основанный на переписных и опросных данных, OpenStreetMap и других открытых источниках информации, который затем валидировали по данным сотовых операторов и опросам. Здесь интересен многоступенчатый подход к созданию данных: авторы использовали несколько моделей, которые сначала генерили социально-демографические характеристики домохозяйств, их расписание (частоту и цель поездок), затем выбор места назначения, маршрут и, наконец, тип транспорта. Иллюстрация шагов - на рисунке из статьи выше. В итоге получился объемный набор данных на 130 млн синтетических японских жителей. Для доступа к датасету требуется регистрация на сайте.
Если вам известны другие примеры открытых данных о мобильности, делитесь, пожалуйста, в комментариях
❤17🔥3