Начнём со списка самых активных сообществ: Германия, США, затем Россия и Франция одинаковы, дальше Англия, Италия и Польша в одной категории и затем Испания и Япония.
Чтобы понять, почему таблица отсортирована не по размеру сообществ, нужно понимать, что переводов в других странах очень мало: это часто лишь города и достопримечательности. Таблица подсчитывает количество тегов name:<язык> — например, name:ru. Когда эти теги ставят картографы на бо́льшую часть объектов в собственной стране, когда не хватает простого name?
Это чаще всего двуязычные страны (где непонятен язык name) или страны с иероглифами или вязью (где в name часто сразу два языка). В первые входят Финляндия (там fi + sv), Беларусь и Украина (be/uk + ru), Канада (en + fr). Испанский тоже часто работает вторым языком. Вторые видны из таблицы: арабский, китайский, японский, корейский языки, иврит. Ну а дальше учитываем активность сообщества (= относительное количество объектов) и понимаем всё распределение.
Чтобы понять, почему таблица отсортирована не по размеру сообществ, нужно понимать, что переводов в других странах очень мало: это часто лишь города и достопримечательности. Таблица подсчитывает количество тегов name:<язык> — например, name:ru. Когда эти теги ставят картографы на бо́льшую часть объектов в собственной стране, когда не хватает простого name?
Это чаще всего двуязычные страны (где непонятен язык name) или страны с иероглифами или вязью (где в name часто сразу два языка). В первые входят Финляндия (там fi + sv), Беларусь и Украина (be/uk + ru), Канада (en + fr). Испанский тоже часто работает вторым языком. Вторые видны из таблицы: арабский, китайский, японский, корейский языки, иврит. Ну а дальше учитываем активность сообщества (= относительное количество объектов) и понимаем всё распределение.
Forwarded from Ночной косильщик (Сергей Голубев)
Наконец-то, наконец-то! Питерские картографы, осмеры, урбанисты и хипстотисты прекратили обманывать себя и назначили очередную встречу сразу в пивной. Завтра (суббота 12 мая 17.00) все приглашаются в бар Woody по адресу ул. Боровая д. 52. Там, я слышал, даже есть возможность использовать для докладов проектор. Такие встречи проходят всего несколько раз в год, поэтому не упустите момент выпить пивка и поговорить на интересные темы. Я обязательно пойду.
Как получить данные OpenStreetMap на какую-то дату в прошлом? Есть два несложных способа. Первый — сделать запрос к Overpass API, указав в заголовке [date:"2012-09-12T06:55:00Z"] (ну или какая вам дата нужна). Второй — скачать с Geofabrik файл .osh.pbf для нужного региона и применить к нему osmium-tool вот так:
https://gis-lab.info/forum/viewtopic.php?p=153121#p153121
Проблема в том, что серверы Overpass нынче либо сломаны, либо перегружены, а в закрытый раздел geofabrik (osm-internal) не войти из-за ошибки сервера. А у меня хакатон и всё нужно срочно. Вот вам и распределённая архитектура открытой карты.
Единственный оставшийся вариант — качать и обрабатывать 65-гигабайтный history-latest.osm.pbf, но это безумие.
https://gis-lab.info/forum/viewtopic.php?p=153121#p153121
Проблема в том, что серверы Overpass нынче либо сломаны, либо перегружены, а в закрытый раздел geofabrik (osm-internal) не войти из-за ошибки сервера. А у меня хакатон и всё нужно срочно. Вот вам и распределённая архитектура открытой карты.
Единственный оставшийся вариант — качать и обрабатывать 65-гигабайтный history-latest.osm.pbf, но это безумие.
gis-lab.info
Скачать данные ОСМ на дату - Форумы GIS-Lab.info
Геоинформационные системы (ГИС) и дистанционное зондирование Земли (ДЗЗ), новости, программное обеспечение, журналы, публикации, документация, форум
Удивительно, как без железных дорог этот район становится неузнаваем. Карта с http://www.i-bike-msk.ru — приезжайте.
«Урбика» выкатила карту ГУЛАГов, которую они готовили совместно с музеем истории ГУЛАГа. Она традиционно хорошая, с линейкой дат, обязательно мрачными тонами и огоньками лагерей. Недостатки есть, но свою задачу сайт выполняет, наверное: показывает, что в стране были лагеря, все разные, но все чудовищные.
https://gulagmap.ru
Главный недостаток я описал в твитере: не понимаю, что должно задержать меня на этом сайте больше, чем на минуту. Каждая карта — это история, и вместе с тем, интерактивная карта — самый неудобный способ подать историю. Именно поэтому проваливаются стартапы типа https://travelmap.net и никто не строит блоги на других подобных решениях, будь то uMap или мой https://github.com/zverik/geoalbum.
Читателю интересна история. История — это когда ты начинаешь в точке А, проходишь завязку в точке Б, развитие в В, кульминацию в Г и развязку в пункте назначения. Вывалить все точки на карту и предоставить читателю ползать по карте самостоятельно не работает. Как и в аналитических картах с фильтрами, недостаточно дать пользователю инструмент: нужно сделать всю работу самостоятельно и показать результат. Наконец, карта просто мешает истории, потому что в 90% точек она незнакома и не помогает ничего понять. GPS-трек — не сюжетная линия.
Решение можно подсмотреть у книг «choose your own adventure». Ну вы знаете: «хочешь ударить его кинжалом — иди на стр. 56, хочешь убежать — листай до стр. 92». Человека, которому интересна тема смерти, проведите по лагерям с высокой смертностью, покажите и объясните. Другому будут интересны удалённые места, или охрана лагерей (как не сбегали в Ленинграде?), или железные дороги, или впечатляющие фотографии. Каждый из сценариев можно обернуть вокруг карты, но главное — повествование. При написании сценария может оказаться, что карта только мешает.
https://gulagmap.ru
Главный недостаток я описал в твитере: не понимаю, что должно задержать меня на этом сайте больше, чем на минуту. Каждая карта — это история, и вместе с тем, интерактивная карта — самый неудобный способ подать историю. Именно поэтому проваливаются стартапы типа https://travelmap.net и никто не строит блоги на других подобных решениях, будь то uMap или мой https://github.com/zverik/geoalbum.
Читателю интересна история. История — это когда ты начинаешь в точке А, проходишь завязку в точке Б, развитие в В, кульминацию в Г и развязку в пункте назначения. Вывалить все точки на карту и предоставить читателю ползать по карте самостоятельно не работает. Как и в аналитических картах с фильтрами, недостаточно дать пользователю инструмент: нужно сделать всю работу самостоятельно и показать результат. Наконец, карта просто мешает истории, потому что в 90% точек она незнакома и не помогает ничего понять. GPS-трек — не сюжетная линия.
Решение можно подсмотреть у книг «choose your own adventure». Ну вы знаете: «хочешь ударить его кинжалом — иди на стр. 56, хочешь убежать — листай до стр. 92». Человека, которому интересна тема смерти, проведите по лагерям с высокой смертностью, покажите и объясните. Другому будут интересны удалённые места, или охрана лагерей (как не сбегали в Ленинграде?), или железные дороги, или впечатляющие фотографии. Каждый из сценариев можно обернуть вокруг карты, но главное — повествование. При написании сценария может оказаться, что карта только мешает.
gulagmap.ru
Карта советских лагерей
Пополняющаяся база данных по истории и географии лагерных структур, действовавших в советских республиках и СССР с 1918 по 1960 год.
Написал выше, что «серверы Overpass нынче либо сломаны, либо перегружены». Я ошибся. Настоящую причину понял только что:
Forwarded from rknbot
Overlaps with following blocked subnets:
178.63.0.0/16 - Hetzner Online GmbH
178.63.0.0/16 - Hetzner Online GmbH
На сороковом комментарии в обсуждении моей заметки про проблемы OpenStreetMap Годвин поднимает брови: «It's like in Russia since 1917 till now: experience does not matter, loyalty does»
https://www.openstreetmap.org/user/Zverik/diary/43882
https://www.openstreetmap.org/user/Zverik/diary/43882
OpenStreetMap
Zverik's diary | Not Yours, OpenStreetMap | OpenStreetMap
OpenStreetMap is a map of the world, created by people like you and free to use under an open license.
Эволюция идеи:
1) Ого, какой классный анализ геокодеров у Стива Беннета, нужно твитнуть.
2) Хм, какие занимательные условия использования у геокодера TomTom, лучше написать пару слов в телеграм-канал.
3) Ой, да тут кладезь! Пожалуй, придётся потратить час и оформить заметку в штосм.
http://shtosm.ru/all/etomu-dala-etomu-ne-dala/
1) Ого, какой классный анализ геокодеров у Стива Беннета, нужно твитнуть.
2) Хм, какие занимательные условия использования у геокодера TomTom, лучше написать пару слов в телеграм-канал.
3) Ой, да тут кладезь! Пожалуй, придётся потратить час и оформить заметку в штосм.
http://shtosm.ru/all/etomu-dala-etomu-ne-dala/
shtosm.ru
Этому дала, этому не дала
Стив Беннет в марте сделал замечательный интерактивный сайт, где можно окинуть взглядом предложения сервисов
Мои запросы в PostGIS работают всего несколько часов, и я с затаённым страхом жду дня, когда ограничения базы данных — отсутствие параллелизации, например, — заставят изучать технологии распределённых вычислений.
Анита Грейзер вчера написала про опыт изучения GeoMesa и Spark SQL: она загрузила в локальное облако (поднимается скриптом из github) миллиард точек от такси, и запросы обрабатываются всего пару секунд. Для визуализации она прикрутила QGIS Time Manager поверх GeoServer.
https://anitagraser.com/2018/05/18/scalable-spatial-vector-data-processing/
Что хорошо в OpenStreetMap — сколько бы гигабайт не весила планета, это далеко не «большие данные». Даже для сложных задач, вроде обработки общественного транспорта, достаточно фильтра и плохо оптимизированного скрипта на питоне без дополнительных библиотек.
Анита Грейзер вчера написала про опыт изучения GeoMesa и Spark SQL: она загрузила в локальное облако (поднимается скриптом из github) миллиард точек от такси, и запросы обрабатываются всего пару секунд. Для визуализации она прикрутила QGIS Time Manager поверх GeoServer.
https://anitagraser.com/2018/05/18/scalable-spatial-vector-data-processing/
Что хорошо в OpenStreetMap — сколько бы гигабайт не весила планета, это далеко не «большие данные». Даже для сложных задач, вроде обработки общественного транспорта, достаточно фильтра и плохо оптимизированного скрипта на питоне без дополнительных библиотек.
Free and Open Source GIS Ramblings
Scalable spatial vector data processing
Working with movement data analysis, I’ve banged my head against performance issues every once in a while. For example, PostgreSQL – and therefore PostGIS – run queries in a singl…
Дорофей резонно возмутился на «отсутствие параллелизации в PostGIS»: в самом постгресе она появилась два года назад и, конечно, применима и к PostGIS. Другой вопрос, что пространственные запросы, почему-то, плохо параллелизуются, о чём пишет Пол Рамси по ссылкам из статьи Аниты.
Но я вот сейчас смотрю на три строчки "postgres: bgworker: parallel worker for PID 48375" во время запроса городов по странам — и радуюсь.
Это не умаляет чувства, что десять миллионов точек для постгиса нормально, а миллиард лучше обрабатывать чем-то более распределяемым.
Но я вот сейчас смотрю на три строчки "postgres: bgworker: parallel worker for PID 48375" во время запроса городов по странам — и радуюсь.
Это не умаляет чувства, что десять миллионов точек для постгиса нормально, а миллиард лучше обрабатывать чем-то более распределяемым.
Sara Safavi продолжает тему проблем конференций, снова про американский FOSS4G. Ладно, с полтысячью долларов за участие в этих конференциях можно смириться: фильтруем участников по щедрым работодателям. Но остальные фильтры можно было бы и снять:
— выше Тодд уже писал про участников с детьми, которых некуда деть;
— почему-то social events всегда предполагают алкоголь, непьющим неуютно;
— не все могут разобрать доклады на слух, причём не только иностранцы, но и слабослышащие;
— ну и традиционная проблема с меньшинствами в сообществе, включая женщин и небелых мужчин.
Что хорошо у Сары, она предлагает способы решения. Причём не только для организаторов («деньги у вас уже есть, вопрос в перераспределении»), но и для участников («выбирайте, где участвовать, и спрашивайте об удобствах»).
«SOTMUS is doing it. PyCon is doing it. JSConf is doing it. GopherCon and DjangoCon are doing it» — интересно, а есть в России конференции, которые ну ладно детскую комнату, — субтитры делают хотя бы к архивным записям и имеют Code of Conduct?
https://medium.com/@sarasomewhere/the-ones-we-leave-out-1a210745fe8f
— выше Тодд уже писал про участников с детьми, которых некуда деть;
— почему-то social events всегда предполагают алкоголь, непьющим неуютно;
— не все могут разобрать доклады на слух, причём не только иностранцы, но и слабослышащие;
— ну и традиционная проблема с меньшинствами в сообществе, включая женщин и небелых мужчин.
Что хорошо у Сары, она предлагает способы решения. Причём не только для организаторов («деньги у вас уже есть, вопрос в перераспределении»), но и для участников («выбирайте, где участвовать, и спрашивайте об удобствах»).
«SOTMUS is doing it. PyCon is doing it. JSConf is doing it. GopherCon and DjangoCon are doing it» — интересно, а есть в России конференции, которые ну ладно детскую комнату, — субтитры делают хотя бы к архивным записям и имеют Code of Conduct?
https://medium.com/@sarasomewhere/the-ones-we-leave-out-1a210745fe8f
Medium
The ones we leave out
Last week I spent three-days-and-change in St Louis MO, attending FOSS4G-NA 2018. I got home Thursday evening, and Friday morning woke up…
Forwarded from Схемотехника
Наконец, у нас новости: Сх16 пройдёт через две недели в офисе «Крока»! Чуть больше написано на сайте http://schemo.ru, жду ваших заявок на выступления в @ilyazver.
В лицензии ODbL много неочевидного, например — права на тайлы, полученные из базы геоданных. Растровое представление является по тексту лицензии Produced Work, что означает требование указать, что оно получено из базы под ODbL — и всё. Никаких лицензионных требований к тайлам нет: их можно продавать, можно публиковать под CC0. Тайлы — ваша работа, делайте с ними, что хотите.
При этом базы, использующие эти тайлы, могут заразиться открытой лицензией. Первый способ: использовать тайлы с сайта osm.org, которые опубликованы под CC-BY-SA, в книгах или изображениях. Нарисовали картину среди дорог — и опа, она под CC-BY-SA тоже. Повторю, ODbL здесь ни при чём, только лицензия на тайлы как на растровые картины.
Второй способ — создание или привязка геоданных к объектам, изображённым на тайлах. Даже если тайлы под CC0, обрисовав по ним дороги, вы получите набор данных под ODbL или совместимой лицензией. Это никак не обойти, и именно для этого нужно указывать, что тайлы получены из базы под ODbL.
Избежать заражения открытой лицензией очень просто: нужна карта для книги — установите тайл-сервер в докере (или попросите знакомого осмера) и нагенерите нужные фрагменты карты. И не обклацывайте OpenStreetMap — это юридически не отличается от использования исходной базы, но времени вы потратите больше. Всё остальное разрешено, в том числе и наложение своих данных поверх карты OSM.
...Вы можете сделать свои тайлы под любой лицензией, но картографический стиль отдельно защищён авторским правом! Поэтому если вы возьмёте или повторите, например, OpenCycleMap, вы публикацией тайлов нарушите права автора. Это уже сложная тема, на которой пару лет назад погорели OSM2VectorTiles. Авторы стиля OSM-Carto специально написали в LICENSE.txt, что не только стиль, но и картография опубликованы под CC0.
При этом базы, использующие эти тайлы, могут заразиться открытой лицензией. Первый способ: использовать тайлы с сайта osm.org, которые опубликованы под CC-BY-SA, в книгах или изображениях. Нарисовали картину среди дорог — и опа, она под CC-BY-SA тоже. Повторю, ODbL здесь ни при чём, только лицензия на тайлы как на растровые картины.
Второй способ — создание или привязка геоданных к объектам, изображённым на тайлах. Даже если тайлы под CC0, обрисовав по ним дороги, вы получите набор данных под ODbL или совместимой лицензией. Это никак не обойти, и именно для этого нужно указывать, что тайлы получены из базы под ODbL.
Избежать заражения открытой лицензией очень просто: нужна карта для книги — установите тайл-сервер в докере (или попросите знакомого осмера) и нагенерите нужные фрагменты карты. И не обклацывайте OpenStreetMap — это юридически не отличается от использования исходной базы, но времени вы потратите больше. Всё остальное разрешено, в том числе и наложение своих данных поверх карты OSM.
...Вы можете сделать свои тайлы под любой лицензией, но картографический стиль отдельно защищён авторским правом! Поэтому если вы возьмёте или повторите, например, OpenCycleMap, вы публикацией тайлов нарушите права автора. Это уже сложная тема, на которой пару лет назад погорели OSM2VectorTiles. Авторы стиля OSM-Carto специально написали в LICENSE.txt, что не только стиль, но и картография опубликованы под CC0.
Мне на грядущий FOSS4G подтвердили два доклада, про краудсорсинг общественного транспорта и про чёрт знает что под названием «Own The Map» (я всегда подаю две-три заявки, чтобы одобрили хоть одну, но одабривают сразу все и я потом в мыле), но приходится отказаться: лететь в Дар-эс-Салаам дорого, и отпускать меня на целую неделю не хотят. Жалко — надеюсь, кто-то из читателей окажется в Танзании и расскажет, как там проходит очередная главная ГИС-конференция. Я же вместо этого полечу в Киев.
Ситилаб пишет про Palestine Open Maps — сборник геопривязанных карт сороковых годов, который сделал ливанский архитектор. Удивительно видеть не очередные восторги «ах какие русские военные красивые карты нарисовали», а практическое применение военных карт других государств. В этом случае, предыдущего колонизатора, Великобритании.
https://www.citylab.com/life/2018/05/mapping-palestine-before-israel/560696/
К сожалению, местные жители Ближнего Востока не спешат картировать свои города и страны. Пару лет назад какая-то журналистка спрашивала статистику правок Газы и Западного берега, и оказалось, их рисуют все — добровольцы из HOT, другие организации типа JumpStart, американцы, израильтяне, — но только не местные.
https://www.citylab.com/life/2018/05/mapping-palestine-before-israel/560696/
К сожалению, местные жители Ближнего Востока не спешат картировать свои города и страны. Пару лет назад какая-то журналистка спрашивала статистику правок Газы и Западного берега, и оказалось, их рисуют все — добровольцы из HOT, другие организации типа JumpStart, американцы, израильтяне, — но только не местные.
Bloomberg
Mapping Palestine Before Israel
A new open-source project uses British historical maps to reveal what Palestine looked like before 1948.
«Долгое время в качестве обзорника делал выкопировку из гугл-карт, в том году первый раз получил замечание, весьма развернутое, что использование данного материала некорректно» — сокрушаются сегодня на форуме геодезистов. Ну да, спутниковых снимков на территорию РФ, открытых для коммерческого использования, детальнее 10 м/пк не существует. Время пиратства, давно ушедшее из софта и игр, понемногу заканчивается и в других отраслях. Россия становится ответственной. OSM победит.