Зачитался блогом Тодда. Например, про то, как всё рушится и всё в огне и ты в огне, когда остаёшься один на один с ребёнком:

https://medium.com/@Spatial_Impressionism/full-stack-single-dad-1d9ff15c22e7

Или «составляя слайды по R и PostGIS, я осознал, насколько мёртв ГИС на сегодняшний день». Картографию предсказуемо поглотила Data Science, и геометрия — лишь один из многих столбцов.

https://medium.com/@Spatial_Impressionism/the-geometry-column-65cbb3c063ef

Или анализ тем докладов на крупнейших ГИС-конференциях 2017 года: 3D и Python лидируют, PostGIS и Javascript тоже популярны.

Ну и этот список из пяти заданий для ГИС-аналитиков и всех, у кого в работе есть щепотка картографии, великолепен:

https://medium.com/@Spatial_Impressionism/five-new-years-resolutions-to-enhance-your-spatial-career-a3d8aad422e1

«Как викимапия около 2011 года, наш проект выбрал большую часть своих смыслов. С нынешним направлением у нас ещё лет десять, после которых мы будем выглядеть как викимапия сейчас: с кучей данных и без сообщества, разбежавшегося по альтернативным проектам. И тогда уже люди, выбравшие OSM как замену Google Maps, задумаются».

Важнейшая заметка про OpenStreetMap этой весны: http://shtosm.ru/all/openstreetmap-ne-vash/

С огромным трудом перевёл заметку на английский. Плюсаните её в Hacker News, что ли: https://news.ycombinator.com/item?id=17022053

Зашёл в блог OpenCage почитать про OwnTracks из-за заманухи про треки сверхзвукового истребителя. Теперь тоже теряюсь в догадках, какие могут быть проблемы с выводом скорости от 800 км/ч.

https://blog.opencagedata.com/post/interview-jp-mens-owntracks

Жан-Пьет не лукавит, документация у проекта действительно одна из лучших. Читаешь как книгу. OwnTracks — это открытый сервер и клиенты для iOS и Android для мониторинга устройств. Телефон шлёт координаты, сервер и другие подключенные телефоны показывают. Примерно то же, что OsMo (https://osmo.mobi — красиво, на русском и с отзывчивым разработчиком), но в то же время наоборот.

У OsMo вся работа идёт через сервер, нужно регистрироваться и идти на него, название всё время на слуху. Это круто, что достаточно установить приложение, и сразу можно мониторить, например, парк такси в городе. А у OwnTracks даже продакшн-сервера нет: его обязательно устанавливать к себе. Приватность по-максимуму, но требуется платить за сервер. Документация, по крайней мере, не подводит. Одно непонятно: деньги-то откуда?

http://owntracks.org/

Кстати, дух времени в OpenStreetMap: из пяти заявок на место проведения State of the Map 2019, четыре – в разных странах Северной Африки.

FOSS4G нынче в Танзании, напомню.

Новая концепция: сделать осмерский новостной канал из ретвитов @ruosm_news

Иллюстрация из новостей википедийных карт: количество объектов в OSM с переводами на доп. языки. Удивляют (но несильно) вторая и третья строчки.

Начнём со списка самых активных сообществ: Германия, США, затем Россия и Франция одинаковы, дальше Англия, Италия и Польша в одной категории и затем Испания и Япония.

Чтобы понять, почему таблица отсортирована не по размеру сообществ, нужно понимать, что переводов в других странах очень мало: это часто лишь города и достопримечательности. Таблица подсчитывает количество тегов name:<язык> — например, name:ru. Когда эти теги ставят картографы на бо́льшую часть объектов в собственной стране, когда не хватает простого name?

Это чаще всего двуязычные страны (где непонятен язык name) или страны с иероглифами или вязью (где в name часто сразу два языка). В первые входят Финляндия (там fi + sv), Беларусь и Украина (be/uk + ru), Канада (en + fr). Испанский тоже часто работает вторым языком. Вторые видны из таблицы: арабский, китайский, японский, корейский языки, иврит. Ну а дальше учитываем активность сообщества (= относительное количество объектов) и понимаем всё распределение.

Наконец-то, наконец-то! Питерские картографы, осмеры, урбанисты и хипстотисты прекратили обманывать себя и назначили очередную встречу сразу в пивной. Завтра (суббота 12 мая 17.00) все приглашаются в бар Woody по адресу ул. Боровая д. 52. Там, я слышал, даже есть возможность использовать для докладов проектор. Такие встречи проходят всего несколько раз в год, поэтому не упустите момент выпить пивка и поговорить на интересные темы. Я обязательно пойду.

Как получить данные OpenStreetMap на какую-то дату в прошлом? Есть два несложных способа. Первый — сделать запрос к Overpass API, указав в заголовке [date:"2012-09-12T06:55:00Z"] (ну или какая вам дата нужна). Второй — скачать с Geofabrik файл .osh.pbf для нужного региона и применить к нему osmium-tool вот так:

https://gis-lab.info/forum/viewtopic.php?p=153121#p153121

Проблема в том, что серверы Overpass нынче либо сломаны, либо перегружены, а в закрытый раздел geofabrik (osm-internal) не войти из-за ошибки сервера. А у меня хакатон и всё нужно срочно. Вот вам и распределённая архитектура открытой карты.

Единственный оставшийся вариант — качать и обрабатывать 65-гигабайтный history-latest.osm.pbf, но это безумие.

Удивительно, как без железных дорог этот район становится неузнаваем. Карта с http://www.i-bike-msk.ru — приезжайте.

«Урбика» выкатила карту ГУЛАГов, которую они готовили совместно с музеем истории ГУЛАГа. Она традиционно хорошая, с линейкой дат, обязательно мрачными тонами и огоньками лагерей. Недостатки есть, но свою задачу сайт выполняет, наверное: показывает, что в стране были лагеря, все разные, но все чудовищные.

https://gulagmap.ru

Главный недостаток я описал в твитере: не понимаю, что должно задержать меня на этом сайте больше, чем на минуту. Каждая карта — это история, и вместе с тем, интерактивная карта — самый неудобный способ подать историю. Именно поэтому проваливаются стартапы типа https://travelmap.net и никто не строит блоги на других подобных решениях, будь то uMap или мой https://github.com/zverik/geoalbum.

Читателю интересна история. История — это когда ты начинаешь в точке А, проходишь завязку в точке Б, развитие в В, кульминацию в Г и развязку в пункте назначения. Вывалить все точки на карту и предоставить читателю ползать по карте самостоятельно не работает. Как и в аналитических картах с фильтрами, недостаточно дать пользователю инструмент: нужно сделать всю работу самостоятельно и показать результат. Наконец, карта просто мешает истории, потому что в 90% точек она незнакома и не помогает ничего понять. GPS-трек — не сюжетная линия.

Решение можно подсмотреть у книг «choose your own adventure». Ну вы знаете: «хочешь ударить его кинжалом — иди на стр. 56, хочешь убежать — листай до стр. 92». Человека, которому интересна тема смерти, проведите по лагерям с высокой смертностью, покажите и объясните. Другому будут интересны удалённые места, или охрана лагерей (как не сбегали в Ленинграде?), или железные дороги, или впечатляющие фотографии. Каждый из сценариев можно обернуть вокруг карты, но главное — повествование. При написании сценария может оказаться, что карта только мешает.

Написал выше, что «серверы Overpass нынче либо сломаны, либо перегружены». Я ошибся. Настоящую причину понял только что:

Overlaps with following blocked subnets:
178.63.0.0/16 - Hetzner Online GmbH

На сороковом комментарии в обсуждении моей заметки про проблемы OpenStreetMap Годвин поднимает брови: «It's like in Russia since 1917 till now: experience does not matter, loyalty does»

https://www.openstreetmap.org/user/Zverik/diary/43882

Эволюция идеи:

1) Ого, какой классный анализ геокодеров у Стива Беннета, нужно твитнуть.
2) Хм, какие занимательные условия использования у геокодера TomTom, лучше написать пару слов в телеграм-канал.
3) Ой, да тут кладезь! Пожалуй, придётся потратить час и оформить заметку в штосм.

http://shtosm.ru/all/etomu-dala-etomu-ne-dala/

Мои запросы в PostGIS работают всего несколько часов, и я с затаённым страхом жду дня, когда ограничения базы данных — отсутствие параллелизации, например, — заставят изучать технологии распределённых вычислений.

Анита Грейзер вчера написала про опыт изучения GeoMesa и Spark SQL: она загрузила в локальное облако (поднимается скриптом из github) миллиард точек от такси, и запросы обрабатываются всего пару секунд. Для визуализации она прикрутила QGIS Time Manager поверх GeoServer.

https://anitagraser.com/2018/05/18/scalable-spatial-vector-data-processing/

Что хорошо в OpenStreetMap — сколько бы гигабайт не весила планета, это далеко не «большие данные». Даже для сложных задач, вроде обработки общественного транспорта, достаточно фильтра и плохо оптимизированного скрипта на питоне без дополнительных библиотек.

Дорофей резонно возмутился на «отсутствие параллелизации в PostGIS»: в самом постгресе она появилась два года назад и, конечно, применима и к PostGIS. Другой вопрос, что пространственные запросы, почему-то, плохо параллелизуются, о чём пишет Пол Рамси по ссылкам из статьи Аниты.

Но я вот сейчас смотрю на три строчки "postgres: bgworker: parallel worker for PID 48375" во время запроса городов по странам — и радуюсь.

Это не умаляет чувства, что десять миллионов точек для постгиса нормально, а миллиард лучше обрабатывать чем-то более распределяемым.

Sara Safavi продолжает тему проблем конференций, снова про американский FOSS4G. Ладно, с полтысячью долларов за участие в этих конференциях можно смириться: фильтруем участников по щедрым работодателям. Но остальные фильтры можно было бы и снять:

— выше Тодд уже писал про участников с детьми, которых некуда деть;
— почему-то social events всегда предполагают алкоголь, непьющим неуютно;
— не все могут разобрать доклады на слух, причём не только иностранцы, но и слабослышащие;
— ну и традиционная проблема с меньшинствами в сообществе, включая женщин и небелых мужчин.

Что хорошо у Сары, она предлагает способы решения. Причём не только для организаторов («деньги у вас уже есть, вопрос в перераспределении»), но и для участников («выбирайте, где участвовать, и спрашивайте об удобствах»).

«SOTMUS is doing it. PyCon is doing it. JSConf is doing it. GopherCon and DjangoCon are doing it» — интересно, а есть в России конференции, которые ну ладно детскую комнату, — субтитры делают хотя бы к архивным записям и имеют Code of Conduct?

https://medium.com/@sarasomewhere/the-ones-we-leave-out-1a210745fe8f

Наконец, у нас новости: Сх16 пройдёт через две недели в офисе «Крока»! Чуть больше написано на сайте http://schemo.ru, жду ваших заявок на выступления в @ilyazver.