Мейл продаёт maps.me. В самой новости ничего неожиданного: попытки вписать приложение в экосистему мейла провалились, а прибыльной компания не стала. Хотя 2,45 млн долларов выручки за год — очень хорошо, но меньше, чем рассчитывали. Мейл купил компанию в 2014 году за 12 млн долларов, продал за 20 — кажется, по итогу вышли в ноль.

https://dev.by/news/mapsme-prodaut-pochti-za-20-millionov

Беспокоит тут только одно: покупатель. Daegu Ltd — это корейский банк. Им явно от проекта нужны не карты, а бренд и база пользователей. Которым, по славной традиции вообще всех банков, теперь будут всучивать кредитки.

Что станет с командой и технологиями — непонятно. Едва ли банк будет вкладываться в развитие, или даже в CDN для карт. Многие разработчики давно сбежали в белорусские компании или дальше на запад, так что немала вероятность, что разработка картографической части теперь остановится совсем.

Конечно, я буду рад ошибиться: может, банк купил приложение для головной компании Parity, которая, как замечают в чатике, основана ребятами со славянскими фамилиями и занимается всем понемногу. Тогда команду перевезут в Швейцарию и будут менять плюшки на качественный код. И если очень повезёт, она не будет обрастать фигнёй, медленно превращаясь в супер-апп.

Пока что же maps me — лучшие мобильные карты, работающие без интернета. Вменяемый картостиль, высокая скорость, понятные кнопки. Если закрыть глаза на рассыпанные по интерфейсу попытки заработать, то это вообще идеальные карты, которые не стали хуже с 2014 года.

Если основная ветка засохнет или перейдёт на худшие технологии, всегда есть сборка от F-Droid. А свежие карты с весны собирает Vascom. Как же круто, что в своё время мейл открыл исходные коды приложения! Ничто полезное у maps me не умрёт: кроме карт и кода там, кажется, нужен только сервер с OSRM для подсказки, какие карты нужно скачать для прокладки особо длинного маршрута.

Доротея в рассылке osmf-talk@ напоминает: 12 декабря OSMF проводит ежегодное собрание, на котором снова обновится состав Совета, и до 7 ноября можно выдвинуться в кандидаты.

Прошла неделя с объявления, до дедлайна четыре дня, а в списке ОДИН кандидат. Да и тот — Тобиас, который в Совете уже два года и идёт на перевыборы. Где все? Почему в прошлые годы было по 5-6 новых кандидатов, а теперь пусто?

По-моему, дело в том, что Совет внезапно начал работать. Там ярая движуха: постоянные совещания в закрытом режиме с корпорациями, какие-то решения, резолюции, комитеты, гранты, политика, деньги. Хлопотное дельце! Пойти в Совет — значит обречь себя на несколько часов работы в неделю, сложной и неблагодарной, потому что уже почти никто в сообществе не знает и не понимает, чем Совет занимается.

В основе OpenStreetMap лежит желание починить то, что не работает. Карты отстойны — дорисуем и загрузим в гармин. Классификация неидеальненькая — перессоримся вокруг пропозалов. Когда же система не мешает — то и пусть работает. Во теперь у нас внезапно Совет перестал быть бесполезным пассивным органом — ну и отлично, продолжайте в том же духе и не мешаете нам нажимать кнопки в josm.

Что из этого получается, я сейчас вижу за окном в прямом эфире.

Для тех кто работает с открытыми данными (и просто с данными) напоминание про инструменты полезные для сбора и извлечения данных из самых разнообразных источников

- Tabula [1] инструмент с открытым кодом для извлечения таблиц из PDF файлов.
- Scrapy [2] фреймворк сбора данных из веб страниц.
- Docx2csv [3] утилита и библиотека извлечения таблиц из файлов docx
- Lazyscraper [4] утилита для извлечения таблиц и иных объектов из HTML файлов
- APIBackuper [5] утилита выгрузки данных из API, делает резевную копию данных и сохраняет их в формате JSON lines

Большая коллекция инструментов для сбора данных в Awesome Web Scraping [6].

А также существует несколько десятков онлайн сервисов и компаний которые дают возможность наладить сбор данных на их инфраструктуре или собрать данные на заказ. Это не самая большая, но вполне состоявшаяся индустрий охватывающая от сбора госданных, до сбора информации с сайтов интернет-магазинов и не только.

Лично я могу сказать что собрать или обработать один набор данных не требует много людей или очень много сил. Это можно делать очень быстро и чаще важнее наличие одного понимающего человека раздающего задачи внешней команде или работающего с внешним сервисом.

Лично я много лет, можно сказать, увлекался темой автоматизации извлечения данных. Не просто собрать и извлечь, а сделать это самым ленивым способом, без перетаскиваний и GUI, и без программирования непосредственно сбора данных. Утилиты вроде APIBackuper или Lazyscraper - это плод моих экспериментов.

Я как-то очень давно писал что много лет назад я "убил много времени" на задачи автоматизации сбора данных. Идея фикс была в том что большая часть разработчиков веб-сайтов думают шаблонами, разрабатывают фреймворки по шаблонам и шаблонами же делают сайты. Есть ограниченно число паттернов по описания объекта, описания коллекции объектов, способов их отображения и так далее, основные отличия скорее языковые, чем какие-либо иные.

Впрочем и имеющиеся инструменты сильно облегчают жизнь тем кто собирает данные.

Ссылки:
[1] https://tabula.technology/
[2] https://scrapy.org/
[3] https://github.com/ivbeg/docx2csv
[4] https://github.com/ivbeg/lazyscraper
[5] https://github.com/ruarxive/apibackuper
[6] https://github.com/lorien/awesome-web-scraping

#scraping #data #extraction

Должен сказать, конференция SCGIS невероятно увлекательная. Не унылое чтение докладов, а бурное общение. Я только что впервые с февраля подписался на доклад — расскажу про деревья через часик!

http://scgisrussia.ru/anticonference

И ещё тут Гоша Потапов выступит с темой, почему нашему сообществу даёшь миллионы распознанных домиков, а оно такое «ага, спасибо, ну мы посмотрим как-нибудь» — и уходит дальше картировать свои дворы.

Как можно догадаться из картинки, «Схемотехника» возвращается! Подобно десятку других картографических конференций в этом году, она пройдёт онлайн. То есть, ехать в Москву не нужно!

Держите вторую половину субботы, 28 ноября свободной: мы не только послушаем несколько десятиминутных выступлений, но и поговорим друг с другом. Благодаря компании Greenpeace и её сотрудникам, у нас есть платформа и идеи по её использованию. Готовьтесь увидеться со знакомыми, которых не слышали с прошлого года.

Регистрируйтесь сейчас, чтобы попасть в комнаты для общения, и придумайте, о чём бы хотелось рассказать: https://forms.gle/moGQqiMw2f4k83po6

Официальный сайт: https://schemo.ru/

Спасибо ребятам из Greenpeace за вдохновение! Айда тусить в субботу через две недели!

Лучшие карты — по-прежнему те, что рисуются руками. Медиазона мало того, что понятно объяснила известную каждому минчанину историю, так ещё и продемонстрировала, что тайлы отстой.

https://mediazona.by/article/2020/11/16/bondarenko

Зачем нужны вопросы?

Классические онлайн-конференции (как State of the Map этого года) невероятно скучны. Их запускаешь из вежливости в отдельной вкладке, и пока там бубнят докладчики, отвлекаешься и забываешь. У меня получалось обращать внимание на экран максимум пару часов, и это сложно.

Главная проблема в онлайне та же, что в офлайне: выступающие недостаточно готовятся, отчего вводные слова длятся полдоклада, постоянно какие-то паузы и отступления. Доклад на час можно подготовить за десять минут, доклад на десять минут нужно готовить целый день. Мало у кого есть столько времени. Но доклад на десять минут досмотрят в сто раз больше слушателей.

Поэтому на следующей «Схемотехнике» ограничение на выступление — десять минут. С одной стороны, стимул лучше подготовиться, чтобы пять из них не объяснять, что такое OpenStreetMap, с другой — заранее понятно, что всю тему не расскажешь, и нужно взять пару ярких моментов и нарастить вокруг них всё выступление. Если сомневаетесь, что сможете, — пишите мне, созвонимся и я помогу со сценарием.

А вот другой пережиток офлайна, вопросы после доклада, мы думаем сохранить. Несмотря на то, что Сергей его ругает — за дело, конечно: https://t.me/geokefir/1021. Зачем слушателям ждать, пока докладчик отвечает на неинтересный им вопрос, и поскольку ответ не подготовлен, то ещё и растекается мыслью на пять минут? Да незачем, конечно, я бы убрал вопросы целиком. Так поступают в «коротких докладах» в офлайне, и так было в онлайне Connect 2020, заменившем SotM US.

Но без вопросов очень, слишком часто вызывают чувство: «а мне-то что с этого?» А у докладчика — вопрос, слушали ли его вообще. Вопрос — это проявление заботы и способ отличить тему, которой докладчик живёт, от темы, с которой его просто послали выступать. Второе, конечно, «схемотехнике» ни к чему, но вот о первом стоит подумать. Как вопросами сделать доклад интереснее, а не скучнее?

Возможно, у нас будут два вопроса на заранее определённые темы, над которыми докладчик сможет подумать заранее и не потеть перед зрителями. В то же время зрители смогут писать темы дальнейших обсуждений и вопросы в чатик. Вопросы и темы мы зачитаем и пригласим интересующихся в кулуары послушать ответы. Кулуары — это место, где выступающий не сможет убежать от ваших уже более конкретных вопросов. Ведь общение — это главное, зачем мы вообще ходили на конференции.

Регистрируйтесь на «Схемотехнику 20» по ссылкам из @schemotechnika. Если появятся мысли, как сделать онлайн интереснее, — пишите мне в @ilyazver.

Карты google не очень хорошо справляются с модернизмом

Внезапно, Ричард объявил о начале тестирования Potlatch 3. (Ну как внезапно, неделю назад, но кто читает блоги osm). Он переписывает редактор на Adobe AIR, который работает только в Windows и MacOS. Mmd в комментариях удалось запустить его из-под wine, и он даже помог Ричарду исправить подтормаживания. Кажется, никто с целевыми операционными системами пока не тестирует — это ваш шанс помочь сделать редактор лучше:

https://www.openstreetmap.org/user/Richard/diary/394825

ButtPoems метко про знание технологий и принципов OSM

Олеся пишет про каменную карту в немецком городе и про то, что каждому городу нужна карта красивых достопримечательностей, чтобы туристы знали, куда идти: https://t.me/cartonews/65

В целом — да, туристические карты рулят. Мне нравится рассматривать уникальную картографию каждой, и реклама по периметру рассказывает, что считают важным или премиальным жители города. И ещё я вспоминаю, как туристические карты делали из OpenStreetMap. Повторяя обычные печатные карты, как на стелах московской навигации, или перегружая информацией, как в почившем osm24. Но классические туркарты — это прошлый век.

Современные приложения для туристов строят «персонализированные» маршруты: всё те же 5-10 достопримечательностей, которые обязаны быть на фотографиях каждого выезжающего из страны (на границе проверят, шпиль в том числе), и три ресторана-tourist trap по маршруту. Лишь состав слегка варьируется, чтобы не слишком далеко отходить от гостиницы. Эти карты — для такого же среднестатистического туриста (взрослого белого мужчины ~70 кг, иногда с вариантом для студента), а значит — ни для кого.

Было бы классно иметь карту, которую никакой набор галочек в настройках не сотворит. Адаптивную карту, которые так и не появились. Хочешь заблудиться — вот подходящий район города. Вот крутой подъём и спуск. Смотри, спрятавшаяся между домов речушка. Граффити на трансформаторных подстанциях. Вот так можно обойти все мосты города, а так — все проходные дворы. Вот детские площадки по маршруту, вот пеленальные столики, и туалеты тут и тут. На обед пройдись по этим улицам и выбери, к чему душа лежит. А потом — посиди в этом парке, там фонтан и он вдалеке от туристических маршрутов.

Такие планы пока могут построить только люди: слишком много неизвестных. Но OpenStreetMap тем и хорош, что всё можно нарисовать и пояснить дополнительными тегами. Нынешние алгоритмы полагаются на популярность, а популярность — это верный способ развлечь экстраверта. Тем, кто хочет избежать толпы, приходится перед выходом полчаса колдовать над maps me и overpass turbo, чтобы построить маршрут. Тем, кто ездит с детьми, или у кого менструация, тоже приходится изворачиваться. Технологии им не помогают. Только тем, кто среднестатистический. Даже если таких в жизни — единицы процентов.

У нас тут в OSM самое скучные выборы за последние много лет. Семь мужиков в Совете, трое уходят, троих выбираем. Нет смысла читать их манифесты и ответы на каверзные вопросы: мы не в том положении. Если не европеец, то кот. То есть, из привилегированной дыры, куда мы себя загнали с Советом, есть два выхода: это Вилли из Камеруна и Юджин из Филиппин. Нафиг всех немцев и американцев, мы достаточно их повидали в проекте, чтобы понять, что слушать надо в другую сторону. Fight the power.

Без вопросов, нынешний состав Совета сделал за два года столько, сколько прошлые не смогли за десять лет. У нас есть куча денег, мы научились их находить без сборов пожертвований и научились их осмысленно и публично тратить. Наконец-то появилась бюрократия, Аллан пытается всё делать не через людей, а через структуры, и это хоть и подкорёживает, но интересно наблюдать как эксперимент.

Но при этом есть ощущение, что Совету по пути с прогрессивными пользователями, с крупными компаниями и умными людьми из Западной Европы и Штатов, которых можно похлопать по плечу и пригласить по пивку (фигурально — жаль, вирус). Другими словами, в проекте начинают себя неуютно чувствовать люди с юга и с востока мира, люди, которым OSM был развлечением, и те, кому OSM не помогал раньше и, кажется, не стремится помочь сейчас.

Единственный способ повернуть, попридержать Совет сейчас, — показать ему, что за пределами америки и европы тоже есть люди. Впихнуть туда Вилли и Юджина. Репрезентация как никогда важна в активном Совете. Они будут представлять не свои страны — они будут напоминанием, что помимо привилегированных осмеров есть и другие. Мы.

Идите голосовать, если можете.

Написал пару слов про раздачу планеты в торентах: я пользовался ими весь год, потому что серверы дико медленные, а теперь всё официально и пора бы и вам. Заодно втиснул абзац про то, как устаревший Osmosis не без труда пытаются заменить. Пока же он есть, диффы регулярно сыпятся. Последний раз — 11 ноября (подпишитесь на твитер osm_tech).

http://shtosm.ru/all/kak-spiratit-planetu/

В Якутии двое парней сбились с дороги из-за гугл-мэпс — один замерз насмерть.

Сергей и Влад хотели добраться из Якутска в Магадан на машине. Построили маршрут, выехали — но очень быстро оказались на пустынной дороге среди снегов и 50 градусов мороза. Навигация показывала, что все супер, они на верном пути, но пейзаж за окном говорил обратное. В реальности — дорога давно не действовала.

28 ноября ребята перестали выходить на связь. Обледенелую машину нашли на обочине только 5 декабря. Сергей был мертв, Влада привезли в больницу на вертолете — он в сознании, но в крайне тяжелом состоянии. Врачи борются за его жизнь.

Не знаю, как донести до обычных людей, потому что читатели этого канала наверняка знают: в России можно пользоваться только картами Яндекса и OpenStreetMap, всё остальное либо устарело, либо врёт. Особенно Google Maps, в истории которого и задвоение водохранилищ, и пропажа федеральных трасс. Просто никогда не включайте гугло-карты в России: они могут отнять не только время, но и жизнь.

В чатике делятся другими дорогами с этих карт, по которым ездить без подготовки нельзя: https://t.me/ruosm/503170

Вчера компания Mapbox закрыла свою библиотеку GL JS, про которую знает примерно каждый, кто делал карты на JavaScript. За эти два дня из ничего образовалась инициативная группа по поддержке форка, всплыли все авторы альтернатив, и картографы написали несколько статей про причины и последствия.

Проигнорировал банальности типа «всех убивают облака», пересказал важное и написал, куда бежать, нужно ли, и почему от этого рядового события так внезапно грустно:

http://shtosm.ru/all/gl-js-v2/

Всё просто: в ближайшую субботу в 16:00 MSK заходите на сервер домашней картовстречи и открывайте JOSM или iD в соседнем окне. Будем болтать и рисовать. Заодно научимся использовать снимки Mapillary и узнаем много странных тегов для дорог.

http://shtosm.ru/all/domashnyaya-kartovstrecha/

Кто-то ждёт от OpenStreetMap знаменательных событий. И хочется их перечислить — но это ловушка.

Лучше посмотреть на википедию: единственное важное событие за двадцать лет — регистрация третьего участника. С тех пор никаких событий. И что, стала она от этого менее важной? Появилась какая-то альтернатива?

Конечно, за это время энциклопедии стали никому не нужны. Но даже в этом у нас есть преимущество: карты никому не были нужны с самого начала.

Через пять лет корпоративно-картографический пузырь лопнет — и мы снова будем спокойно в тишине наполнять свою базу геоданных. Потому что когда карта не нужна — это рай для картографов.