В каталог каталогов открытых данных Datacatalogs.ru добавлены новые 9 новых каталогов. Из них 8 - это геопорталы региональных правительств, городов и научных центров, а один - это пропущенный ранее портал открытых данных Амурской области.


- Геопортал Республики Саха-Якутия https://sakhagis.ru/
- Геопортал МГИС г. Череповец МАУ "ЦМИРиТ" https://map.cmirit.ru/portal-gorod/
- Геопортал ИВМ СО РАН http://gis.krasn.ru/
- Геопортал Челябинской области https://gis.inf74.ru
- Геопортал города Выборг https://map.vbglenobl.ru/
- Геопортал города Калининграда https://geoportal.klgd.ru
- Геоинформационный портал города Владивостока https://gorod.vlc.ru
- ГИСОГД Нижегородской области https://gisogdno.ru/
- Открытые данные Амурской области https://opendata.amurobl.ru

Если Вы знаете порталы открытых данных, а также каталоги данных и геопорталы с публикацией слоёв геоданных, добавляйте их в форме на сайте или пишите нам в чате.

#opendata #datacatalogs #datasets

⚡️Новый сервис «Поиск по архивам» от Яндекса

Сервис помогает находить рукописные документы по ключевым словам, используя имена, фамилии, названия населённых пунктов и любые другие слова.

Сейчас в базе более 2,5 миллионов архивных документов XVIII — начала XX века из хранилищ Москвы, Оренбурга и Великого Новгорода. Чаще всего это метрические книги с записями актов гражданского состояния (рождений, браков, смертей), исповедные ведомости со списками прихожан церквей и ревизские сказки с результатами переписей населения.

В основе сервиса используются нейросети, способные расшифровывать архивные записи с дореволюционной орфографией.

Попробовать поиск по архивам: https://yandex.ru/archive

Онлайн-трансляция Privacy Day 2023

Сегодня проходит пятая конференция Privacy Day, приуроченная к Международному дню защиты персональных данных.

Иван Бегтин, директор АНО «Информационная культура», примет участие в дискуссии «Приватность во время военных действий и глобальных катастроф», трек «Общество».

Трансляция уже началась, подключайтесь!

Полная программа мероприятия: https://2023.privacyday.net.

Онлайн трансляция: https://www.youtube.com/live/zUPYMW_tsUo.

В каталог каталогов открытых данных Datacatalogs.ru добавлен BI портал Росстата http://bi.gks.ru где публикуются ряд показателей с возможностью их получения в машиночитаемом виде. А также планируется к удалению Витрина статистических данных (https://showdata.gks.ru), поскольку данный сайт более недоступен, при том что Росстат не уведомлял и предупреждал закрытии этой информационной системы.

В дальнейшем планируется добавить в каталог больше общедоступных BI систем органов власти в которых присутствует возможность получения данных в машиночитаемых форматах. Если Вы знаете такие порталы/сайты, пишите нам, мы их обязательно добавим в каталог․

#opendata #data #datacatalog #statistics

Присоединяйтесь ко Дню открытых данных 2023!

4 марта 2023 года состоится ежегодный День открытых данных — онлайн!

Приглашаем разработчиков, ИТ-специалистов, дата-журналистов, гражданских активистов и других участников российского движения открытости. Некоторые темы выступлений:

— Как искать данные с помощью каталогов данных. Проект datacatalogs.ru.

— Если быть точным в 2022 году: доступны ли данные по социальным проблемам.

— Мастер-класс «Визуализация открытых геоданных Москвы для медиа и соцсетей».

— Мастер-класс «Как мы визуализируем гео-данные в "билайне": от кейсов к практике».

Слушайте доклады, принимайте участие в мастер-классах и становитесь частью движения, создавая и продвигая открытые данные в своей деятельности!

Программа мероприятия и регистрация уже доступны по ссылке: https://opendataday.ru/msk

#ODD2023 #OpenDataDay #OpenData

Мастер-класс «Как мы визуализируем гео-данные в "билайне": от кейсов к практике»

Вы узнаете о реальных кейсах на данных телеком-оператора и открытых данных, а также о том, как их получать. Спикеры покажут, как делать карты в библиотеке Folium: от отрисовки базовых геометрий и создания слоев FeatureGroup — до работы с графами и гексами. Мастер-класс проведут:

- Артем Каледин, старший аналитик-разработчик математических моделей, команда Геоаналитики.
- Артем Смирнов, руководитель по анализу данных, лид чаптера аналитиков.

Мероприятие пройдет в рамках Дня открытых данных. Программы и форма регистрации доступны по ссылке: https://opendataday.ru/msk.

#ODD2023 #OpenDataDay #OpenData

Уже завтра состоится онлайн-мероприятие — День открытых данных 2023.

Мероприятие стартует в 11:00. Расписание выступлений доступно здесь: https://opendataday.ru/msk#program

В программе:
— Мастер-классы о том, как обрабатывать и визуализировать гео-пространственные данные.
— Как искать данные с помощью каталогов данных. Проект datacatalogs.ru.
— Если быть точным в 2022 году: доступны ли данные по социальным проблемам.
— Использование открытых данных в общественном контроле в сфере ЖКХ.
— Цифровые архивы: как собираются цифровые коллекции открытых и общедоступных данных институтов памяти.

Трансляция мероприятия:
- https://opendataday.ru/msk#stream
- https://www.youtube.com/@Infoculture/streams

Слушайте доклады, задавайте вопросы спикерам и принимайте участие в мастер-классах и становитесь частью движения, продвигая открытые данные в своей деятельности!

#OpenDataDay #OpenData #ODD2023
#BetterTogetherThanAlone

⚡️Присоединяйтесь к трансляции Дня открытых данных 2023!

Youtube: https://www.youtube.com/live/zYSr8gYJd4c?feature=share

Программа: https://opendataday.ru/msk

#BetterTogetherThanAlone #ODD2023 #OpenDataDay

Мы продолжаем пополнять наш проект Каталог каталогов данных (datacatalogs.ru)

В этот раз в каталог были добавлены геопорталы в республиках Узбекистан и Казахстан։
- Общественный геопортал Кадастрового агентства Республики Узбекистан https://open.ngis.uz
- Геопортал Комитета по правовой статистике Генеральной прокуратуры Республики Казахстан https://gis.kgp.kz
- Геопортал компании Карачаганак Петролиум Оперейтинг Б.В. https://maps.kpo.kz
- Картографическая основа Управления Земельного кадастра и Автоматизированной информационной системы государственного земельного кадастра https://aisgzk.kz/aisgzk/ru/content/maps/
- Геоинформационный портал города Астана https://gis.esaulet.kz
- Геопортал Акционерного общества «Национальная геологическая служба» https://ngs.geology.kz

На этих порталах публикуются от десяти до сотен слоёв с данными и предоставляется доступ к данным через API сервисы ArcGIS на базе сервера которого они созданы.

Записи об этих порталах вскоре появятся в поиске каталога.

#opendata #datacatalogs

Появилось расширение ChatGPT для Google Sheets. Его можно использовать много для чего, но меня больше всего заинтересовала возможность чистить датасет. См. видео с 1:35.

А еще можно генерить данные по образцу ;)

Хочется верить, что еще немного и всё будет делаться автоматически (но это неточно).

https://youtu.be/Mb6ufl4H5go?t=95

Глеб Свечников, фронтенд-разработчик Инфокультуры, поделился подробностями разработки новой версии проекта https://datacatalogs.ru.

Вот, что Глеб рассказывает об обновлении фронтенд-части:

«Предыдущая версия этого проекта была сделана Softr и Airtable, но нам стало нужно больше возможностей и кастомизации, которые Softr не мог предоставить. Поэтому я решил использовать 11ty для обновления.

Задачи — добавить фасетный поиск и улучшить SEO для этого проекта. Пакет Airtable npm работает с экосистемой 11ty, поэтому интеграция с текущим источником данных была очень простой.
Следующим шагом я разработал фасетный поиск на чистом javascript, чтобы пользователь мог фильтровать и искать по нашей коллекции ресурсов и делиться конкретными результатами поиска (каждый объект имеет уникальную ссылку с параметрами URL).

Следующим шагом было добавление отдельной страницы для каждого ресурса, это очень простая задача для 11ty, которая может быть выполнена с pagination и permalink в кратчайшие сроки. Первоначальная генерация 200+ страниц заняла около 14 секунд (на Macbook Air M1). С помощью eleventyComputed вся необходимая информация была представлена в мета-тегах для каждой страницы.

Меня попросили пойти немного дальше и создать OG изображения. С помощью @11ty/eleventy-img и text-to-svg-path это было сделано. Первоначальная идея была довольно проста:
- взять текст, преобразовать его в svg;
- объединить текст svg с логотипом и фоном;
- затем конвертировать svg в статичное изображение jpg.

Проблема возникла с длинными названиями ресурсов и именами владельцев. Поэтому я написал набор правил, которые разделяют такие длинные строки. Не очень масштабируемый, но быстрый и легко расширяемый. В итоге результат получился неплохим.

Должен отметить, что генерация изображений OG занимает некоторое время сборки и оперативную память. Пока я пишу этот пост, нам нужно сгенерировать более 300 страниц, и процесс сборки занимает около 37 секунд (около 100 мс для каждой страницы). Агент сборки занимает около 4 ГБ оперативной памяти».

Источник: https://lnkd.in/eTwqxXyt

#opendata #datacatalogs #data #frontend #airtable #11ty #seo

Мы продолжаем пополнять наш проект Каталог каталогов данных (datacatalogs.ru)

На этот раз в него включены сервера геоданных и ГИС порталы России и Казахстана на базе продуктов Geonetwork и Geoportal։
- Сервер геоданных портала Новые инвестиционные проекты Минэкономразвития России https://mnp.economy.gov.ru/geoserver/web/
- Сервер геоданных портала Московский транспорт https://transport.mos.ru/geoserver/web/
- Информационно-аналитическая среда для поддержки научных исследований в геологии http://geologyscience.ru/
- Геопортал Калининградской области https://geoportal.gov39.ru/
- ГИС-портал Спутникового Центра ДВО РАН http://gis.satellite.dvo.ru
- ГИС-портал проекта Национальная инфраструктура пространственных данных Республики Казахстан https://map.gov.kz

#opendata #datacatalogs #datasets

Правительство теперь официально может засекречивать любую статистику. Как минимум 14 ведомств уже это сделали – причем еще до принятия нового закона

В конце февраля Госдума приняла закон, позволяющий правительству приостанавливать публикацию любой государственной статистики. По факту этот процесс идет уже давно: мы рассказывали, что за первые полгода с начала военного конфликта с Украиной как минимум 10 ведомств закрыли свою статистику.

Теперь их стало еще больше. Мы насчитали 14 органов власти, которые частично или полностью ограничили доступ к своим данным. Некоторые полностью закрыли разделы со статистикой, другие – частично ограничили доступность.

Например, Минфин закрыл доступ к оперативным данным о доходах и расходах бюджета, но их все еще можно вытащить обходными путями – через виджет на сайте.

Из хороших новостей: в экономической статистике наметилась небольшая оттепель. ФТС частично возобновила публикацию данных по внешней торговле (которые и так можно было собрать), о планах вернуть обязательную отчетность банков заявил Центробанк.

С другой стороны, среди закрытых показателей больше всего было именно экономических. Так что сломить тренд на снижение доступности данных это не сможет.

👉 подробнее – на нашем сайте

Отличный открытый курс по анализу данных от Яндекса и Европейского университета в СПб Прикладной анализ данных в социальных науках на русском языке.
Для тех кто только начинает работать с данными или переключается в эту область из другой профессии, рекомендую. Особенно это полезно для тех кто работает с данными в академической среде.

У Яндекса, в принципе, хороший набор русскоязычных хэндбуков. Лично мне нехватает хэндбуков про данные, например, про data discovery. С другой стороны я подозреваю если подходить к делу серьёзно, то мне же самому такой хэндбук надо делать.

#education #studies #learning #dataanalysis #data

Госзатраты. Перезапуск

К десятилетию проекта (которое состоится в начале 2024 года) мы планируем перезапуск общественного проекта «Госзатраты» (clearspending.ru) и будем рады фидбеку, пожеланиям и критике. Если вы давно пользуетесь сайтом, API или открытыми данными проекта, нам будут полезны ваши пожелания как по сайту, так и по содержанию баз данных и API. А если еще не пользуетесь, но интересуетесь финансовыми данными или мониторите госзакупки, можете написать о том, каких функций вам не хватает в сторонних проектах. Писать можно в комментарии или в лс (@k0shk), кому как удобнее.

За последний год аудитория нашего проекта составила почти 2 млн уникальных пользователей, надеемся, что с новой версией сайта и базы данных она продолжит расти.

В качестве регулярного напоминания, хотя я в последние годы делаю проекты не только в России, но и в Армении, а также некоторые глобальные, но АНО Инфокультура от лица которого наша команда создавала проекты по открытости в России всё ещё действует и, несмотря на все ограничения, действовать будет дальше, как я надеюсь, во всяком случае.

Мы продолжаем и поддерживаем такие проекты как:
- Госзатраты [1] агрегатор всех государственных и муниципальных контрактов по 44-ФЗ. 223-ФЗ, 94-ФЗ и ряда постановлений Пр-ва РФ. Все доступно для поиска, доступно как открытые данные. Мы продолжим развивать его и дальше
- Открытые НКО [2] портал прозрачности НКО в России. Хотя российское Пр-во начало скрывать данные по учредителям организаций НКО ещё с весны 2021 года, мы продолжаем обновлять данные, хотя и остальные возможности развития проекта ограничены.
- Простой язык [3] сервис определения простоты текстов на русском языке. Проект остаётся неизменным уже много лет, форма куда можно отправить текст и получить оценку его простоты в годах обучения. Мы думаем как его улучшать и развивать, регулярно приходят пользователи с разными запросами.
- Хаб открытых данных [4] негосударственный портал открытых данных. Из-за потоков спама нам пришлось отключить там свободную регистрацию, но сам хаб никуда не исчезает, думаем о его перезапуске. Может быть когда Минэкономразвития России опубликует обновлённый портал data.gov.ru на Гостехе мы специально обновим Хаб открытых данных чтобы показать всем какую хрень может сотворить министерство за 100500 денюх и насколько лучше можем мы сделать с минимальным бюджетом.
- Национальный цифровой архив России [5] наш проект по архивации сайтов, был более актуален когда шла совсем полная срань с ликвидацией сайтов многих российских "инагентов", менее критично сейчас, с одной стороны, с другой всё ещё актуально. Стало сложнее архивировать госсайты, они все обзавелись капчами и блокировкой любых не-российских IP адресов. Поэтому, в очередной раз, думаем о смене приоритетов и актуализации программы архивации. У проекта есть отдельный телеграм канал https://t.me/ruarxive, не стесняйтесь, подписывайтесь на него.
- День открытых данных в России [6] мы не проводили его в 2022 году, всё же провели в 2023 году и планируем в том же формате в 2024 году, по большей части онлайн. Госполитика в области открытых данных в России давно уже сдувается, а сейчас ещё и сталкивается с военной цензурой и общей "разрухой в головах" , но существует всё ещё сильное русскоязычное сообщество по открытости и только ради него мы это проводим.

Хотелось бы делать больше, но существующая политическая повестка этого не позволяет. Хорошо что получается сохранять то что есть, хотя и с ощущением что в любой момент может возникнуть политическое давление и даже это будет сложно сохранить.

Из России всегда можно поддержать эти проекты на странице Инфокультуры https://www.infoculture.ru/donation/ если от физ лица или напишите мне если хотите сделать это от юридического лица.

Ссылки:
[1] https://clearspending.ru
[2] https://openngo.ru
[3] https://plainrussian.ru
[4] https://hubofdata.ru
[5] https://ruarxive.org
[6] http://opendataday.ru

#opendata #russia #infoculture #opengov

Петербургский «Горжилобмен» перепутал персональные данные очередников

Необычная ситуация развивается в Санкт-Петербурге с личным кабинетом очередников (граждан, ожидающих социальных выплат на приобретение жилья). В запущенном на днях сервисе «Личный кабинет» участникам категории «Семьи с детьми-инвалидами» после регистрации (с предоставлением номера учетного дела) отображаются данные совсем другой семьи и другой программы, включая ФИО, статус и учетный номер.

Есть и другая проблема - некоторые семьи с детьми-инвалидами видят целевую программу «Социальные выплаты семьям, трудоспособным детям-инвалидам», что, мягко говоря, вызывает большие вопросы среди участников программы.

Копирайт от 1927 года на сайте встречаю впервые, но в данном случае это мелочи.

После того как ФЗК (инициативная группа очередников Петербурга) озвучила проблему, СПбГБУ «Горжилобмен» быстро свой сервис прикрыл, сославшись на технические работы. Но ситуацию это, к сожалению, не меняет, и не отменяет вопросы о том, кто в Горжилобмене отвечает за персональные данные граждан и как обеспечивается их защита.

Хорошо бы найти разработчика данной системы (да и ее название), но, к сожалению, реестр ГИСов Санкт-Петербурга является довольно специфическим, и те системы, которые он отображает как «Исключена (переведена в архив)» могут оказаться вполне действующими. Такая ситуация не только с Порталом открытых данных СПб, но и с ОИС «Очередники Санкт-Петербурга», частью которой вполне может оказаться обновленный личный кабинет. Соответствующий контракт можно поискать среди контрактов Горжилобмена на Госзатратах (https://clearspending.ru/customer/03722001678/).