В качестве регулярного напоминания, хотя портал data.gov.ru недоступен и нет признаков что даже если его перезапустят там будут те же данные что были и ранее и хотя есть большие сомнения что ранее опубликованные там данные были актуальны и полезны, но мы сделали полную архивную копию. Это ZIP файл на 14 GB в который сохранено всё что можно было сохранить, на 2 февраля 2022 года. Соответственно после распаковки размер будет несколько больше. Сразу скажу что основной объём там создают несколько больших наборов данных вроде слепка базы ФИАС (не самого актуального, кстати), а всё остальное представлено в виде бесконечного числа мелких CSV файлов из регионов и муниципалитетов.

Прямую ссылку не даю чтобы совсем не забить трафик на сервер, но если кому-либо понадобится этот архив - пишите в личку в телеграм, пришлю ссылку. Есть желание, также, загрузить эти данные в Интернет-архив, но всё это время просто не доходили руки.

#opendata #archive #russia #datasets

Любопытное про стартапы на данных:
- Collibbra приобрели стартап по созданию SQL тетрадок Huspray [1] учитывая что основной бизнес Collibra это корпоративные каталоги данных, причём изначально с сильным акцентом на выявление персональных данных, то эта покупка про сдвиг приоритетов на дата аналитиков.
- Treefera подняли pre-seed $2.2 миллиона инвестиций на дата-платформу по мониторингу лесного покрова [2], внутри обещают ИИ и создание data продуктов
- DataBricks получили ещё $500 миллионов инвестиций в рамках Series I [3], пишут что это скорее всего раунд перед IPO и на IPO оценка может достигнуть $43 миллиардов.
- Gable получил $7 миллионов на seed стадии [4] - Gable это стартап по повышению качества данных через применение data contracts. Тут так и хочется спросить "а что так можно было?!", стартап явно под экосистему работы с данными в Modern data stack и под последующую покупку одним из крупных платформенных игроков.

Ссылки:
[1] https://www.collibra.com/us/en/company/newsroom/press-releases/collibra-acquires-sql-data-notebook-vendor-husprey
[2] https://www.treefera.com/blog/treefera-pre-seed-funding-round
[3] https://techcrunch.com/2023/09/14/databricks-raises-500m-more-boosting-valuation-to-43b-despite-late-stage-gloom/
[4] https://www.linkedin.com/feed/update/urn:li:activity:7107413267072917504/

#startups #data #dataquality

Я редко пишу здесь о чем то кроме гос-ва, технологий и данных, но это важная тема которую невозможно проигнорировать любому кто связан с Арменией.

Друзья, мы ещё напишем о планах на ближайшее будущее, которое в последние дни сократилось до минут, а пока делимся акцией товарищей, которым мы доверяем.

Свежая статья [1] о Data Commons [2] от исследователей в Google с обзором текущего состояния проекта и потенциала его развития. Вообще этот проект называется Google’s Public Data Commons (GPDC) и он является открытой корпоративной альтернативой Wikidata и идее Linked Data. Главная цель проекта в том чтобы облегчить интеграцию открытых / общедоступных данных в единый граф знаний. При этом акцент у проекта явным образом на США и статистике в США, это именно те данные которых там более всего, но по другим территориям данные тоже есть, хотя их и меньше.

Собственно статья хотя и научная, но обзорная, о том как этот проект устроен внутри и такие идеи как подключение к нему языковых моделей для структурированных ответов на вопросы на естественном языке.

Ссылки:
[1] https://docs.datacommons.org/papers/dc_overview.pdf
[2] https://www.datacommons.org

#opendata #datasets #statistics

Рубрика "Циничная открытость"
Счетная палата выпустила юбилейный, 5-ый по счету доклад "Открытость государства в России".
Если вам казалось, что год от года открытость государства в России снижается, то вам казалось.
Потому что год от года открытость государства остается на высоком уровне, хотя <цитата из пресс-релиза СП> по некоторым направлениям наметилась тенденция к снижению.
Я циник, и я не участвовал в подготовке доклада СП, поэтому у меня искаженная точка зрения на открытость государства:
1. С 2020 года Минфин и Казначейство закрыли реестр соглашений о субсидиях федерального бюджета. То, что "открыли" через год с лишним, иначе как издёвкой не назвать.
2. С весны 2022 года Казначейство перестало публиковать отчеты о кассовом исполнении федерального бюджета. Чтобы - сами понимаете...
3. Паспорта национальных и федеральных проектов не публикуются с 2020 года.
4. Из постановлений Правительства РФ об утверждении госпрограмм с 2022 года исчезли паспорта с финансовыми данными.
5. С осени 2022 года Минцифры закрыло (сделало вид, что поломался) раздел открытых данных на портале ФГИС КИ, где можно было увидеть хоть и кривой, но хоть какой-то перечень федеральных ГИС.
6. С начала 2023 года Минэк закрыл Портал открытых данных "на реконструкцию и перевод на платформу Гостех". Впрочем, пользы от этой инфопомойки и в пору ее открытости было ноль.
7. Из всей движухи вокруг Гостеха открытым является только пиар. Все содержательные решения по Гостеху принимаются президиумом Правкомиссии по цифровому развитию в закрытом режиме.
8. Рейтинги "цифровых спецназовцев" (замруководителей ведомств по цифровой трансформации) федерального и регионального уровней ни разу не публиковались в полном виде - только в виде пиар-цитат. Не говоря уже о методике рейтингования.
9. Не менее четверти (с тенденцией к постоянному повышению) расходов на госИТ федерального уровня идет в форме субсидий из федерального бюджета, сведения о которых (см. пункт 1) не публикуются уже почти 3 года.
10. Летом 2023 года закрылся проект Счетной палаты "Госрасходы", агрегировавший и публиковавший открытые данные о расходах федерального бюджета (госконтракты, субсидии, госпрограммы, нацпроекты, исполнение бюджета) из официальных источников. Видимо, за ненадобностью. Ведь открытость государства и так на высоком уровне.
А в остальном, прекрасная маркиза, всё хорошо, всё хорошо...

Честно говоря у меня в сегодняшних планах не было ничего связанного со Счетной палатой, но сегодня публично вышел их доклад по открытости гос-ва. Я ещё несколько месяцев назад думал что у оставшихся там коллег хватит ума и совести такой доклад не выпускать, но думал зря. Ссылку специально не даю, его несложно найти, впрочем и интерес к нему уже исключительно искусствоведческий по предмету "Искусство манипуляции".

Говоря коротко - всё плохо, особенно плохо что там засветились ребята из Если быть точным которых я ещё недавно хвалил. Зря хвалил похоже, очень зря(

Большую часть того что происходит на самом деле Вы и так читали в моём телеграм канале все эти годы. А самое главное, идущее вне категорий, что открытость невозможна без тех кто открытостью пользуется - журналистов и НКО, в первую очередь. В ситуации массовых репрессий против них и отсутствие их упоминаний весь доклад, как бы помягче, ну в общем вы меня поняли.

Я сегодня позже разберу подробнее что там не так.

#opendata #russia #opengov

Ребята из Если быть точным своё участие прокомментировали, что ж, это хорошо, ко крайней мере я могу извиниться за часть грубых слов в их адрес. Хотя я и по прежнему считаю что никакой методикой оценки ФОИВ ситуацию не исправить и в 2021 году это было также бесполезно. Как обещал, свой разбор этого доклада я также напишу. Придётся, правда, писать не о том что там есть, а о том чего там нет.

Счетная Палата представила рейтинг открытости российских органов власти. «Если быть точным» участвовал в разработке дизайна исследования, но мы не согласны с выводами – вот почему

Сегодня Счетная палата опубликовала ежегодный рейтинг открытости государственных органов исполнительной власти. В разработке методологии рейтинга этого года участвовала команда «Если быть точным».

Важно: мы не занимались оценкой открытости данных и не имеем отношения к итоговым баллам, которые получили ведомства. Мы давали внешний комментарий по методологии, который не был учтен в основном докладе, а самой оценкой занимались другие эксперты.

Более того, мы считаем, что открытость данных в России радикально ухудшилась, о чем регулярно пишем. Всего с начала 2022 года, по нашим оценкам, данные засекретили как минимум 20 органов власти.

В чем состоял наш вклад в рейтинг

В конце 2021 года мы начали готовить для СП аналитическую записку, в которой описали один из недостатков текущей методологии исследования – формальный критерий открытости. Он заключается в том, что оценивается в первую очередь само наличие в открытом доступе наборов данных, но не их качество и востребованность.

Яркий пример такого подхода — Минздрав. На его сайте выложены перечни лекарств, списки медицинских учреждений, актуальные на 2014–2017 год. При этом министерство не дает доступа к важной информации по заболеваемости и охвату лечением разных групп болезней.

Расширенная методология предполагает более глубокую оценку того, насколько востребованы и актуальны опубликованные наборы данных, но не решает многих других проблем, связанных с открытостью государства. К тому же основной доклад СП построен по старой методике. Альтернативные результаты представлены в конце как приложение.

Мы считаем важной экспертную дискуссию про методологии оценки открытости, но не можем согласиться с выводами из рейтинга СП. Подробнее про это можно почитать в нашем материале, а здесь – полный текст доклада.

О том что не так с докладом СП РФ по открытости государства. Часть 1. Предистория

Как обещал пишу про смысл/отсутствие смыслов в докладе Счетной палаты по открытости. Чтобы не расписывать простыню текста постараюсь сжато и разделю на несколько постов.

Итак, что не так с докладом СП и вообще откуда он появился, для чего был нужен изначально и во что превратился в итоге.

Изначально, когда доклад по открытости Счетной палаты затевался в 2019 году в РФ была ситуация когда Открытое Правительство было закрыто ещё в 2018 году и формально полномочия по регулированию/развитию открытых данных были нечётким образом разделены между Аппаратом Правительства РФ и Минэкономразвития РФ. Почему нечётко? Потому что никаких НПА по поводу этого разделения принято не было, совет по открытым данным при правительственной комиссии закрыли, а экспертный совет при Пр-ве также закрыли и сейчас, кстати, его тоже нет, то что пришло ему на смену называется несколько иначе, но об этом отдельно.

В этом "вакууме открытости" в Счетную палату приходит Алексей Кудрин и в документе стратегии развития Счетной палаты вписываются задачи обеспечения и мониторинга открытости со стороны СП. С вполне логичной амбицией контролю за открытостью ФОИВов раз Правительство де-факто отказалось от этой функции. В рамках этой позиции по открытости создавался, например, такой портал как Госрасходы (spending.gov.ru) совсем недавно закрытый руководством СП. В рамках этого раскрывался код связанный с частью проектов СП, в рамках этого же создавался первый доклад Счетной палаты и в рамках этого я участвовал в подготовке первых 2-х докладов и прекратил участвовать в начиная с 3-го поскольку лично мне стало очевидность тупика в создании подобных докладов.

В чём особенность этого доклада? С самого начала он создавался как медийный, а не как аналитический продукт. Его условными KPI были массовость публикаций в СМИ, особенно в деловой прессе, реакция органов власти. Конечно, с некоторой надеждой на последующий конструктивный диалог со стороны правительственных структур, но без большой надежды. Отход от открытости у органов власти в РФ начался задолго до военного конфликта февраля 2022 года и был результатом окончательного политического сдвига в патерналистическую модель коммуникации с обществом и параллельными репрессиями в отношении наиболее активных потребителей открытости государства - это журналисты расследователи и некоммерческие организации в первую очередь.

#opendata #russia

О том что не так с докладом СП РФ по открытости государства. Часть 2. Продолжение предистории

Собственно идея оценки ФОИВов в этом докладе исходила из как раз взгляда на него как медийного продукта. Журналистам было гораздо проще писать про понятные им позиции в рейтинге, чем про смысл доступности тех или иных данных. Лично я до сих пор считаю своей большой ошибкой того времени что я не настаивал на качественном, а не рейтинговом описании происходящего с открытостью, но качественное описание - это не медийный продукт. Это серьёзная аналитическая работа, к которой, на тот момент готовности внутри СП не было. Всё это с оговоркой общей благонамеренностью всех участников с желанием добиться открытость или хотя бы сохранить то что было сделано за предыдущие годы.

Как я писал выше модель с рейтингом была востребована СМИ, на неё живо реагировали ФОИВы и начиная с 2020 и уже к 2021 годам она привела к тому что параллельно привела к тому что команда внутри СП проводила семинары для ФОИВов разъясняя методологогию оценки. Многие органы власти быстро поняли как именно им "прокачать открытость" не реализуя практически никаких шагов в этом направлении кроме эстетических. Многие критерии методологий по всем направлениям были таковы что их было очень просто реализовать, при этом не повышая реальную открытость органа власти. Почему так? Потому что все подобные количественные оценки не основанные на качественном анализе были бессмысленно. Для меня лично было совершенно очевидно что подавляющее число ФОИВов не только относятся к подобным оценкам крайне формально, но и реально не хотят ничего открывать. Почему? Потому что, я напомню, правила / НПА по открытости находятся в ведении ФОИВов и политика текущего состава Правительства и его аппарата была в заметании всей этой темы под ковер. ФОИВы реагировали в инерционной модели, но и даже в рамках неё рейтинг не оказывал никакого влияния на их реальные шаги по открытости для граждан.

О том что реально происходило я опишу в следующей публикации.

#opendata #russia

О том что не так с докладом СП РФ по открытости государства. Часть 3. Что реально происходило с открытостью

Открытость государства, конечно, охватывает довольно много областей. Взаимодействие с гражданами, свобода доступа к информации и открытые данные. При этом открытость данных уже давно является приоритетной темой для большинства развитых стран и рассматривается скорее отдельно от открытости коммуникации поскольку имеет не только социальные, но и экономические эффекты. Открытость данных государств замеряется многими способами, были Open Data Index и Open Data Barometer, а также и по сей день существуют методики оценки Global Data Barometer и OURData. Это специализированные рейтинги, посвящённые открытости данных, подробные и хорошо документированные.

Среди них ключевым я бы выделил оценку от Global Data Barometer как наиболее продуманную и детальную, а OURData — это был индекс ОЭСР и охватывал только развитые страны и кандидатов в ОЭСР.
Ключевое во всех международных рейтингах в том, что они оценивают не органы власти, не конкретное министерство, службу или какое-то там учреждение, они оценивают принципиальную доступность данных в конкретной области. Например, данных о качестве работы школ или данных о национальном бюджете или данных о государственных закупках/контрактах и так далее. Доступность этих данных — это решения не органов власти, а Правительства как политической структуры, иначе говоря, это исключительно политические решения. Кстати, в разговорах с чиновниками министерств эта также вскрывается. В тех случаях, когда внутри органа власти нет жёсткого сопротивления всё равно всё упирается в то есть ли политическое решение на открытость или нет.
Позиции России в рейтинге Global Data Barometer в 2021были не такими уж плохими примерно, как у Португалии, но это всё было результатом решений принятых ещё в 2005-2018 годах, после этого периода, более 5 лет тренд шёл на закрытость данных.

Это выражалось во многом. В том что были закрыты данные о субсидиях федеральной власти, в том что были скрыты сведения об учредителях вначале НКО, а далее всех юр лиц, в том были скрыты сведения о получателях контрактов по закупкам по 223-ФЗ (госкомпании и естественные монополии), в том что скрываются значительные пласты данных по статистике, в том что что более не публикуются данные криминальной статистики и так далее.

#opendata #russia

О том что не так с докладом СП РФ по открытости государства. Часть 4. Что реально происходило с открытостью, в примерах

Всё это находилось и находится в ведении, не отдельных ФОИВов, не они принимают решения, решения принимаются на уровне Правительства и Президента. Хотя правильнее сказать не принимаются.
Я приведу несколько примеров. Данные криминальной статистики публиковались до недавнего времени на портале crimestat.ru, при этом у него не было никогда нормативного закрепления и требований по доступности, он был создан исключительно по "доброй воле Генеральной прокуратуры РФ". Но Генеральная прокуратура не ФОИВ, им вообще никто не может приказать кроме законодателя что-то открывать. Составители доклада даже не предполагали, видимо, что какие-то данные могут быть не у исполнительной власти.

Другой пример, данные результатов судебных слушаний. По ним полная монополия у Судебного департамента, который, опять же, никому кроме законодателей в лице ГД, СФ и ПР РФ не подчиняется, эти данные не были и не планируются к открытию. Участники рынка данных прекрасно знают, что как минимум поверх базы данных арбитражных судов существуют коммерческий монополист, которого де-факто почти не обойти, когда нужны данные в этой области.

И таких примеров много, очень много. Но особенно яркая картина за все эти годы складывалась вокруг национального портала открытых данных data.gov.ru. Минэкономразвития РФ, которое отвечало за его ведение, вначале превратило его в помойку из бесконечного числа сверх мелких бессмысленных датасетов по 10–20 строчек вакансий или подведов организаций, а закончилось всё закрытием портала открытых данных.

#opendata #russia

О том что не так с докладом СП РФ по открытости государства. Часть 5. Завершение

Чуть ли не самое главное в отношение доклада в том что, казалось бы, доклад должен иметь практическое применение. Но что с его выводами могу сделать я или кто-либо ещё? Кто его адресаты? Для кого он пишется? Ответы были бы понятны если бы госполитика открытости в какой-либо форме в России существовала и была бы последовательной. В мире она бывает с разными акцентами:
- на политической прозрачности власти и повышения доверия
- на выравнивании социальной несправедливости и доступности данных о качестве жизни
- на развитии цифрового бизнеса и любого иного бизнеса связанного с данными
- на развитии науки и интеграции в мировую научную инфраструктуру

Это довольно очевидные направления, в разных формах реализуемые в большинстве стран и, как правило, закреплённые законами, дорожными картами и так далее.
Очень недолгое время в России акцент был на политической прозрачности, позже было несколько попыток связать открытые данные и потребности бизнеса, сейчас нет вообще ничего. Отсюда проистекает и "подвешенность" этого доклада, невозможно ответить на вопрос зачем он нужен, потому что предметная область находится в зыбком состоянии.

Был бы в нём акцент на политической прозрачности, речь бы шла о доступности данных деклараций чиновников, выборов, госфинансов помимо публикуемой информации и ещё много что.
Был бы в нём акцент на экономическом развитии, речь бы шла о экономическом эффекте и открытии данных из государственных информационных систем, публикации геоданных и тд.
Был бы в нём акцент на социальной несправедливости, речь бы шла о доступности данных об успешности операций, качестве образования, уровне преступности, уровне загрязнения почвы, воды, воздуха и тому подобном в максимально детальном разрезе
Был бы в нём акцент на развитии науки, речь бы шла о публикации результатов научных исследований, наличии данных полученных российскими исследователями на платформах публикации научных данных.

Но в докладе нет об этом всё ровным счётом ничего, а от сравнения ФОИВов по _абсолютно любой методике_ мы ничего не приобретаем. Даже Счетная палата уже давно ничего не приобретает поскольку изначальная цель в получении больших полномочий по надзору за открытостью уже совершенно точно недостижима. Люди внутри органов власти это, также, прекрасно понимают, потому что никакого содержательного выхлопа нет ни от доклада, ни от тех кто мог бы подискутировать вокруг его результатов.

Да и сам повод для обсуждения стал совершенно ничтожным. Я бы даже не писал об этом если бы какая-то часть моей жизни много лет назад не была бы связана с подготовкой первых редакций. Но, пожалуй, и у меня интереса не осталось.

Открытые данные как тема существовала и существует без органов власти, может развиваться без их вовлечения или с минимальным вовлечением тех кто ещё готов выстраивать диалог с потребителями. Вне зависимости от того последний ли это доклад Счетной палаты, будет ли следующий значительно лучше или останется таким же плохим, он ни на что не влияет.


#opendata #russia #opengov

До свидания, «Госрасходы»

Пришло время сообщить, что с 1 августа 2023 года мы больше не занимаемся проектом СП РФ «Госрасходы».

Это был, наверно, единственный крупный проект по открытости, запущенный после упразднения Открытого Правительства (с 2018 года). Пользуясь случаем, не могу не поблагодарить А.Л. Кудрина (@AlekseiKudrin) и Ивана Бегтина (@begtin) за то, что этот проект существовал и активно развивался больше 4 лет. Еще и на домене, на который мы засматривались года с 2013 (spending.gov.ru).

За это время было немало сделано (но хотелось, конечно, больше):

- мы почти достигли 1 млн уникальных посетителей;

- посещаемость сайта проекта практически в два раза превышала посещаемость сайта СП РФ;

- мы запустили раздел «Нацпроекты», методика отбора контрактов для которого была точнее, чем у Казначейства России;

- проект был единственным государственным источником, содержавшим архив реестра субсидий из федерального бюджета (реестр был удален с Портала Электронного бюджета);

- мы агрегировали данные по Госпрограммам, предоставляя их в более детализированном виде, чем на портале госпрограмм;

- мы разработали профили организаций, вовлеченных в операции с бюджетными средствами, объединив данные из ЕГРЮЛ, субсидий и контрактов;

- мы смогли придумать формат представления данных о федеральном бюджете, позволяющий не только отслеживать построчное исполнение бюджета, но и наглядно расшифровывать для пользователей все используемые классификаторы;

- мы формировали собственные справочники бюджетной классификации, вычищая дубликаты, черновые записи и добавляя недостающие записи в те файлы, которые официально публиковались Минфином России и Федеральным казначейством;

- отдельного внимания заслуживает интерактивный рейтинг регионального протекционизма и наборы индикаторов по разработанным аналитиками проекта методикам;

- также мы занимались и «невидимой» пользователям работой, взаимодействуя с инспекциями СП РФ, предоставляя им данные и разрабатывая методики для проверки гипотез и проведения контрольных мероприятий.

Большое спасибо коллегам из СП РФ, которые участвовали в работе над проектом и использовали его данные в реальных задачах, и, конечно, спасибо команде проекта, без которой не было бы этих результатов ♥️.

Надеюсь, это не последний крупный государственный проект по открытости, а мы в свою очередь продолжаем работу над «Госзатратами» (clearspending.ru) и готовим кое-что новое.

Свежий портал открытых данных, на сей раз в Баварии open.bydata.de [1]

Более 1100 наборов данных, несколько видов API для доступа; через SPARQL, API для CKAN и своё API для доступа к внутренней базе.

Что характерно для всех европейских порталов с данными почти половина наборов данных - это геоданные. Они включают: слои к геокартам в формате WMS, файлы GeoJSON, файлы Esri Shape (SHP) и API серверов ArcGIS.

Помимо геоданных большая часть других датасетов посвящена городской инфраструктуре и её использованию в городах Баварии. У портала явный акцент на вовлечение в использовании городских/территориальных данных.


Ссылки:
[1] https://open.bydata.de

#opendata #datasets #germany

В Forbes, который не российский, а глобальный большая статья про открытые данные [1] от Linux Foundation, с незамысловатыми акцентами на том что open source, open hardware и open data - это всё разные стороны одного глобального движения за открытость. С явным акцентом на языковые модели, открытые стандарты и международные организации активные в этой области. При этом важно помнить что Linux Foundation всегда были про открытый код, в том числе для управления корпоративными данными, но про открытые данные они почти не были.

Честно говоря, даже интересно, является ли эта статья прологом к тому что в этой области появится ещё один институциональный игрок или это просто, можно сказать, обзор в контексте популярной темы открытых языковых моделей. Я вот не знаю, но интересно.

Впрочем кое что уже есть, например, Overture Maps Foundation [2] это порождение от Linux Foundation, также как и Agstack [3] проект по открытой цифровой инфраструктуре для сельского хозяйства - это тоже Linux Foundation.

В свою очередь сам фонд - это порождение коллективных активностей Big Tech, которые где-то конкурируют, а где совместно создают весьма любопытные продукты. Скажем так - это наиболее социально значимая/социально ответственная область их деятельности.

Ссылки:
[1] https://www.forbes.com/sites/adrianbridgwater/2023/09/20/linux-foundation-why-open-data-matters/
[2] https://overturemaps.org
[3] https://agstack.org

#opendata #readings