Ivan Begtin
7.98K subscribers
1.8K photos
3 videos
101 files
4.51K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts ivan@begtin.tech
Download Telegram
Кому поддержка отрасли, а кому +4 приложения для предустановки. Известия пишут [1] что речь идет о программе для чтения и прослушивания книг, онлайн-магазине, сервисе для музыки и радио, а также платформе для конференцсвязи.

Когда же этот горшочек перестанет варить? Как бы объяснить. Предустановка ПО - это не помощь бизнесу, а негативизация бренда. Очень скоро будут массовые общественные компании и приложения по сносу предустанавливаемых приложений.

Ссылки:
[1] https://iz.ru/1222343/2021-09-16/spisok-prilozhenii-dlia-obiazatelnoi-ustanovki-rasshiriat

#apps #regulation
Forwarded from Ах, этот Минфин (Olya Parkhimovich)
2021 год - год 90-летия Комитета финансов Санкт-Петербурга

Оказывается, в 2021 году Комитет финансов Санкт-Петербурга празднует 90-летие. С его результатами работы я знакома, пожалуй, около 10 лет. В то время Портал открытого бюджета Санкт-Петербурга еще не был запущен (ему сейчас ровно два года), а бюджеты публиковались в формате pdf.

Одним из первых впечатлений при изучении данных и документов, опубликованных на официальном сайте Комитета финансов СПб, был плывущий на фоне сайта корабль, медленное перемещение которого можно было заметить примерно после 20-30 минут, проведенных на сайте )). С тех пор сайт обновился, а у меня появилось несколько положительных и неожиданных кейсов о Комитете финансов СПб и его открытых данных:

- Самым неожиданным, конечно, был отсканированный «Бюджет для граждан Санкт-Петербурга 1993 г.», который мне прислали в ответ на запрос: «на одной из встреч Комитета гражданских инициатив упоминался выпускаемый в 90-х годах сборник бюджета для граждан, вдруг он у вас есть». Нашли, отсканировали, прислали, удивили (не могу не отметить участие коллег из Минфина России в этой истории). Скачать его можно здесь: [1]

- Спустя какое-то время на сайте Комитета финансов СПб добавили раздел «Архив» и загрузили в него все найденные сборники бюджетов для граждан с 1993 по текущий год! (к сожалению, сборники за 1994-1995 не удалось найти, но вдруг вы знаете тех, у кого они могут быть) [2]. Например, Минфин России собрал федеральные Бюджеты для граждан с 2013 года, а Департамент финансов Москвы - с 2016 года (в моей коллекции печатных версий Бюджетов для граждан Москвы не хватает только 2021 года, но я надеюсь, что его еще можно где-то найти).

- Портал открытого бюджета Санкт-Петербурга [3] - единственный известный мне российский ресурс, предоставляющий бюджет не в формате строк бюджета или автоматически построенных графиков, а в формате конкретных результатов, которые получают граждане, живущие или находящиеся на определенной территории: где заменят эскалаторы, где отремонтируют больницу, какие дороги построят и сколько уже потрачено/исполнено. От коллег знаю, что выделение конкретных адресов и объектов потребовало немало усилий и трудозатрат, и надеюсь, что какие-то идеи мы в дальнейшем сможем применить и к модулю «Бюджет» проекта Счетной Палаты РФ «Госрасходы», который мы вот-вот запустим.

- Несколько лет назад нашла ошибки в составлении бюджета Дворцового муниципального округа (в бюджете использовались одни и те же КБК для разных программ). Попытки обратиться в Администрацию МО привели сначала к отсутствию в течение 3 месяцев ответа на обращение, а затем ответили советом «почитать Бюджетный кодекс и получше разобраться в бюджетной классификации». На отправленные в Комитет финансов СПб запросы о правомерности составления бюджета Дворцового МО получила два противоречивых ответа. Минфин России подтвердил некорректность бюджета, но из-за того, что муниципальный уровень не подчиняется федеральному, посоветовал попросить Комитет финансов СПб провести консультацию для Дворцового МО. Судя по полученному через некоторое время звонку из Дворцового МО и обещанию со следующего года составлять бюджет корректно, консультация была проведена, а ошибка больше не повторялась.

[1] https://t.me/ahminfin/360
[2] https://комфинспб.рф/materials/presentations/budget-for-citizens
[3] https://budget.gov.spb.ru
Про новые мобильные приложения Минцифры, в версиях для Android, если без иронии и сжато.

Госуслуги.Авто [1]
* подписано сертификатом АО РТЛАБС
* опубликовано от имени Минцифры России
* включают код для связи с серверами Российского союза автостраховщиков (РСА)
* включают код журналирования действий на сервера разработки РСА и их SDK
* содержит следы кода компании ЛАНИТ, возможно как чать SDK РСА
* содержит код трекеров Google Firebase Analytics, Google Crashlytics, Yandex AppMetrica
* запрашивает разрешение на звонки и доступ к камере
* не включает сведений о передачи данных третьим сторонам в условиях использования, там не упомянуты: РСА, Google, Yandex

Госуслуги.Культура [2]
* подписано сертификатом АО РТЛАБС
* опубликовано от имени Минцифры России
* наиболее вероятно разработано компанией Notamedia (есть метки в коде)
* приложение написано на языке Flutter, скомпилировано в нативный код в виде libapp.so. Как следствие не все активности выявляются статическим анализом
* обращается к серверу pushka.gosuslugi.ru, возможно к каким-то ещё, сложно выяснить статическим анализом
* содержит код трекера Mail.ru MyTracker
* запрашивает разрешение на запись аудио и на доступ к камере
* не включает сведений о передачи данных третьим сторонам в условиях использования, там не упомянуты: Mail.ru


Ссылки:
[1] https://play.google.com/store/apps/details?id=ru.gosuslugi.auto&gl=ru&hl=ru
[2] https://play.google.com/store/apps/details?id=ru.gosuslugi.culture&showAllReviews=true

#apps #privacy
А так рекламировали, так рекламировали. Неужели так сложно было вначале протестировать и стресс-тесты погонять? Или у нас выборы - это зима для ЖКХ, всегда наступает неожиданно и никто не готов?
— реклама в уютном канале —
Вот уже несколько лет сколько я веду этот канал в телеграм я всячески избегал рекламы. Отказываясь от любого размещения контента за деньги и менять это не собираюсь. Максимум что я периодически публикую - это анонсы друзей/партнеров/коллег которые релевантны теме канала.

Поэтому, для разнообразия, реклама того чем я и наша команда занимаемся много лет.

Мы создаем проекты по открытости основанные на данных
- Госзатраты - общественный проект мониторинга госзакупок/госконтрактов
- Госрасходы - государственный проект Счетной палаты РФ по мониторингу госконтрактов, субсидий, нацпроектов и бюджетов
- Открытые НКО - открытые данные о российских НКО
также мы создавали многие проекты которые сейчас уже непубличны, в основном из-за того что их заказчики прекратили существование. Это Открытые СМИ (портал открытости российских медиа), Госсеть (портал мониторинга госсайтов), Гослюди (портал мониторинга блогов чиновников).

Все эти проекты созданы на данных которые мы собираем и обрабатываем. Для этого мы создаем порталы и каталоги данных такие как:
- Хаб открытых данных - общественный портал для публикации данных
- Данные НКО - портал для публикации данных о НКО и для НКО
- DataCrafter - коммерческий каталог данных прошедших улучшение, обогащение, документирование и классификацию

Мы проводим исследования и анализ в области работы с данными:
- Аналитический доклад открытые данные - с рекомендациями о том как публиковать данные
- Приватность государственных мобильных приложений в России - о том какие трекеры есть в госприложениях
а также принимаем участие в совместных исследованиях с другими организациями.

Какая-то часть нашей работы не так публична, например, мы формируем аналитику по государственным расходам и экономическим акторам, например:
- исследования рынка госрасходов по определенным направлениям (ИТ, строительство, фармацевтика)
- сложные выгрузки данных/создание специализированных наборов данных по юр. лицам, госзакупкам, госфинансам, иным критериям

Организуем мероприятия - семинары, хакатоны, лекции и многое другое, например:
- мы организовывали много лет конкурс BudgetApps для Минфина России
- конкурс Apps4Russia для создания приложений решающих общественные задачи
- хакатон Генеральной прокуратуры РФ по анализу правовой статистики
- многочисленные хакатоны и конкурсы онлайн и оффлайн за последние 10 лет

Разрабатываем приложения и веб проекты не напрямую связанные с данными
- Понятный язык - веб-сервис проверки простоты языка
а также многочисленные коммерческие проекты веб разработки относящиеся к проверке контрагентов и комплаенс которые на так публичны

Собственно Инфокультура как НКО не могла бы существовать все эти годы без коммерческих работ и продуктов которые делала и делает наша команда.

#реклама
В России доступно большое количество данных, отражающих состояние экономики и социальной политики на федеральном уровне. При этом в открытом доступе крайне мало хорошо структурированных данных, прежде всего, данных о качестве жизни в хорошей муниципальной детализации, привязке к отраслевым, территориальным схемам и программам развития. Еще сложнее с данными по прогнозам и планам развития.

Хотя на эти данные есть запрос со стороны бизнеса, который на их основе может создавать различные сервисы и аналитические инструменты, помогающие в эффективном управлении территориями и улучшающие качество жизни.

📆 На конференции 8 октября мы обсудим с представителями региональных властей, федеральных ведомств и коммерческих компаний вопросы доступности и качества данных, моделей анализа, оценки, прогнозирования и планирования с детализацией до муниципального и регионального уровня.

➡️ Присоединяйтесь! Подробности и регистрация на сайте: https://regiondata.aurd.ru/
О выборах сейчас пишут многие, лично мне сложно выдерживать жанр безэмоционального изложения их результатов и того как это проходит, но я постараюсь. Я вспоминаю как вначале деятельности Открытого пр-ва было мероприятие в ЦИК РФ посвящённое их открытости и открытым данным в частности. Тогда главой ЦИКа был Чуров и само мероприятие начиналось с презентации по которой всем присутствующим должно было быть очевидно что российский ЦИК "самый открытый и прозрачный ЦИК РФ в мире", но очевидно совсем небыло. Ловя их на слове я тогда же спрашивал их, "а что это вы не публикуете открытые данные?" и реакция была примерно такая "вы нам пролоббируйте в бюджете несколько сотен миллионов рублей на развитие систем и где-то через год-другой мы позволим данные выгружать в каком-нибудь виде". Такая же позиция тогда была у Росстата (при прошлом его руководителе Суринове).

Конечно же тогда ЦИК РФ никаких открытых данных не опубликовал, а когда через довольно долгое время начал публиковать - это было, скажем так, довольно далёкое от потребностей аналитиков работающих с данными о выборах. Были и сейчас публикуются ретроспективные данные [1], мало кем используемые.

Сейчас, когда последовательно ЦИК вначале включил каптчу, потом скремблинг с отображением цифр и про открытые данные уже даже и речи нет, то это, конечно, показательные события роста закрытости избирательной системы.

Ко всему ещё и помноженные на электронное голосование о "косяках" которого уже многие публично и неоднократно написали.

В целом всё это весьма удручающе, конечно.

Ссылки:
[1] http://cikrf.ru/opendata/

#opendata #opensource #evoting
Германия вступила [1] в International Open Data Charter, это было обязательство в рамках их 2-го плана по открытости [2]. Ранее, 27 января этого года Германия приняла [3] рамочную стратегию по работе с данными для федерального правительства Data Strategy of the Federal German Government [4], а в июле приняла стратегию открытых данных на основе стратегии работы с данными [5] (текст только на немецком языке).

Хартию открытых данных подписали уже десятки стран [6], на постсоветском пространстве это только Узбекистан и Украина.

Ссылки:
[1] https://www.open-government-deutschland.de/opengov-en/content/germany-adopts-the-international-open-data-charter-1947360
[2] https://www.open-government-deutschland.de/resource/blob/1687030/1686704/bf176dc680badd65142e0aaebd5a5184/2nd-action-plan-accessible-data.pdf?download=1
[3] https://www.bundesregierung.de/breg-en/news/data-strategy-adopted-1845882
[4] https://www.bundesregierung.de/resource/blob/998194/1950610/fb03f669401c3953fef8245c3cc2a5bf/datenstrategie-der-bundesregierung-englisch-download-bpa-data.pdf?download=1
[5] https://www.bundesregierung.de/resource/blob/975232/1940386/1d269a2ad1b6346fcf60663bdea9c9f8/2021-07-07-open-data-strategie-data.pdf?download=1
[6] https://opendatacharter.net/government-adopters/

#opendata #germany #charter
Это, конечно, очень длинная и довольно позорная история об этом господрядчике которой в очередной раз попал в реестр недобросовестных поставщиков. А известна это компания (группа одноименных компаний?) тем что они же разработчики и служба поддержки госпортала data.gov.ru который уже несколько лет в слабо-дохлом состоянии и мало кому вообще нужен в текущем виде.
Forwarded from Ах, этот Минфин (Olya Parkhimovich)
Второй Рунетсофт добавлен в Реестр недобросоветных поставщиков. Первый был добавлен в РНП в прошлом году из-за контракта на Портал открытых данных. Второй (совпадающий по адресу и учредителю) 17 сентября добавлен в РНП из-за контракта на техподдержку портала органов госвласти Севастополя. Только в этом году Рунетсофт заключил контракты на 70 млн руб. + контракты на 36 млн руб. остались неисполненными еще с прошлого года.
Для тех кто анализирует мобильные приложения, напомню про инструменты которые используются в этой задаче.

Инструменты анализа мобильных приложений (Android)
- Exodus Privacy [1] французская НКО создающая одноименную базу и инструменты сбора сведений о трекерах встраиваемых в мобильеные приложения. Их сервис и программы анализируют .dex файлы в .apk файлах для Android'а и выявляют сигнатуры кода относящегося к трекерам.
- AppCensus [2] стартап из кремниевой долины с фокусом на динамический анализ приложений. Приложения устанавливаются на реальное устройство и замеряется то к каким сервисам они обращаются и что передают
- Mobile Security Framework [3] продукт с открытым кодом для локальной проверки мобильных приложений для Android'а. Умеет декомпилировать, проводить анализ разрешений, компонентов, безопасности приложения. Интегрирован с Exodus Privacy и ещё много чего умеет
- ICSI Haystack Project [4] проект по мониторингу мобильных приложений с академическим уклоном от Data Transparency Lab. Включает много наборов данных и мобильное приложение Lumen для отслеживания того куда приложения обращаются.

Как бороться с мобильной слежкой ? С помощью приложений создающих VPN соединения блокирующие обращения к сайтам трекеров.

Приложения для блокировки
- Blockada [5] бесплатное приложение с открытым кодом и расширенными возможностями для тех кому нужен VPN как VPN, а не просто резка трекеров.
- NextDNS [6] коммерческий сервис DNS серверов с возможностью отслеживать и фильтровать запросы к DNS со стороны собственных устройств. Может как вести журнал и предоставлять его пользователю, так и наоборот обеспечивать анонимность. Режет большое число трекеров и подключает множество блоклистов. Работает не только с устройствами Android, но и со многими другими.

Ссылки:
[1] https://exodus-privacy.eu.org/
[2] https://appcensus.io
[3] https://github.com/MobSF
[4] https://www.haystack.mobi/
[5] https://blokada.org/
[6] https://nextdns.io

#privacy #mobileapps #apps
В рубрике интересные наборы данных, наборы данных связанные с анализом мобильных приложений.
- AndroZoo [1] база файлов .apk приложений для Android c более чем 16 миллионами приложений. Только сжатый файл csv с описанием более 2GB, а все файлы, конечно, гораздо большего объёма. Доступ предоставляют исследователям по запросу. Непонятно насколько часто обновляется, последнее упоминание научных работ в 2016 году
- MalDroid 2020 [2] база зловредных приложений для Андроида собранная в Универститете Нью Брунвика. Включает 17,341 приложений, доступ по запросу. У них же там много других датасетов, связанных с кибербезопасностью, даркнетом и тд [3]
- Android Malware Datasets [4] подборка ссылок на наборы данных вредоносных мобильных приложений для Android

Наборов данных гораздо больше, многие из них создают внутри университетов для исследования переупаковки приложений, наличия вредоносного кода, наличия рекламного кода (adware), сетевой безопасности, распространения технологий и многого другого.

Ссылки:
[1] https://androzoo.uni.lu/
[2] https://www.unb.ca/cic/datasets/maldroid-2020.html
[3] https://www.unb.ca/cic/datasets/index.html
[4] https://github.com/traceflight/Android-Malware-Datasets

#privacy #datasets #android #apps
Forwarded from Ах, этот Минфин (Olya Parkhimovich)
На сайте проекта "Госрасходы" теперь доступен модуль "Бюджет"!

Мы давно планировали обработку данных о федеральном бюджете и рассматривали несколько вариантов источников данных. Хотели использовать ежедневно обновляемые сводные бюджетные росписи, но они пока, к сожалению не очень корректные. Поэтому остановились на ежемесячных отчетах об исполнении федерального бюджета, публикуемых Казначейством России. Информацию из отчетов дополнили наборами данных бюджетной классификации, опубликованых Минфином России.

В процессе агрегирования информации и разработки базы данных мы выявили неполноту данных и некоторые серьезные и мелкие ошибки как в отчетах об исполнении бюджета, так и в открытых данных. Надеюсь, что эти наработки станут началом взаимодействия по качеству данных между финансовыми госорганами и СП РФ.

Первая версия модуля содержит данные о расходах федерального бюджета с 2016 года по текущий год, включая отчет на 1 августа 2021 года. Текущий функционал модуля позволяет:

- изучать расходы бюджета в разрезе разделов и подразделов, ГРБС (главных распорядителей бюджетных средств), госпрограмм и подпрограмм, нацпроектов и федпроектов;

- осуществлять поиск по КБК. Пока только по полному совпадению, но в следующих версиях мы его доработаем. Для каждого найденного в базе КБК доступны значения всех используемых классификаторов, а также все доступные в базе «строки бюджета» с информацией об исполнении бюджета по месяцам за последние 5 лет;

- упростить для граждан изучение расходов бюджета за счет предоставления во всех строках бюджета полной расшифровки КБК. Помимо этого мы «переработали» представление бюджета из иерархической «лесенки Минфина» до детализированных строк, что позволило нам сократить объем предоставляемой информации и упростить обработку данных для аналитиков и программистов;

- изучать утвержденные, исполненные и неисполненные расходы федерального бюджета. Из-за особенностей структуры отчетов Казначейства России мы предоставляем детализацию до групп, подгрупп и элементов расходов;

- ознакомиться с глоссарием и справочниками, используемыми в федеральном бюджете. При этом справочники, представленные на сайте проекта, не являются копией наборов данных Минфина России. Они дополнены, выверены и в некоторых случаях перепроверены вручную (можно даже сказать, что трудоемкость выверки справочников сопоставима с трудоемкостью разработки базы данных и веб-интерфейса).

Сейчас мы представили только первую версию, но уже обсуждаем и рассматриваем множество доработок и обновлений:

- опубликовать открытые данные, API и добавим возможность скачивать информацию со страниц сайта;
- продумываем добавление возможности изучать и сравнивать на сайте данные по месяцам и годам;
- провести вебинары по работе с модулем и записать скринкасты;
- дополнить раздел информацией о доходах бюджета и источниках финансирования дефицита бюджета;
- связать строки бюджета с контрактами и субсидиями;
- добавить годовые отчеты об исполнении федерального бюджета;
- и, конечно, запланировать на следующий год разработку модуля «Региональные бюджеты».

Хочу поблагодарить команду проекта, без интенсивной, талантливой и вдумчивой работы которой данный модуль (да и весь проект) не был бы разработан, Ивана Бегтина за участие в проектировании проекта и работу над ним даже после выхода из СП РФ и, конечно, СП РФ и Алексея Кудрина за то, что в 2021 году проект поддерживается и развивается, а открытые данные включены в повестку и стратегию СП РФ.

spending.gov.ru
У института Ады Лавлейс, специализирующегося на темах AI, вышло исследование Participatory data stewardship [1] о совместном надзоре/контроле/управлении данными с вовлечением пользователей, владельцев данных и иных вовлеченных сторон. На русский язык это можно перевести как "Совместное управление данными", но и это будет недостаточно точно.

Исследование интересно тем что описывает то чего почти нет в Российской практике, сбор обратной связи от получателей результата и вовлеченных сторон при создании крупных или значимых банков данных. Например, если создается банк геномных данных людей больных редкой генетической болезнью, или если это данные о городской среде, или если это данные медицинских анализов нужных в исследовательских целях.

Авторы приводят много разных примеров, системно подходят к вопросу описания проблем и задач которые решаются через такое совместное управление данными, но, ещё раз, совершенно далеки от российских реалий, где само понятие трастов данных (доверительных фондов управления данными) не существует.

Изучать эти материалы полезно, в любом случае.

Ссылки:
[1] https://www.adalovelaceinstitute.org/report/participatory-data-stewardship/

#data #datastewardship
Для меня, если честно, тема выборов скорее неинтересна, а про технические особенности и проблемы с электронным голосованием в Москве хорошо пишут более мотивированные к этому авторы. Я сфокусируюсь на системных проблемах подрывающих доверие к системе электронного голосования у нас в стране с самого начала её апробации/запуска/тестирования.

1. На всякий случай я напомню что есть такое явление как разделение власти оно прописано в Конституции и предполагает независимость каждой ветви власти друг от друга. В частности, избирательные комиссии не являются органами власти - это особые структуры не находящиеся в подчинении федеральной власти или властей субъектов федерации. Принцип их формирования основан на независимом проведении выборов. Поэтому большая часть информатизации выборов все эти годы (десятилетия) шли с тем что ЦИК РФ был основным заказчиком работ системы ГАС Выборы. Для электронного голосования этот принцип был нарушен, разработка систем была передана исполнительным органам власти в лице ДИТ Москвы и Минфры России. Даже если предположить что там работают прекрасные люди, желающие стране хорошего тем не менее, они не являются и не могут являться даже формально независимыми сторонами.

2. Важная характеристика любой системы, в том числе информационной, это просматриваемость/наблюдаемость, на английском языке это звучит как observability. Главное отличие от прозрачности в том что прозрачность - это практическая реализация, а просматриваемость - это пригодность системы к такому наблюдению. Когда речь идёт об электронном голосовании и его реализации на блокчейне, то всё это, частично, имеет характеристики просматриваемости и прозрачности, но... Важная оговорка в том где эта система стыкуется с другими системами, техническими и человеческими. А вспомним насколько прозрачны эти системы. Есть ли цифры показывающие прозрачность и работу Госуслуг? Как получается что по такой продвинутой системе нет ежесуточной детальной статистики по демографии, активности, регистрациям, осуществляемым услугам и так далее. Аналогично по регистрации избирателей в Москве через портал mos.ru. Эти системы непрозрачны, ненаблюдаемы, не предполагающие не то что раскрытия их кода, но и даже раскрытия самых базовых показателей, не говоря уже о чём либо ещё.

3. В целом, участие Венедиктова как эдакого "общественного омбудсмена" дискредитирует электронное голосование не меньше чем его результаты. Венедиктов ничего не понимает в технической стороне, безапелляционные его утверждения настолько вне-рефлексивны и настолько не допускают даже вероятности ошибки (а добросовестные ошибки тут возможны), что не возможно делать никаких других интерпретаций кроме того что "человека назначили защищать, он и защищает как может". Может он плохо, от этого всё выглядит ещё хуже.

4. Раскрытие исходного кода электронного голосования выглядит довольно удручающе. Публиковать в репозитории код без документации, в виде архивов, это, конечно, показывает что, или это сделано "на отвали", или разработчики просто не имеют квалификации работать с репозиториями кода.

5. И, чуть ли не самое главное, а кто проектировал систему электронного голосования? Кто её архитектор, проектировщик, ведущие разработчики? не Венедиктов же и не Артём Костырко, выступающие говорящими головами. Получается что, либо разработчики настолько стыдятся своей работы что не готовы о ней говорить, либо их заказчиики боятся их выступления потому что "косяки" системы станут ещё более очевидными.
Схемы, логика, бизнес-процесс, архитектура этой системы должны быть открыты, равно как и должны быть открыты те кто её создает.

#opensource #opendata #observability #transparency #openness #elections
Вокруг разговоров про импортозамещение, в основном, вокруг того как госорганам и компаниям надо переходить с зарубежного ПО и оборудования на российское, не могу не отметить значительную, скажем так, лукавость происходящего.

Я вот уже давно веду реестр госдоменов [1] в форме открытого репозитрия на Github, куда выкладываю уже очищенные данные. А также анализирую госинфраструктуру, в первую чтобы заархивировать [2], во вторую очередь чтобы наполнять данными каталоги данных вроде APICrafter'а [3], так вот могу сказать что наши госорганы и госструктуры вовсю используют зарубежную инфраструктуру. Сейчас сделаю значительное лицо и напишу что хостят госсайты в странах НАТО!, и, на самом деле, понятно почему это происходит, потому что качество хостинга и сервисов часто там лучше, а вот непонятна вся эта риторика про импортозамещение.

Вот несколько примеров:
1. Карта дорог Росавтодора хостится map.rosavtodor.gov.ru хостится во Франции на хостинге OVH по адресу 5.135.6.198
2. Непонятный домен госуслуг trackpos.gosuslugi.ru используемый в рассылках Sendpulse на хостинге Hetzner по адресу 168.119.2.85
3. Инфраструктура электронной переписки портала госзакупок zakupki.gov.ru находится в облаке Microsoft и указывает на почтовый сервер zakupki-gov-ru.mail.protection.outlook.com, IP адрес 104.47.8.36

А также не буду показывать пальцем на онлайн ресурсы одного города федерального значения где часть доменов указывают на адреса за пределами российской юрисдикции.

Здесь я не призываю это запретить, призываю лишь определиться и если меньше двуличности с импортозамещением.

Ссылки:
[1] https://github.com/infoculture/govdomains
[2] https://ruarxive.org
[3] https://data.apicrafter.ru

#government #infrastructure #it #domains
Примерно 16 лет, с небольшими перерывами, я так или иначе был связан с проектами по работе с данными о госфинансах. Начиная с первой версии портала госзакупок, продолжая многочисленными общественными и госпроектами.

Среди этого всего есть такая большая тема как прослеживаемость госинициатив. Самых разных, инвестпроектов, госпрограмм, национальных проектов и ещё много чего, что только создаёт бюрократический аппарат. И вот тут то и засада, поскольку артефакты производимые госаппаратом оказываются не связаны между собой.
- контракты не связаны с системой управлением госимуществом
- у нормативных документов нет нормальных уникальных идетификаторов
- реестры результатов не ведутся или ограничены или закрыты (и нет к ним региональных требований)
- организовать прослеживаемость, например, ремонтов одной дороги сложно, нет привязки к ней закупок и контрактов кроме как через ключевые слова.

При этом были периоды и похуже, я помню времена 2007-2011 годов когда реестр контрактов вело казначейство, а портал закупок всело Минэкономразвития и данные не бились между собой - сопоставить контракт и закупку можно было только ценой значительных ухищрений.

Хотя сейчас ситуация лучше, но не настолько чтобы можно было проследить конкретный объект (госпрограмму, федпроект и тд.).

И когда мы проектировали проект Госрасходы (spending.gov.ru) то там была идея именно создать систему охватыващую госрасходы сверху донизу и снизу доверху. Задача сложная, начавшаяся с реестра контрактов который мы до того делали для общественного проекта Госзатраты (clearspending.ru), а потом постепенно развивавшаяся с появлением модулей:
- субсидии - сведения о субсидиях федерального бюджета (до декабря 2020 года, пока Минфин РФ не закрыл этот реестр)
- нацпроекты - национальные проекты сверху вниз, до контрактов и субсидий
- госпрограммы - госпрограммы аналогично нацпроектам, с до контрактов и субсидий

И вот, наконец-то, коллеги доделали модуль Бюджет в котором через федеральный бюджет можно увидеть отдельные его строки, а в будущем привязанные к ним контракты, субсидии и тд. Интегральный модуль, объединяющий многие данные через коды КБК.

Всё это даёт сейчас прослеживаемость государственных расходов, как минимум, от принятого закона о бюджете (пока от отчета о его исполнении) и до конкретного контракта/поставщика.

Это важные уровни общественного контроля, общественного внимания к тому как органы власти тратят деньги. По какой-то другой логике с модуля Бюджет можно было бы начать, но просто работа с контрактами была в большей готовности, но самое главное помнить что всё это про прослеживаемость только до определенной стадии и с определенной стадии. До того как бюджет формируется есть множество нормативных документов регулирующих госпрограммы, нацпроекты и иные способы объединения деятельности и финансов в рамках которых непрерывно происходят изменения. А после того как заключается контракт или выдается субсидия, деньги должны превращаться в результаты работ, оказанные услуги или поставленный товар. Должен быть произведен учёт результата, результат должен быть понимаем и пригоден к анализу. Всё вместе это и есть бюджетная прослеживаемость. В каком-то приближении это даёт возможность оценить уровень прозрачности каждой строки бюджета (расходы на конкурентные закупки - прозрачность процедур, расходы на субсидии НКО - полная непрозрачность, расходы на ФОТ - малая прозрачность, тольчо через декларации о доходах и т.д.).

Это интересная, технически сложная задача, полезная, в первую очередь, для контролёров расходов и аналитиков вокруг бюджетного процесса и работы системы госуправления.

Лично я уже уже 3-й месяц как свободный человек покинул Счетную палату для работы над коммерческими продуктами на данных, такими как APICrafter и я очень рад что коллеги в Счетной палате модуль Бюджет наконец-то запустили.

Ольга Пархимович, автор канала @ahminfin как нынешний руководитель этогг проекта и вся проектная команда проделали огромную работу и большие молодцы!
Очень важно чтобы работа над охватом всей цепочки госрасходов продолжилась и однажды можно было бы проследить каждый товар вплоть до таможенной партии, каждую работу до каждой стройки.

#spending #budgets #traceability
Australian National Audit Office (ANAO) [1] выявили что более 60% госзакупок с 2010 года в Австралии являются неконкурентными, об этом пишут Government News [2] по следам парламентского расследования начатого Парламентом Австралии с 1 июля 2021 года [3].

В Эквадоре правительтство открыло Public Contracts Observatory (Обсерватория государственных контрактов) [4] с публикацией сведений о контрактах в CSV.

В Казахстане компания Datanomix разработала набор индикаторов отслеживания криминальных денег включая анализ госзакупок [5]. Всего индикаторов не так много, около 40, часть из них могут быть автоматизированы [6]

Ссылки:
[1] https://www.anao.gov.au/
[2] https://www.governmentnews.com.au/more-than-half-commonwealth-procurement-non-competitive/
[3] https://www.aph.gov.au/Parliamentary_Business/Committees/House/ITC/Gov-fundedInfrastructure
[4] https://www.observatoriocomprapublica.go.cr/
[5] https://www.open-contracting.org/2021/09/20/how-one-data-team-is-rooting-out-procurement-corruption-in-kazakhstan/
[6] https://docs.google.com/spreadsheets/d/1diUhYGHquiQ4rKZTdx-qZvkvrtrXgpAKkzY9yxoqZzU/edit#gid=0

#opendata #data #procurement
​​📈Где в России пропадают люди
В рамках нашего уральского дата-трипа команда из Перми проанализировала данные МВД о пропавших людях. Из интересного:

🕷Ежегодно в Росии пропадает 150 тысяч человек. Это, чтобы вы понимали, население подмосковской Коломны или целого района Кузьминок

🕷 Больше всего пропадает (вернее, чаще всего заявляют о пропаже) помимо Москвы и Петербурга в Новгородской, Свердловской областях, В Ставропольском и Краснодарском краях, Мордовии и Татарстане.

🕷Одно дело пропасть, другое, чтобы вас нашли. Тут дела обстоят намного интереснее. Если вы потерялись на Чукотке или в Южной Осетии, шансы, что вас найдут минимальны. А вот если вы потерялись в Чечне, то они почти равны нулю. Из 9741 человека, которые потерялись в 2017-2020 гг., нашли только 62.

Не теряйтесь в Чечне и по жизни. А чтобы сделать больше дата-историй, приходите и приезжайте на наш уральский хакатон по дата-журналистике https://hackathon.ddjural.ru/
OpenAI представили языковую модель на базе GPT-3 для суммаризации текстов книг [1]. Суммаризатор последовательно создает краткое изложение каждой главы, а потом на основе этих кратких изложений пишет на одну страницу или меньше изложение всей книги. Сейчас для английского языка, а в будущем возможно и для других.

Конечно, OpenAI - это уже не открытый код и не открытые данные, с 2019 года - это вполне себе коммерческая компания [2] предоставляющая платный доступ к языковым моделям и инструментам на из основе.

Ссылки:
[1] https://openai.com/blog/summarizing-books/
[2] https://en.wikipedia.org/wiki/GPT-3

#ai #books