Ivan Begtin
7.99K subscribers
1.82K photos
3 videos
101 files
4.53K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts ivan@begtin.tech
Download Telegram
Для тех кто возможно не знает - в США есть обязательные требования по хранению всех public records (публичных записей) деятельности органов власти [1] и NARA (The U.S. National Archives and Records Administration) ведёт реестр не только архивов, но и случаев незаконного или ошибочного (неавторизованного) удаления публичных материалов [2].

Там есть кейсы анекдотические, когда сотрудник Forest Service потерял в аэропорту чемодан текстами контрактов и найти его не удалось [3], а есть более серьёзные связанные с удалением сотрудником госдепартамента Брайяном Паглиано писем из его официального почтового ящика [4].

Национальное архивное агенство США выступает одним из источников раскрытия официальной информации благодаря тому что имеет право архивировать всю государственную информацию и делает это на постоянной основе.



Ссылки:
[1] https://www.ecfr.gov/cgi-bin/text-idx?SID=2cb32d56fb6af59e4b4ee022f092b321&mc=true&node=pt36.3.1230&rgn=div5
[2] https://www.archives.gov/records-mgmt/resources/unauthorizeddispositionoffederalrecords
[3] https://www.archives.gov/files/records-mgmt/resources/2018-01-17-ud-fs-ud-2018-0002-open-close-letter-1301-1b.pdf
[4] https://www.archives.gov/files/records-mgmt/resources/ud-2016-0018-state-open-close-letter.pdf

#open #nara
Мне не верят, но это так - я не только занимаюсь общественными и коммерческими проектами, но и стараюсь находить время на то чтобы напрограммировать чего-нибудь простого и полезного.

Одна из таких штук - это @FeedRetranslatorBot (https://t.me/@FeedRetranslatorBot), агрегатор новостей превращающий их в каналы в Телеграм.

В своё время я делал его для того чтобы не самому искать новости, а так чтобы новости находили меня. Учитывая что на множество телеграм каналов и так подписываешься и читаешь то и логично выглядело создать несколько каналов по тематикам и собирать туда новости регулярно.

Так вот @FeedRetranslatorBot именно это и делает. Создаёшь канал, добавляешь его туда с правами на делать посты, добавляешь ему этот канал командой /channel и добавляешь в туда подписки командой /add

Все это описано в его справке вызываемой по /help

Особенность бота в том что он поддерживает новостные ресурсы без RSS. То есть ему можно скормить и RSS ленту. Например RSS лента сайта Правительства http://government.ru/all/rss/, а можно и дать ссылку на раздел с новостям, но без RSS. Пример, сайт ЦСРа http://csr.ru

Если RSS ленты нет то в сервисе срабатывает мой давний алгоритм "Скиур", он умеет извлекать новости из HTML.

С помощью этого бота работают такие каналы как:
- Правительственный дайджест https://t.me/govdigest
- Контрактная система https://t.me/gzcontracts
- Open Government Digest https://t.me/opengovdigest
- Open Data Digest https://t.me/opendatadigest
- Data is Good https://t.me/dataisgood
- Госфинансы https://t.me/govfin

Они все не про популярное, а скорее в форме канала заменяющего подписки на RSS. Общедоступного канала.

Так же работает и канал Инфокультуры https://t.me/infoculture туда транслируются все новости Инфокультуры со всех проектов - Госзатраты, Открытая полиция, сайт ИК и тд.

Так что бот это бесплатный и общедоступный сервис, им уже пользуются другие и создают свои каналы.

А это же и пример почему экосистема телеграма так удобна, я думал о том как воспроизвести это всё в других мессенжерах и никак не выходит, они просто не дают такой возможности.

#open
Многие знают о Europeana [1], крупнейшем онлайн музее/архиве/выставке Евросоюза основанном на партнёрстве и оцифровке материалов более чем 3,500 музеев, галерей, библиотек и архивов Европы, но мало кто знает о Канадиане [2] и схожего масштаба проект Trove [3] в Австралии, как поисковая машина и краудсорсинговый проект по оцифровке и разметке исторических материалов.

Но это государственные инициативы, а немало проектов по сохранению цифрового наследия существует и без государства. Как некоммерческие и коммерческие частные проекты.

Например:
- Software Heritage [4] спонсируемая Microsoft, Intel, Google и многими другими компаниями инициатива по долгосрочному сохранению открытого исходного кода. Они выкачивают его из github'а, gitlab'а и других источников и хранят все версии и все релизы.
- Old Version [5] большой краудсорсинговый проект архива старого ПО
- Common Crawl [6] огромный репозиторий веб-страниц собранных веб-краулерами и с возможностью ретроспективы.
- Archive Team [7] - команда волонтёров архивирующая погибающие (гигантские) сайты совместной работой над выгрузкой всего контента который может исчезнуть

И многие другие проекты. Чем больше данных и знаний создает человечество, тем больше нужно усилий по их сохранению.

Ссылки:
[1] http://europeana.eu/
[2] http://www.canadiana.ca/
[3] https://trove.nla.gov.au
[4] https://www.softwareheritage.org
[5] http://www.oldversion.com/
[6] http://commoncrawl.org/
[7] https://www.archiveteam.org/

#open #digitalpreservation
В Италии команда Team Digitale занимается разработкой типового портала муниципального образования, который будет с открытым кодом и который любой муниципалитет может использовать. Они рассказывают про свой опыт в блоге [1], а прототип сайта можно увидеть по ссылке [2].

Открытость разработки - это гораздо больше чем открытый код, это ещё и прозрачность процесса и вовлечение пользователей на ранних этапах проектирования.

Ссылки:
[1] https://medium.com/team-per-la-trasformazione-digitale/standard-website-model-italian-municipalities-design-prototype-mobile-first-open-source-67edd3921e1b
[2] https://projects.invisionapp.com/share/Q2OTF1RMNUB#/screens

#open #opengov
Тем временем, похоже что, во Франции власти решили выбиться в мировые лидеры открытости диалога государства и граждан. На специальном сайте посвящённом организации открытого диалога [1]. Этот сайт организован в Etalab [2], специальной ИТ службе при Правительстве Франции и помимо рекомендаций о том как организовывать открытый диалог, но и перечень инструментов, в основном коммерческих, для его организации [3], а также требования к таким инструментам для включения в такой каталог [4].

Там же много примеров использования этих инструментов [5], например публичные консультации Парижа в 2016 году - Cities for Life [6]

Среди инструментов не только те которые делаются во Франции, например, там упомянут Decidim [7] созданный правительством Барселоны.

Сравнимые масштабы внедрения публичных дебатов в цифру есть только в Испании. В основном на базе открытого ПО Consul [8].

Но теперь похоже что во Франции открытый диалог будет внедряться быстрее.
Стоит обратить внимание на правильный подход. Не один монополист подрядчик, не государственная корпорация разрабатывает монопольное решение, а, фактически, новая модель аккредитации и консультации по внедрению и сопровождению внедрения коммерческих и открытых решений.

Ссылки:
[1] https://consultation.etalab.gouv.fr
[2] https://etalab.gouv.fr
[3] https://consultation.etalab.gouv.fr/lesoutils.html
[4] https://consultation.etalab.gouv.fr/criteres.html
[5] https://consultation.etalab.gouv.fr/lesoutils.html
[6] https://assembl-civic.bluenove.com/debate/citiesforlife#
[7] https://meta.decidim.org
[8] http://consulproject.org/en/

#opengovernment #france #open
О разнице в восприятии, языковых особенностях и о том во что вырождается открытость

Когда переводишь на русский язык слова явлений, определений и многое другое с других языков то часто возникает если не недопонимание то неточные трактовки. Например, устойчивые выражения "по данным открытых источников" или по "открытым данным" много лет мешало русскому переводу термина "open data", тоже открытые данные. Потому что в трактовке журналиста пишущего статью открытые данные - это любая общедоступная информация, но в трактовке open data - это вполне конкретная форма представления информации в машиночитаемом виде и под свободными лицензиями.

Когда появилось "Открытое правительство" и вообще декларируемая открытость органов власти мы пришли к другому искажению, отчасти искусственному. В мире под открытостью государства всегда подразумевается транспарентность как её основа, остальное - это важное обрамление. А вот открытость может иметь много черт, от дней открытых дверей до совершенно нерелевантных к прозрачности органа власти действий.

Во что вырождаются идеи по открытости в России и в каких формах они ещё существуют? Посмотрим на эволюцию open проектов.

1. Для многих городов открытость свелась исключительно к жалобам. Порталы вроде Открытый город Тольяти open.tgl.ru [1] и множество аналогичных - более десятков сайтов городов.
2. Кое где в регионах остались Открытые правительства субъектов федерации. Иркутская область [2], Краснодарский край [3], всего около десятка регионов
3. Очень много проектов под брендами "Открытое образование" [4]
4. Много медийных проектов в стиле "Открытой Россию с РЖД" [5]
5. Сайт федерального "Открытого пр-ва" выродился [6] в ленту новостей и, по хорошему, его надо полностью перезапускать. Потому что превращать сайт про открытость в сайт бездействующего экспертного совета, прямо скажем, некрасиво

Какие ещё формы когнитивных искажений открытости Вам встречались? Как правильно разграничивать термины?

Ссылки:
[1] http://open.tgl.ru
[2] http://open.irkobl.ru/
[3] http://open.krasnodar.ru/
[4] http://open.kbsu.ru/
[5] https://www.open.fpc.ru/
[6] https://open.gov.ru/

#open #opengov
Обратили ли Вы внимание что...

У Министерства просвещения РФ нет раздела "Документы" и публикации нормативно-правовых актов на их сайте [1] которые требуются по 8-ФЗ.

Значит ли это что?
1. 8-ФЗ перестал соблюдаться (закон "помер")
2. Не осталось НКО и активистов кто напоминает госорганов о его существовании.
3. Главный контролёр 8-ФЗ забил на свои полномочия и функции (кстати вспомните что за орган власти)
4. Минпросвещения даже не планировали его соблюдать

Или всё вместе? Но факт остаётся фактом - сайт Минпросвещения мало чем отличается от сайта визитки.

Ссылки:
[1] https://edu.gov.ru/

#opengov #open #website #ministryofsomething
Откуда в мире столько открытого кода? Почему он необходим? В чём важность проектов открытости? А самое главное где найти финансирование на проекты с открытым кодом. В мире существуют десятки фондов и компаний поддерживающих открытый код. Вот лишь несколько из них:

- Mozilla Open Source Support (MOSS) [1] дают большие гранты на развитие проектов с открытым кодом полезных для продуктов Mozilla Foundation
- Google Open Source [2] поддерживают проекты в которых Google нужна доп функциональность, проекты в жизнестойкости которых Google заинтересован и стратегические проекты
- Samsung Next Stack [3] проекты децентрализованных технологией поддерживаются грантами от компании Samsung
- Digital Impact Allience [4] дают гранты на проекты помогающие обществу
- Sloan Foundation даёт гранты на разработку программного кода [5]
- Python Software Foundation [6] даёт гранты, в том числе на конференции.
- Knights Foundation [7] выдаёт гранты на технологическую журналистику, дата журналистику и прочие ИТ проекты для журналистов
- PrototypeFund [8] государственная грантовая программа Министерства образования и исследований Германии. Поддерживается Open Knowledge Foundation Germany

О том как искать финансирование для проектов на базе открытого кода есть специальное руководство с большим количеством примеров из жизни [8]

Ссылки:
[1] https://www.mozilla.org/en-US/moss/
[2] https://opensource.google/docs/growing/funding/
[3] https://samsungnext.com/whats-next/introducing-the-samsung-next-stack-zero-grant/
[4] https://www.osc.dial.community/grants.html
[5] https://sloan.org/programs/digital-technology/data-and-computational-research
[6] https://www.python.org/psf/grants/
[7] https://knightfoundation.org/programs/
[8] https://prototypefund.de/
[9] https://github.com/nayafia/lemonade-stand

#opensource #open
Медуза пишет о том что они выяснили адресатов получателей писем от ФСБ на получение ключей шифрования [1] и сделали это через сервис отслеживания писем и посылок.

Честно говоря "нет слов, одни эмоции" (c) и вопросов больше чем ответов. Главное чтобы теперь не закрыли отслеживание писем в почте России.

Становится понятнее почему Хабр поменял юрисдикцию, но совершенно непонятна логика запросов ключей шифрования именно у этих сервисов.

Ссылки:
[1] https://meduza.io/feature/2020/02/11/fsb-potrebovala-klyuchi-dlya-deshifrovki-perepiski-u-avito-rutube-habrahabra-i-esche-desyatka-saytov-eto-proizoshlo-v-razgar-moskovskih-protestov

#open #runet
Весьма интересная общедоступная база RUPEP.org [1] по базе PEP'ов - политически значимых персон. Уровень проработки у базы весьма неплохой, не только более 5 тысяч персон, но и все юр. лица с которыми они были связаны, с визуализацией и досье на каждую персону. Однако для работы с ресурсом требуется авторизация, там нет открытых данных и самый злободневный вопрос, а кто же автор? На странице "О проекте" владельцем базы указан PEPWatch [2], без каких либо реквизитов и выходных данных. PEPWatch - это коммерческое юридическое лицо в Чехии [3] с единственным учредителем Halyna Senyk [4] и без какой-либо дополнительной информации. Соцсети PEPWatch оказались удалёнными много лет назад, а отсутствие упоминание создателя организации в подробностях - это очень большая редкость в таких проектах.

Поэтому проект интересный и любопытный, а вот его создатель на редкость странный и непонятный. Что-то тут не так с его создателем

Ссылки:
[1] https://rupep.org
[2] https://rupep.org/ru/%D0%B2%D0%BE%D0%BF%D1%80%D0%BE%D1%81%D1%8B-%D0%B8-%D0%BE%D1%82%D0%B2%D0%B5%D1%82%D1%8B/
[3] https://rejstrik-firem.kurzy.cz/06719015/pepwatch-z-s/
[4] https://rejstrik-firem.kurzy.cz/osoba/2513651/

#open #peps
Многие контрольные ведомства раскрыли свои внутренние контактные данные, чтобы граждане имели возможность обратиться к сотрудникам напрямую. Некоторые даже создают отдельные приложения и горячие линии, а на своих сайтах и в соцсетях публикуют актуальную аналитику или полезную информацию, связанную с пандемией.

ВОА Мексики запустило [1] бесплатное электронное приложение для смартфонов и планшетов, которое позволяет напрямую обращаться в ведомство по вопросам его деятельности.

ВОА США с помощью горячей линии Fraudnet [2] принимает заявления о возможных случаях мошенничества со средствами, которые были выделены на противодействие COVID-19.

Глава ВОА ЮАР [3] активно информирует граждан о ситуации с распространением COVID-19 в республике. Ежедневно в Twitter появляются репосты обновлений статистических данных, публикуются правила изоляции, информация о мерах, принимаемых государством.

Всё это можно узнать из регулярного дайджеста Счётной палаты [4] подписаться на который можно в футере любой страницы на сайте Счетной палаты [5]

P.S. Как человек получающий десятки рассылок самых разных госорганов могу сказать что одна из худших рассылок новостей у ФНС России, а в последние полтора года одна из лучших рассылок именно у Счетной палаты.

Ссылки:
[1] https://twitter.com/ASF_Mexico/status/1245049289438457857
[2] https://www.gao.gov/about/what-gao-does/fraudnet/
[3] https://twitter.com/AuditorGen_SA
[4] http://audit.gov.ru/upload/pdf/Covid-19-SIA.pdf
[5] http://audit.gov.ru/

#open #sprf
Если Вы знаете другие "нюансы и особенности", напишите, обязательно пригляжусь к ним подробнее.

Ссылки:
[1] https://en.wikipedia.org/wiki/Carl_Malamud
[2] https://law.resource.org
[3] https://case.law
[4] https://www.mos.ru/authority/documents/
[5] https://www.mos.ru/authority/documents/doc/39999220/

#moscow #legaldocs #normdocs #open
В International Budget Partnership (IBP). выпустили первое исследование о высших органах аудита (supreme audit institutions) о том как устроена их работа [1], также это исследование можно прочесть в кратком изложении [2]

Отчет состоит из анализа шести компонент:
1. Институциональная рамка
2. Публичный внешний отчет от Органа высшего аудита
3. Парламентский надзор
4. Реакция исполнительной власти
5. Независимые последующие шаги
6. Общественное участие

Про Россию отдельно там ничего нет, оценок по странам тоже, есть только сводные графики по группам стран по блокам EUROSAI, ASOSAI и тд.

Эта работа совместная IBP и INTOSAI Development Initiative [3]

В отчёте также много рекомендаций по открытости органов высшего аудита, о них я напишу отдельно.

Например, рекомендации для органов высшего аудита в краткосрочном периоде относятся к публикации всех отчетов, обязательного публичной проверки исполнялись ли рекомендации, коммуникации с организациями гражданского общества при подготовке планов проверок и оценка собственной независимости в соответствии с лучшими мировыми практиками.

И многое другое.

На них же можно смотреть и для построения внутристрановой оценки открытости органов парламентского аудита по субъектам федерации в России.

Ссылки:
[1] https://www.internationalbudget.org/publications/all-hands-on-deck-harnessing-accountability-through-external-public-audits/
[2] https://www.internationalbudget.org/oversight-systems-exec-summary/
[3] https://www.idi.no/

#open #sai #accountingchamber
Журналисты нашли в плане законопроектной деятельности Минфина России [1] то что Министерство финансов до октября 2021 года внесет в правительство законопроект о создании «закрытой» части в государственном информационном ресурсе финансовой отчетности компаний.

План был подписан и опубликован 17 февраля 2021 года [2], то есть совсем свежий. Опубликован, ожидаемо, в виде отсканированного документа, зато (вздох) с подписью министра Силуанова.

При том что ещё в 2018-2019 года они умели публиковать его, если не таблицей, то хоть текстом [3] [4], а с 2020 года уже сканы [5]. Но это я отвлекаюсь от сути, хотя предоставление сканами и важно с точки зрения находимости ключевых документов

На самом деле известно об этом было ещё полтора месяца назад. Постановлением Правительства N2386 от 30.12.2020 г. была утверждена госпрограмма «Управление государственными финансами и регулирование финансовых рынков» [6] и там этот законопроект был прописан как один из результатов мероприятия 3.5., но, указано, что её инициатором был сам Минфин России.

В чем проблема этого регулирования - это очередной шаг в снижении открытости сведений о контрагентах. С размытыми формулировками можно скрывать какие-угодно компании от публичного раскрытия информации о их хозяйственной деятельности.

В целом, тренд на закрытие ключевой информации о государственных и окологосударственных организациях сохраняется. И в этом, конечно, хорошего мало.

Ссылки:
[1] https://www.rbc.ru/economics/20/02/2021/602fe18d9a79470a153f2bc2
[2] https://minfin.gov.ru/ru/document/?id_4=132589-plan_zakonoproektnoi_dyeyatelnosti_ministerstva_finansov_rossiiskoi_federatsii_na_2021_god
[3] https://minfin.gov.ru/ru/om/PlanReport/plans/?id_4=122412-plan-grafik_normativno-pravovoi_raboty_minfina_rossii_na_2018_god_i_na_srednesrochnuyu_i_dolgosrochnuyu_perspektivu_razdel_iv
[4] https://minfin.gov.ru/ru/om/PlanReport/plans/?id_4=126679-plan-grafik_normativnoi_pravovoi_raboty_minfina_rossii_na_2019_god_po_sostoyaniyu_na_08.02.2019
[5] https://minfin.gov.ru/ru/om/PlanReport/plans/?id_4=129257-plan_ministerstva_finansov_rossiiskoi_federatsii_po_ryealizatsii_kontseptsii_otkrytosti_federalnykh_organov_ispolnitelnoi_vlasti_na_2020_god
[6] https://minfin.gov.ru/ru/perfomance/budget/govprog/gosfin/?id_57=132348-postanovlenie_pravitelstva_rossiiskoi_federatsii_ot_30.12.2020__2386_o_vnesenii_izmenenii_v_gosudarstvennuyu_programmu_rossiiskoi_federatsii_upravlen

#open #closed #finances
Сегодня и следующие 12 дней начинается MozFest [1] большая онлайн конференция/фестиваль/серия мероприятий где, в том числе затрагиваеются такие темы как AI, открытость, децентрализация, управление данными и многое другое. А также большое число интерактивных сессий программирования онлайн.

Весь тайминг адаптирован под восточное побережье США поэтому в Москве он выглядит как серии сессий с 16:30 до 1:30

Участие стоит небольшой денежки, организаторы рекомендуют потратить $45, но Вы сами можете выбрать сумму.

Ссылки:
[1] https://www.mozillafestival.org

#openness #open #mozilla #data #events