Ivan Begtin
7.98K subscribers
1.83K photos
3 videos
101 files
4.53K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts ivan@begtin.tech
Download Telegram
Правительство Канады решилось на реорганизацию всех своих сайтов в рамках единого портала canada.ca и объявило конкурс на сведение всех сайтов органов власти с уменьшением числа веб-страниц. Активисты и эксперты уже пишут критические отзывы о этой инициативе [1]

Mike Gifford являющийся Drupal 8 Core Accessibility Maintainer at Drupal Project изложил следующие тезисы:
1. Выбор проприетарной платформы в виде Adobe (наиболее вероятный победитель конкурса) - это ошибка и vendor lock-in.
2. Канада федеративная страна, в отличие от Великобритании, и загнать всех на одну платформу просто нельзя.
3. У Канадского правительства гораздо хуже с открытостью кода чем в Великобритании и поэтому аналога успеха Alphagov и Gov.uk не получится.

О этих и многих других проблемах пишет Ottawa Citizen [2].

В России вопрос о централизации сайтов федеральных органов власти не стоит даже в публичной повестке. Всё что происходило в последние годы - это консолидация сайтов территориальных органов власти под их сайтами: МВД, Следственный комитет, Минюст, ФНС, Федеральное казначейство и многие другие перешли на единые сайты для своих управлений. На единый портал перешло Московское правительство и ряд правительств субъектов федерации.

Ссылки:
[1] https://www.linkedin.com/pulse/what-isnt-being-said-canadaca-mike-gifford
[2] http://ottawacitizen.com/news/politics/federal-governments-canada-ca-one-website-project-proving-costly-and-confusing

#opendata #opengov
Статья с которой началось моё утреннее чтение о том как преступники начинают использовать искусственный интеллект [1]
и другие технологические инструменты социальной инженерии используемые в самых неблаговидных целях.
Кстати, обратите внимание что до сих пор ни одна хакерская группировка на создала самоподдерживающийся ботнет который бы автоматически (с помощью AI) находил бы объекты взлома, переводил бы ворованное в деньги и тд.
Вообще мир будущего с _либерализированным доступом к инструментам искусственного интеллекта_ даже опаснее антиутопий где им владеют только выбранные корпорации и правительства.

Ссылки:
[1] http://www.nytimes.com/2016/10/24/technology/artificial-intelligence-evolves-with-its-criminal-potential.html

#security #ai
Централизованный портал для всего открытого исходного кода федерального правительства США появился в сети по адресу Code.gov[1]
Портал создан как продолжение политики исходного кода [2] и пилотных программ по раскрытию до 20% всего разработанного кода федеральными ведомствами в США.

Объёмы раскрываемого государственного кода в США уже поражают. Сотни органов власти и исследовательских центров собраны в сообществе Government [3] на Github и они раскрывают тысячи репозиториев кода, значительная часть которого уже используется в других проектах.


Ссылки:
[1] https://code.gov
[2] https://sourcecode.cio.gov
[3] https://government.github.com/

#opensource #opengov
Гигантский лонгрид "Decoding data" [1] на сайте Exposing The invisible [2] от ребят из Tactical Technology Collective [3]

Это очень подробный гайдлайн о том что такое данные, как с ними работать, как расшифровывать и не только.

Это одно из многих их руководств о том как извлекать "скрытые знания" из довольно известных и общепринятых инструментов и сервисов: социальных сетей, хэштегов, метаданных и не только.

Коллекция практических пособий для журналистов расследователей.

Ссылки:
[1] https://exposingtheinvisible.org/guides/decoding-data
[2] https://exposingtheinvisible.org/
[3] https://tacticaltech.org/

#opendata #opengov
Какие [не]выборные выводы можно извлечь из президентских выборов в США ?

1. Журналистика данных окончательно закрепила свою медийную нишу - она побеждает в длинных спецпроектах. FiveThirtyEight [1], сайты NYTimes, WashingtonPost и десятков других изданий, либо сделали спецпроекты, либо сами превратились в спецпроекты на время выборов.

2. В отличие от текстов, для журналистики данных очень важна предварительная подготовка. Так, FiveThirtyEight работают в нише предсказаний и визуализации давно и у них уже был готовый инструментарий. Другие издания давно переработали свои CMS под то чтобы можно было главную страницу превратить в спецпроект. Для этого же заранее готовили инструментарий по визуализации на картах и многое другое. Для событий которые _гарантированно произойдут_ подготовку можно вести сильно заранее и поэтому многие из них формировали команды и запаслись данными и инструментами сильно заранее.

3. Пока трудно оценить весь масштаб, но безусловно большую роль играет открытый код публикуемый редакциями ключевых изданий.
Вот лишь несколько изданий ведущих разработку и публикующих данные в открытом режиме:
- FiveThirtyEight - https://github.com/fivethirtyeight
- New York Times - https://github.com/NYTimes
- Washington Post - https://github.com/washingtonpost
- Chicago Tribune - https://github.com/newsapps
и многие другие. Я думаю что до сих пор никто не систематизировал их все.
4. Судьба FiveThirtyEight (это был частный проект до его покупки ESPN) показывает что если Вы энтузиаст(-ка) и делаете собственный продолжительный проект в медиа на данных, то рано или поздно, но успех Вас настигает.

Ссылки:
[1] http://fivethirtyeight.com

#opendata #datavisualization
Вышел доклад "Making a success of digital government" [1] от "Institute for Government" в Великобритании. Это частный мозговой центр специализирующися на вопросах качества государственного управления в Великобритании.

В их последнем отчёте рассмотрены вопросы связанные с цифровизацией правительства и разобраны подробно подходы и результаты 5 цифровых проектов Британского правительства.

Ссылки:
[1] http://www.instituteforgovernment.org.uk/sites/default/files/publications/IFGJ4942_Digital_Government_Report_10_16%20WEB%20%28a%29.pdf
[2] www.instituteforgovernment.org.uk

#opendata #opengov #digital
Правительство Сингапура полностью перейдет на Facebook Workplace в 2017 году [1]. Это 143 тысячи государственных служащих которые будут пользоваться профессиональной версией этой социальной сети [2]. При текущих расценках, это обойдётся Правительству Сингапура в $155.000 в год (около 10 миллионов рублей). Совершенно небольшая сумма, не сравнимая с расходами на собственную автоматизиацию даже у малых российских органов власти.

Ссылки:
[1] https://govinsider.asia/connected-gov/entire-singapore-civil-service-to-use-facebook-for-work-by-2017-peter-ong/
[2] https://workplace.fb.com/

#govinnovation #government
Один из важных вопросов к новой администрации Белого Дома в США - это судьба их ключевых технологических команд USDS (The United States Digital Service) и 18F. Об этом пишет David Eaves, канадец, преподаватель Гарвадского университета и Университета Кеннеди о госуправлении, в заметке "The Future of USDS: Trump, civic tech and the lesson of GDS" [1] в его блоге.

В то же время члены команды 18F, например, Noah Kunin, пишет о том [2] почему он остаётся в 18F и что его работа не зависит от конкретного человека а офисе белого дома.

О том же пишет Jennifer Pahlka, основательница движения Code for America в заметке "The Work Ahead: Public Service Under Trump" [3] что работать надо несмотря на то кто пришел к власти и важнее всего работа на общество.

В случае Дженнифер она готовилась к работе в составе переходной команды Хиллари Клинтон и теперь всё очень сильно зависит от позиции новой администрации Белого дома.

Обо всём этом сборная статья в GovInsider [4] с главным акцентом на вероятную утечку мозгов из команд USDS и 18F.

И в Meritalk вышла статья о том что новая администрация точно будет избавляться от команды 18F [5] и от остальных технологических инициатив которые были инициированы администрацией Барака Обамы.

А вот все вопросы к новой администрации лучше всего сведены в блоге Sunlight Foundation в посте "The Trump questions: What will transparency and open government look like in the next White House?" [6]


Ссылки:
[1] https://medium.com/@daeaves/the-future-of-usds-trump-civic-tech-and-the-lesson-of-gds-ccdc904976fa#.gf4lkkd24
[2] https://medium.com/@noahkunin/why-im-staying-at-18f-9c9bc77a53fc
[3] https://medium.com/code-for-america/the-work-ahead-public-service-under-trump-b37446bbcde2
[4] https://govinsider.asia/digital-gov/what-is-the-future-of-usds-with-trump-as-president/
[5] https://www.meritalk.com/articles/trump-administration-likely-to-oust-18f/
[6] http://sunlightfoundation.com/2016/11/10/the-trump-questions-what-will-transparency-and-open-government-look-like-in-the-next-white-house/

#opengov #opendata #government
Краткий обзор за неделю актуальных и упущенных новостей:
1. Кника Changing Culture [1] от "Center for Government Excellence" описывает подходы к формированию культуры ориентированной на данные (data driven culture) внутри государственных органов.

2. OpenCities [2] австралийский стартап предоставляющий услуги анализа сайтов городов и созданию новых сайтов ориентированных на жителей. Обратите внимание на их отчёт "Building Better Council Websites [3] там анализируются муниципальные сайты по таким критериям как "приоритезация ключевых задач", "удобство поиска", "читабельность содержимого", "дружелюбность к мобильным устройствам", "скорость загрузки страниц", "приватность", "оптимизация для поисковых систем", "доступность". У них же можно увидеть профиль каждого сайта на специальном портале [4]

3. Офис по цифровым преобразования Австралии (Digital Transformation Office) был преобразован в полноценное агентство по цифровым преобразованиям (Digital Transformation Agency) [5] и теперь будет действовать в составе правительства с расширенными полномочиями [6]

4. Реформа госзакупок в Австралии проходит через создание цифрового рынка (digital marketplace) позволяющем отбирать поставщиков и участвовать в торгах полностью в электронном виде [7]. Сервис работает по модели предквалификации поставщиков и пока там всего 247 утверждённых подрядчиков и 209 заказчиков. Обратите внимание что подход к госзакупкам в Австралии похож на подход в большинстве развитых стран. В нём присутствует приоритет коммерческой тайны над общественным интересом и по этой причине большая часть информации доступна только после регистрации на портале цифрового рынка.

5. The Digital Republic Act [8] принят во Франции 7 октября и обязывает все государственные органы публиковать собранные ими базы данных. Данные должны быть анонимизированы и раскрываться без взимания платы.

6. Администрация города Лисмор в Австралии планирует добиться полной энергонезависимости к 2023 году. Об этом можно узнать из интервью с Isaac Smith, мэром этого города [9] В городе идёт проект при котором жителям проинвестировавшим в установку солнечных панелей город возвращает их затраты. Очень показательна цель "to create a sustainable and independent local government area" которая в России звучала бы чуть ли не революционно. Тем не менее автономные города - это новая реальность, вполне достижимая.

7. В Сингапуре экспериментируют с гибкой тарификацией на воду и энергию в течении дня [10] что должно позволить управлять привычками водо и энергопотребления жителей. Всё это также оцифровано и доступно через специальное мобильное приложение.

Ссылки:
[1] https://www.gitbook.com/book/centerforgov/changing-culture/details
[2] http://www.opencities.com/
[3] https://govinsider.asia/reports/OpenCities%20Australian%20Benchmark%20Report%202016.pdf
[4] http://benchmark.opencities.com/
[5] https://www.dta.gov.au
[6] http://ministers.dpmc.gov.au/taylor/2016/new-digital-agency-establishes-agenda
[7] https://marketplace.service.gov.au/
[8] http://www.republique-numerique.fr/pages/digital-republic-bill-rationale
[9] https://govinsider.asia/innovation/interview-mayor-of-lismore-city-council/
[10] https://govinsider.asia/innovation/energy-is-the-next-personalised-service/

#opendata #opengov #procurement #government
Одно из мероприятий в котором и я участвую, и наша НКО "Инфокультура" - это 19 ноября 2016 года состоится IV Общероссийский гражданский форум. У нас там будет свой круглый стол про открытые данные для НКО.

А из интересного - это то что в рамках проект КГИ "Открытый бюджет" будет интерактивная сессия «Консультант инициативного бюджетирования – новая профессия гражданского общества».

Тема инициативного, ранее говорили - партисипаторного, бюджетирования в России всё ещё новая. Хотя это одна из важнейших стадий где граждане могут повлиять на то куда пойдут государственные средства.

Вся подробная информация по ссылкам:
- https://orgcivilforum2015.timepad.ru/event/397704/komitetgi.ru/projects/77/
- https://www.facebook.com/events/1698426957140673/

А я как сейчас помню рассказы про эксперименты с инициативным бюджетированием в Тверской области, когда глава их департамента финансов рассказывал что подрядчики начали отказываться работать по проектам в рамках инициативного бюджетирования потому что граждане стали приходить на места стройки и контролировать соблюдение ГОСТов. Всё таки когда люди соучаствуют деньгами или на стадии принятия решения, потом совсем другое отношение на стадии исполнения бюджета, исполнения конкретных контрактов.

Так что я лично рассчитываю на пользу от этого мероприятия.

#opengov #budgets #govfinances
Это даже не новость, а непрерывный развивающийся тренд о котором нельзя не написать. Спецификация стандарта для публикации API - Swagger [1] в январе этого года вошла полностью в инициативу OpenAPI [2] и теперь развивается в при поддержке большого числа крупнейших ИТ игроков вошедших в консорциум.

Сейчас спецификация Swagger используется уже десятками платформ и игроков на рынке API, а сам рынок продолжает расти и наполнятся от крайне широких до очень узких сервисов по документированию, облачной защите, высокой производительности и другим задачам связанным с API. Мой прогноз в том что в России всплеск API сервисов наступит примерно через 2 года.

Сссылки:
[1] http://swagger.io
[2] https://www.openapis.org

#opendata #opengov #openapi
Давайте я вас расскажу над чем я думаю в последние дни, недели и месяцы.

А думаю я над тем что далеко не все данные госорганы будут публиковать в ближайшее время, по причинам того что многие данные были созданы много лет назад или того что что они на самом деле в других структурах. Но данные актуальные.

И эти данные людям нужны, нужны как и их проекты которые их используют на всеобщее благо.

Поэтому, кроме задач которые мы придумываем на хакатоны, я начал собирать задачи которые помогали бы формировать нашу экосистему. Помогали бы собирать данные и делать их общедоступными.

Эти задачи - это задачи по превращению имеющихся данных в открытые потому что их владельцы сами этого не сделают или сделают так нескоро что толку нет ждать.

Итак, вот список из 5 задач: https://github.com/infoculture/scrapetasks/issues?q=is%3Aissue+is%3Aopen+label%3A%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B8

с описанием того и что можно превращать в открытые данные.

А вот тут есть задача https://github.com/infoculture/scrapetasks/issues/5 для тех кто готов написать какие данные нужны именно как открытые данные.

А я лично думаю как поощрять тех кто помогает писать парсеры и данные собирать. На то чтобы общедоступные данные появлялись я готов тратить до 10 тысяч рублей личных средств ежемесячно, а в рамках тех проектов что мы делаем в НП "Информационная культура" возможно и какое-то финансирование из самих проектов.

И тут есть несколько путей:
1. Устраивать регулярные конкурсы с призами. Например, устроить небольшой конкурс на 3 месяца на лучшего автора парсеров с призом в 20k за первое место, 10k за второе и книжку за третье

2. Периодически нанимать фрилансеров на разовые задачи - от 500 рублей до 5 тысяч за очень сложные задачи.

3. Взять на договор стажера/разработчика которому это интересно и собирать задачи от сообщества.

Это задача N1.

Есть и задача N2 - "Просить данные".

Это работа по регулярной рассылке просьб дать данные - некоммерческим организациям, коммерческим организациям, госорганам и всем остальным.

Для неё нужен человек куратор на которого, скажу честно, вот прямо сейчас у меня бюджета нет. Но есть понимание что от него нужно и как построить работу. Это пока волонтёрская работа.

Ну а задача N3 - это то что наш проект хаба открытых данных http://hubofdata.ru сейчас также без куратора. Поэтому мы всё реже и реже его обновляем. Есть много идей и способов как привести его в порядок. Можно даже находить ежемесячно небольшие деньги на его поддержание.
Цель очень простая: чтобы у граждан, активистов был автономный портал с данными и чтобы этими данными было бы удобно пользоваться на конкурсах и хакатонах.

Причем много данных уже собрано и валяется на разных ресурсах, надо просто всех пинать, всё собирать и интегрировать.

Вот такие 3 задачи и мысли вокруг них.

А я готов рассмотреть и проговорить все возможные идеи которые я мог упустить. Пишите мне на https://telegram.me/ibegtin или в чате https://telegram.me/begtinchat

#opendata #opengov #helpwanted
Единый стандарт или единая платформа?
Какой должна быть единая норма? (c)

Герман Клименко из Института развития интернета озвучил инициативу по унификации всех сайтов органов власти под единый стандарт. Об этом пишет Roem.ru [1], а подробности есть на сайте RT [2] и возглавляет ее Артем Геллер, автор многих официальных сайтов органов власти [3] включая Kremlin.ru

Хорошо это или плохо - единый стандарт? Это вопрос открытый
- единые стандарты и требования есть в США в первую очередь стандарты представления информации понятным языком и для слабовидящих.
- единая платформа для всех официальных сайтов есть в Великобритании в проекте Gov.UK и в России, например, на уровне некоторых субъектов федерации таких как Москва.

С другой стороны, при миграции на новые/единые платформы теряются огромные объемы информации. За те несколько лет что я архивирую сайты госорганов я могу сказать что потеряно уже больше чем удалось сохранить. Владельцы информации совершенно не заботятся о сохранении архивов.

Ссылки:
[1] https://roem.ru/17-11-2016/236746/unidesign/
[2] https://russian.rt.com/russia/article/333566-standart-saity-gosstruktury
[3] https://vc.ru/p/kremlin

#opengov #government #government-as-a-platform
Rothamsted Research, ведущий исследовательский институт в области сельского хозяйства пытается создавать данные из длительных экспериментов о чем пишет BBC [1] в заметке "Open data aims to boost food security prospects". Институт является участником инициативы GODAN [2] (Global Open Data for Agriculture & Nutrition) объединяющий более 330 партнеров по всему миру.

Что такое длительные эксперименты? Это серия проектов мониторинга культивации культур, проб воздуха, воды, почвы и других данных сбор которых начался между 1843 и 1856 годами сэрами Джоном Лоусом и Генри Гилбертом [3].

Сейчас электронный архив экспериментов содержит данные накопленные за 170 лет [4] и является частью большой экосистемы банков данных по долгосрочным экспериментам с с почвой (Long-term Soil Experiments) [5]

Ссылки:
[1] http://www.bbc.com/news/science-environment-37941196
[2] http://www.godan.info/
[3] http://www.rothamsted.ac.uk/long-term-experiments-national-capability
[4] http://www.rothamsted.ac.uk/era
[5] http://iscn.fluxdata.org/partner-networks/long-term-soil-experiments/

#opendata #opengov #openscience
Для тех кто меня читает относительно недавно. Мой основной канал на котором я пишу только про открытые данные, открытость государства, технологии, госуправление, данные, госзакупки и еще ряд технологических тем - это канал в Telegram'е - https://telegram.me/begtin Обсуждать новости можно в специальном чате в Телеграм'е - https://telegram.me/begtinchat

В фэйсбуке https://facebook.com/ibegtin я пишу также обо всяких, не обязательно на 100% рабочих делах, а вот канал в телеграме хорошо высушен и в таком виде существует.
Коллеги также говорят что нам пора сделать рассылку Инфокультуры, но пока получается что вести ее мне. Хотя может быть и время пришло. Есть же GovLab digest, может и нам нужен свой.

#opendata #opengov
Журнал PLOS [1] открыл раздел открытых данных [2] включающий, и большой объем накопленных коллекций баз данных необходимых ученым, и множество статей по использованию открытых данных в научных исследованиях.

В статье "Introducing the PLOS Open Data Collection" [3] описана стратегия журнала и упоминаются обновленные в 2014 году условия публикации научных статей [4] вводящие обязательное требование к раскрытию данных прилагаемых к научным статьям, как обязательную часть прозрачности научных исследований.

Справка:
Журнал PLOS был основан в 2001 году как некоммерческий издатель на условиях открытого доступа (Open Access) , инноватционная организация с миссией в ускорении прогресса в науке и медицине, возглавляя трансфорформацию в коммуникациях исследователей.

Ссылки:
[1] https://www.plos.org
[2] http://collections.plos.org/open-data
[3] http://blogs.plos.org/collections/introducing-the-plos-open-data-collection/
[4] http://journals.plos.org/plosone/s/data-availability

#opendata #opengov #openscience #openaccess
В Португалии стартует на национальном уровне проект инициативного бюджетирования (participatory budgeting) [1]. При том что до этого уже десятки проектов инициативных бюджетов проходили на муниципальном уровне [2], однако на национальном уровне это впервые.

Особенность именно этого проекта в том что вначале организаторы собирают идеи и далее обеспечивают голосование за собранные идеи. При этом голосование реализовано посредством ATM устройств (банкоматом) поскольку именно они установлены практически в каждом поселении и оказалось что голосование через банкоматы реализовать даже проще.

Ссылки:
[1] https://apolitical.co/portugal-world-first-participatory-budget/
[2] http://portugalparticipa.pt/ (portugal)

#opendata #opengov #budgets
В прошедшую субботу, 19 ноября, участвовал в Общероссийском гражданском форуме как организатор секции по открытым данным для НКО и как выступающий на секции "Образ будущего". Видеозапись с секции "Образ будущего" с моими апокалиптичными прогнозами можно увидеть в записи на YouTube [1].

Мое выступление начинается на 39-й минуте и заканчивается на 54-й. Также обратите внимание на выступления Екатерины Шульман, Владимира Назарова, Светланы Маковецкой и Анатолия Вишневского. Они говори о другом, но не менее важном.

Ссылки:
[1] https://www.youtube.com/watch?v=lwmr6KLyXZE&feature=share

#opendata #opengov #bigdata #privacy
В интернете [1] буквально совсем недавно появился проект "Тенденцо" [2]

В описании проекта сказано:
Tendenco (пер. "тенденция") — система тренд-менеджмента. Система находится в стадии бета-тестирования. В его рамках в настоящее время мы проводим старт проекта по коллективной верификации и изучению трендов — масштабных наблюдаемых в мире процессов изменений в различных областях, обусловленных технологическими, социальными, экономическими причинами. Первой целевой группой выбраны тренды в сфере интернет экономики.
—-
Проект безусловно интересный. Мне он напомнил существовавший когда-то проект SciCast [3] по научному прогнозированию, но ныне недоступный.

Всем кто интересуется данными и имеет свои идеи насчет прогнозов будущего - могу предложить внести туда собственные идеи трендов. Я также это сделаю в том что касается открытые данных, приватности и ряда технологий.

Ссылки:
[1] https://www.facebook.com/basil.burov/posts/1243226569081746
[2] http://beta.tendenco.ru/
[3] http://scicast.org/

#opendata #opengov #future #farsight
Сбербанк открытыл раздел "Открытые данные" на своем сайте где разместил некоторое количество индикаторов на основе их "больших данных". Прежде чем подвергать банк критике и иным вульгарным выражениям предлагаю всем самостоятельно ознакомиться с их разделом.

Ссылки:
[1] http://www.sberbank.com/ru/opendata

#opendata #humor #sberbank #большойзеленыйслон #большойзеленыйбанк
Для тех кто кому непривычно или неудобно подписываться на канал в Телеграме мы создали рассылку Инфокультуры в которой, пока я, а далее и остальные коллеги начинаем транслировать наши новости.

Рассылка будет проходить раз в неделю, по четвергам, первая прошла сегодня рано утром.

Пока на нее можно подписаться по прямой ссылке http://infoculture.us7.list-manage1.com/subscribe?u=2e38b8af0d8a547b51427dc9b&id=dadb533f05 а потом и более удобно на сайте Инфокультуры - когда мы его обновим.

Напоминаю также про рассылку проект Госзатраты которая происходит отдельно и подписаться на которую можно на главной странице проекта https://clearspending.ru . В этой рассылки собраны темы относящиеся к открытости государственных финансов.

Если у Вас есть интересные новости, анонсы проектов или что-то еще интересное для рассылки - пишите мне на ibegtin@infoculture.ru или на infoculture@infoculture.ru

#opendata #opengov #infoculture