Небольшой анонс

После некоторых размышлений я решил разделить свои блоги на несколько.

Новый блог на Яндекс.Дзен будет только на русском языке https://zen.yandex.ru/id/5a315e1300b3dd77beb64261. Там уже есть несколько заметок по единой платформе для государственных сайтов и архивации сайтов кандидатов в президенты.

Блог на Medium - http://medium.com/@ibegtin - будет только на английском и других языках (не на русском). Он будет на зарубежную аудиторию и о том что происходит у нас в России или глобально в тех темах которыми я занимаюсь.

В Телеграм канале https://t.me/begtin будут публикации оттуда и оттуда и собственные "короткие заметки".

В фэйсбуке то же самое что в телеграм канале сдобренное текстами для дискуссии и рефлексии https://facebook.com/ibegtin.

По прежнему связаться со мной проще всего в чате https://t.me/begtinchat

#opendata #blogging

Владельцы веб-сайтов давно следят за пользователями, с самыми разными целями, но в основном с тем чтобы сохранить и преумножить свою аудиторию (и прибыль).

Иногда эта слежка проста и очевидна, а иногда оказывается что относительно безобидные счетчики собирают о пользователях ту информацию которую те не были бы готовы раскрыть. Пользователи ищут приватности и начинают пользоваться такими браузерами как Tor и расширениями для браузеров такими как Ghostery, Privacy Badger или Adblock.

В свою очередь разработчики сайтов и сервисов отслеживания применяют все более изощренную технику сбора информации о посетителях и отслеживания даже тех кто борется с отслеживанием.
...
https://zen.yandex.ru/media/id/5a315e1300b3dd77beb64261/novye-mehanizmy-slejki-za-polzovateliami-issledovanie-1-milliona-saitov-5a32ae52fd96b19b2f8d7e3b

ОЭСР выпустила Recommendation of the Council on Open Government 14 December 2017 - C(2017)140 - C/M(2017)22
http://www.oecd.org/gov/Recommendation-Open-Government-Approved-Council-141217.pdf

Спасибо Алексею Ефремову за ссылку.

В Яндекс.Дзен написал первую часть обзора того как устроены организации некоммерческого сектора и почему с ними все так непросто. Там про спортивные клубы, образовательные НКО и не только https://zen.yandex.ru/media/id/5a315e1300b3dd77beb64261/kak-ustroen-nekommercheskii-sektor-vrossii-chast-1-5a363ff08139ba06ba669bf7?

Моя презентация с пятничной конференции Минэкономразвития

Портал данных по миграции [1] открыт IOM [2], Международной организации по миграции. На портале собрана международная статистика, удобные инструменты для работы с ней, инфографика, методики и многое другое.

Структуры ООН давно и много собирают данных, при этом сама ООН не так много их публикует как бы хотелось. Из наиболее памятных их проектов это Data.UN [3] и Data Worldbank [4].

Для тех кто занимается международными исследованиями в этих данных найдется что-то полезное.

Ссылки:
[1] http://migrationdataportal.org
[2] https://www.iom.int/
[3] http://data.un.org
[4] http://data.worldbank.org

#opendata #opengov #un

Для тех кто любит данные, связанные данные и утечки - свежий интересный набор данных. Exaptive [1] выложили Панамские бумаги в формате RDF на платформе data.world [2] и разместили пост о том как они это делали в блоге [3] с небольшой рекламой их Exaptive Studio и Cray Graph Engine (CGE) [4] для визуализации графовых баз данных.

Признаться я впервые вижу какое-либо применение CGE, тем более стартапом и, сразу, немного немало, а связанные данные и пока не могу понять дает ли их движок какую-либо реальную добавленную ценность.

А вот блог data.world [5] вполне могу порекомендовать для регулярного чтения. Data.world претендует на то чтобы стать Github'ом для данных и, вполне возможно, у них получится. Это один из стартапов за которым я лично пристально слежу.

Ссылки:
[1] https://exaptive.city
[2] https://data.world/exaptive/panama-papers
[3] https://blog.data.world/how-a-startup-analyzed-over-11-million-panama-papers-in-1-week-bcfe9ea76260
[4] https://www.cray.com/products/analytics/cray-graph-engine
[5] https://blog.data.world

Читайте также мой основной блог на русском языке https://zen.yandex.ru/id/5a315e1300b3dd77beb64261, на английском https://medium.com/@ibegtin, в телеграм https://t.me/begtin

#opendata #panamapapers #data #semanticweb

Национальная комиссия по инфраструктуре Великобритании опубликовала доклад Data for Public Good [1] где признала данные инфраструктурой [2] и обозначила значимость открытых данных для инноваций.

Доклад, отчасти, возвращает нас к вопросу чем открытые данные более полезны чем когда они доступны за деньги или иным регулируемым образом. Открытость данных значительно снижает порог входа для data-стартапов и дает возможность создавать информационные продукты значительно быстрее и с меньшими издержками.

Ссылки:
[1] https://www.nic.org.uk/publications/data-public-good/
[2] https://theodi.org/what-is-data-infrastructure

#opendata #opengov #data #uk

В следующем годы наши планы Инфокультуры будут в том чтобы постепенно приводить в порядок наши ресурсы - Хаб открытых данных [1], наш сайт [2], цифровой архив [3] и многое другое.

Большую часть наших проектов мы создаем и поддерживаем сами. Иногда удается найти для них финансирование, а чаще это собственные инициативы.

А также мы начинаем перезапуск комуникационных площадок. Телеграм для них хорош, но он ограничен и поиском по истории и возможностями работы.

Ссылки:
[1] https://hubofdata.ru
[2] https://infoculture.ru
[3] https://ruarxive.org

#opendata #infoculture

Приглашаю в наше сообщество в Slack'е Open Data in Russian. Его преимуществом будет не только несколько каналов, но и интеграция с новостями об открытых данных и база документов.

https://join.slack.com/t/opendatarussia/shared_invite/enQtMjg4ODM2MTQzODU4LWFhYjRiNThjZmFhNjQwMjgyNTZmMDU5NDAwNWUxZmNlYTA2YWI5OGE5MWUyMDBhOGE1ZDUxOTk2NjAyNTY3YWE

Мы создавали его изначально именно для обсуждения открытых данных на русском языке, наряду с сообществами в Facebook и других площадках. За это время более-менее прижился только телеграм, но и у него есть свои пределы удобства. Так что будем реактивировать эту площадку.

#opendata #opengov #infoculture

Тем временем не я один поднимаю вопрос об алгоритмической манипуляции потребителями. В Нью Йорке власти города рассматривают законопроект об обязательной публичности и обследовании всех алгоритмов используемых городскими службами.

Arstechnica пишет [1] что уже публикуют даже алгоритмы анализа ДНК и изучают способы описания работы алгоритмов понятным людям языком. Что особенно важно для безальтернативных алгоритмов используемых госорганами.

Это важная история именно в контексте цифровой экономики и не надо думать что Россию она не затронет.

Однако будем надеяться что наши депутаты еще не скоро до этого догадаются, потому что начнут они регулировать не государство, а коммерческие компании.

Не присылайте им ссылки на этот текст. Не надо.

Ссылки:
[1] https://arstechnica.com/tech-policy/2017/12/new-york-city-moves-to-create-accountability-for-algorithms/

#opendata #opensource #algorithms

Как устроен некоммерческий сектор в России. Часть 2 [1]
Продолжение публикации на основе накопленных нами данных в проекте Открытые НКО и анализа существующих некоммерческих организаций.

В 3-й части я расскажу подробнее о том почему многие организации регистрируются как некоммерческие, а в 4-й расскажу подробнее о проблемах и особенностях расширенной деятельностной классификации НКО и о подходах к этой задаче. А также о том какие выводы можно делать на расширении информации об организациях, их бухгалтерских балансах и отчетах.

Ссылки:
[1] https://zen.yandex.ru/media/id/5a315e1300b3dd77beb64261/kak-ustroen-nekommercheskii-sektor-v-rossii-chast-2-5a3a1e898139ba9e538c916b?

#opendata #openngo #opengovernment

Идея перевода госсайтов на единый ресурс и единую платформу gov.ru актуальна была всегда и то что сейчас ей озадачилось Минсвязи - это неплохо. Статья в РБК [1] обнадеживает то мы можем застать этот процесс уже в следующем году.

Но не стоит рассчитывать что он будет прост. Многие сайты госорганов уже созданы и делать единый ресурс означает покушаться на ИТ бюджеты ФОИВов. Они будут сопротивляться, некоторые обосновано, некоторые рефлекторно, но будут.

Если проект не будет курировать глава правительства лично, шансы его будут невелики.

Ссылки:
[1] https://www.rbc.ru/technology_and_media/22/12/2017/5a3a6b8a9a79470d0525805b

#opendata #opengov #govru

У КБ Стрелка вышло интересное исследование по устройству городских бюджетов региональных столиц [1].

Со многих точек зрения интересное исследование, в первую очередь тем что видна дистанция между городами лидерами по управлению городским имуществом и финансами и городами аутсайдерами.

Всегда жаль лишь что по итогам публикуются только документы исследования, а не созданные данные.

Ссылки:
[1] http://citybudget.strelka-kb.com/
#openbudgets #budget

Поздравляю всех и от себя лично и от АНО "Инфокультура" всех с наступающим Новым годом! В следующем году темы о которых я пишу - открытые данные, государство, технологии, цифровая архивация и многое другое продолжат свое развитие. Кроме открытых данных лично я много внимания буду уделять некоммерческому сектору в России, в первую очередь с точки зрения работы именно с открытыми данными. Другое направление будет - это помощь бизнесу в защите его интересов когда государство открывает или не открывает информацию. И, конечно, продолжать все наши проекты.

Интересные проекты и события уходящего года в области данных в мире
Научные данные:
- Dat [1] децентрализованный протокол обмена данными. Использует обмен данными P2P для ускоренной и удобной доставки наборов данных. Пока, в основном, используется в научном сообществе.
- Code Ocean [2] - стартап по перепроверке результатов исследований онлайн. Предоставляет платформу куда можно публиковать код и данные и предоставлять возможность воспроизводить результаты запуская код в облаке.
- Frictionless Data [3] проект Open Knowledge International по унификации метаданных и распространению CSV файлов с обязательными схемами и спецификациями.
- научные проект поддерживанием Alfred P. Sloan Foundation [4] их довольно много и с каждым годом все больше. В основном они касаются создания, визуализации и обмена научными открытыми данными.

Открытый код:
- Toapi [5] проект с открытым кодом по быстром превращению страниц сайта в API. Работает как конструктор, очень простой в использовании и стремительно набирающий популярность
- Public APIs [6] большая коллекция ссылок на общедоступные API со ссылками на документацию и все разделено по категориям
- Rawgraph [7] удобная библиотека и сервис по визуализации табличных данных

Платформы:
- Data World [8] один из немногих проектов которые реально могут стать аналогом Github для данных
- AirTable [9] являются аналогом Excel'я и конкурентом Google Spreadsheets, но с более быстрым интерфейсом, API и другими возможностями.

Ссылки:
[1] https://datproject.org/
[2] https://codeocean.com/
[3] http://frictionlessdata.io/
[4] https://sloan.org/programs/digital-technology/data-and-computational-research/platforms
[5] https://github.com/gaojiuli/toapi
[6] https://github.com/toddmotto/public-apis
[7] http://rawgraphs.io/
[8] https://data.world
[9] https://airtable.com/

#opendata #opengov

о том как меняется подход к статистике в Великобритании. Команды статистиков работают вместе с data scientist'ами над выработкой удобных инструментов доступа к статистике. Например, органы власти финансируют появление пакетов для языка R для удобной работы с официальными данными.

Transforming the process of producing official statistics
https://dataingovernment.blog.gov.uk/2017/11/27/transforming-the-process-of-producing-official-statistics/

In March, we blogged about our work with analysts across government to
transform the way we produce official statistics. We borrowed ideas from
software development and academia to demonstrate what this might look like. We
called the project ‘RAP’, which stands for Reproducible Analytical Pipelines.