Данные в здравоохранении

Данные о законотворчестве

Данные о нефти и газе

Мало было нам Интернетов разных (вещей и т д.), теперь грядет Интернет Дронов. Начнут с системы, а потом вдруг сделают ее обязательной для всех дронов. А нам с этим жить...

Ростех разрабатывает Интернет дронов «Скайер»
https://rostec.ru/news/rostekh-razrabatyvaet-internet-dronov-skayer/

Начало производства высокоскоростной системы связи для беспилотников
запланировано на 2020 год

Total, французская международная нефтегазовая корпорация, объявили готовность публиковать [1] свою отчетность по стандарту EITI [2] и уже опубликовали список всех дочерних предприятий [3] и сумму и структуру выплат по странам и получателям [4]. Например в России их выплаты составили всего 14,3 миллиона долларов Ненецкой налоговой службе (видимо это УФНС по Ненецкому автономному округу.

EITI интересный проект, на базе которого уже создано немало общественных проектов по мониторингу нефтегазовой отрасли, в первую очередь справедливости распределения средств добывающих компаний. У них есть открытые данные и API [5].

А для тех кто в принципе интересуется как осуществляют мониторинг нефтяных доходов и расходов по всему миру, рекомендую проекты Resource Contracts [6] и OpenOIL [7], Publish What You Pay [8] и Extract-a-fact [9]. Нефтегазовая и добывающая отрасль в целом предмет пристальнейшего интереса общественности и с большим числом проектов по открытости в мире.


Ссылки:
[1] https://www.sustainable-performance.total.com/en/business-ethics-0
[2] https://eiti.org
[3] https://www.sustainable-performance.total.com/sites/shared/sustainable/files/atoms/files/total_-_consolidation_scope_2017.pdf
[4] https://www.sustainable-performance.total.com/sites/shared/sustainable/files/atoms/files/total_-_report_on_the_payments_made_to_governments_2017.pdf
[5] https://eiti.org/explore-data-portal
[6] https://resourcecontracts.org/
[7] http://openoil.net/
[8] http://www.pwypusa.org/
[9] http://www.extractafact.org/

#opendata #transparency #oil #gas

Ведомости пишут о свежем законопроекте об автономности Рунета [1], его можно прочитать на сайте законопроектов ГД [2].
Многое можно говорить о нём в целом и в деталях. У меня лично очень много комментариев, но вместо этого давайте попробуем поставить мысленный эксперимент и предположить что зомбо-инопланетяне одновременно воздействуют на всех владельцев сетевой инфраструктуры связывающей России с остальной сетевой инфраструктурой и отключают Россию от интернета.

Тем более что именно такой сценарий рассматривается в законопроекте как чрезвычайный (за исключением зомбо-инопланетян). И предположим что это произойдет 1 июня 2019 года, через полгода, немного, немало - в самый раз.

Так вот, внимание, вопросы:
1. Решит ли реализация законопроекта те проблемы на решение которых он ориентируется?
2. На сколько процентов ВВП упадёт экономика страны в первый же месяц?
3. Какой бизнес пострадает более всего и немедленно?
4. Необходимо ли будет введение военного положения в стране сразу же?
5. Действительно ли Роскомнадзор, а не Министерство обороны должно действовать в данном случае?
6. Готов ли проект государственной программы занятости для людей лишающихся работы ?

Вопросы не праздные, всё таки рассуждая о ядерной войне важно помнить где твое бомбоубежище. Так и здесь, сценарий зомби-апокалипсиса озвучен, а сценарий борьбы с ним нет.

Недоработка, однако.

Ссылки:
[1] https://www.vedomosti.ru/politics/news/2018/12/14/789345-globalnoi-seti
[2] http://sozd.parliament.gov.ru/bill/608767-7

#thinkaboutit

Я напоминаю что завтра Форум перспективных технологий https://tceh.com/events/forum-perspektivnyh-tehnologij/ с двумя площадками Ассоциациb участников рынка данных

Приходите, поговорим про данные, госрегулирование, стандарты и тд.

#data #opendata #bigdata

В Republic вышла моя статья про законопроект об "изоляции Рунета", хотел написать про технологии, а получилась статья про страх https://republic.ru/posts/92720

Интересное интервью [1] с Hanna Fry [2], профессором математики в UCL и автором книги "Hello World. Being Human in the Age of Machine". В интервью она говорит о важности аудита алгоритмов и об одном из возможных путей - созданием агентства вроде FDA (Food and Drug Agency - отвечает за тестирование лекарств, его российский аналог Росздравнадзор). Это агентство проверяло бы алгоритмы до того как они использовались бы на людях, сохраняя интеллектуальную собственность создателей, но имея возможность убедиться в недискриминационности алгоритмов.

Как и сама книга "Hello World", её интервью построено не на технических аспектах работы алгоритмов, а на этических и поднимают вопросы, прежде всего, кодификации и проверки моральности алгоритмических решений и ответов на которые мы сами должны найти ответ - готовы ли мы что многие решения в отношении нашей жизни начнут принимать алгоритмы.

Дождёмся ли мы того что решения начнут принимать алгоритмы, а обращение к решению человека будет аппеляцией к решению машины?
Это не только не праздные вопросы про будущее, это ещё и вопросы про настоящее.

Например:
- Готовы ли мы что нам алгоритмы начнут ставить диагноз?
- Готовы ли мы что алгоритмы будут нас судить вместо судей?
- Готовы ли мы что алгоритмы будут принимать решение чью жизнь спасать, пешехода или водителя?

Появление аналога FDA для алгоритмов может оказаться неподъёмной задачей для многих государств, не имея возможности платить экспертам анализирующим алгоритмы зарплаты сравнимые с зарплатами разработчиков алгоритмов можно будет столкнуться с большими сложностями в качестве их оценки. С другой стороны внимание и страхи граждан и регуляторов к тому как алгоритмы оказывают влияние на общество неизбежно приведет к тому что их разработка так или иначе будет подвержена этическим требованиям и их проверке.

Вопрос лишь в том как это будет устроено в итоге.

Ссылки:
[1] http://nautil.us/issue/66/clockwork/we-need-an-fda-for-algorithms
[2] http://www.hannahfry.co.uk/

#data #algorithms

Свежий канадский план по открытости государства, в виде их Национального плана открытости [1]
Многое можно о нём сказать, показательна будет даже его структура, по сути через открытость отражающая приоритеты правительства:
—-
Введение
Прогресс на текущую дату
Лидерство Канады в открытости правительств
От комментариев к обязательствам
Наши приниципы управления
1. Государство удобное для пользователей
2. Финансовая прозрачность и подотчетность
3. Корпоративная прозрачность
4. Цифровое государство и сервисы
5. Открытая наука
6. Здоровая демократия
7. Доступ к информации
8. Феминистический и инклюзивный диалог
9. Согласованное и открытое правительство
10. Сообщество открытости государства
—-
Сам план представляет Scott Brison, Министр цифрового развития Канады.

Чтобы было понимание как всё устроено - в России национального плана открытости более нет. Есть планы по другим направлениям, это инициативы вроде программы "Цифровая экономика" и "Цифровое государственное управление".

В чём отличие и особенности канадского плана по открытости от планов по цифровой экономики в России? В том что Канадский план политический, он адресован разным социальным группам и, по сути, он продолжение политических обязательств правительства. Российские программы, практически все что выходили за это время, политическими не являются. В лучшем случае они являются компромиссом и консенсусом групп влияния внутри государства/правительства, но ни в коей мере отражение реальных потребностей общества или, хотя бы, значимых его частей.

Ссылки:
[1] https://open.canada.ca/en/content/canadas-2018-2020-national-action-plan-open-government

#opengov #opendata #canada

Apple обновили раздел на сайте их отчёта по прозрачности и теперь предоставляют информацию о том как правительства стран запрашивают у них информацию и о чём именно [1].

Например, с января по июнь 2018 года Российские власти сделали 710 запросов из которых:
- 702 запроса с информацией об устройствах
- 5 запросов о финансовых идентификаторах (кредитные карты, кошельки и тд)
- 3 запроса связанных с аккаунтами, Apple ID и email адресами.
Подробнее на странице отчёта по стране [2]

Что характерно по другим странам - число официальных запросов никак не коррелирует с численностью граждан. Есть ли корреляция с числом айфонов у граждан стран, нужно собирать данные по их использованию.

Напомню что transparency report давно уже стало механизмом общественной ответственности цифровых/электронных/онлайн/IT сервисных компаний. Отчёты по прозрачности есть у Google, Microsoft, Automattic, Oath, Twitter, Proton A.G., Wikimedia, LinkedIn, DropBox, Reddit, Cloudflare, Janssen, Snap, Slack, Pinterest, Digital Ocean, SpiderOak, Amazon, T-Mobile и многие другие.

AccessNow в 2016 году делали обзор компаний публикующих отчёты о прозрачности [3], с тех пор их стало больше и отчёты подробнее.

Ссылки:
[1] https://www.apple.com/legal/transparency/
[2] https://www.apple.com/legal/transparency/ru.html
[3] https://www.accessnow.org/transparency-reporting-index/

#transparency #openness #apple

Для тех кто умеет создавать инфографику, визуализацию статичную и интерактивную и, конечно же, мечтает о мировой славе до 15 января идёт конкурс
World Data Visualization Prize

Три темы для визуализации:
- The Future Of Government
- What Makes A "Good" Government?
- Smaller? Better? More Productive?

Организаторы собрали много данных по всем 3-м темам по странам для их сравнения [2].

Победитель получает 25 тысяч долларов США

Ссылки:
[1] https://wdvp.worldgovernmentsummit.org
[2] https://docs.google.com/spreadsheets/d/11LhOlwsloUuA495r-04IDwciMqNrLwWGpveqpF61WXU/edit#gid=249389891

#dataviz

Александр Жаров, глава Роскомнадзора, в интервью ТАСС говорит о том что вопрос изоляции Рунета от Интернета не стоит и что это всё про чрезвычайные ситуации [1]. Я ранее уже писал для Republic в статье [2] и повторю сейчас.

Вопросами чрезвычайных ситуаций в России занимается МЧС и Минобороны, особенно МЧС. То о чём Жаров говорит и то что предлагается в законопроекте - это принципиально разные проблемы и решения.

Есть ли риск катастроф? Да, есть. Он решается через георезервирование ЦОДов, сервисов, DNS серверов, организацией большего числа каналов, а самое главное - исследованием и прогнозированием этих самых рисков и разработкой стратегии их предупреждения.

А на практике нам предлагают поставить всем провайдерам DPI устройства, а Роскомнадзору отдать инфраструктуру в управление.

Ну серьёзно, это какое-то невероятное лукавство. Никто не против защищать Рунет от солнечных вспышек, террироистов нарушающих узлы связи, сломанного коммутационного оборудования и даже экскаваторщиков перерубающих провода. Но всё это не требует введения ещё большей слежки за каждым гражданином и ещё большей нагрузки - финансовой и этической на провайдеров.

Ссылки:
[1] https://tass.ru/interviews/5937355
[2] https://republic.ru/posts/92720

#data #privacy

О снижении порога технических навыков для получения данных о госконтрактах (расширение для браузера и телеграм-бот).

Данные о госконтрактах официально публикуются на портале zakupki.gov.ru (и на FTP-сервере ЕИС). Но формат, в котором предоставляются данные на FTP-сервере нельзя назвать удобным и оптимальным.

Проект "Госзатраты" (clearspending.ru) предоставляет еще несколько способов получения данных:

1. можно открыть поиск по контрактам на сайте и скачать контракты, попавшие в выборку (но их число ограничено 500 и в файле ограниченное количество полей).

2. программисты могут использовать API проекта, строить любые выборки и получать данные в режиме реального времени, но для этого нужны технические навыки, которых нет у аналитиков или журналистов.

3. можно скачать файлы с данными из раздела "Открытые данные", то они разбиты только по законам (44, 94 и 223) и годам. Полученные файлы очень большие и обычные программы с ними не справляются.

4. исследователи и НКО могут отправить запрос на получение нужной выборки контрактов (при условии упоминания проекта "Госзатраты" в качестве источника данных).

В этом месяце мы запустили еще три сервиса, снижающих порог технических навыков, требующихся для получения нужной выборки контрактов:

1. Телеграм-бот (@csdownloaderbot). Для получения выборки контрактов пользователю теперь нужно заполнить наш шаблон интересующими его параметрами (регион, ФЗ, даты, суммы, ...), отправить этот файл боту и указать почту, на которую ему придут данные (Подробнее: https://clearspending.ru/news/telegram-bot-dlya-polucheniya-dannyh-o-goskontraktah/).

2. Скрипт для выгрузки данных (преимущества и ссылки на документацию опубликованы тут: https://clearspending.ru/news/telegram-bot-dlya-polucheniya-dannyh-o-goskontraktah/).

3. Расширение для браузера. Если пользователь заходит на сайт организации, являющейся госзаказчиком, то при запуске расширения пользователю отобразится окно, содержащее статистику госзаказа для данной организации. В первой версии расширения содержится информация о 110 тыс. сайтов (bit.ly/clearspending_ext)

По поводу смены главы Росстата [1], я скажу так. Я ругал Росстат много лет за тому как плохо Росстат работал и работает с данными и, в особенности, формально подходит к их раскрытию, не использует внешние источники данных для проверки своих показателей и, в принципе, там много вопросов по цифрам переписи, доступности данных переписи и принятых ограничениях в статнаблюдении именно с их подачи по которым Росстат отказывался давать, например, муниципальные срезы по переписи.

Но ругать ушедших руководителей после увольнения и хвалить новых - это дурной российский тон которому лично я следовать не собираюсь.

Я бы сказал что у меня к Росстату здесь институциональные претензии, как к органу власти, который, по хорошему, и мог бы отвечать за открытость данных и должен был бы быть основным заказчиком и постановщиком задачи для Национальной системы управления данными.

Какие в итоге произойдут изменения в Росстате в ближайшие годы я не рискну сказать, но могу сформулировать то что я считаю важным и даже необходимым:
1. Формирование системы формирование статистики как часть НСУД или независимо с функцией сбора первичных данных и расчёта показателей на основе данных из государственных информационных систем.
2. Консолидация большого числа ведомственной статистики: Минздрав, МВД, Минобрнауки и всех остальных ведомств.
3. Исследование применимости внешних данных, собираемых не государством, для расчёта ключевых показателей.
4. Приведение в соответствие и достижение достоверности показателей статнаблюдения с показателями по нац. проектам и по госпрограммам.
5. Приведение в соответствие и достижение достоверности показателей статнаблюдения с показателями в программа стратегического планирования
6. Партнёрство с крупнейшими инфраструктурными монополиями по автоматизации и уточнения сбора статистики. Это партнёрство с:
- сотовыми операторами;
- интернет провайдерами;
- банками (и ЦБ);
и тд.
7. Запуск цикла исследований по масштабам, структуре, демографии и иных ключевых характеристиках теневого сектора.
8. Публикация данных переписи и иных показателей в форматах открытых данных. Включая ранее накопленные справочники и тома данных за прошлые годы.

Есть ли что-то из этого на повестке у нового главы Росстата - я не берусь гадать, но надеюсь что есть. Получится ли изменить Росстат и дать ему технологическую опору и при этом обеспечить его независимость и точность измерений? Этот вопрос, к сожалению, не к главе Росстата, а к политическому руководству страны и его готовности к тому чтобы видеть объективную картину.

P.S. В любом случае при смене руководителя ведомства мы в проекте Национальный цифровой архив России [2] проводим архивацию всех онлайн ресурсов этого органа власти и сайты Росстата и его территориальных управлений.

Ссылки:
[1] http://economy.gov.ru/minec/press/news/201824123
[2] https://ruarxive.org/

#opendata #data #rosstat

Вот этот бот (анонс в фэйсбук) [1] мы делали давно и наконец-то сделали к концу года. Он умеет структурировано давать информацию по участию организации в получении госконтрактов и использует только открытое API Госзатрат.

Его можно опробовать по ссылке [2]
А API Госзатрат здесь [3]

В нем немного наших наработок по РобоЖурналистике или РобоАналитике, как не назови. Это самое начальное представление, того как можно автоматически создавать тексты с описанием, например, организаций. Бот работает очень просто. Ему кидается ИНН и по ИНН он формирует текст рассказывающей о контракт организации. Очень рекомендую тем что ищет ответы на вопросы: "Ты чей?", "Они чьи?", "Она чья?", "А они при ком?" и так далее.

Ссылки:
[1] https://www.facebook.com/clearspending/photos/a.485640574881032/1777006529077757/?type=3&theater
[2] https://t.me/csParticipantStatsBot
[3] https://clearspending.ru/page/for-developers/

#opendata #clearspending #api #bots #telegram