Дата-среда: “Открытые данные международных организаций: когда лучшее не враг хорошего”

4 декабря Алина Владимирова, научный сотрудник Института востоковедения РАН и вице-председатель Исследовательского комитета по политической власти Международной ассоциации политической науки, проведет лекцию об открытых данных международных организаций и подробнее расскажет о базе данных внешней торговли «Комтрейд ООН».

В плане лекции:
- основные вехи создания базы данных «Комтрейд ООН»;
- проблемы, с которыми столкнулись специалисты, собирая торговую статистику;
- особенности открытых данных международных организаций и оценка их качества.

Дата-среда пройдет в рамках проекта КГИ «Госзатраты».

Подробности и регистрация: http://amp.gs/sK9G.

Обратили ли Вы внимание что...

У Министерства просвещения РФ нет раздела "Документы" и публикации нормативно-правовых актов на их сайте [1] которые требуются по 8-ФЗ.

Значит ли это что?
1. 8-ФЗ перестал соблюдаться (закон "помер")
2. Не осталось НКО и активистов кто напоминает госорганов о его существовании.
3. Главный контролёр 8-ФЗ забил на свои полномочия и функции (кстати вспомните что за орган власти)
4. Минпросвещения даже не планировали его соблюдать

Или всё вместе? Но факт остаётся фактом - сайт Минпросвещения мало чем отличается от сайта визитки.

Ссылки:
[1] https://edu.gov.ru/

#opengov #open #website #ministryofsomething

А нет, всё прояснилось. Некоторые баннерорезки, в моём случае Privacy Budger, режет Госбар через который у Минпросвещения, зачем то, дана ссылка на их банк документов [1]

Что, впрочем, не отменяет вопроса почему его нет ни на карте сайта [2] ни на самом сайте в его содержании

Ссылки:
[1] https://docs.edu.gov.ru
[2] https://edu.gov.ru/sitemap/

#opengov

Я регулярно ссылаюсь на пример Австралийской цифровой стратегии как образец понятности и вот они обновили её ещё раз и можно увидеть, и содержательно, и наглядно, как там устроена их цифровая статегия [1]

Это всего 3 приоритета:
- Государство с которым легко взаимодействовать (госуслуги)
- Государство информированное гражданами (обратная связь)
- Государство которое соответствует цифровой эпохе (соответствие ожиданиям граждан)

Сам документ стратегии - это образец понятности [2] и более чем понятная дорожная карта [3] того как эта стратегия будет внедрятся.

Также 3 приоритета расписаны в 13 целей по 4, 4 и 5 целей на приоритет [4]. Каждая из этих целей расписывается ещё подробнее. Например, цель номер 8 - Earn your trust through being strong custodians of your data [5]
У цели всего 3 ключевых показателя:
- 48% доверие граждан правительству через Edelman Trust Barometer [6] с ростом в 8% относительно 2018 года
- публикация стратегии единого хостинга для государства
- публикация модели доверенной цифровой идентификации

И у каждой цели приведены примеры созданных проектов, для цели 8 это:
- Сервис myTax получения налоговых вычетов [7] через мобильное приложение
- Принципы обмена данными [8]
- Стратегия единого хостинга для государства [9]
- Модель доверенной цифровой идентификации [10]

Похожим образом описаны и все остальные цели и примеры проектов.

Ссылки:
[1] https://www.dta.gov.au/digital-transformation-strategy
[2] https://dta-www-drupal-20180130215411153400000001.s3.ap-southeast-2.amazonaws.com/s3fs-public/files/digital-transformation-strategy/digital-transformation-strategy.pdf
[3] https://www.dta.gov.au/dts-roadmap
[4] https://www.dta.gov.au/digital-transformation-strategy/digital-transformation-strategy-dashboard
[5] https://www.dta.gov.au/digital-transformation-strategy/digital-transformation-strategy-dashboard/objective-8-earn-your-trust-through-being-strong-custodians-your-data
[6] https://www.edelman.com/trust-barometer
[7] https://www.ato.gov.au/Individuals/myTax/2019/
[8] https://www.datacommissioner.gov.au/resources/sharing-data-safely-package
[9] https://www.dta.gov.au/our-projects/whole-government-hosting-strategy#:~:targetText=It%20is%20supported%20by%20a,the%20delivery%20of%20government%20services.
[10] https://www.dta.gov.au/our-projects/digital-identity/trusted-digital-identity-framework

#data #opengov #digital #digitalgov

В MIT Technology report пишут [1] о том что в Facebook в своём обновлённом отчёте о прозрачности [2] рассказывают что автоматически отсекают 98% видео и фотографий террористов. Происходит это благодаря технологиям распознавания образов, в том в реальном времени. Во многом причины этого в росте публикаций подобных материалов, также не последней причиной активизации исследований и разработки технологий является живая трансляция террориста из Новой Зеландии в Facebook'е после убийства 49 челове в двух мечетях города Christchurch.

Общественная безопасность это один из, не единственный, драйвер инвестиций в ИИ. Инновации создаваемые технологическими гигантами сейчас уже через несколько лет могут стать частью локальных и глобальных решений "умных" городов, территорий, защищённых пространств.


Ссылки:
[1] https://www.technologyreview.com/f/614774/this-is-how-facebooks-ai-looks-for-bad-stuff/
[2] https://transparency.facebook.com/community-standards-enforcement

#privacy #digital #ai

Откуда в мире столько открытого кода? Почему он необходим? В чём важность проектов открытости? А самое главное где найти финансирование на проекты с открытым кодом. В мире существуют десятки фондов и компаний поддерживающих открытый код. Вот лишь несколько из них:

- Mozilla Open Source Support (MOSS) [1] дают большие гранты на развитие проектов с открытым кодом полезных для продуктов Mozilla Foundation
- Google Open Source [2] поддерживают проекты в которых Google нужна доп функциональность, проекты в жизнестойкости которых Google заинтересован и стратегические проекты
- Samsung Next Stack [3] проекты децентрализованных технологией поддерживаются грантами от компании Samsung
- Digital Impact Allience [4] дают гранты на проекты помогающие обществу
- Sloan Foundation даёт гранты на разработку программного кода [5]
- Python Software Foundation [6] даёт гранты, в том числе на конференции.
- Knights Foundation [7] выдаёт гранты на технологическую журналистику, дата журналистику и прочие ИТ проекты для журналистов
- PrototypeFund [8] государственная грантовая программа Министерства образования и исследований Германии. Поддерживается Open Knowledge Foundation Germany

О том как искать финансирование для проектов на базе открытого кода есть специальное руководство с большим количеством примеров из жизни [8]

Ссылки:
[1] https://www.mozilla.org/en-US/moss/
[2] https://opensource.google/docs/growing/funding/
[3] https://samsungnext.com/whats-next/introducing-the-samsung-next-stack-zero-grant/
[4] https://www.osc.dial.community/grants.html
[5] https://sloan.org/programs/digital-technology/data-and-computational-research
[6] https://www.python.org/psf/grants/
[7] https://knightfoundation.org/programs/
[8] https://prototypefund.de/
[9] https://github.com/nayafia/lemonade-stand

#opensource #open

Ведомости пишут о том из Сколково предложили создать госинтегратора на базе их Технопарка [1]. Телеграм каналы уже активно цитируют эту новость, равно как и СМИ.

Мне, честно говоря, много что есть сказать по этому поводу и для этого придётся отойти от жанра сухого изложения новостей.

Многие из тех кто когда-либо работал в системных интеграторах или сталкивался с ними как заказчик/подрядчик и в иных ролях знают о масштабах, скажем так, их неэффективности. Интеграторы почти всегда выступают посредниками между заказчиком и пулом разработчиков / поставщиков оборудования и решений и, чаще всего, снимают основную маржу с контрактов.

При этом результативность этой работы часто столь низкая что тренд госуправления в мире в последние годы в переходе к in-house разработке и прямой контрактации с вендорами оборудования и ПО. По этой причине в конкурсе Пентагона на облачный сервис конкурировали Microsoft, Google и Amazon [2], а не многочисленные интеграторы которых и в США хватает.

По этой же причине в мире появлялись такие in-House команды как Team Digitale, CSIRO Data61, AlphaGov, GDS, 18f, Etalab и многие другие. Все они - это работающие на основе открытого кода и создающие открытый код команды созданные для создания цифровых услуг, платформ, проектов и продуктов вовлекающие разработчиков в создание реальных изменений в государствах.

В общем и целом системные интеграторы с ориентацией на государство уже давно находятся под двойным давлением - от крупных технологических компаний которые продают свои облачные платформы и интеграторы начинаются подстраиваться под эти платформы и под давлением тренда на открытие кода государственных проектов.

Это меняет бизнес модели, часто резко снижает маржинальность бизнеса, сильно усложняет разного рода серые схемы, двойную продажу одного и того же кода и одних и тех же услуг и многое другое.

Как относится к тому что в России хотят создать _единого госинтегратора_? С некоторым скепсисом, поскольку работа интеграторов построена вокруг государственных информационных систем и требует гораздо более системной госполитики по их проектированию, разработке и дальнейшей эксплуатации.

В некоторых ФОИВах и регионах уже давно выстроены свои замкнутые или полузамкнутые экосистемы под определённый технологический стек и которые требуют весьма специфических специалистов для их поддержания и развития.

Бизнес интеграторов всегда строился не на качестве кода или технологических новинках, а на _управлении сложностью_ ИТ проектов. И, хотя и управляют они так себе, но в течение долгого времени у них получалось это лучше чем у государства. По этой же причине и сейчас по большинству государственных информационных систем ключевые компетенции и люди находятся в интеграторах, а не в госзаказчиках.

Но, да, есть тренд на огосударствление, вернее тренд на огоскорпорачивание системной интеграции. Прямые субсидии и контракты с ед. исполнителем с Ростелекомом, НИИ Восход, Ростех и другими игроками рынка государственного происхождения - это всё про госинтеграцию как замену частных интеграторов.

Туда же можно отнести и эту новость о госинтеграторе на базе Сколковского технопарка, туда же можно отнести новость о цифровой платформе госуправления Сбербанка [3] и ряд других, не столь очевидных, но сигнальных новостей об изменении тренда.

Этот тренд - это передел всего государственного ИТ рынка в пользу 4-5 крупных госинтеграторов, находящихся в той или иной близости к центрам принятия решений. В этой "битве якодзун" за бортом, в первую очередь, останутся крупные и средние частные интеграторы которые будут, либо уходить в субпорядные отношения, либо уходить с рынка. Не моментально, это тренд не одного года, но он уже явно заметен.

Это будет происходить быстрее в дотационных субъектах федерации и ФОИВах с малыми ИТ бюджетами, поскольку на них есть инструменты финансово-бюджетного давления. В остальных это будет происходить сложнее, но сценарий не поменяется.

Я не буду судить сейчас об итоговой картине, хорошо это или плохо, отмечу лишь что в какой-то мере это естественное развитие рынка госИТ в России. И хорошо ещё если этот процесс будет мирный, а не с "публичными посадками" руководителей текущих интеграторов, что тоже можно регулярно наблюдать в последние годы.

Лично я считаю во всем этом важным следующее:
1. Сохранение конкуренции. Единый госинтегратор на всё - это, в целом, губительная история. 5-6 крупнейших - уже дают какую-то возможность конкуренции.
2. Команды in-House. Изменение закона о госслужбе в части найма ИТ специалистов и специалистов со специализацией в технологиях, возможность дистанционной работы и тд. Слишком многое нельзя отдавать на аутсорс интеграторам.
3. Открытый исходный код необходим. Это общемировой тренд на раскрытие исходного кода созданного за бюджетные средства и ведение открытой разработки для вовлечения ИТ сообщества.

Ссылки:
[1] https://www.vedomosti.ru/technology/articles/2019/12/01/817588-skolkovo-predlozhilo
[2] https://tjournal.ru/tech/122980-microsoft-poluchila-kontrakt-pentagona-na-10-milliardov-dollarov-proigravshiy-amazon-nazval-reshenie-nelogichnym
[3] http://government.ru/news/38464/

#government #it

Завтра в 19:00 в Шанинке Алина Владимирова, научный сотрудник ИВ РАН и вице-председатель Исследовательского комитета по политической власти Международной ассоциации политической науки, проведет лекцию об открытых данных международных организаций и подробнее расскажет о базе данных внешней торговли «Комтрейд ООН». Алина расскажет про:
- основные вехи создания базы данных «Комтрейд ООН»;
- проблемы, с которыми столкнулись специалисты, собирая торговую статистику;
- особенности открытых данных международных организаций и их качество.

Лекция может быть интересна тем, кто использует статистику внешней торговли в своих исследованиях, а также тем, кто занимается сбором и публикацией открытых данных. Приглашаем к участию исследователей, аналитиков, научных сотрудников и всех желающих.

Как получить свои данные из всех тех сервисов которыми Вы пользуетесь? Непросто, но точно возможно.

В этот раз вместо поста я собраю такие сервисы в жанре Awesome Lists.

В Awesome Data Takeout [1] ссылки и инструкции на способы получения данных из большинства ключевых сервисо включая российские.

Список пополняемый, не стесняйтесь добавлять ссылки.

Ссылки:
[1] https://github.com/ivbeg/awesome-data-takeout

#data #datatakeout #dataexport

Тут относительно недавно 20 ноября 2019 года Минэкономразвития заключило контракт [1] на доработку портала data.gov.ru на 20 миллионов рублей с компанией РуНетСофт [2]

Предлагаю вопрос знатокам - в течение короткого брейншторма посмотреть на то что _не так_ с этим контрактом.

Лично я своё развернутое мнение напишу позже, скорее всего ближе к 9-декабря, когда будут подводить итоги его первого этапа.

Ссылки:
[1] https://zakupki.gov.ru/epz/contract/contractCard/common-info.html?reestrNumber=1771034949419000094
[2] https://rns-soft.ru/

#opendata #data #contracts

Рубрика "нет слов"

📱Террористы ИГ использовали российский мессенджер TamTam для подготовки к теракту в Лондоне

Они сами обьявили об этом. После проверки в мессенджере обнаружили сотни каналов, принадлежащих террористической организации

Как запросить личные данные от компаний по GDPR. Проект DataRequests.org [1] от германской НКО Datenanfragen.de e. V. [2] помогает составлять запросы в компании обязанные отдавать данные пользователям по запросу. Для этого в их проекте есть форма запроса [3], универсальная для любого типа запроса и для этого они ведут базу компаний [4] с их контактами и политиками приватности.

Всё содержание проекта открыто в виде открытого кода и открытых данных [5] что позволяет применять код проекта и для других задач. Например для запросов в Российские госорганы по 8-ФЗ или по 59-ФЗ.

Ссылки:
[1] https://www.datarequests.org/
[2] https://verein.datenanfragen.de/en/constitution/
[3] https://www.datarequests.org/generator
[4] https://www.datarequests.org/company

#opendata #dataprotection #data #datarights

ASPI, австралийский мозговой центр выпустивший ранее исследование Mapping China technology giants выпустили обновлённое
исследование [1] в которое добавили множество новых данных и теперь покрывают 23 китайские технологические компании.

Были добавлены такие компании как:
- BeiDou
- ByteDance
- CloudWalk
- Dahua
- DJI
- iFlytek
- Megvii
- Meiya Pico
- Sense Time
- Uniview
- YITU

В исследовании немало интересного, например, о компании ByteDance которые являются создателями приложения TikTok и о CloudWalk и колониализме данных (data colonialism) когда все данные распознавания людей по походе в Зимбабве передаются и хранятся в Китае.

Этот отчёт стоит внимания, его можно прочитать в виде PDF по ссылке [2].

Ссылки:
[1] https://www.aspi.org.au/report/mapping-more-chinas-tech-giants
[2] https://s3-ap-southeast-2.amazonaws.com/ad-aspi/2019-11/Mapping%20more%20of%20Chinas%20tech%20giants_1.pdf?cONTm6ETA8RMzlcILgDFNdoHdMN6xGZf

#china #datacolonialism #aspi #australia #surveillance

TechCrunch пишет [1] о том что Amazon выпустили AWS SageMaker [2], удобный инструмент ведения записных книжек по Data Science и разработки моделей машинного обучения.

Я лично гадал что скорее они купят DataIku [3] которые вот вот выпустили платформу DataIku 6 и позиционируют себя как разработчиков экосистемы для Enterprise AI. Но пока больше похоже что DataIku идёт в медленном направлении погружения в экосистему Microsoft и, у них уже есть интеграция с Microsoft Teams, а значит что есть вероятность что Amazon будет не единственным игроком облачных корпоративных решений по data science.

В любом случае SageMaker стоит пристального внимания и апробации.

Ссылки:
[1] https://techcrunch.com/2019/12/03/aws-launches-sagemaker-studio-a-web-based-ide-for-machine-learning/
[2] https://aws.amazon.com/ru/sagemaker/
[3] https://www.dataiku.com/

#datascience #data

Рубрика "Без слов", вернее даже "Нет слов".

Мы «хакнули» серваки Росреестра!

По мнению Росреестра у них упали «сервера» из-за непомерной нагрузки-запросов из ФССП,переданных по средствам электронного документооборота. Мы остались без ответов по недвижимости,взыскатели без обращения взыскания на недвижимое имущество.
У всех бывает.Не спорим.Но мы то здесь причём?
У Росреестра не справляется с нагрузой серверная инфраструктура и поэтому решили нас тупо отключить. Прекрасное решение.Очень правильное и своевременное,учитывая конец года.
По нашим данным в адрес Росреестра за три месяца было направлено 200 млн.запросов. В масштабах страны это очень мало,крайне мало.
А вот почему упали сервера? И сколько было выделено денежных средств Росреестру в рамках федеральной программы «Цифровая экономика» мы оставим за скобками и переадресуем этот вопрос по принадлежности с напоминанием глубокоуважаемому Росреестру об отвественности за неисполнение или ненадлежащее исполнение требований судебного пристава-исполнителя.
Что скажешь МинЭкономРазвитие?

Это примерно то о чём я всё чаще пишу помимо темы открытости данных. Персональные данные пользователей превратились в основной товар (commodity) для большей части ритейловых компаний и не только. Да, современный бизнес просто не может не следить или правильнее "пасти" пользователей, но если это будет развиваться как развивается, то что мы будем делать когда маятник качнется в другую сторону?