Ivan Begtin
7.98K subscribers
1.81K photos
3 videos
101 files
4.52K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts ivan@begtin.tech
Download Telegram
Большая симпатичная подборка того как не надо и как надо рисовать графики Friends Don't Let Friends Make Bad Graphs [1].

Все примеры скорее про научные публикации чем про дата журналистику, с открытым кодом для R Studio.

Ссылки:
[1] https://github.com/cxli233/FriendsDontLetFriends

#dataviz #opensource
Я читаю свежие новости по поводу того что Правительство РФ запланировало к лету 2024 года сформировать нацпроект "Экономика данных" [1] [2] и почему-то у меня в голове это складывается исключительно со словами "токсичный оптимизм". В России, в принципе, по деятельности Правительства РФ и отдельных госорганов пиара многократно больше чем смысловых публикаций. Я об этом писал много раз, про снижение прозрачности госбюджета в связи с нацпроектами, про совершенно мутную историю с Гостехом и ещё много о чём. Внимательные читатели всё это помнят.

Так вот в виду отсутствия содержания, придётся комментировать их обещания. Далее нежирным текстом из публикации пр-ва, жирным текстом мой комментарий.

👩‍💻граждане получат возможность управлять доступностью сведений о себе,

Единственный вариант сделать такое - это заставить бизнес централизованно сдавать данные гос-ву или хранить сразу в специальном госхранилище. Нас ждут полный разгул для спецслужб и правоохранителей, новый уровень пробива и утечек и, конечно же, никакой гарантии что данные управление которыми пользователь отзывает не останутся в госхранилище помеченные как удалённые.

⚡️искусственный интеллект будет использоваться для анализа медицинских изображений, а также во всех отраслях экономики,

В медицине он уже давно используется и во всех областях где есть применение тоже используется. Правительство на это никак не влияет, использование ИИ, а вернее разного рода алгоритмов - это естественное развитие цифровизации отраслей.

⚡️все госуслуги будут доступны онлайн в проактивном режиме,

Здесь не могу не мрачно ухмыльнуться, потому что Мишустин лучше всех знает почему проактивное оказание услуг невозможно. У государства, особенно у региональных и муниципальных властей банально нет ресурсов для проактивного оказания услуг связанных с финансовой поддержкой. Я бы сказал "а спросите его почему ФНС не сделало до сих пор автоматического, а не по запросу, налогового вычета", но спрашивать некому. Поэтому коротко - это вранье, при этом Правительстве такого не будет, а следующее "сольёт тему".

⚡️все государственные информационные системы будут использовать единую платформу цифровизации «ГосТех»,

Не, ну серьёзно? Обратим внимание на отточенность формулировок, не "построены на", а "будут использовать", это важный нюанс. Чтобы ГИСы "использовали ГосТех" достаточно сделать ЕСИА частью ГосТеха и заставить всех разработчиков ГИСов использовать ЕСИА во всех случаях. Будет ли с этого кому-то польза? Сомневаааюсь.

📈капитализация 100 крупнейших ИТ-компаний увеличится в 2,5 раза,

Есть два способа этого добиться.
1-й обозвать ИТ компаниями 100 крупнейших компаний и тогда совокупная капитализация будет больше чем в 2.5 раза.
2-й девальвировать рубль в 2.5 раза, а то и больше.
Чтобы всё быстрое ё$*&^% грохнулось лучше второй вариант, но в целом пугающее заявление


⚡️рост ВВП благодаря развитию технологий составит более 11 трлн рублей,

Возвращаемся к предыдущему пункту те же рецепты, тот же ужас.

🔒будет обеспечена тотальная технологическая защищенность данных,

Столько вопросов, столько вопросов. И про тотальность, и про защищённость и про то что за данные защищать и чьи. Что, неужто утечек данных больше не будет? А с какого-года? А кто за это будет отвечать? А зуб[ы] дадут что тотально и защищённо? В общем звучит как лютый bullshit.

🛡ИИ поможет в создании безопасных условий жизни.

А тут всё очень похожие вопросы. Жизни кого? Впихивать инфобез под видом "безопасных условий жизни" в экономику данных - это не про экономику и не про данные, это про продолжение ужесточения регулирования, про усиление правоохраны, про внедрение всяческих проектов "Безопасный город" и тд. Экономика от этого не растёт.

Пока даже бессмысленно говорить о том чего там нет, потому что ничего пока в этом нацпроекте нет, его и самого то нет кроме как в форме благопожеланий.

Ссылки:
[1] https://t.me/government_rus/9863
[2] https://t.me/government_rus/9870

#government #data #bullshit
Please open Telegram to view this post
VIEW IN TELEGRAM
Как говорится ни добавить/ни убавить. Если нацпроект "Экономика данных" будет таким же как пиар Пр-ва РФ, то не будет в России ни данных, ни экономики.
Media is too big
VIEW IN TELEGRAM
Рубрика "Циничный пиар"
"Россия - родина слонов великих технологий!"
Я не знаю, кто писал текст для этого ролика, которым, судя по всему, открывалась вчерашняя стратсессия в "Бункере" по закрытию цифровой экономики формированию нового нацпроекта "Экономика данных". Но я точно знаю, без чьей визы на этом тексте не обошлось. И все постоянные читатели канала тоже это знают. Поэтому сейчас и здесь я это имя называть не буду.
Я представляю, как этот сборник лозунгов о светлом будущем одной отдельно взятой экономики данных (тм) смотрелся на "бункерном" мега-экране с высококачественным звуком в формате вражеской системы Dolby TrueHD. После такого вдохновляющего перформанса хочется вскочить, схватить лопату и отбойный молоток, пешком пойти в сибирскую тайгу и заполярную тундру, валить лес, прокладывать новый БАМ, вручную тащить суверенный интернет в самые глухие селения - в общем, делать всё, что, по мысли пиарщиков, должны делать зрители, проникшиеся грандиозностью концепции этой рекламы.

PS. Прокрутил ролик 10 раз. Всё хотел разглядеть в нем великие российские технологии (тм). Увидел ноутубуки Apple со стыдливо заклеенным яблоком на крышке, китайский клон робособаки от Boston Dynamics, видеостену на РИФе, собранную из корейских мониторов Samsung, какую-то картинку с инфографикой почему-то на вражеском языке, пиарщицу в лабутенах, с задумчивым видом и макбуком бродящую между стойками в ЦОДе, набитыми отнюдь не импортозамещенным "железом"... Была пара кадров с взлетающим "Протоном" - но это не великая российская, а великая советская технология, которой через пару лет исполнится 60
В рубрике как это устроено у них в открытых данных:
- в Евросоюзе активно развивается проект Open Maps For Europe 2 (OME2) [1] по созданию единых продуктов геоданных и на геоданных покрывающих все страны ЕС и стран входящих в партнерства со странами ЕС. В основе проекта директива о публикации особо ценных наборов данных и ранее созданный проект Maps For Europe [2]. Можно обратить внимание что занимается проектом Eurogeographic, ассоциация из 60 организаций из 46 стран. Большая часть организаций - это государственные кадастровые комитеты. Среди них есть, например, кадастровые службы Армении, Белоруссии, Турции и Азебайджана. И, ожидаемо, нет российской кадастровой службы
- в США в MIT раздают награды учёным публикующим открытые научные данные [3] всего 11 победителей из 80 номинантов, с призами в $2500. Поощряются исследователи опубликовавшие востребованные исследовательские данные как часть своих научных работ, а также создателей инструментов с открытым кодом по удобной работе с этими данными. Среди работ много интересного, например, ITU Compliance Assessment Monitor [4] инструмент и наборы данных мониторинга того как операторы геостационарных спутников отчитываются перед Международным союзом электросвязи (ITU), спойлер: чаще всего игнорируют необходимость предоставления информации. А вот другой пример, база данных WormWideWeb [5] собранная из общедоступных баз нейронов нематод C. Elegans.
- Open Government Partnership, партнерство открытых правительств, активно расширяется на уровне городов, в OGP Local [6] уже участвует около 100 городов и в течение 2024 года собираются принять около 50 [7], в том числе из стран не входящих в партнерство. Эдакое погружение в суб-национальный уровень и, похоже, набирающее обороты. Среди постсоветских городов там присутствуют: Армавир, Гюмри, Ереван и Ванадзор в Армении, 6 городов в Грузии, Бишкек из Киргизии, 3 города Украины. В общем-то не так мало. Но более всего мексиканских и индонезийских городов. Частично вся эта инициатива пересекается с Open Data Charter [8] (Хартия открытых данных) которую подписали власти многих городов.
- во Франции трекер публикации открытых данных на портале data.gouv.fr [9] можно убедиться что кроме того что данные опубликованы, они продолжают регулярно раскрываться по запросу пользователей, многое запланировано к публикации и многие запросы ещё анализируются. В целом французский портал открытых данных наиболее системно развивается, они достаточно давно переходят от публикации файлов наборов данных, к публикации их согласно схемам данных которые ведутся в отдельном реестре.

Ссылки:
[1] https://eurogeographics.org/open-maps-for-europe/ome2-progress/
[2] https://www.mapsforeurope.org
[3] https://news.mit.edu/2023/rewarding-excellence-in-open-data-1116
[4] https://github.com/ThomasGRoberts/ITU-Compliance-Assessment-Monitor
[5] https://wormwideweb.org/
[6] https://www.opengovpartnership.org/ogp-local/
[7] https://www.opengovpartnership.org/ogp-local/join-ogp-local-call-for-expressions-of-interest-2023/
[8] https://opendatacharter.net/
[9] https://ouverture.data.gouv.fr/?status=Planifi%C3%A9

#opendata #readings
Про работу с данными в госуправлении, проект Open Audit [1] команды исследователей из MIT которые собрали и распознали 17 тысяч отчётов государственных аудиторов в Филлипинах с 1998 по 2022 годы. Особенность публикации таких документов в Филлипинах заключается в том что на сайте их Комиссии по аудиту [2] публикуются отчёты контрольных органов всех уровней, включая муниципальные, соответственно и анализ проводился всех этих отчетов, а не только центрального Пр-ва и о самом проекте подробнее в MIT Gov/Lab [3].

У меня когда-то были мысли о схожем проекте, ещё когда я собирал архив старых отчётов Счетной палаты РФ и они до сих пор выложены в разделе на сайте госоргана. Но, имеют то ограничение что это только федеральные отчеты, а отчеты региональных и муниципальных палат всегда были рассеяны по десяткам, сотням сайтов. Поэтому большой-красивый набор данных создать было бы сложно, без специальных усилий конечно.

Ссылки:
[1] https://github.com/jerikdcruz/OpenAudit
[2] https://www.coa.gov.ph
[3] https://mitgovlab.org/news/unearthing-the-hidden-stories-of-budgets-and-audit-reports/

#opendata #government #audit
Китайская компания HKVision выиграла тендер в Китае на систему "Умный кампус" умеющую отслеживать что представители национальных меньшинств соблюдают пост в Рамадан [1].

Даже не знаю как это прокомментировать. Подозреваю лишь что Китаем такие внедрения не ограничатся.

Только в Китае следят за мусульманами, а за кем будут следить в России ? Правильно, за социальной жизнью студентов ЛГБТ. Научат камеры распознавать то что девушки или юноши ходят по коридорам и двору за ручку и сразу будут камеры стучать в профильный Департамент социального позора Министерства раздувания национального достояния.

Думаете фантастический сценарий?

Ссылки:
[1] https://ipvm.com/reports/hikvision-fasting

#privacy #china #algorithms #ai
Я тут хотел было прокомментировать проходивший недавно AI Journey, и ещё слайд который, по слухам, Максут Шадаев показывал в "Бункере" про структуру нацпроекта "Экономика данных", но вместо этого покажу вам 2 скриншота сайта ai.gov.ru.
1-й от 9-го сентября 2022 года
2-й сегодняшнего дня

Можно увидеть как сайт где был какой-то но контент, с регуляторикой, стратегией и тд. превратили в пиарный одностраничник. И раньше то было куцо, а теперь просто выжжено, только новостной мониторинг.

Это всё к вопросу о том почему надо архивировать госсайты, да всё по тому же. Уж больно любят российские чиновники удалять да прятать несделанное и недоделанное.

#ai #russia #government
Кстати, у меня вот тут накопилось какое-то количество вопросов к залу применительно к регулированию ИИ в России. Может кто-то знает ответы? Спрашиваю, без иронии на предмет "всё у них плохо", скорее интересуюсь с лёгким удивлением, потому что сам такого не наблюдаю.

Такие вот вопросы:
1. Есть ли примеры отчётов по оценке воздействия внедрения ИИ ? Корпоративных или государственных, не так важно, важнее публичных отчётов. Например, в Москве уже несколько лет идёт эксперимент по применению ИИ, при этом нигде отчётов/докладов/протоколов работы вовлечённых сторон об этом не наблюдается. Есть ли что-то подобное?
2. Остались ли ещё какие-либо организации гражданского общества с публично заявленной позицией по внедрению и рискам создания и применения ИИ? Как я понимаю правозащитных организаций настоящих которые, а не GONGO, почти не осталось. Но может я кого-то упустил или пропустил?
3. Есть ли примеры внедрения ИИ с независимым человеческим контролем/надзором за ним?
4. Есть ли какие-либо стандарты/руководства/критерии проверки соответствия компаний/продуктов/внедрений согласно российскому этическому ИИ кодексу?
5. Являются ли обязательными технические стандарты ИИ при внедрении в государственном секторе? в корпоративном секторе?
6. Можно ли считать российский кодекс ИИ всё ещё частной инициативой после присоединения к нему государственных агентств и промоутирования его на государственном уровне?

#ai #questions
Forwarded from Privacy Advocates
В Краснодаре родители учеников взбунтовались против массового сбора персональных данных детей в школах под различными поводами. Многие отказываются регистрироваться на различных платформах, где требуют данные детей. Большое негодование вызвала привязка «Сетевого города» к порталу Госуслуг.
Симпатичная инициатива от Яндекса с программой грантов на открытый код и открытые данные [1]. Обещают распределить гранты Яндекс.Облака до 600 тысяч рублей на 15 проектов (итого 9 миллионов рублей) на проекты с открытым кодом по трекам:
- Обработка и хранение данных
- Разработка
- Машинное обучение

Правда призы даются не деньгами, а ресурсами Яндекс.Облака, но для состоявшихся проектов и это полезный ресурс. Особенно я бы обратил внимание на создание наборов данных. Потому что если получать приз на другие проекты, то эти 600 тысяч довольно быстро закончатся если использовать облако просто как хостинг. А если использовать для создания/оценки качества наборов данных то это более похоже на проектное использование. Например податься на эту грантовую программу Яндекса с небольшим датасетом, выиграть грант и податься на грантовую программу Фонда содействия инноваций (Фонд Бортника) также с датасетом, но расширенный и обогащённый через использование ресурсов Яндекс.Облака в рамках гранта Яндекса.

P.S. Не реклама, и жаль, конечно, что инициатива маленькая и явно спрятанная внутри маркетингового бюджета Яндекс.Облака, но сама идея правильная когда грантовые программы развивают и поощряют открытый код и открытые данные.

Ссылки:
[1] https://opensource.yandex/grants/

#opensource #opendata #yandex
В рубрике интересных проектов на данных, о данных, публикующих данные Open Terms Archive [1] архив условий использования в виде коллекций условий использования, API, наборов данных и метаданных.

Включает такие коллекции как:
- Generative AI
- Platform Governance Archive
- P2B Compliance
- France Élections
- Dating
- France
- Contrib

Все коллекции хранятся на Github'е с автоматическим отслеживанием изменений и хранением всех версий в Git.

Проект отмеченный на многих международных площадках и даже зарегистрированный как Digital Public Good

Ссылки:
[1] https://opentermsarchive.org
[2] https://github.com/OpenTermsArchive

#datasets #opendata #opensource #terms #privacy #bigtech
В рубрике как это работает у них о том как публикация данных для обучения ИИ и медицинских исследований в США. На портале CDC Data Platform от National Cancer Institute опубликовано более миллиона изображений объёмом более чем 6.7 Петабайт [1] их которых 20 Терабайт (около 30% по числу файлов) являются полностью открытыми, а остальные в режиме регламентированного доступа, предоставляются по запросу после авторизации. Для доступа используется специальное ПО для выгрузки данных. У портала с данными есть открытое API и открытый код [2].

В целом это один из наиболее крупных порталов научных данных, из его особенностей это то что он имеет предметную, а не общетематическую природу и набором данных на нём называется "коллекция" (collection) случаев (case) включающая множество файлов изображений. Это особенность научных порталов в том что для превращения в порталы открытых данных или просто порталы данных в нём имеющиеся тематические понятия приводятся к понятиям набора данных.

Ссылки:
[1] https://portal.gdc.cancer.gov/repository?facetTab=files&files_sort=%5B%7B%22field%22%3A%22file_size%22%2C%22order%22%3A%22desc%22%7D%5D&searchTableTab=files
[2] https://github.com/NCI-GDC/gdc-docs

#opendata #datasets #genomics #cancer #openaccess #data #usa