Доброе утро! И сразу перейдём к новостям о Telegram:

Приложения Telegram и Telegram X пропали из App Store: goo.gl/cMM5Ee

Telegram представил инструмент для создания альтернативных клиентов мессенджера: goo.gl/jnyAq8

«Сбербанк» запустил бизнес-сервис для подготовки документов без юриста: goo.gl/VJdwVC

Крупнейший мессенджер Японии запустит торговлю криптовалютами: goo.gl/BQTKG4

В 2017 году Google удалила из Play Store 700 тысяч приложений: goo.gl/f2bNy4

📈 Курс BTC: 10 156$ ↑

Новый цикл статей на КД!

Сегодня мы с вами поговорим об искусственном интеллекте:

goo.gl/MrYRRg

Доброе утро! И хорошего всем дня:

Telegram для Android обновился до версии 4.8: goo.gl/sy598e

Трамп поздравил Маска с запуском Falcon Heavy: goo.gl/NFB3Qb

Центральный разгонный блок ракеты Falcon Heavy не смог приземлиться: goo.gl/ptwNZv

Способную мыть посуду секс-куклу создали в Китае: goo.gl/NKT6ka

📈 Курс BTC = 7 246$

Говорят, что такие видео содержат фейки, часто делаются в целях порномести и выпускаются без согласия самих людей. Но ролики с Галь Гадот и Скарлет Йохансон всё равно уже в сети:

goo.gl/tA8g5M

Для тех, кто не любит, когда их сознанием манипулируют, рекомендуем @checkroom.

Редакторы «Проверочной» следят за тем, чтобы у вас была возможность делать выводы самостоятельно - читают новости и проверяют их на кликбейт и фейки.

Никакой пропаганды, истина где-то посередине, подписывайтесь.

Итак, теперь наконец-то, можем приступить к более полному рассмотрению сети, которую не увидишь невооружённым глазом. Но для начала разберёмся с тем, как туда попасть и какие правила нужно соблюдать:

goo.gl/XL3dZ8

Рекомендуют отказаться от «ВКонтакте» и Фейсбука, а если не получается – сделать аккаунт закрытым:

goo.gl/BziwWL

Привет! 👋 Небольшое обновление! 🔥

1. Появилась возможность устанавливать собственные названия для видео, документов и голосовых сообщений
2. Поиск по файлам
3. Появился чат-поддержки - @FileGramSupportBot
4. Возможность создать из картинки стикер
5. Изменена логика при отправлении боту стикера

Подробнее об обновлении написано здесь: telegra.ph/filegram-update-10-06

Подписывайся на наш новостной канал @botarium, чтобы быть в курсе всех обновлений 😉

И кстати, сегодня боту 2 года. Большое спасибо всем, кто пользуется ботом!

Вчера комментировал Comnews [1] инициативу партии "Справедливой России" по справедливизации защиты персональных данных [2]. Хотя мои комментарии приведены журналистами довольно точно, я дополню ранее сказанное.

1. Каждый гражданин должен иметь право знать сведения о себе. Главный владелец персональных данных в нашей стране - это государство. Всё начинается с качественной работы информационных систем где данные хранятся и в реализации права на изменение/исправление этих данных и в реализации "права знать", поэтому Каждый гражданин должен иметь право знать сведения о себе в первую очередь в государственных информационных системах и далее в системах частных операторов даннх.
2. Отношения компания-потребитель/покупатель не заканчиваются покупкой/договором. Есть требования по документообороту, архивному делу, предоставления данных регуляторам, аудиторам, правоохранительным органам которые компании должны соблюдать. А ещё есть гражданский и уголовный кодексы со сроками давности по уголовным делам для которых данных в базах данных являются одним из доказательств.
3. Без реформы правоприменения остальные меры будут недостаточны. Конечно компании должны требовать только те данные которые нужны для оказания услуги, это и так присутствует уже в законодательстве. Проблема сейчас не в законодательстве, а в эффективном правоприменении. Давайте будем честными, защита персональных данных и прав граждан - это не самая сильная сторона Роскомнадзора.

Поэтому моё отношение к инициативам Миронова скептическое. Это не странно что партии вносят инициативы без предварительной профессиональной подготовки, но, всё же, хотелось бы чтобы такого было поменьше и поменьше спекуляций в итак уже проблемной области.

Ссылки:
[1] https://www.comnews.ru/content/216858/2021-10-12/2021-w41/personalnym-dannym-khotyat-dobavit-spravedlivosti
[2] https://spravedlivo.ru/11555710

#privacy #personaldata

Сегодня в 15:00 я выступаю на Eurasian Data Protection Congress 2021 с докладом Слежка за гражданами через мобильные государственные приложения, а сам конгресс начнётся уже скоро, в 10:00 с трансляцией на сайте https://edpc.network

Будет много интересных спикеров, актуальных вопросов о приватности граждан, так что рекомендую даже тем кто пока ещё далек от тем приватности.

#privacy #events #surveillance

Моя презентация с конгресса EDPC о слежке через государственные мобильные приложения [1].
В презентации всё сказанное не передашь, так что задавайте вопросы/комментируйте в чате

Ссылки:
[1] https://www.beautiful.ai/player/-MmSXg4uXGoxpIGjBlSc

#privacy

А впервые я заинтересовалась всей темой ограниченных возможностей лет пятнадцать назад, когда мы разрабатывали официальный портал Минздравсоцразвития (сейчас это ведомство разделено на два отдельных министерства). Я тогда решила, что одной из ключевых особенностей портала должна будет стать его принципиальная доступность для слабовидящих и незрячих пользователей, и тут передо мной открылся новый мир - нашелся специальный международный стандарт доступности веб-информации WCAG, который обеспечивал нормальное отображение сделанного по стандарту сайта на устройствах и программах для слабовидящих и незрячих пользователей: на всех этих экранах и принтерах Брайля, в программах для озвучивания, просто настройках операционной системы, которые используются в таких случаях. Через пару лет эта тема стала ужасно модной, что хорошо, и какое-то время все нормальные госсайты и даже сайты крупных компаний стали делаться, если не по стандарту, то хотя бы с версиями для слабовидящих, хотя эту дурацкую версию тоже когда-то придумала я, как временный костыль, пока доверстывали в стандарт, а она прижилась. Понятно почему - соответствие стандарту снаружи не видно, а социально-ответственную кнопку видно. Но вообще эту версию любили и обычные сотрудники министерства, потому что она очень четкая была и без лишнего. Я тогда еще проводила семинары про доступность, встречалась с главой соответствующего подразделения консорциума W3C, когда она приезжала из США, брала экспертизу у Всероссийского общества слепых и много консультировалась с экспертами по доступности. Можно было бы гордиться, что принесли в страну такую важную практику, потому что мы реально были первыми, кто это начал делать, но сейчас тема доступности как-то подпомеркла. Что ужасно неправильно. Не знаю, что будет, если сейчас проверить ключевые сайты на соответствие WCAG.

Для тех кто ищет данные и не знает где их найти, Инфокультура подготовила новый небольшой и полезный проект "Каталог каталогов данных" datacatalogs.ru. На самом деле мы его вели очень давно, в виде базы в Airtable с большим числом параметров по каждому каталогу данных - тип каталога, темы, наличие экспорта, наличие API, программный продукт и многое другое. Потом поняли что недостаточно каталогизировать только каталоги данных и добавили туда несколько репозиториев других видов данных и источники особо крупных датасетов.

Инфокультура представляет новый проект — Каталог данных www.datacatalogs.ru.

В нем систематизированы государственные источники открытых данных, а также собраны альтернативные базы, каталоги, репозитории, порталы, наборы и иные источники данных, потенциально интересные для всех, кто работает с данными.

На сегодняшний день в каталоге:
✔️ 245 российских и международных источников данных.
✔️ 105 тематических направлений, охватывающих самый широкий спектр от социологии до недропользования и внешней торговли.
✔️ Ссылки не только на государственные источники данных, но и на независимые общественные и некоммерческие инициативы, а также академические данные и данные коммерческих компаний.
✔️ Источники данных имеют разные режимы доступа (открытые, ограниченные, закрытые), а также категоризированы по типу контента и даже по типу платформы каталога (CKAN, DKAN и иные).

Если вы знаете какой-либо источник данных, отсутствующий в каталоге, вы можете добавить его, заполнив специальную форму.

В каталог Datacrafter'а загружены данные 19 реестров и справочников из Федерального информационного фонд по обеспечению единства измерений (ФГИС Аршин), государственной информационной системы в ведении Росстандарта. В том числе такие наборы данных как:
- Аттестованные методики (методы) измерений - 39 тысяч записей
- Эталоны единиц величин - 114 тысяч записей
- Утверждённые типы средств измерений - 99 тысяч записей

Эти данные, а также остальные наборы данных загружены в раздел Справочники и классификаторы.

Все они доступны для бесплатного открытого использования через API DataCrafter и с возможностью получить весь набор данных в виде базы MongoDB.

Далее продолжится работа по классификаци и анализу всех загруженных метаданных в этих наборах данных.

В будущем ждите больше данных, идёт работа по агрегации крупнейших каталогов данных.

#opendata #datasets #metrology

Дмитрий Скугаревский из Европейского университета опубликовал в Рюмочной ИПП [1] результаты анализа полноты данных в ЕГРЮЛ, надеюсь он и его коллеги выложат в будущем результаты в виде статьи или иной завершённой работы с кодом и данными. От себя прокомментирую что коллеги охватили период до 1 января и анализировали полноту заполнения сведений.

Я же ранее писал 8 ноября о том что проблема не в общем списке юр. лиц, а только тех которые зарегистрированы в 2021 году. Это 3852 организации у которых полностью отсутствуют сведения об учредителях. Это аномально, странно, ненормально и, в принципе, противоречит открытости не то что некоммерческих организаций, но и деловой практике проверки контрагентов в принципе.

Причём это касается всех НКО, так что тут не может быть связи с санкционными рисками в чистом виде, а если и связано, то решение проблемы хуже самой проблемы. Я напомню что Инфокультура ведёт проект Открытые НКО где эти данные, также, необходимы.

#opendata #data #registries #ngos

Я рассказывал про то что у очень многих госорганов/госсайтов/информационных систем есть документированные, плоходокументированные и совсем недокументированное API. Все вместе это частично, объект интереса в задачах сбора и извлечения данных, частично вопрос информационной безопасности и, в значительной степени, вопрос технической квалификации.

Я приведу несколько примеров API на порталах органов власти и их информационных систем.

Росрыболовство
Официальный сайт органа власти (fish.gov.ru) создан на бесплатной CMS Wordpess. Сайт установлен без доп. настроек и с настройками по умолчанию, поэтому из сайта доступно техническое API Wordpress'а [1] через которое можно автоматически выгрузить все их новости, веб-страницы и тд. Похоже на неотключенную возможность у CMS.

Автоматизированная система транспортного комплекса (АСУ ТК)
Сайт АСУ ТК (asutk.ru) создан на базе CMS Sharepoint, по умолчанию API к спискам на сайте и к веб-страницам доступно по технической ссылке [2]. Не видно что API используется где-то на сайте, скорее не отключенная возможность CMS.

Портал уполномоченного органа в сфере электронной подписи
Сайт Минцифры России со сведениями о УЦ и УП (e-trust.gosuslugi.ru) предоставляет недокументированное API, например, для получения списка аккредитованных УЦ [3]. Похоже на API сделанное разработчиками для скорости отображения данных на веб-страницах которые подгружают данные через Ajax запросы.

Цифровой мастер-план города Байкальска
Не совсем государственный, скорее государством заказанный сайт (план.байкальск.рф) отображает данные с помощью Graphql API [4]. Похоже это основной принцип работы сайты через отображение данных через запросы к бэкэнду Graphql.

Я привёл 4 примера из нескольких сотен, именно недокументированных API. Как такие API появляются? Почему часто владельцы данных сами о них не знают?

Основные причины таковы:
1. Неотъемлимая часть CMS или веб-фреймворка. CMS вроде Sharepoint'а или Wordpress предоставляют API по умолчанию, позволяющее скачивать весь общедоступный контент автоматизировано. Аналогично делают некоторые компоненты для существующих CMS.
2. Разработчикам так удобнее. Разработчики привыкшие делать внутренние или закрытые веб-приложения часто переносят эти практики для приложений в открытом доступе и отображают данные через Ajax запросы.
3. Внутреннее API не для всех. Значительно реже, API делается для себя/каких-то команд которые работают с данными, но не документируется, не описывается и тд. Часто можно найти в документах техзаданий к госконтрактам.

Есть порталы где API декоративно и запросы автоматически блокируются после 5-10 обращений в минуту. Есть порталы где API - это основной способ предоставлять информацию. В одном только портале электронного бюджета более 100 API к данным.

Ссылки:
[1] https://fish.gov.ru/wp-json/
[2] https://asutk.ru/_api/Web/
[3] https://e-trust.gosuslugi.ru/app/scc/portal/api/v1/portal/ca/list
[4] https://api-dmp-baykalsk.chg.one/v1/graphql

#opendata #openapi #api #government

Полный слепок всех данных из портала Data.gov.ru выложен на Хаб открытых данных [1]. Это архив в 13ГБ, после распаковки 29 ГБ.

Слепок этих данных создавался в архивационных целях, для Национального цифрового архива, но также может быть полезен всем исследователям открытых данных в России, тем кто ищет большие данные для собственных задач и так далее.

Ссылки:
[1] https://hubofdata.ru/dataset/datagovru-20220202

#opendata #data #dataports #ruarxive

🔇 Надоели голосовые в чате?
Добавь @VoiceTextRobot в чат он преобразует все голосовые в текст! 😱