В каталог DataCrafter'а добавлен открытый набор данных Реестр обязательных требований для организаций в городе Москве [1] полученный с сайта Открытый контроль (knd.mos.ru). Набор данных включает 87 тысяч записей, общим объёмом 470 МБ в формате JSONL и в 20 МБ в сжатом виде. Данные содержат обязательные требования предъявляемые организациям в зависимости от вида их деятельности.

Данные доступны через:
- в виде пакета данных (ZIP архив)
- в виде JSON lines файла экспорта
- через API платформы

Набор данных можно использовать, например, для создания сервиса определения перечня требований к организации по виду деятельности. На его основе можно создать специальный телеграм бот, мобильное приложение или веб интерфейс отличный от того что уже реализовано на портале Открытый контроль.

Ссылки:
[1] https://data.apicrafter.ru/packages/mosknd

#opendata #moscow #data #knd

У DataIKU [1], платформы для совместной работы над Data Science проектами, вышел небольшой обзор 3 Keys to a Modern Data Architecture Strategy Fit For Scaling AI [2].

Как и практически все продукты на текущем рынке работы с данными, ML/AI они пишут про своё место в Modern Data Stack определяя его в блоках трансформации данных (Transform) и Data Science.

Тут важно понимать что DataIKU - это дорогая платформа для крупных компаний ещё и с сильным акцентом на ИТ безопасность, потому они и пишут в своём обзоре что миграция в облако не так уж небезопасна. Год назад я пытался у продавцов DataIKU выяснить стоимость их продукта, но даже 5 писем и 3-х созвонов с ними не хватило и ответа я так и не получил, хотя и сам продукт интересный и его бесплатную версию интересно посмотреть хотя бы для понимания как такие продукты устроены и можно ли сделать более дешёвую, дружелюбную альтернативу.

Ссылки:
[1] https://www.dataiku.com
[2] https://content.dataiku.com/modern-data-architecture/modern-data-architecture

#datascience #moderndatastack #data #dataproducts

В рубрике интересные наборы данных.

Политический журналист Derek Willis в течение нескольких лет заходил на сайты всех кандидатов в конгрессмены и партийных комитетов связанных с выборами и заполнял формы подписки на письма на специально созданный для этого email адрес. В итоге у него накопилась база в 100 000+ писем общим объёмом более 673 мегабайт. Об этом он пишет у себя в блоге [1] и выложил всю базу в открытый доступ [2] предварительно забрав её с помощью Google Takeout.

Забавный эксперимент который можно повторить и в наших реалиях, например, подписавшись на рассылки российских "инфоромалов" или разного рода религиозных групп или тех же кандидатов в депутаты/кого-там-ещё-выбирают и так далее.

Ссылки:
[1] https://createsend.com/t/t-97F63A7D578A8F0B2540EF23F30FEDED
[2] https://political-emails.herokuapp.com/emails

#opendata #datasets #email #politicaljournalism #datajournalism

Закрывается QRI [1], а на qri.cloud более нельзя размещать свои датасеты. QRI - это один из стартапов, публичный каталог данных, за которым я давно слежу. Проект существовал с 2016 года и удивительно что его создатели так и не привлекли инвестиций [2]. QRI позволяли подготовить данные для публикации с помощью довольно удобного инструмента QRI Desktop [3] или утилиту командной строки [4].

Например, если сравнивать QRI с Dolthub, Splitgraph и с Data.world, другими общедоступными каталогами данных, то им удалось привлечь финансирование и они продолжают развиваться.
А автор QRI делает два пессимистичных вывода что:
а) Данные - это не код (этот тезис понятный, но дискуссионный).
б) Сложно конкурировать с Web2 компаниями на стеке Web3 (этот тезис я не до конца понимаю)

В QRI было опубликовано 3,447 датасетов общим объёмом 49.2 гигабайта. Что, скажем честно, немного. К примеру в Splitgraph агрегирует 26 тысяч датасетов [5], в основном с порталов открытых данных США и Великобритании.

В DataCrafter'е у нас 3,4 терабайта данных [6] и 5972 набора данных, что, на самом деле, искусственное ограничение текущей архитектуры. В отличие от других каталогов данных DataCrafter базируется на NoSQL движке MongoDB, я рассказывал об этом на Smart Data Conf в презентации [7] и это даёт одновременно большие плюсы потому что данные не только плоские, а в DataCrafter'е больше половины данных это сложные структуры данных, не табличные. А с другой стороны это же и создает недостатки поскольку:
а) Стоимость хранения данных выше
б) У MongoDB есть ограничения числа коллекций на один экземпляр СУБД.

В остальном DataCrafter похож на Splitgraph. Нет данных от пользователей, только агрегируемые извне, ре-структурируемые и отдаваемые через API.

Возвращаясь к QRI я, по прежнему, удивлён что авторы закрывают его, а не перезапускают. Каталоги данных и технологии работы с ними сейчас на взлёте. Вообще на рынке работы с данными я вижу два восходящих тренда:
1) Технологии и продукты интегрированные в Modern Data Stack. Не "одна платформа/один продукт для всего", а именно что создание +1 компонента из которого дата инженеры собирают стек данных компании.
2) Альтернативные источники данных - в этом случае это data as a product, когда компания собирает какие-либо уникальные данные необходимые рынку. Более всего alternative data развито сейчас в финансовой сфере, особенно в сфере. Самый известный продукт в этой области - Quandl, купленный Nasdaq и превращённый в Nasdaq Data Link [8]

Ссылки:
[1] https://qri.io/winding_down
[2] https://www.crunchbase.com/organization/qri
[3] https://github.com/qri-io/desktop
[4] https://github.com/qri-io/qri
[5] https://www.splitgraph.com/explore
[6] https://data.apicrafter.ru/about
[7] https://www.beautiful.ai/player/-MtnRreZQZbCZH_PbKLf
[8] https://data.nasdaq.com/

#data #datacatalogs #qri #dataproducts

Хочется едко пошутить, что если в России начнут отключать интернет, то майнеры не пострадают, потому что майнинг запретили раньше. А если по существу, то много что у нас запрещено, это не делает это "много что" менее популярным. Перевод криптовалюты из "серой" зоны в "чёрную" ничего хорошего не несет. Как майнили так и будут майнить, как использовали так и будут использовать. Появятся более хитрые обменники которые позволят пополнять криптокошельки.

‼️ Центробанк предложил полностью запретить оборот и майнинг криптовалют в России.

Банк России предлагает ввести запрет на выпуск, обращение и обмен криптовалют, а также на организацию этих операций на территории России. Соответствующие предложения содержатся в докладе регулятора для общественных консультаций.

ЦБ выделяет множество рисков криптовалюты: ослабление рубля, проблемы с устойчивостью банков, возможность полной потери вложений криптоинвесторов, утрата суверенитета национальной валюты, поддержка преступников.

Чтобы этого не допустить, регулятор хочет ввести ответственность за платежи криптой, фактически запретить работу всех криптопроектов в России, запретить финансовым организациям вкладываться в криптовалюты и связанные с ними финансовые инструменты. Подробнее об опасениях и мерах из доклада ЦБ - в материале РБК.

Я таки написал большой лонгрид о том Почему невозможно хвалить Росстат [1] про то как Росстат публикует открытые данные, работает с данными и не только. Несмотря на формат лонгрида, я почти 100% охватил не все стороны работы Росстата, правда, подозреваю что те аспекты которые я упустил, картины не исправят. Но если Вы что-то знаете за границами описанного - пишите в личку или в чате @begtinchat
...
Среди многих российских органов власти Росстат (Федеральная служба государственной статистики) стоит особняком. Его основными задачами всегда было не оказание гражданам госуслуг и, в принципе, взаимодействие с гражданами, а производство данных собранных от граждан, бизнеса, всех сторон общества.

Функции статистических ведомств во всех странах, в этом смысле, похожи. Они проводят переписи, осуществляют опросы, собирают данные из альтернативных источников и по результатам публикуют статистические продукты в разных формах: данные, документы, аналитика, инфографика, результаты исследований и многое другое.

Поскольку статистические данные часто отражают состояние экономики в целом или отдельных её направлений, то и публикуемые Росстатом данные достаточно быстро распространяются СМИ, используются экономическими акторами для принятия решений и действий.

При этом в Росстате происходят изменения, создается Цифровая аналитическая платформа (ГИС ЦАП).
Я же хочу написать о том почему хвалить Росстат не то чтобы даже рано, а просто невозможно
...

Ссылки:
[1] https://begtin.substack.com/p/22

#opendata #data #datastrategy #rosstat

Евросоюз планирует создать собственную DNS инфраструктуру в блекджеком и лунным модулем с мощными функциями фильтрации. Об этом пишет The Record [1] со ссылкой на DNS4EU Infrastructure project [2], проекте информация о котором появилась на прошлой неделе.

В описании проекта, пункт 12:
—
12. Lawful filtering: Filtering of URLs leading to illegal content based on legal requirements applicable in the EU or in national jurisdictions (e.g. based on court orders), in full compliance with EU rules.

The proposal for the service infrastructure shall ensure a forward looking approach regarding technological innovation:
—
У Евросоюза, конечно, неповоротливая медленная бюрократия и немало гражданских организаций которые могут выступить против этой инициативы, но тенденция на лицо - расширение ограничений по доступу к интернет ресурсам не только в России, но и в таких межстрановых образованиях как Европейский союз.

Ссылки:
[1] https://therecord.media/eu-wants-to-build-its-own-dns-infrastructure-with-built-in-filtering-capabilities/
[2] https://ec.europa.eu/info/funding-tenders/opportunities/portal/screen/opportunities/topic-details/cef-dig-2021-cloud-dns-works

#privacy #internet #internetfiltering

По поводу моей последней публикации про DNS4EU Евросоюза [1], Михаил Климарев (@zatelecom) прокомментировал у себя в телеграм канале [2] о том что Да, это будет цензура. Если вы денег заплатите.

Но нет, не только если вы денег заплатите. Я ещё раз обращаю на пункт 12. Lawful filtering это не про добровольность и не про родительский контроль, это про фильтрацию в соответствии с регулированием в странах Евросоюза, решениями судов и не только. Он явно указан в этой инициативе и маловероятно что не будет применяться.

Другой вопрос что ограничения на использование альтернативных DNS серверов и сервисов в Евросоюзе не вводятся, во всяком случае пока. Обязательности использования этих серверов также нет. Во всяком случае на сегодняшний день.

Ссылки:
[1] https://t.me/begtin/3447
[2] https://t.me/zatelecom/20261

#privacy #eu #internet #internetfiltering

Свежий доклад омбудсмена Нового Южного Уэльса (территория Австралии) посвящённый machine technologies [1] машинным технологиям. Это то что в другой литературе называют искусственным интеллектом (arificial intelligence) и системами автоматических решений (automated decision-making).

Доклад весьма подробный с акцентами на том что:
1) Проекты по внедрению таких систем - это не ИТ проекты.
2) В команде внедрения обязательны юристы
3) Подробная документация на работу системы необходима
4) Тестирование и проверка обязательно необходимы
5) Прозрачность (transparency) и объяснимость (explainability) необходимы
6) Контроль за работой системы и обязательные требования.

Документ подробный, охватывает много вопросов, включая роль законодательной власти в этом процессе. А также на сайте опубликован его короткий пересказ для тех кому сложно прочитать его целиком [2]

Ссылки:
[1] https://www.ombo.nsw.gov.au/__data/assets/pdf_file/0005/123629/The-new-machinery-of-government-special-report_Front-section.pdf
[2] https://www.ombo.nsw.gov.au/news-and-publications/news/greater-transparency-needed-for-nsw-governments-use-of-machine-technology-in-decision-making

#privacy #ai #adm #machinetechnologies #nsw #australia

Медуза (СМИ признаное в РФ инагентом) пишет про то что в России засекретили данные об учредителях фонда предполагаемой дочери Путина [1]. А я не могу не напомнить что ещё в декабре писал [2] и в ноябре что у всех вновь зарегистрированных НКО в России в данных в ЕГРЮЛ не предоставляются сведения об учредителях.

Конечно, это явно не спроста, но это очень важные сведения. НКО являются хозяйствующими субъектами, они проходят кредитный скоринг и проверку контрагентов. Если по моей НКО эти сведения тоже будут недоступны, то банк не выдаст мне кредит, контрагенты откажутся заключать договора и тд. Отсутствие сведений об учредителях резко повышает риски любой работы с организацией.

Странно что об этом СМИ пишут только сейчас, видимо потому что выдался политический повод, а не экономический.

Ссылки:
[1] https://meduza.io/news/2022/01/21/v-rossii-zasekretili-dannye-o-vladeltsah-fonda-predpolagaemoy-docheri-putina
[2] https://t.me/begtin/3314

#opendata #data #ngo #companies

Privacy Day 2022: новые правила в сборе биометрии в России и СНГ, распознавание лиц и цифровые следы школьников, блокировка Tor, казахские шатдауны, шпионское ПО и борьба с ним, актуальное в сфере Privacy Tech

28 января 2022 года, в международный день защиты персональных данных, наши партнеры и друзья из Роскомсвободы (@roskomsvoboda) совместно с Digital Rights Center и Privacy Accelerator проведут четвертую тематическую конференцию Privacy Day 2022.

Главная тема конференции 2022 года — сбор биометрических данных для бизнес-процессов, госуслуг и в образовательных учреждениях.

Программа Privacy Day 2022 поделена на несколько тематических блоков. Директор АНО «Инфокультура» Иван Бегтин выступит модератором секции «Биометрия и другие персональные данные в школах: в чем опасность единой базы данных о детях», в рамках которой эксперты обсудят такие вопросы, как использование персональных данных несовершеннолетних граждан, в т.ч. биометрических, а также риски их утечек и перспективы построения цифрового рейтинга.

Российская конференция о приватности и защите персональных данных — это одно из множества глобальных мероприятий, которые в этот день проводят специалисты и энтузиасты в области защиты данных по всему миру. День защиты данных отмечают с 2007 года. Под датой 28 января он закреплен в национальных календарях многих стран. Конференция в Москве призвана поддержать общемировое движение и дать российским специалистам площадку для дискуссий и нетворкинга.

Конференция пройдет онлайн 28 января. Прямая трансляция конференции бесплатна и доступна для всех пользователей.

Публиковать данные важно, ещё важнее публиковать их в форматах применяемых в нужной отрасли и пригодных для удобного использования потребителями.

Для этого существуют открытые стандарты и вот подборка каталогов таких стандартов:
- List of Metadata Standards [1] от Digital Curation Center, UK. Стандарты используемые исследователями для публикации и хранения научных данных.
- Open Standards for Data [2] - сайт про открытые стандарты от Open Data Institute. Хорошая стартовая страница и ресурс для поиска открытых стандартов
- Open Civic Data Standards [3] от НКО Azavea - каталог открытых стандартов с акцентами на гражданское/некоммерческое применение.
- FairSharing [4] большой, даже очень большой каталог стандартов, форматов, баз знаний и руководств по публикации научных данных. Одних только стандартов 1563, они хорошо прокаталогизированы и привязаны к предметным областям и даже странам. Можно найти стандарты в разработке которых участвовали и российские научные организации.
- List of standards to assess [5] хорошая подборка стандартов публикации данных собранная в виде Google таблицы
- Open Data Standards Directory [6] каталог стандартов открытых данных от консультантов из GovEx.
- Schema.org [7] - каталог форматов микроразметки веб-страниц.
- US Data Federation [8] каталог стандартов и инструментов проверки данных используемых в портале Data.gov, США.
- Data.gov Data Standards [9] ещё одна подборка стандартов рекомендуемых к использованию на портале Data.gov, США
- Open standards for government [10] подборка открытых стандартов по публикации открытых данных, одобренных пр-вом Великобритании.
- ONS Data Standards [11] стандарты публикации данных статистической службы Великобритании. Обратите внимание что это часть их стратегии работы с данными [12], весьма подробной и чёткой.

Ссылки;
[1] https://www.dcc.ac.uk/guidance/standards/metadata/list
[2] https://standards.theodi.org/
[3] https://azavea.gitbooks.io/open-data-standards/content/
[4] https://beta.fairsharing.org/
[5] https://docs.google.com/spreadsheets/d/1r7OByH4IeFHzot43nayjlplgEHHW91I4uBIUn59SKgU/edit#gid=0
[6] https://datastandards.directory/
[7] https://schema.org/
[8] https://federation.data.gov
[9] https://resources.data.gov/categories/data-standards/
[10] https://www.gov.uk/government/publications/open-standards-for-government
[11] https://www.ons.gov.uk/aboutus/transparencyandgovernance/datastrategy/datastandards
[12] https://www.ons.gov.uk/aboutus/transparencyandgovernance/datastrategy

#opendata #datastandards #data #datastrategy