В каталог DataCrafter'а добавлен открытый набор данных Реестр обязательных требований для организаций в городе Москве [1] полученный с сайта Открытый контроль (knd.mos.ru). Набор данных включает 87 тысяч записей, общим объёмом 470 МБ в формате JSONL и в 20 МБ в сжатом виде. Данные содержат обязательные требования предъявляемые организациям в зависимости от вида их деятельности.

Данные доступны через:
- в виде пакета данных (ZIP архив)
- в виде JSON lines файла экспорта
- через API платформы

Набор данных можно использовать, например, для создания сервиса определения перечня требований к организации по виду деятельности. На его основе можно создать специальный телеграм бот, мобильное приложение или веб интерфейс отличный от того что уже реализовано на портале Открытый контроль.

Ссылки:
[1] https://data.apicrafter.ru/packages/mosknd

#opendata #moscow #data #knd

У DataIKU [1], платформы для совместной работы над Data Science проектами, вышел небольшой обзор 3 Keys to a Modern Data Architecture Strategy Fit For Scaling AI [2].

Как и практически все продукты на текущем рынке работы с данными, ML/AI они пишут про своё место в Modern Data Stack определяя его в блоках трансформации данных (Transform) и Data Science.

Тут важно понимать что DataIKU - это дорогая платформа для крупных компаний ещё и с сильным акцентом на ИТ безопасность, потому они и пишут в своём обзоре что миграция в облако не так уж небезопасна. Год назад я пытался у продавцов DataIKU выяснить стоимость их продукта, но даже 5 писем и 3-х созвонов с ними не хватило и ответа я так и не получил, хотя и сам продукт интересный и его бесплатную версию интересно посмотреть хотя бы для понимания как такие продукты устроены и можно ли сделать более дешёвую, дружелюбную альтернативу.

Ссылки:
[1] https://www.dataiku.com
[2] https://content.dataiku.com/modern-data-architecture/modern-data-architecture

#datascience #moderndatastack #data #dataproducts

В рубрике интересные наборы данных.

Политический журналист Derek Willis в течение нескольких лет заходил на сайты всех кандидатов в конгрессмены и партийных комитетов связанных с выборами и заполнял формы подписки на письма на специально созданный для этого email адрес. В итоге у него накопилась база в 100 000+ писем общим объёмом более 673 мегабайт. Об этом он пишет у себя в блоге [1] и выложил всю базу в открытый доступ [2] предварительно забрав её с помощью Google Takeout.

Забавный эксперимент который можно повторить и в наших реалиях, например, подписавшись на рассылки российских "инфоромалов" или разного рода религиозных групп или тех же кандидатов в депутаты/кого-там-ещё-выбирают и так далее.

Ссылки:
[1] https://createsend.com/t/t-97F63A7D578A8F0B2540EF23F30FEDED
[2] https://political-emails.herokuapp.com/emails

#opendata #datasets #email #politicaljournalism #datajournalism

Закрывается QRI [1], а на qri.cloud более нельзя размещать свои датасеты. QRI - это один из стартапов, публичный каталог данных, за которым я давно слежу. Проект существовал с 2016 года и удивительно что его создатели так и не привлекли инвестиций [2]. QRI позволяли подготовить данные для публикации с помощью довольно удобного инструмента QRI Desktop [3] или утилиту командной строки [4].

Например, если сравнивать QRI с Dolthub, Splitgraph и с Data.world, другими общедоступными каталогами данных, то им удалось привлечь финансирование и они продолжают развиваться.
А автор QRI делает два пессимистичных вывода что:
а) Данные - это не код (этот тезис понятный, но дискуссионный).
б) Сложно конкурировать с Web2 компаниями на стеке Web3 (этот тезис я не до конца понимаю)

В QRI было опубликовано 3,447 датасетов общим объёмом 49.2 гигабайта. Что, скажем честно, немного. К примеру в Splitgraph агрегирует 26 тысяч датасетов [5], в основном с порталов открытых данных США и Великобритании.

В DataCrafter'е у нас 3,4 терабайта данных [6] и 5972 набора данных, что, на самом деле, искусственное ограничение текущей архитектуры. В отличие от других каталогов данных DataCrafter базируется на NoSQL движке MongoDB, я рассказывал об этом на Smart Data Conf в презентации [7] и это даёт одновременно большие плюсы потому что данные не только плоские, а в DataCrafter'е больше половины данных это сложные структуры данных, не табличные. А с другой стороны это же и создает недостатки поскольку:
а) Стоимость хранения данных выше
б) У MongoDB есть ограничения числа коллекций на один экземпляр СУБД.

В остальном DataCrafter похож на Splitgraph. Нет данных от пользователей, только агрегируемые извне, ре-структурируемые и отдаваемые через API.

Возвращаясь к QRI я, по прежнему, удивлён что авторы закрывают его, а не перезапускают. Каталоги данных и технологии работы с ними сейчас на взлёте. Вообще на рынке работы с данными я вижу два восходящих тренда:
1) Технологии и продукты интегрированные в Modern Data Stack. Не "одна платформа/один продукт для всего", а именно что создание +1 компонента из которого дата инженеры собирают стек данных компании.
2) Альтернативные источники данных - в этом случае это data as a product, когда компания собирает какие-либо уникальные данные необходимые рынку. Более всего alternative data развито сейчас в финансовой сфере, особенно в сфере. Самый известный продукт в этой области - Quandl, купленный Nasdaq и превращённый в Nasdaq Data Link [8]

Ссылки:
[1] https://qri.io/winding_down
[2] https://www.crunchbase.com/organization/qri
[3] https://github.com/qri-io/desktop
[4] https://github.com/qri-io/qri
[5] https://www.splitgraph.com/explore
[6] https://data.apicrafter.ru/about
[7] https://www.beautiful.ai/player/-MtnRreZQZbCZH_PbKLf
[8] https://data.nasdaq.com/

#data #datacatalogs #qri #dataproducts

Хочется едко пошутить, что если в России начнут отключать интернет, то майнеры не пострадают, потому что майнинг запретили раньше. А если по существу, то много что у нас запрещено, это не делает это "много что" менее популярным. Перевод криптовалюты из "серой" зоны в "чёрную" ничего хорошего не несет. Как майнили так и будут майнить, как использовали так и будут использовать. Появятся более хитрые обменники которые позволят пополнять криптокошельки.

‼️ Центробанк предложил полностью запретить оборот и майнинг криптовалют в России.

Банк России предлагает ввести запрет на выпуск, обращение и обмен криптовалют, а также на организацию этих операций на территории России. Соответствующие предложения содержатся в докладе регулятора для общественных консультаций.

ЦБ выделяет множество рисков криптовалюты: ослабление рубля, проблемы с устойчивостью банков, возможность полной потери вложений криптоинвесторов, утрата суверенитета национальной валюты, поддержка преступников.

Чтобы этого не допустить, регулятор хочет ввести ответственность за платежи криптой, фактически запретить работу всех криптопроектов в России, запретить финансовым организациям вкладываться в криптовалюты и связанные с ними финансовые инструменты. Подробнее об опасениях и мерах из доклада ЦБ - в материале РБК.

Я таки написал большой лонгрид о том Почему невозможно хвалить Росстат [1] про то как Росстат публикует открытые данные, работает с данными и не только. Несмотря на формат лонгрида, я почти 100% охватил не все стороны работы Росстата, правда, подозреваю что те аспекты которые я упустил, картины не исправят. Но если Вы что-то знаете за границами описанного - пишите в личку или в чате @begtinchat
...
Среди многих российских органов власти Росстат (Федеральная служба государственной статистики) стоит особняком. Его основными задачами всегда было не оказание гражданам госуслуг и, в принципе, взаимодействие с гражданами, а производство данных собранных от граждан, бизнеса, всех сторон общества.

Функции статистических ведомств во всех странах, в этом смысле, похожи. Они проводят переписи, осуществляют опросы, собирают данные из альтернативных источников и по результатам публикуют статистические продукты в разных формах: данные, документы, аналитика, инфографика, результаты исследований и многое другое.

Поскольку статистические данные часто отражают состояние экономики в целом или отдельных её направлений, то и публикуемые Росстатом данные достаточно быстро распространяются СМИ, используются экономическими акторами для принятия решений и действий.

При этом в Росстате происходят изменения, создается Цифровая аналитическая платформа (ГИС ЦАП).
Я же хочу написать о том почему хвалить Росстат не то чтобы даже рано, а просто невозможно
...

Ссылки:
[1] https://begtin.substack.com/p/22

#opendata #data #datastrategy #rosstat

Евросоюз планирует создать собственную DNS инфраструктуру в блекджеком и лунным модулем с мощными функциями фильтрации. Об этом пишет The Record [1] со ссылкой на DNS4EU Infrastructure project [2], проекте информация о котором появилась на прошлой неделе.

В описании проекта, пункт 12:
—
12. Lawful filtering: Filtering of URLs leading to illegal content based on legal requirements applicable in the EU or in national jurisdictions (e.g. based on court orders), in full compliance with EU rules.

The proposal for the service infrastructure shall ensure a forward looking approach regarding technological innovation:
—
У Евросоюза, конечно, неповоротливая медленная бюрократия и немало гражданских организаций которые могут выступить против этой инициативы, но тенденция на лицо - расширение ограничений по доступу к интернет ресурсам не только в России, но и в таких межстрановых образованиях как Европейский союз.

Ссылки:
[1] https://therecord.media/eu-wants-to-build-its-own-dns-infrastructure-with-built-in-filtering-capabilities/
[2] https://ec.europa.eu/info/funding-tenders/opportunities/portal/screen/opportunities/topic-details/cef-dig-2021-cloud-dns-works

#privacy #internet #internetfiltering

По поводу моей последней публикации про DNS4EU Евросоюза [1], Михаил Климарев (@zatelecom) прокомментировал у себя в телеграм канале [2] о том что Да, это будет цензура. Если вы денег заплатите.

Но нет, не только если вы денег заплатите. Я ещё раз обращаю на пункт 12. Lawful filtering это не про добровольность и не про родительский контроль, это про фильтрацию в соответствии с регулированием в странах Евросоюза, решениями судов и не только. Он явно указан в этой инициативе и маловероятно что не будет применяться.

Другой вопрос что ограничения на использование альтернативных DNS серверов и сервисов в Евросоюзе не вводятся, во всяком случае пока. Обязательности использования этих серверов также нет. Во всяком случае на сегодняшний день.

Ссылки:
[1] https://t.me/begtin/3447
[2] https://t.me/zatelecom/20261

#privacy #eu #internet #internetfiltering

Свежий доклад омбудсмена Нового Южного Уэльса (территория Австралии) посвящённый machine technologies [1] машинным технологиям. Это то что в другой литературе называют искусственным интеллектом (arificial intelligence) и системами автоматических решений (automated decision-making).

Доклад весьма подробный с акцентами на том что:
1) Проекты по внедрению таких систем - это не ИТ проекты.
2) В команде внедрения обязательны юристы
3) Подробная документация на работу системы необходима
4) Тестирование и проверка обязательно необходимы
5) Прозрачность (transparency) и объяснимость (explainability) необходимы
6) Контроль за работой системы и обязательные требования.

Документ подробный, охватывает много вопросов, включая роль законодательной власти в этом процессе. А также на сайте опубликован его короткий пересказ для тех кому сложно прочитать его целиком [2]

Ссылки:
[1] https://www.ombo.nsw.gov.au/__data/assets/pdf_file/0005/123629/The-new-machinery-of-government-special-report_Front-section.pdf
[2] https://www.ombo.nsw.gov.au/news-and-publications/news/greater-transparency-needed-for-nsw-governments-use-of-machine-technology-in-decision-making

#privacy #ai #adm #machinetechnologies #nsw #australia

Медуза (СМИ признаное в РФ инагентом) пишет про то что в России засекретили данные об учредителях фонда предполагаемой дочери Путина [1]. А я не могу не напомнить что ещё в декабре писал [2] и в ноябре что у всех вновь зарегистрированных НКО в России в данных в ЕГРЮЛ не предоставляются сведения об учредителях.

Конечно, это явно не спроста, но это очень важные сведения. НКО являются хозяйствующими субъектами, они проходят кредитный скоринг и проверку контрагентов. Если по моей НКО эти сведения тоже будут недоступны, то банк не выдаст мне кредит, контрагенты откажутся заключать договора и тд. Отсутствие сведений об учредителях резко повышает риски любой работы с организацией.

Странно что об этом СМИ пишут только сейчас, видимо потому что выдался политический повод, а не экономический.

Ссылки:
[1] https://meduza.io/news/2022/01/21/v-rossii-zasekretili-dannye-o-vladeltsah-fonda-predpolagaemoy-docheri-putina
[2] https://t.me/begtin/3314

#opendata #data #ngo #companies

Privacy Day 2022: новые правила в сборе биометрии в России и СНГ, распознавание лиц и цифровые следы школьников, блокировка Tor, казахские шатдауны, шпионское ПО и борьба с ним, актуальное в сфере Privacy Tech

28 января 2022 года, в международный день защиты персональных данных, наши партнеры и друзья из Роскомсвободы (@roskomsvoboda) совместно с Digital Rights Center и Privacy Accelerator проведут четвертую тематическую конференцию Privacy Day 2022.

Главная тема конференции 2022 года — сбор биометрических данных для бизнес-процессов, госуслуг и в образовательных учреждениях.

Программа Privacy Day 2022 поделена на несколько тематических блоков. Директор АНО «Инфокультура» Иван Бегтин выступит модератором секции «Биометрия и другие персональные данные в школах: в чем опасность единой базы данных о детях», в рамках которой эксперты обсудят такие вопросы, как использование персональных данных несовершеннолетних граждан, в т.ч. биометрических, а также риски их утечек и перспективы построения цифрового рейтинга.

Российская конференция о приватности и защите персональных данных — это одно из множества глобальных мероприятий, которые в этот день проводят специалисты и энтузиасты в области защиты данных по всему миру. День защиты данных отмечают с 2007 года. Под датой 28 января он закреплен в национальных календарях многих стран. Конференция в Москве призвана поддержать общемировое движение и дать российским специалистам площадку для дискуссий и нетворкинга.

Конференция пройдет онлайн 28 января. Прямая трансляция конференции бесплатна и доступна для всех пользователей.

Публиковать данные важно, ещё важнее публиковать их в форматах применяемых в нужной отрасли и пригодных для удобного использования потребителями.

Для этого существуют открытые стандарты и вот подборка каталогов таких стандартов:
- List of Metadata Standards [1] от Digital Curation Center, UK. Стандарты используемые исследователями для публикации и хранения научных данных.
- Open Standards for Data [2] - сайт про открытые стандарты от Open Data Institute. Хорошая стартовая страница и ресурс для поиска открытых стандартов
- Open Civic Data Standards [3] от НКО Azavea - каталог открытых стандартов с акцентами на гражданское/некоммерческое применение.
- FairSharing [4] большой, даже очень большой каталог стандартов, форматов, баз знаний и руководств по публикации научных данных. Одних только стандартов 1563, они хорошо прокаталогизированы и привязаны к предметным областям и даже странам. Можно найти стандарты в разработке которых участвовали и российские научные организации.
- List of standards to assess [5] хорошая подборка стандартов публикации данных собранная в виде Google таблицы
- Open Data Standards Directory [6] каталог стандартов открытых данных от консультантов из GovEx.
- Schema.org [7] - каталог форматов микроразметки веб-страниц.
- US Data Federation [8] каталог стандартов и инструментов проверки данных используемых в портале Data.gov, США.
- Data.gov Data Standards [9] ещё одна подборка стандартов рекомендуемых к использованию на портале Data.gov, США
- Open standards for government [10] подборка открытых стандартов по публикации открытых данных, одобренных пр-вом Великобритании.
- ONS Data Standards [11] стандарты публикации данных статистической службы Великобритании. Обратите внимание что это часть их стратегии работы с данными [12], весьма подробной и чёткой.

Ссылки;
[1] https://www.dcc.ac.uk/guidance/standards/metadata/list
[2] https://standards.theodi.org/
[3] https://azavea.gitbooks.io/open-data-standards/content/
[4] https://beta.fairsharing.org/
[5] https://docs.google.com/spreadsheets/d/1r7OByH4IeFHzot43nayjlplgEHHW91I4uBIUn59SKgU/edit#gid=0
[6] https://datastandards.directory/
[7] https://schema.org/
[8] https://federation.data.gov
[9] https://resources.data.gov/categories/data-standards/
[10] https://www.gov.uk/government/publications/open-standards-for-government
[11] https://www.ons.gov.uk/aboutus/transparencyandgovernance/datastrategy/datastandards
[12] https://www.ons.gov.uk/aboutus/transparencyandgovernance/datastrategy

#opendata #datastandards #data #datastrategy

Я ранее писал что закрывается QRI [1], один из стартапов создававших продукт в виде общедоступного каталога данных, в первую очередь открытых данных и данных публикуемых пользователями. Такой тип продуктов относится к open data discovery. В отличие от корпоративных каталогов данных которые реализуют задачу data discovery, находимости данных во внутрикорпоративной и около корпоративной среде, продукты по open data discovery предоставляют возможность поиска данных по которым предварительно собраны, либо их метаданные, либо метаданные и сам набор данных.

Однако, QRI далеко не единственный такой продукт, приведу примеры стартапов и других продуктов и проектов в этой области. О многих я уже писал ранее:
- Data.world [2] - стартап с акцентом на дата журналистику и визуализацию данных. Загрузили сотни тысяч наборов данных из порталов открытых данных. Интегрируется с десятками онлайн сервисов и продуктов. Сейчас уходят в корпоративный продукт с ценником в разбросе $50k-$150k, а также в облачный сервис для физ. лиц с оплатой по $12 в месяц. Общий объём привлечённых венчурных инвестиций $82,3M
- Quilt Data [3] авторы создали движок для публикации больших и очень больших данных. Как и другие похожие проекты собрали очень много очень крупных наборов открытых данных [4]. Отличие от Data.world и подобных в том что в Quilt наборы данных особо крупного размера, например, геномные данные или погодные данные или данные медицинских снимков. Общий объём 3.7 петабайта и 10.2 миллиарда объектов. Привлекли инвестиций на $4.2M
- Splitgraph [4] также агрегируют данные из открытых источников, в первую очередь из порталов открытых данных поддерживающих интерфейс экспорта из системы Socrata, это такой разработчик в США, автоматизировавший сотни если не тысячи порталов открытых данных, в первую очередь в США. Особенность Splitgraph в том что они агрегируют данные в СУБД и предоставляют прямой доступ к PostgreSQL. А также, как и многие другие, тот же data.world, предоставляют удобные инструменты для доступа к данным. Привлекли ангельские инвестиции, сумму не раскрывают.
- DoltHub [6] портал с попыткой перенести концепцию Git и идеологию Github'а на данные. Построен по модели хостинг платформы, похожей на Github. До определенного объема работа с сервисом бесплатна, начиная с определенного объёма данных надо платить деньги. Много краудсорсят и работают с сообществом, предусмотрели механизм вознаграждений для тех кто собирает данные и публикует на Dolthub'е. Привлекли $21M венчурных инвестиций.

Все эти стартапы агрегируют метаданные и данные, предоставляя более удобный доступ.
За пределами коммерческих стартапов существуют экспериментальные и научные проекты.
- Dataset search [7] от исследовательской группы в Google. Ищет по метаданным указанным через микроразметку Dataset из schema.org.
- Datacite. Find, access and reuse data [8] поиск по метаданным опубликованных научных данных получивших DOI от Datacite. Актуально для исследователей ищущих данные для своих работ и работающих в академической среде и с академическими источниками данных.
- Find Open Data [9] малоизвестный поисковик по открытым данным с открытым кодом. Похоже заброшен автором, поскольку код не обновлялся около 2-х лет. Автоматически индексировал данные из порталов на базе Socrata и CKAN.
- opendatasoft data hub [10] агрегатор данных от OpenDataSoft, крупнейших внедренцев порталов открытых данных в Евросоюзе, в первую очередь во Франции. Они агрегируют данные только из тех порталов которые сами же создали, поэтому там 15 тысяч наборов данных на французском языке и сильно меньше на других языках. За пользование порталом нет платы, он лишь дополняет бизнес модель компании по внедрению порталов открытых данных. OpenDataSoft привлекли $36.3M венчурных инвестиций.

Ссылки:
[1] https://t.me/begtin/3440
[2] https://data.world
[3] https://quiltdata.com/
[4] https://open.quiltdata.com/
[5] http://splitgraph.com
[6] https://dolthub.com/
[7] https://datasetsearch.research.google.com/
[8] https://search.datacite.org/
[9] https://findopendata.com/
[10] https://data.opendatasoft.com