В рубрике интересного чтения о данных и не только

- The Definitive Guide to Decision Intelligence [1] электронная книжка от стартапа Tellium о аналитике принятия решений
- Новый оператор match ... case в Python 3.10 [2] для выстраивания цепочки "если ... то". Выглядит любопытно, но терять совместимости с более ранними версиями Python не хотелось бы
- о том что такое хорошо смоделированные данные для аналитики [3]
- мощная критика Dbt от одного из пользователей [4], с акцентом на непрозрачности будущего продукта
- и ответ на эту критику от одного из создателей Dbt [5]

Ссылки:
[1] https://www.tellius.com/decision-intelligence-the-definitive-guide-ebook/
[2] https://medium.com/short-bits/python-3-10-match-a-new-way-to-find-patterns-8452d1460407
[3] https://towardsdatascience.com/what-is-well-modeled-data-for-analysis-28f73146bf96
[4] https://pedram.substack.com/p/we-need-to-talk-about-dbt
[5] https://roundup.getdbt.com/p/the-response-you-deserve

#reading #datasets

Оборотные штрафы для компаний за утечку данных могут составить 1% их годового оборота как пишут Ведомости [1] со ссылкой на слова директор департамента обеспечения кибербезопасности Минцифры Владимир Бенгина.

Кроме того компании должны будут уведомлять об утечках и штраф за неуведомление будет даже больше.

Много это или мало? Это, конечно много, и существенно больше текущих минимальных штрафов. Законодатель идёт явно по пути GDPR'изации регулирования с приданию преимущества интересам граждан, но не интересам бизнеса.

Хорошо это или плохо? Для рынка информационной безопасности - хорошо, для рядовых пользователей - лучше, для интернет компаний, конечно хуже, но никто их уже давно не идеализирует, часто, исходя из того что в гонке за сверхдоходами они жертвуют приватностью и безопасностью пользовательских данных, применяют "теневые шаблоны" (dark patterns) для манипуляции потребителями.

Но в реализации закона, если он таки будет, будут очень важны нюансы. Оборотные штрафы будут с головной компании, со всего холдинга или с того юр. лица с которым пользователь подписывает соглашение о конфиденциальности (соглашается на оферту, для онлайн сервисов) ?

Вопрос не праздный. Вот к примеру, есть какой-нибудь "Навоз Банк" со своей цифровой экосистемой из кучей интернет продуктов. Они учреждают дочернее предприятие "Оператор Доения Данных" через пару уровней подчинения и вешают на него функции оператора по управлению данными пользователей со всех других дочерних структур. "Оператор Доения Данных" может иметь годовой оборот не более 200млн руб., а весь "Навоз Банк" в несколько сотен миллиардов. Если что-то случится, то штраф наложат на этого оператора на пару миллионов, а "Навоз Банк" практически не пострадает.

Реалистичная схема? Реалистичная

P.S. Все названия выдуманы, все измышления умозрительны. Заранее извинения сотрудникам "Навоз Банка" если раскрыл какие-то их корпоративные секреты.

Ссылки:
[1] https://www.vedomosti.ru/technology/articles/2022/05/18/922625-oborotnie-shtrafi-utechku

#privacy #security #regulation

Написал очередной текст в англоязычный блог о том что поисковые системы - это глобальные инструменты для data discovery (поиска данных), недостатках DataCite Search и Google Dataset Search и о том какой могла бы быть идеальная поисковая система по данным

Dataset search engines as global data discovery tools [1]

Ссылки:
[1] https://medium.com/@ibegtin/dataset-search-engines-as-global-data-discovery-tools-a0dfc981ea9d

#opendata #datasets #search #datatools

А как насчёт того чтобы @mintsifry выложили бы полный список компаний чьи сотрудники получили отсрочки от армии в формате, хотя бы:
- название компании
- число сотрудников получивших отсрочку

Никакие персональные данные раскрыты не будут. Стратегической ценности у этих данных нет, коммерческая тайна раскрыта не будет. А вот для истории было бы крайне интересно.

#data

👨‍💻 24 года — cредний возраст ИТ-специалистов, претендующих на отсрочку от армии

Всего ИТ-компании подали заявки на оформление отсрочки от армии для 8,7 тыс. своих сотрудников.

Критериями для оформления отсрочки были:

🔹 гражданство РФ;
🔹 возраст — от 18 до 27 лет (родившиеся с 01.04.1995 по 15.07.2004);
🔹 работа по трудовому договору;
🔹 нормальная продолжительность рабочего дня;
🔹 высшее образование по специальности из перечня подпадающих под отсрочку;
🔹 работа в аккредитованных компаниях не менее 11 месяцев в период с 1 апреля 2021 по 1 апреля 2022 г. или устройство на работу в течение года после окончания учебы.

@mintsifry

Напоминаю что сегодня будет трансляция нашей мини-конференции про цифровую архивацию [1], подключайтесь дистанционно, у нас будут интересные дискуссии и доклады.

Я буду участвовать в пленарной дискуссии в 16 часов и выступать с докладом после дискуссий. В докладе буду рассказывать о том зачем мы создали Национальный цифровой архив Ruarxive.org [2] и что делали в 2022 году.

Ссылки:
[1] https://conference.ruarxive.org
[2] https://ruarxive.org

#digitalpreservation #webarchives

Продолжается кампания по архивации порталов открытых данных и разделов сайтов органов власти и иных организаций создававших разделы с открытыми данными.

В общей сложности собраны данные 37 сайтов в объёме 43 GB данных в сжатом виде zip и warc.gz форматах (около 320 GB в распакованном виде). Основной объём составляют слепки данных порталов opendata.mkrf.ru (15GB) и data.gov.ru (14GB) соответственно.

Порталы архивируются, либо инструментами веб-архивации , либо скриптами разработанными под конкретный портал.

Полный перечень архивируемых сайтов доступен в таблице в Airtable [1], а код для архивации ряда порталов в репозитории rudatarchive [2] на Github.

Присоединяйтесь к кампании, помогайте с архивацией данных которые ещё не отмечены как собранные. В России более 240 порталов, разделов, сайтов содержащих открытые данные, а также есть ряд ресурсов посвящённых открытости гос-ва - открытости бюджетов. Эти ресурсы также в этом списке.

Выгруженные данные можно загрузить на какой-либо временный файловый хостинг и прислать нам ссылку или же, при небольшом объёме, загрузить их в репозиторий rudatarchive на Github.

Ссылки:
[1] https://airtable.com/shr1rzsajTM5SSyoI
[2] https://github.com/ruarxive/rudatarchive

#opendata #digitalpreservation #webarchives

Изучаю сейчас международные методики оценки и мониторинга политик работы с данными и вижу достаточно чёткий фокус в определении приоритетов по 6 направлениям:
- G2G - госполитика работы с данными государства для государства
- B2G - госполитика предоставления данных бизнеса для государственных задач
- G2B - госполитика предоставления данных государства для бизнеса
- G2C - госполитика предоставления данных государства гражданам
- G2S - госполитика предоставления данных государства исследователям.
- B2S - госполитика предоставления данных бизнеса исследователям.

Причём много есть регулирования по каждому из этих направлений и роль государства как регулятора особенно заметна в ЕС, Великобритании и ещё во многих странах.

Удивительно, при этом, что некоторые африканские страны делают большой прогресс по управлению и госполитикой работы с данными.

Я регулярно читаю лекции и провожу семинары по управлению основанному на данных, теперь вот планирую обновить все материалы нестандартными примерами из опыта Африки. Африканские страны же дружественные к России?;)

Например, Вы знали что в Руанде есть, не много, не мало, а National Data Revolution Policy [1] включающее, в том числе, Data Archiving Framework. Может нам есть чему поучиться у регуляторов Руанды?

Ну а кроме шуток приятно видеть что в мире регулирование работы с данными и госполитика в этой области получает качественное развитие. И расстраивает что в России подобного ничего не наблюдается.

Ссылки:
[1] https://statistics.gov.rw/file/5410/download?token=r0nXaTAv

#opendata #policy #regulation

Подготовил перевод на русский статьи про поисковики по данным и отправил в рассылку на Substack [1]․ Кстати, если Вы не подписались ещё, то приглашаю подписываться [2]. Рассылку я веду на русском языке, пишу туда редко, но только относительно большие тексты.

Ссылки:
[1] https://begtin.substack.com/p/25?sd=fs
[2] https://begtin.substack.com

#datadiscovery #data #dataportals

Полезное чтение про данные:
- дорожная карта развития dbt до 2023 года [1]. Главное, конечно, поддержка моделей на Python. Очень надеюсь что работать с NoSQL данными с помощью dbt станет куда проще.
- труба данных от Stripe [2], можно данные о платежах теперь получать напрямую в свой data warehouse. Довольно интересный подход и стратегия. Не подключать внешние ELT/ETL а самим складывать в базу клиента. Если такое будет развиваться, то весь ландшафт продуктов на данных поменяется.
- batch or stream [3] о том как работать с данными, выгрузками или потоками. Интересные размышления
- State of Workflow Orchestration 2022 [4] доклад о управлении потоками задач и данных. Много любопытного, я из него узнал про Temporal [5], движке для задач с JS внутри. Из минусов - читая доклад можно подумать что движков всего 5-6, а это совсем не так

Ссылки:
[1] https://github.com/dbt-labs/dbt-core/blob/main/docs/roadmap/2022-05-dbt-a-core-story.md
[2] https://stripe.com/en-gb-fr/data-pipeline
[3] https://medium.com/@bdjidi/batch-or-stream-8627b2cd9031
[4] https://www.prefect.io/lp/gradientflow/
[5] https://temporal.io

#datatools #datengineering #opensource #reading

Написал очередной текст на английском о семантических типах данных и интеграции их идентификации с Wikidata [1] и особенностях ведения реестра metacrafter'а. Через какое-то время переведу его на русский на пишу в рассылку [2]. Для технологических лонгридов буду теперь писать, чаще всего, именно в такой последовательности.

Ссылки:
[1] https://medium.com/@ibegtin/semantic-data-types-metadata-sources-wikidata-wikipedia-and-other-e6023e4d7431
[2] https://begtin.substack.com

#data #articles #opensource

Я не так давно писал про ETL выделенную из Datacrafter'а для данных в NoSQL форматах JSONlines и BSON [1]. Это кусок кода отделенный в рамках "техдолга", то что надо было сделать давно и только недавно до этого дошли руки.

Но есть задача для которой точно нет подходящего простого ETL/ELT/data pipeline engine - это как раз цифровая архивация для создания тематических коллекций архивируемых сайтов, аккаунтов в соцсетях и тд.

Задачи по цифровой / веб архивации можно разделить на несколько видов, но в части сбора данных, основных всего два.

Массовый сбор и сфокусированные коллекции.

Массовый сбор - это когда роботы вроде краулеров Archive.org обходят условно неограниченное число цифровых ресурсов и делают слепки и актуализируют ранее собранные материалы.

Сфокусированные коллекции - это когда собирается не всё а по перечню: сайтов, разделов на сайтах, отдельных файлов, каналов в телеграм, аккаунтов в соцсетях и тд.

Для массового сбора есть своя экосистема инструментов, а вот для сфокуированных коллекций категорически нехватает ETL инструментария. Причём скорее ETL чем ELT потому что много двоичных данных которые можно поместить в озеро данных и сложно хранить в хранилище данных.

Логика та что что у классических ELT продуктов.
Извлечение данных с помощью разных инструментов и стратегий, преобразование для долгосрочного сохранения и загрузка в Internet Archive, какое-то постоянное хранилище и ещё куда-то, по необходимости.

Эта логика дополняется ещё одной стадией D - Discovery. Это когда движок получает на вход набор ссылок и на их основе автоматически определяет стратегию в зависимости от типа ресурса. В итоге получается DELT (Discover Extract Transform Load).

Недостаток такого движка в узкой применимости и в больше значимости этапа Extract, поскольку извлечение и сбор данных наиболее длительны и ресурсоёмки.

В принципе развитие дата инженерии давно уже достигло той стадии когда нужны специализированные решения. В основном они сейчас строятся на готовых продуктах, но иногда функций готовых продуктов недостаточно.

#digitalpreservation #etl #dataengineering

Написал заметку про DELT (Discover, Extract, Load, Transform) на английском языке [1] на Medium.

Ссылки:
[1] https://medium.com/@ibegtin/delt-discover-extract-load-transform-are-we-ready-for-etl-for-digital-preservation-ced3a08727a

#datadiscovery #digitalpreservation #etl #data

В Эстонии пишут о высоком уровне открытости данных в стране [1]. Они заняли 2-е место в оценках открытости Global Data Barometer [2]. На первом месте США, что, в целом справедливо, и в GDB довольно точно указано что в США высокий уровень прозрачности по всем направлениям, кроме реестра компаний. Это известная тема с тем что общенационального реестра компаний в США нет до сих пор.

А вот с тем что сейчас измерено в России по открытости, к сожалению, это возможно последние такие результаты. Всё быстро идёт к постепенному закрытию данных по каждому из направлений. Вернее к закрытию или не открытию там где должно быть.

Особенно вопиющая ситуация в том что касается качества жизни и COVID-19. За всё время пандемии российское правительство не опубликовало _ни одного набора данных_ по теме пандемии. Медиа материалов - сколько угодно, наборов данных - ни одного.


Ссылки:
[1] https://e-estonia.com/estonia-is-leading-the-world-in-the-use-of-data/
[2] https://globaldatabarometer.org/results/

#opendata #gdb

Журналисты вчера буквально завалили меня запросами на комментарии по куче ИТ тем, причём я на часть вопросов старался отвечать: "мнения не имею, спросите специалистов".

Но какие-то комментарии важно уточнять чтобы не было кривотолков:
1. По поводу того что СМИ пишут про увольнения украинских ИТ специалистов и людей с украинским гражданством. Я таких несколько случаев знаю, где-то с результатом увольнения, где-то повышенного внимания. Ничего хорошего в этом не вижу. Системы комплаенс проверки в том числе сейчас учитывают гражданство проверяемых. Повторюсь каких-либо данных у меня лично нет, знаю только конкретные случаи и в очень небольших компаниях в рынке инфобеза. Сейчас мои слова активно трактуют СМИ не так как я их произносил, поэтому уточняю и конкретизирую.

2. По поводу рейтингов цифровой трансформации. Я повторюсь что мне не нравится то чем сейчас занимаются руководители по цифровой трансформации (РЦТшники) и как написаны ВПЦТ (ведомственные программы цифровой трансформации). Смысл в них выхолощен, тема открытости полностью исчезла из их работы. Я категорически не согласен что сервисы (госуслуги) должны быть приоритетом их работы и новый рейтинг РЦТшников оцениваю
столь же скептически как предыдущий

3. По поводу смены критерии включения ИТ компаний в реестр аккредитованных. Я бы сказал так, и хорошо, и плохо. Хорошо будет тем кто сейчас под эти критерии попадёт. А плохо будет когда налоговики и следаки оголодают и будут доначислять "незаконно полученную выгоду" от применения пониженных налоговых ставок. Сейчас в реестре аккредитованных есть те кто вообще никак нигде и никаким образом не может быть ИТ компанией. Но они там есть. И их оттуда не исключают.

В общем не читайте советских газет по утрам. Никому не верьте, мне можно (с)

#it #politics #comments

Новые порталы и каталоги данных в проекте datacatalogs.ru

Добавлены:
- Геопортал ИВиС ДВО РАН
- Геопортал ТИГ ДВО РАН
- Геопортал СВКНИИ ДВО РАН
Портал интеграции данных РФ из мировых музеев (минералы)
- «Информационные ресурсы Единой геофизической службы РАН» (БД ИР ЕГС РАН)

Все они относятся к научным порталам и каталогам данных и метаданных, доступных либо в открытом режиме, либо по запросу.

Всего в проекте datacatalogs.ru собрано 263 ресурса с данными в России или о России. Если Вы ведете каталог данных и Ваш ресурс в каталоге отсутствует, заполните форму https://www.datacatalogs.ru/add-resource и мы обязательно его добавим.

#datacatalogs #dataportals

Подборка актуального чтения про открытость данных:
- началась расшифровка и публикация геномов вируса обезьяньей оспы на сайте Nextstrain [1]
- The Future of Open Data [2] книга о будущем открытости данных от канадских исследователей Teresa Scassa и Pamela Robinson. В книге есть отдельный акцент на открытых государственных геопространственных данных.
- Policy Brief: Harnessing data to accelerate the transition from disaster response to recovery [3] рекомендации по управлению данными в ситуациях восстановления при катастрофах
- в Новой Зеландии публикуют данные лидаров нескольких территорий [4]
- власти Великобритании планируют принять закон [5] переводящий в открытые данные данные о городском планировании
- открытый каталог не-открытых данных Ирландии [6], фактически это каталог данных находящихся в управлении органов власти Ирландии, но не публикуемых в силу наличия в них персональных данных или иной чувствительной информации.
- данные и визуализация изменения потребления, генерации и цены на электричество в мире [7] особенно заметен сейчас резкий рост цен на электричество в Европе
- свежее исследование о низком качестве исследовательских данных [8], это отдельная большая работа объяснять учёным как и зачем публиковать данные в пригодном для работы формате.

Ссылки:
[1] https://nextstrain.org/monkeypox
[2] https://ruor.uottawa.ca/handle/10393/43648
[3] https://zenodo.org/record/6566685
[4] https://t.co/YeSmZbOF1Z
[5] https://www.computerweekly.com/news/252518138/Government-levelling-up-bill-promotes-open-data-based-digital-planning
[6] https://datacatalogue.gov.ie/
[7] https://ember-climate.org/data/data-explorer/
[8] https://royalsocietypublishing.org/doi/full/10.1098/rspb.2021.2780

#opendata #reading

Написал очередной текст на английском про будущее NoSQL в Modern Data Stack [1]. В этот раз не писал с нуля, а перевел свою февральскую статью [2] с русского на английский.

Заметка о том почему NoSQL продукты вроде MongoDB выпадают из современного стека данных и что с этим можно поделать.

Ссылки:
[1] https://medium.com/@ibegtin/future-of-nosql-in-modern-data-stack-f39303bc61e8
[2] https://begtin.substack.com/p/23

#data #datacatalogs #nosql #moderndatastack

Не могу не поделиться мыслями о том что все соцсети, профессиональные или личные со временем превращаются в болото маркетологов. Если поначалу туда приходят те кто хочет читать и писать о личном, или рабочем, или ином, то через некоторое время существенная доля сообщений, запросов на френдование и не только становятся исключительно рекламными.

Я читаю сейчас многих зарубежных специалистов ругающих то во что превратился LinkedIn, а он превратился в какой-то бесконечный индийский спам и минимальную профессиональную коммуникацию. Вижу как постепенно Github используется в маркетинговых целях. Для автоматизированных рассылок предложений о работе, для рекламы продуктов в стиле "Вы поставили звезды продуктам в категории А и Б, значит Вам понравится и наш продукт". Про фэйсбук и все остальные даже речи нет.

Вопрос в том куда уходит профессиональная коммуникация? Какое будущее её ждёт? Обречены ли все соцсети вырождаться в пастбища для маркетологов или есть альтернативы?

#thoughts