По поводу моей последней публикации про DNS4EU Евросоюза [1], Михаил Климарев (@zatelecom) прокомментировал у себя в телеграм канале [2] о том что Да, это будет цензура. Если вы денег заплатите.

Но нет, не только если вы денег заплатите. Я ещё раз обращаю на пункт 12. Lawful filtering это не про добровольность и не про родительский контроль, это про фильтрацию в соответствии с регулированием в странах Евросоюза, решениями судов и не только. Он явно указан в этой инициативе и маловероятно что не будет применяться.

Другой вопрос что ограничения на использование альтернативных DNS серверов и сервисов в Евросоюзе не вводятся, во всяком случае пока. Обязательности использования этих серверов также нет. Во всяком случае на сегодняшний день.

Ссылки:
[1] https://t.me/begtin/3447
[2] https://t.me/zatelecom/20261

#privacy #eu #internet #internetfiltering

Свежий доклад омбудсмена Нового Южного Уэльса (территория Австралии) посвящённый machine technologies [1] машинным технологиям. Это то что в другой литературе называют искусственным интеллектом (arificial intelligence) и системами автоматических решений (automated decision-making).

Доклад весьма подробный с акцентами на том что:
1) Проекты по внедрению таких систем - это не ИТ проекты.
2) В команде внедрения обязательны юристы
3) Подробная документация на работу системы необходима
4) Тестирование и проверка обязательно необходимы
5) Прозрачность (transparency) и объяснимость (explainability) необходимы
6) Контроль за работой системы и обязательные требования.

Документ подробный, охватывает много вопросов, включая роль законодательной власти в этом процессе. А также на сайте опубликован его короткий пересказ для тех кому сложно прочитать его целиком [2]

Ссылки:
[1] https://www.ombo.nsw.gov.au/__data/assets/pdf_file/0005/123629/The-new-machinery-of-government-special-report_Front-section.pdf
[2] https://www.ombo.nsw.gov.au/news-and-publications/news/greater-transparency-needed-for-nsw-governments-use-of-machine-technology-in-decision-making

#privacy #ai #adm #machinetechnologies #nsw #australia

Медуза (СМИ признаное в РФ инагентом) пишет про то что в России засекретили данные об учредителях фонда предполагаемой дочери Путина [1]. А я не могу не напомнить что ещё в декабре писал [2] и в ноябре что у всех вновь зарегистрированных НКО в России в данных в ЕГРЮЛ не предоставляются сведения об учредителях.

Конечно, это явно не спроста, но это очень важные сведения. НКО являются хозяйствующими субъектами, они проходят кредитный скоринг и проверку контрагентов. Если по моей НКО эти сведения тоже будут недоступны, то банк не выдаст мне кредит, контрагенты откажутся заключать договора и тд. Отсутствие сведений об учредителях резко повышает риски любой работы с организацией.

Странно что об этом СМИ пишут только сейчас, видимо потому что выдался политический повод, а не экономический.

Ссылки:
[1] https://meduza.io/news/2022/01/21/v-rossii-zasekretili-dannye-o-vladeltsah-fonda-predpolagaemoy-docheri-putina
[2] https://t.me/begtin/3314

#opendata #data #ngo #companies

Privacy Day 2022: новые правила в сборе биометрии в России и СНГ, распознавание лиц и цифровые следы школьников, блокировка Tor, казахские шатдауны, шпионское ПО и борьба с ним, актуальное в сфере Privacy Tech

28 января 2022 года, в международный день защиты персональных данных, наши партнеры и друзья из Роскомсвободы (@roskomsvoboda) совместно с Digital Rights Center и Privacy Accelerator проведут четвертую тематическую конференцию Privacy Day 2022.

Главная тема конференции 2022 года — сбор биометрических данных для бизнес-процессов, госуслуг и в образовательных учреждениях.

Программа Privacy Day 2022 поделена на несколько тематических блоков. Директор АНО «Инфокультура» Иван Бегтин выступит модератором секции «Биометрия и другие персональные данные в школах: в чем опасность единой базы данных о детях», в рамках которой эксперты обсудят такие вопросы, как использование персональных данных несовершеннолетних граждан, в т.ч. биометрических, а также риски их утечек и перспективы построения цифрового рейтинга.

Российская конференция о приватности и защите персональных данных — это одно из множества глобальных мероприятий, которые в этот день проводят специалисты и энтузиасты в области защиты данных по всему миру. День защиты данных отмечают с 2007 года. Под датой 28 января он закреплен в национальных календарях многих стран. Конференция в Москве призвана поддержать общемировое движение и дать российским специалистам площадку для дискуссий и нетворкинга.

Конференция пройдет онлайн 28 января. Прямая трансляция конференции бесплатна и доступна для всех пользователей.

Публиковать данные важно, ещё важнее публиковать их в форматах применяемых в нужной отрасли и пригодных для удобного использования потребителями.

Для этого существуют открытые стандарты и вот подборка каталогов таких стандартов:
- List of Metadata Standards [1] от Digital Curation Center, UK. Стандарты используемые исследователями для публикации и хранения научных данных.
- Open Standards for Data [2] - сайт про открытые стандарты от Open Data Institute. Хорошая стартовая страница и ресурс для поиска открытых стандартов
- Open Civic Data Standards [3] от НКО Azavea - каталог открытых стандартов с акцентами на гражданское/некоммерческое применение.
- FairSharing [4] большой, даже очень большой каталог стандартов, форматов, баз знаний и руководств по публикации научных данных. Одних только стандартов 1563, они хорошо прокаталогизированы и привязаны к предметным областям и даже странам. Можно найти стандарты в разработке которых участвовали и российские научные организации.
- List of standards to assess [5] хорошая подборка стандартов публикации данных собранная в виде Google таблицы
- Open Data Standards Directory [6] каталог стандартов открытых данных от консультантов из GovEx.
- Schema.org [7] - каталог форматов микроразметки веб-страниц.
- US Data Federation [8] каталог стандартов и инструментов проверки данных используемых в портале Data.gov, США.
- Data.gov Data Standards [9] ещё одна подборка стандартов рекомендуемых к использованию на портале Data.gov, США
- Open standards for government [10] подборка открытых стандартов по публикации открытых данных, одобренных пр-вом Великобритании.
- ONS Data Standards [11] стандарты публикации данных статистической службы Великобритании. Обратите внимание что это часть их стратегии работы с данными [12], весьма подробной и чёткой.

Ссылки;
[1] https://www.dcc.ac.uk/guidance/standards/metadata/list
[2] https://standards.theodi.org/
[3] https://azavea.gitbooks.io/open-data-standards/content/
[4] https://beta.fairsharing.org/
[5] https://docs.google.com/spreadsheets/d/1r7OByH4IeFHzot43nayjlplgEHHW91I4uBIUn59SKgU/edit#gid=0
[6] https://datastandards.directory/
[7] https://schema.org/
[8] https://federation.data.gov
[9] https://resources.data.gov/categories/data-standards/
[10] https://www.gov.uk/government/publications/open-standards-for-government
[11] https://www.ons.gov.uk/aboutus/transparencyandgovernance/datastrategy/datastandards
[12] https://www.ons.gov.uk/aboutus/transparencyandgovernance/datastrategy

#opendata #datastandards #data #datastrategy

Я ранее писал что закрывается QRI [1], один из стартапов создававших продукт в виде общедоступного каталога данных, в первую очередь открытых данных и данных публикуемых пользователями. Такой тип продуктов относится к open data discovery. В отличие от корпоративных каталогов данных которые реализуют задачу data discovery, находимости данных во внутрикорпоративной и около корпоративной среде, продукты по open data discovery предоставляют возможность поиска данных по которым предварительно собраны, либо их метаданные, либо метаданные и сам набор данных.

Однако, QRI далеко не единственный такой продукт, приведу примеры стартапов и других продуктов и проектов в этой области. О многих я уже писал ранее:
- Data.world [2] - стартап с акцентом на дата журналистику и визуализацию данных. Загрузили сотни тысяч наборов данных из порталов открытых данных. Интегрируется с десятками онлайн сервисов и продуктов. Сейчас уходят в корпоративный продукт с ценником в разбросе $50k-$150k, а также в облачный сервис для физ. лиц с оплатой по $12 в месяц. Общий объём привлечённых венчурных инвестиций $82,3M
- Quilt Data [3] авторы создали движок для публикации больших и очень больших данных. Как и другие похожие проекты собрали очень много очень крупных наборов открытых данных [4]. Отличие от Data.world и подобных в том что в Quilt наборы данных особо крупного размера, например, геномные данные или погодные данные или данные медицинских снимков. Общий объём 3.7 петабайта и 10.2 миллиарда объектов. Привлекли инвестиций на $4.2M
- Splitgraph [4] также агрегируют данные из открытых источников, в первую очередь из порталов открытых данных поддерживающих интерфейс экспорта из системы Socrata, это такой разработчик в США, автоматизировавший сотни если не тысячи порталов открытых данных, в первую очередь в США. Особенность Splitgraph в том что они агрегируют данные в СУБД и предоставляют прямой доступ к PostgreSQL. А также, как и многие другие, тот же data.world, предоставляют удобные инструменты для доступа к данным. Привлекли ангельские инвестиции, сумму не раскрывают.
- DoltHub [6] портал с попыткой перенести концепцию Git и идеологию Github'а на данные. Построен по модели хостинг платформы, похожей на Github. До определенного объема работа с сервисом бесплатна, начиная с определенного объёма данных надо платить деньги. Много краудсорсят и работают с сообществом, предусмотрели механизм вознаграждений для тех кто собирает данные и публикует на Dolthub'е. Привлекли $21M венчурных инвестиций.

Все эти стартапы агрегируют метаданные и данные, предоставляя более удобный доступ.
За пределами коммерческих стартапов существуют экспериментальные и научные проекты.
- Dataset search [7] от исследовательской группы в Google. Ищет по метаданным указанным через микроразметку Dataset из schema.org.
- Datacite. Find, access and reuse data [8] поиск по метаданным опубликованных научных данных получивших DOI от Datacite. Актуально для исследователей ищущих данные для своих работ и работающих в академической среде и с академическими источниками данных.
- Find Open Data [9] малоизвестный поисковик по открытым данным с открытым кодом. Похоже заброшен автором, поскольку код не обновлялся около 2-х лет. Автоматически индексировал данные из порталов на базе Socrata и CKAN.
- opendatasoft data hub [10] агрегатор данных от OpenDataSoft, крупнейших внедренцев порталов открытых данных в Евросоюзе, в первую очередь во Франции. Они агрегируют данные только из тех порталов которые сами же создали, поэтому там 15 тысяч наборов данных на французском языке и сильно меньше на других языках. За пользование порталом нет платы, он лишь дополняет бизнес модель компании по внедрению порталов открытых данных. OpenDataSoft привлекли $36.3M венчурных инвестиций.

Ссылки:
[1] https://t.me/begtin/3440
[2] https://data.world
[3] https://quiltdata.com/
[4] https://open.quiltdata.com/
[5] http://splitgraph.com
[6] https://dolthub.com/
[7] https://datasetsearch.research.google.com/
[8] https://search.datacite.org/
[9] https://findopendata.com/
[10] https://data.opendatasoft.com

Я регулярно пишу про порталы открытых данных, чаще в России чем в других странах. Буду постепенно это исправлять и сегодня про портал открытых данных Казахстана [1]. На портале опубликовано 3602 набора данных. Сам портал является какой-то внутренней разработкой, в нём не используется ни один из движков порталов открытых данных используемых в мире.

Особенность портала в том что при открытии любого набора данных во вкладке "Данные" или попытке скачать данные [2] открывается сообщение о необходимости авторизации на портале. Причём не просто зарегистрироваться с логином и паролем, а так чтобы у пользователя обязательно был бы код ИИН или БИН, чтобы он был гражданином Казахстана или управлял зарегистрированной в Казахстане организацией. Без этого не пройти регистрацию на idp.egov.kz [3]

Конечно это не открытые данные, портал превращён в закрытый национальный портал. При любой оценки международными экспертами в Global Data Barometer и других позиции Казахстана будут очень низкими потому что эксперты просто не получат доступ к данным.

Ну и сам такой подход с принудительной идентификацией и ограничением только для граждан Казахстана нарушает принцип доступности данных прописанный в Хартии открытых данных.

Другие особенности портала - API [4], возможность запросить данные [5] полезны, но также требуют авторизации. Кроме того, API, также собственного создания, отличается от наиболее часто предоставляемых API порталами открытых данных.

Также можно обратить внимание что ни у одного набора данных опубликованного на портале не указан его правовой статус. Нет ни ссылки на одну из открытых лицензий ODbL, Creative Commons, ни собственной разработанной лицении. Фактически можно говорить о том что юристы к созданию этого портала не привлекались, а правовой статус данных не определен.

Итого:
1) Правовой статус данных не определен
2) Данные доступны только после авторизации и только гражданам Казахстана.

Можно ли это исправить? Безусловно и довольно быстро. Достаточно лишь указать лицензии данным, например, СС-4.0 и отменить требования по обязательной авторизации и регистрации.

Ссылки:
[1] https://data.egov.kz
[2] https://data.egov.kz/datasets/view?index=prezidenttik_zhastar_kadr_reze45#dataTab
[3] https://idp.egov.kz/idp/register.jsp
[4] https://data.egov.kz/pages/samples
[5] https://data.egov.kz/proposals/actualize

#opendata #kazakhstan #dataportals

Один из больших рынков вокруг данных - это альтернативные данные (Alternative data), данные которые бизнес и инвесторы использует для принятия решений и доступные параллельно официальной статистике и "классическим" официальным источникам данных.

Среди проектов в этой области можно выделить продукты по отслеживанию смены руководства и ключевых сотрудников компаний.
- The Official Board [1] - около 80 тысяч компаний, большая часть в США и Европе, с доходами более $100M. Предоставляют доступ частный за 99 евро на 3 месяца, VIP 1999 евро на год и корпоративное API по запросу для автоматического отслеживания. Существуют с 2008 года, привлекли $150k инвестиций
- Craft [2] стартап с акцентом на проверку контрагентов, не в режиме проверки на комплаенс, а в режиме хотя бы базовой информации с акцентом на компании стартапы. Делают акцент на отслеживании цепочки поставок и также предоставляют сервис Key Executive Tracking с подпиской. Привлекли венчурных инвестиций на $10M
- BoardEx [3] закрытый продукт отслеживающий переходы руководителей, сделки, иную информацию о компаниях и руководителях. Обещают исторические данные за 20+ лет, основаны в 2000 году. Уже далеко не стартап, в 2018 году куплены Euromoney Institutional Investor за неназванную сумму. Продают данные многим стартапам, банкам, инвесторам и тд.
- The Org [4] совсем свежий стартап. Делают красивые графики структуры организации, с фотографиями и тд. Дают возможность владельцам организации заполнять о себе информацию и публиковать новости. Фактически, эдакий перезапуск каталогов компаний с акцентом на прозрачность. Основаны в 2017 г. Привлекли $39.6M инвестиций

А также существуют многие другие похожие компании с фокусом на сбор, переупаковку и продажу данных о структуре руководства, сотрудниках компаний и управлении контактами в B2B.

Есть ли стартапы на альтернативных данных в России? Если есть поделитесь ссылками в личку или в @begtinchat, сделаю их обзор.

Ссылки:
[1] https://www.theofficialboard.com
[2] https://craft.co
[3] https://www.boardex.com
[4] https://theorg.com

#data #alternativedata #startups #executives #contacts

Коммерсант пишет что В цифровую модель поверхности России на ближайшие годы вписывают четыре региона [1], Росреестр запускает единую цифровую платформу «Национальная система пространственных данных» [2] и там уже участвуют Краснодарский и Пермский края, Иркутская область и Республика Татарстан.

Новость, казалось бы, хорошая. Её портит то что упоминается в статье В частности, доступ к геопространственным данным цифровой платформы можно будет получить на портале госуслуг — «Роскадастр».

Доступ к данным через госуслуги - это плохая идея. И то что открытые геоданные нигде не упомянуты также не здорово. Геоданные одни из наиболее востребованных в мире, они должны быть общедоступны настолько насколько возможно, именно это даёт максимальный экономический эффект и приводит к созданию новых цифровых продуктов.

Ссылки:
[1] https://www.kommersant.ru/doc/5180820
[2] https://rosreestr.gov.ru/activity/gosudarstvennye-programmy/natsionalnaya-sistema-prostranstvennykh-dannykh/

#opendata #geo #geodata #rosreestr

Подборка свежих, новых или интересных open source инструментов по работе с данными.
- Tapestry Pipeline [1] - система управления данными с открытым кодом. Управления не в смысле management, а в смысле orchestration. Более точным переводом будет оркестровка, но по русски это звучит немного странно. Сам же движок. Выполняет те же задачи что и другие data orchestration frameworks [2] такие как Flyte, Prefect, Dagster и др. Интегрируется в dbt, Airbyte и другими инструментами.
- Prefect Orion [3] как пишут сами авторы the second-generation workflow orchestration engine. А то есть система управления потоками данных второго поколения. О нем же в блоге Prefect [4] с акцентом на то что можно не разделять обработку данных пачками и потоками.
- Prefect Artifact API [5] те же Prefect добавили Artifact API в последний open-source релиз. Это API для визуализации данных проходящих оркестровку и с демо использования Great Expectations как движка по контролю качества данных.
- Guardian [6] система управления доступом к базам данным и инструментам их обработки. Сейчас поддерживает Google BigQuery, Metabase, Airflow и облачные хранилища. Нет UI, но есть продвинутая командная строка и управление через yaml конфигурационные файлы. Проект делает команда ODPF (Open DataOps Foundation) из Индии и у них же большая подборка проектов на open source для разных аспектов работы с данными [7]
- Optimus [8] ещё один проект по оркестровке данных, от той же команды ODPF. Без UI, всё с командной строки. Сосредоточено вокруг Google Big Query, полезно тем кто создает продукты в этой среде. Но, находится в состоянии "глубокой разработки", API может часто меняться. Надо отдать должное, в ODPF любят и умеют документировать продукты.
- DataX [9] инструмент от команды Alibaba по синхронизации данных между разными СУБД, в том числе принципиально разными SQL и NoSQL. Такими как Postgres, Oracle, MongoDB, TSDB и другие. Почти всё на китайском языке. А также AddaX [10] построенный на DataX и чуть более развитый, как обещает автор. Тоже почти всё на китайском. Все учим китайский!

Ссылки:
[1] https://tapestry-pipeline.github.io
[2] https://www.moderndatastack.xyz/companies/Data-Orchestration
[3] https://orion-docs.prefect.io
[4] https://medium.com/the-prefect-blog/you-no-longer-need-two-separate-systems-for-batch-processing-and-streaming-88b3b9c1a203
[5] https://medium.com/the-prefect-blog/introducing-the-artifacts-api-b9e5972db043
[6] https://github.com/odpf/guardian
[7] https://github.com/odpf
[8] https://github.com/odpf/optimus
[9] https://github.com/alibaba/DataX
[10] https://github.com/wgzhao/Addax

#data #datatools #opensource #datapipelines #moderndatastack

Масштабное обновление алгоритмов классификации данных в DataCrafter'е. Теперь из 76500 полей наборов данных классифицированы 19 501 поле, это около 25,5%. Учитывая что многие поля надо отмечать как "неклассифицируемые" потому что они содержат только расчёт численные данные, то 25,5% от всех полей это очень много, можно сказать рекорд!

Классификация данных - это процесс при котором определяется природа данных содержащихся в таблицах/файлах/наборах данных. Например, идентификация кодов ИНН/ОГРН/КПП организация, ФИО / Имён / Отчеств / Фамилий физических лиц и ещё многое другое.

При этом обновлении были добавлены новые идентификаторы и правила их распознавания:
- ruscity - Российский город
- rusdayofweek - День недели на русском языке (понедельник, вторник и т.д.)
- runpa - нормативно-правовые и распорядительные документы. Законы, постановления, распоряжения и приказы
- mimetype - типы MIME, как правило ассоциированные с файлами
- filename - название файла
- rusworkposition - должности. Например: ректор,директор,и.о. директора и т.д.
- timerange - временные промежутки. Например: 10:00-12:00 или 21:10-21:30

и многие другие.

А также многие другие. Сейчас в DataCrafter внесено 90 классов данных [1] для идентификации которых используется 134 правила идентифицирующих данные и 304 правила идентифицирующих дату/время. Дата и время идентифицируются отдельно поскольку ещё в 2017 году я заопенсорсил движок qddate [2] определяющая даты в 348 шаблонах и на 9 языках. Движок, кстати, делался для библиотеки newsworker [3] по извлечению новостей из сайтов не отдающих RSS ленты, на основе шаблонов текстов, в основе которых даты. Эту библиотеку я тогда же заопенсорсил и слегка подзабросил, но она всё ещё вполне работает и актуальна.

Чтобы достичь этого результата внутренний движок классификации данных был полностью переписан. Большая часть правил теперь описывается в конфигурационных настраиваемых файлах YAML. При применении правил они могут фильтроваться по контексту, по языку и по точности. Кроме коллекций в MongoDB теперь поддерживаются файлы CSV и JSONl. Через некоторое время рабочая версия классификатора появится в виде страницы в интернете и телеграм бота (телеграм бот уже тестируется).

Сейчас 72 из 135 правил написаны под русский язык и Россию. Они учитывают, или принятые в России классификаторы, или русскоязычное кодирование информации. Следующий шаг после открытия версии классификатора для публичного тестирования - это поддержка классификации данных происходящих из других стран.

Ссылки:
[1] https://data.apicrafter.ru/class
[2] https://github.com/ivbeg/qddate
[3] https://github.com/ivbeg/newsworker

#opendata #data #datasets #datacrafter #apicrafter #dataclassification

В блоге Open Data Charter, Darine Benkalha пишет про стандартизацию данных на порталах открытых данных [1]. То о чём я также регулярно пишу и уже приводил ссылки на имеющиеся стандарты, правда пока не раскрывал подробнее в чём проблемы с публикациями данных в России.

Автор упоминает опыт Южной Кореи с созданием единой пан-государственной системы метаданных и принятые стандарты публикации данных и гайды Правительства Каталонии по публикации данных и метаданных.

Полезно для всех кто работает со стандартами данных, как публикатор и как пользователь.

Ссылки:
[1] https://medium.com/opendatacharter/spotlight-a-plea-from-the-odcs-iwg-data-standardisation-matters-4d26329a18bb

#opendata #data #dataportals #datastandards

В каталог каталогов открытых данных DataCatalogs.ru добавлены новые источники данных:
- Базы данных компании LabelMe 17 наборов данных для исследователей машинного обучения и data science. Ссылка https://labelme.ru/datasets-catalog
- Телеграм канал RU Dataset телеграм канал с большим числом ссылок на открытые и иные общедоступные данные Ссылка https://t.me/dataset_ru
- Портал данных о вечной мерзлоте и климате (permafrost.su) Ссылка http://permafrost.su

Вы можете предложить новый источник данных в каталог направив его через форму. Важно что в каталог каталогов принимаются ссылки не на отдельные наборы данных, а на источники в виде каталогов/репозиториев данных.

#opendata #datacatalogs #datasets #data

Регулярный опрос. Какой контент наиболее интересен Вам в канале, о чём писать больше?
anonymous poll

Приватность, OSINT, защита данных граждан, гос-ва и тому подобное – 43
👍👍👍👍👍👍👍 25%

Открытые данные, как они устроены и где их взять – 37
👍👍👍👍👍👍 21%

Госинформатизация, гостехнологии, государство в ИТ регулировании и госинформсистемах – 28
👍👍👍👍👍 16%

Технологии и инструменты работы с данными. Разные аспекты data engineering – 28
👍👍👍👍👍 16%

Государственные данные во всех их формах – 25
👍👍👍👍 14%

Международный опыт, доклады и исследования про данные, ИИ, цифровизацию и т.д. – 13
👍👍 7%

👥 174 people voted so far.

В рубрике интересных инструментов работы с данными NocoDb [1], open source #nocode платформа по работе с данными в форме таблиц. Фактический аналог Airtable, только с открытым кодом [2]. Собственно открытость кода это и есть главное достоинство, потому что Airtable это уже довольно продвинутый продукт, SaaS аналог MS Access. Но у Airtable есть множество ограничений, например, в максимальный размер таблицы в 50 тысяч записей, в далеко не идеальном API и, самое главное, конечно в том что приходится держать свои данные в облачном сервисе. В то же время Airtable стремительно создали вокруг себя экосистему и сейчас с ними интегрированы и на них основаны многие продукты.

К примеру, каталог каталогов данных datacatalogs.ru Инфокультуры собран в Airtable, а интерфейс над ним построен с помощью стартапа Softr.

Так вот NocoDB может быть разумной альтернативой тем чьи данные точно не могут быть открытыми, а гибкость управления данными нужна.

Альтернативно существуют такие проекты как:
- Rowy [3] - давно не обновлялся, но вроде живой
- Baserow [4] - воспроизводит Airtable почти один в один и также существует в облаке [5]

А также частично функции аналогичные Airtable могут выполнять продукты класса Headless CMS такие как Strapi [6] где также можно настраивать концепты/объекты и предоставлять их через API. Но с ограничениями что headless CMS не про табличное редактирование данных, а только про гибкие интерфейсы их внесения.

Ссылки:
[1] https://nocodb.com
[2] https://github.com/nocodb/nocodb
[3] https://github.com/rowyio/rowy
[4] https://gitlab.com/bramw/baserow
[5] https://baserow.io
[6] https://strapi.io

#opensource #databases #data #airtable

На всякий случай напомню что в 2019 году я публиковал исследование по "легальным утечкам" из государственных информационных систем [1], вот тут можно скачать его в PDF целиком [2]. И с той поры несколько раз собирался его обновить/повторить, но в итоге отложил на неопределенный срок потому что очень сложно делать такое исследование публично и не навредить тем чьи данные утекают, а непублично его можно делать только по чьему-то заказу, а в России, повторюсь, нет активного интересанта регулятора способного такую работу заказать.

По факту персональные данные публикуются _официально_ повсеместно. В реестрах образовательных учреждений субъектов федерации, если ты ИП. В реестрах граждан имеющих право на обеспечение жильем, в реестрах экспертов, на электронных торговых площадках, протоколах результатов торгов госимуществом, доверенностей приложенных к договорам и офертам поставщиков, документах экспертизы реконструкции объектов культурного наследия, протоколах собрания ТСЖ, аудиторские заключения нко с паспортными данными учредителей и такого ещё много.

Писать об этом давая ссылки нельзя, владельцы баз данных и публикаторы материалов инертны и не исправляют месяцами и годами.

Ссылки:
[1] https://begtin.tech/pdleaks-p3-govsys/
[2] http://files.begtin.tech/f/f75964ea1fe94f2d8d61/?dl=1

#privacy #leaks #personaldata

Читаю совершенно феноменальный текст свежего 100 миллионного контракта [1] между ФГБУ РОСИНИВХЦ и ООО "ТЕКТУС.ИТ" на Создание сегментов государственной информационной системы Цифровая платформа "Водные данные" Федерального агентства водных ресурсов (ГИС ЦП Вода).

И не могу не поделиться мыслями о деградации ИТ интеграции. Мало того что ТЗ на 100 миллионный контракт всего на 22 страницы, так это ещё и не техническое задание, а технические требования.

В тексте контракта присутствуют формулировки вроде:
5.6. Создание API
Исполнителем должна быть обеспечена разработка API (не менее 10 методов) для вновь создаваемых модулей ЦП Вода.
По результатам оказания услуг модернизируется программный интерфейс для обеспечения внутреннего взаимодействия ЦП Вода, а также инструкция с описанием реализованных методов.
—
Обратите внимание, сами API методы не перечисляются, требования к ним не перечисляются, зачем они нужны не указано, дополнительные требования вроде авторизации не указаны. Исполнитель и заказчик тут настолько вольно могут трактовать этот пункт что можно сдать вообще что угодно.

Или вот
5.4.3. Создание блока «Наборы открытых данных» сегмента «Открытые данные»
Блок «Наборы открытых данных» создается на базе прототипа Цифровой платформы «Водные данные».
Исполнителю необходимо обеспечить размещение в разделе «Наборы открытых данных» не менее трех новых наборов с возможностью выгрузки (в том числе подписанных ЭП). В отношении новых наборов данных необходимо сформировать паспорта.
—
Обратите внимание, что заказчику вообще наплевать что будет опубликовано, хоть "набор данных" из одной строки, главное чтобы не менее трёх. А про возможность выгрузки их подписанными ЭП - это отдельный разговор.

А вот в продолжение про ЭП (электронную подпись)
5.4.2. Создание модуля «Верификация» сегмента «Открытые данные»
В рамках оказания услуг Исполнителю необходимо обеспечить возможность верификации выгружаемых данных из сегмента «Открытые данные» в формате pdf путем подписания ЭП ОГВ.
—
Ну, Вы меня поняли. Верифицированные открытые данные это теперь PDF файлы с электронной подписью органа власти.

Там ещё много всего, выглядящее крайне куцо для большого ИТ контракта. Я лично вчитывался в разделы про данные, насчёт других разделов надо читать другим специалистам.

Когда я был ближе к государству, я бы сказал что прочитав такое "ТЗ" я бы предположил скорую проверку этого контракта/системы в ФГБУ со стороны Счетной палаты/Генпрокуратуры и тд. Сейчас, находясь уже во внешнем контуре по отношению к госуправлению, я даже вполне допускаю что результат будет не так уж плох, но продолжаю удивляться госзаказчикам и поставщикам которые сами себе роют сами знаете что и закапывают себя сами знаете куда.

Ссылки:
[1] https://zakupki.gov.ru/epz/contract/contractCard/document-info.html?reestrNumber=1616305712422000006&contractInfoId=70636526
[2] https://rwec.ru/
[3] https://zakupki.gov.ru/44fz/filestore/public/1.0/download/rpec/file.html?uid=D539BBBD9AB6DD94E05334548D0A0844

#procurement #governmentit #opendata #data

Интересный стартап Dropbase автоматизации работы с облачными базами данных [1] с финансируемый в Y Combinator [2] на неназванную сумму. Создан полностью поверх Snoflake, фактически является красивой надстройкой над ним, позволяет импортировать CSV и Excel файлы и проводить трансформации над ними прямо в облаке. Интеграция устроена по принципу что не он интегрируется, а даёт ключи для прямого подключения к базе Snowflake.

Трасформация данных там очень ограниченная. Я бы даже сказал куцая, по сравнению с серьёзными инструментами вроде Trifacta (коммерческий) или OpenRefine (открытый), но стратегия весьма интересная. Удобный быстрый интерфейс и развитие в сторону преобразования данных. Фактические пользователи такого - analytic engineers, инженеры готовящие данные для аналитиков.

Ссылки:
[1] https://www.dropbase.io
[2] https://www.crunchbase.com/organization/dropbase

#datatools #startups #datawrangling

По заказу ВЭБа для города Байкальска создали цифровой мастер план [1]. Я, сознаюсь, до сих пор не могу понять смысла его цифровой формы и в чём его достоинства. Но один плюс есть - из него можно выгрузить все данные по мероприятиям и там их 349 штук, общей стоимостью, по грубым подсчетам, на 165 миллиардов рублей на ближайшие несколько лет. Что из какого бюджета и что от частных инвесторов - отдельный вопрос. При том что среднегодовой бюджет Байкальска 150-200 миллионов рублей, всего там около 13 тысяч жителей.

Не могу сравнить Байкальск с Сочи, не те суммы вроде бы и не тот масштаб города.

Кстати, для тех кто интересовался мастер-планом Байкальска и хочет сделать по нему анализ - есть скачанные данные по всем 349 мероприятиям. Из интересного - крупнейшее мероприятие там на 18 миллиардов рублей на 4 года по очистке территории БЦБК. Для тех кто хочет проанализировать эти данные, они есть по ссылке [2] в формате JSON lines размером в 2.6MB. Формат JSON lines хорошо поддерживает OpenRefine ну и опытные специалисты по работе с данными знают как работать с JSON файлами и JSON lines сложностей не вызовет.

Ссылки:
[1] https://план.байкальск.рф
[2] files.begtin.tech/f/59165db094504bb98e6c/?dl=1

#data #cities #datasets