Ivan Begtin
8.09K subscribers
1.63K photos
3 videos
100 files
4.34K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts ivan@begtin.tech
Download Telegram
В рубрике интересных наборов данных CloudDrift, a platform for accelerating research with Lagrangian climate data [1] - это программная библиотека для доступа к данным собираемым с 25 тысяч дрейфующих буев в рамках программы Global Drifter Program (GDP) [2] реализуемой Национальным управлением океанических и атмосферных исследований США. Сами данные размещены на серверах Amazon и доступны в их сервисе S3 [3].

Особенность Clouddrift в том к конкретным датасетам публикуется ещё и полноценная библиотека для доступа к ним и анализа с учётом специфики данных и контекста. Авторы не первые и не единственные кто так делает, для Python есть какое-то количество программных библиотек реализованных на том же принципе, когда данные доступны не только как файлы и API, но и сразу в виде DataFrame для Pandas или как XArray в данном случае.

Что характерно, этот проект один из десятков проектов данных и инструментов о Земле финансируемый Национальным научным фондом США в рамках сообщества и программы EarthCube [4]

Ссылки:
[1] https://cloud-drift.github.io/clouddrift/
[2] https://www.aoml.noaa.gov/phod/gdp/
[3] https://registry.opendata.aws/noaa-oar-hourly-gdp/
[4] https://www.earthcube.org/funded-projects

#opendata #opensource #science #usa #earthsciences #geodata
Наглядная визуализация датасетов Google и Microsoft с распознанными зданиями [1], а также открытый код библиотеки Leafmap[2] с помощью которой идет визуализация. Автор утверждает что для отображения всего набора данных в 165 ГБ потребовалось всего несколько строчек кода [3]

Ссылки:
[1] https://apps.opengeos.org/buildings.html
[2] https://github.com/opengeos/leafmap
[3] https://twitter.com/giswqs/status/1706800470290051548

#opendata #dataviz #geodata
В который раз напишу что комментировать все законодательные инициативы российских нормотворцев дело крайне вредное для желудка и настроения. Не пропущу только вот эту инициативу по доступу силовиков к базам персональных данных коммерческих операторов и возможности эти данные менять. О ней написали в российском Forbes [1], а также можно прочитать (продраться до смысла) в первоисточнике на сайте ГД [2].

У этого законопроекта много разных плохих последствий, начиная с глубокой государственной руки в задницах российских интернет компаний вмешательства государства в бизнес деятельность и есть ещё одна немаленькая хрень немаловажная проблема. Компании в российской юрисдикции оперируют данными пользователей других стран наравне с россиянами. Это жители Казахстана, Грузии, Армении, Узбекистана, Кыргызстана, Узбекистана и др., да и в каких-то ещё странах. Что сделают регуляторы этих стран после принятия такого закона в России? Правильно, потребуют от всех компаний в на которые регулирование распространяется подтвердить что данные их жителей в единой базе компаний не содержаться и российским силовикам недоступны.

Хотите перечислим компании у которых будет пиздец сёрьёзные проблемы с регуляторами? Многие, очень многие. Сотовые операторы как минимум, но не только.

И это, заметим, что я привожу только понятные нормотворцам проблемы. Не вдаваясь в этические и проблемы нарушения прав человека, вмешательства силовиков в частную жизнь и, наоборот, сокрытие информации о разного рода нехороших людях особых категориях граждан определённых указом ПП РФ.

Ссылки:
[1] https://www.forbes.ru/tekhnologii/497493-biznes-vystupil-protiv-beskontrol-nyh-pravok-silovikov-v-bazah-personal-nyh-dannyh
[2] https://sozd.duma.gov.ru/bill/416441-8

#privacy #regulation #russia
Свежее исследование Consumer Surveillance and Financial Fraud [1] о том как новые требования к приложениям по ограничению слежки за пользователями повлияли кибербезопасность и частоту жалоб пользователей, опубликованное National Bureau of Economic Research в США.

Тем кому лень читать всё исследование расскажу коротко. Apple ввели App Tracking Transparency (ATT) в 2021 году как обязательное требование для всех кто создает приложения для iOS, iPadOS и tvOS [2]. Эти требования сильно ограничили бизнес компаний которые отслеживали поведение пользователей внутри приложений и внешними трекерами.

В исследовании выяснилось что если 10% пользователей блокируют сбор данных, то снижение жалоб на взломы и нарушение приватности снижается на 3.21%. Много ли это или мало? Это очень много.

Ссылки:
[1] https://www.nber.org/papers/w31692
[2] https://support.apple.com/en-us/HT212025

#privacy #apple #mobileapps
Международная активность по открытым данным иногда для меня удивительна.

Например, есть свежая инициатива и разговоры про стандартизацию публикации открытых данных о выборах от OKF. Было несколько таких проектов, на самом деле много проектов, например Open Election Data [1] профинансированный USAID и, похоже, не институционализированный. А у OASIS стандарт Election Markup Language (EML) [2], а также множество национальных и других стандартов и форматов.

Как бы ни было удобно иметь данные о выборах в машиночитаемой форме, сдаётся мне что не это главное в конкретном данном случае. К примеру, "открытость данных" блокчейна с электронными голосами в России доверие государству нисколько не повысили. А вот ситуация когда власти могут использовать международные стандарты для "симуляции открытости" без соблюдения других условий прозрачности выборов и наблюдения за ними, вполне возможно.
В каких-то странах сложившейся или переходной демократии они могут быть важны, но уже в рамках общей открытости того что называют political integrity.

Что думаете? Актуальны ли стандарты публикации данных о выборах?

Ссылки:
[1] https://openelectiondata.net
[2] https://www.oasis-open.org/standard/eml/
[3] https://datastandards.directory/Elections

#opendata #openstandards
Для тех кто работает с открытыми данными регулярно не могу не напомнить что у Open Knowledge Foundation есть проект Frictionless Data и, в частности, frictionless-py [1], программная библиотека и утилита командной строки для анализа данных и подготовки пакетов данных для публикации. Это инструмент совершенно далёкий для большинства тех кто занимается корпоративной дата-инженерией, но уже немного известный тем кто готовит научные данные для публикации. Инструмент сильно развился за последний год, там теперь поддерживается много разных форматов, наконец-то поддерживаются форматы вроде Parquet и JSONl/NDJSON. Если бы он был на несколько лет раньше, я бы многие свои инструменты делал на его основе. Как бы то ни было это существенная часть экосистемы вокруг ПО порталов для публикации открытых данных CKAN.

Сейчас его же авторы сделали GUI обёртку под названием Open Data Editor [2], продукт позволяющий готовить данные вручную и отправлять на публикацию в CKAN, Zenodo или Github.

Пока ещё это не финальный продукт и ошибки встречаются, но вот это хороший прогресс в экосистеме публикации открытых данных в мире.

Ссылки:
[1] https://framework.frictionlessdata.io
[2] https://opendataeditor.okfn.org

#opensource #opendata #ckan #datatools
Можно сказать новый/старый жанр в технических инструментах, сделай как лидер рынка, но с открытым кодом и приватностью. Bruno - это клиент с открытым кодом для тестирования и работы с API [1], фактическая замена продукта Postman хорошо известного инструмента в среде создателей API.

Особенность Bruno в том что в нём нет никакой необходимости в облачном аккаунте, нет синхронизации в облаке и есть явный акцент на приватности. Дословно это звучит так
Bruno is offline-only. There are no plans to add cloud-sync to Bruno, ever. We value your data privacy and believe it should stay on your device. Read our long-term vision here.

Авторы подробно рассказывают о своём видении подобных инструментов [2], сравнивают их и описывают свой как единственный полностью оффлайновый.

А тем кто хочет синхронизовать свои спецификации API с другими, они дают возможность делать это через git, на Github или другом сервисе.

Лично я на этот инструмент обратил внимание по двум причинам.

Первая, конечно, в том что инструменты моделирования API будут актуальны ещё долго.

И вторая в том что сама модель оффлайн инструментов с синхронизацией через Git представляется хорошей идеей. Не монетизируемой, но востребованной.


Ссылки:
[1] https://www.usebruno.com
[2] https://github.com/usebruno/bruno/discussions/269

#opensource #api
В рубрике интересных наборов данных проект Census Tree [1] как результат работы группы исследователей по сопоставлению данных переписей США с 1870 по 1940 годы и созданию наборов данных связей между людьми. Причём искали их создавая специальный алгоритм сопоставления и используя генеалогические базы данных. Уникально и то что в США существуют открытые микроданные переписей начиная с 1790 года [2] и то что исследователи могут с этим работать.

Результаты представлены в виде коллекции наборов данных [3] сопоставлений связей между двумя переписями. Наборы данных включают файлы от нескольких мегабайт до нескольких гигабайт, но для выгрузки нужна регистрация на OpenICPSR [4].

Данные доступны в формате CSV под лицензией CC-BY 4.0

Ссылки:
[1] https://www.censustree.org
[2] https://usa.ipums.org/usa/full_count.shtml
[3] https://www.censustree.org/data
[4] https://www.openicpsr.org

#opendata #usa #census #sociology #datasets
В рубрике интересных продуктов на данных SemOpenAlex [1] граф знаний на 26 миллиардов RDF triples с базой из более чем 249 миллионов научных работ от 135 миллионов авторов и из 226 тысяч источников.

Проект включает открытое API и возможность скачать дамп целиком [2].

Данные и API доступны под лицензией CC0 и имеют множество возможных применений во всём что касается картирования науки и научной деятельности.

Ссылки:
[1] https://semopenalex.org
[2] https://semopenalex.org/resource/?uri=http%3A%2F%2Fdatasets.metaphacts.com%2Fsemopenalex

#opendata #datasets #researchdata #science #semanticdata
В связи с новостями о том что Роснано может стать банкротом в ближайшее время [1] напомним что ещё в 2021 году на новостях со сменой руководства госкорпорации мы делали полный архив известных на тот момент сайтов организации. Архив доступен в форматах warc по ссылке [2].

Архив покрывает сайты:
- edunano.ru
- en.rusnano.com
- fiop.site
- nanocertifica.ru
- rusnano-dmm.ru
- schoolnano.ru
- startbase.ru
- thesaurus.rusnano.com
- www.rusnano.com

Если вам известны какие-либо сайты Роснано не заархивированные ранее, и ещё доступные или иные общедоступные материалы госкорпорации которые могут исчезнуть, напишите нам, мы оперативно их сохраним.

Ссылки:
[1] https://www.rbc.ru/business/03/10/2023/651c547b9a79471892df4083
[2] https://cdn.ruarxive.org/public/webcollect2021/rusnano2021/

#digitalpreservation #rosnano #webarchive #ruarxive
Свежая новость о том что Правительство РФ планирует выделить 250 миллионов рублей на раскрытие данных для бизнеса [1] в рамках разработки моделей ИИ. По нынешнему курсу это что-то около 2.5 миллионов долларов США. Много это или мало?

Примеры, навскидку:
- в 2014 году Правительство Великобритании создало два фонда Breakthrough Fund и Release of Data Fund на который ежегодно [2], общий их бюджет составлял 9.5 миллионов фунтов в год, он распределялся грантами по региональным и муниципальным властям чтобы те открывали свои данные.
- в Испании на языковые данные и технологии было выделено 330 миллионов евро на 2020-2026 годы и до этого 90 миллионов евро за 2016-2020 годы [3]

И таких примеров много, особенно, конечно, характерна модель "создания" наборов данных в России. В мире государства инвестируют в ИИ через грантовые программы ВУЗам и научным центрам и предоставление им и на их основе инфраструктуры для их открытой публикации. Те же испанцы публиковали языковые модели на Kaggle и Huggingface.

Судя по тому что я пока видел из активностей Минцифры РФ в этой области, я бы не ждал чего-то выдающегося. Тем более что, похоже, там сами до сих пор не знают что именно будет публиковаться, насколько открыто и так далее.

Ссылки:
[1] https://t.me/government_rus/9165
[2] https://www.gov.uk/government/publications/breakthrough-fund-and-release-of-data-fund
[3] https://plantl.mineco.gob.es/Paginas/index.aspx

#opendata #datasets #ai #russia
В Великобритании правительственная цифровая служба анонсировала [1] сервис создания форм для госагенств GOV.UK Forms [2].

Идея проста, сделать универсальный генератор форм которые могли бы создавать специалисты без технических знаний. Аналог TypeForm, Google Forms и других коммерческих продуктов, но с учётом требований и особенностей госорганов.

Продукт чрезвычайно похож на Сингапурский государственный проект FormSG [3] который ещё и существует с открытым кодом и построенном на тех же принципах, конструктора форм, кроме всего прочего поддерживающего аутентификацию через государственных и частных провайдеров аутентификации в Сингапуре.

Что характерно, FormSG - это открытый код, можно скачать его себе и использовать даже не будучи государственным агентством.

Интересный вопрос в том почему только в Сингапуре и Великобритании есть такие проекты?

Ссылки:
[1] https://gds.blog.gov.uk/2023/10/03/how-were-opening-up-access-to-gov-uk-forms/
[2] https://www.forms.service.gov.uk
[3] https://form.gov.sg

#opensource #govtech #government #singapore #uk
Для тех кто заботится о приватности по умолчанию, Consent-O-Matic [1] расширение для браузера Chrome автоматически закрывающее окна [1] с выбором объёма кук на которые Вы согласны.

Разработано командной из Aarhus University в Дании, поддерживает около 680 видов всплывающих окошек с запросом выбора режима сохранения кук.

На сайте есть, также, версия для Firefox и Safari и полностью открытый код [2]

Ссылки:
[1] https://chrome.google.com/webstore/detail/consent-o-matic/mdjildafknihdffpkfmmpnpoiajfjnjd
[2] https://consentomatic.au.dk/

#opensource #privacy #cookies
У технической команды Dropbox интересная публикация про идентификацию дат из названий файлов [1] и автозаполнение полей форм при их загрузке.

Хорошая практическая задача, а тут ещё и описание подхода и инструментов. Правда почти всё описываемое про англоязычные даты, но, возможно, другие языки просто не описаны.

Причём подход описывается как замена распознаванию дат по правилам. Правда ML подход работает медленнее, о чём они пишут.

А я когда-то делал инструмент для идентификации дат в тексте. Это библиотека qddate (quick-and-dirty date) [2]. Я написал её около 10 лет назад, а 6 лет назад её обновил и выложил в открытый доступ. С тех пор почти не обновлял. Что я могу сказать, так то что распознавание по правилам недооценено и может быть гораздо эффективнее и быстрее. Правда, в qddate я решал задачу производительности и внутри много "грязных хаков" ускоряющих распознавание дат, но, в общем, это из тех задач для которых я считаю ML избыточным.

Хотя и на результат которого достигли эти ребята хотелось бы посмотреть подробнее.

Ссылки:
[1] https://dropbox.tech/machine-learning/using-ml-to-identify-date-formats-in-file-names
[2] https://github.com/ivbeg/qddate

#datatools #data #ml
19-20 октября, EDPC, полезное мероприятие по приватности в Москве. К участникам можно добавить и спикеров из Армении, меня можно равным образом относить к Армении и я там выступаю.
Я лично мероприятие рекомендую, там много интересных спикеров

🎓Eurasian Data Protection Congress - первое мероприятие по приватности, которое организовано сообществами и ассоциациями со всего мира. В нем примут участие 25 спикеров из России, Беларуси, Казахстана и Сербии. Это эксперты, компании, государственные и общественные организации, занимающиеся вопросами защиты персональных данных.

🕒Дата и время мероприятия: 19 октября 2023 года, 10:00
Формат: онлайн.
Стоимость для слушателей: бесплатно.
Язык: русский и английский.
Программа и трансляция EDPC - здесь🔗 и здесь🔗
🔗Добавить в календарь

🎓Оффлайн нетворкинг Евразийского конгресса по защите данных

📌Где: Офис Сити
🕒Дата и время мероприятия: 20 октября, сбор в 16:30

В программе крутейший нетворкинг и неформальное общение, информационный обмен, знакомство со спикерами и друг с другом, а также Обсуждение «ПРИВсущностей» и прошедшей конференции

"🔊РЕГИСТРАЦИЯ НА НЕТВОРКИНГ
(Нужно для оформления пропуска)

Всем отличной пятницы, помните, что самая лучшая пятница этой осени - уже через неделю😎

#events #privacy #russia
Please open Telegram to view this post
VIEW IN TELEGRAM
Полезные ссылки про данные, технологии и ИИ

Проекты
- Polymatic AI [1] свежеанонсированный проект про разработку ИИ моделей для кросс-дисциплинарных исследований в науке. Потенциально интересный продукт может получится, команда состоит из специалистов по ML и предметных экспертов

Инструменты
- Malloy 4.0 [2] свежая версия языка/инструмента Malloy для сложных запросов к базам данных, один из потенциальных заменителей SQL для тех кто не любит SQL. В новой версии много несовместимого с предыдущей, постепенно растёт в очень интересный продукт
- Python 3.12 [3] главные изменения в чуть большей скорости работы, в остальном пока ничего не видно критичного ради чего на него стоит переходить

Чтение
- These Prisoners Are Training AI [4] о том как заключённые в Финляндии помогают тренировать модели для ИИ. В самом деле, а где ещё найти много недорогой рабочей силы для тренировки моделей на национальных языках?
- AI Engineer Foundation [5] новый фонд посвящённый ИИ инженерам. Обещают акцент на Open Source, из анонсированных проектов Agents Protocol, A unified interface standard for the world to communicate with Agents that conform to the protocol. Предлагают также помогать маркетингом проектам для ИИ с открытым кодом.
- Ben Bites [6] отличная рассылка посвящённая свежим ИИ продуктам и сервисам, часть ссылок я подсмотрел там

Ссылки:
[1] https://polymathic-ai.org/
[2] https://malloydata.github.io/blog/2023-10-03-malloy-four/
[3] https://docs.python.org/3/whatsnew/3.12.html
[4] https://www.wired.com/story/prisoners-training-ai-finland/
[5] https://www.aie.foundation/
[6] https://bensbites.beehiiv.com/subscribe?ref=ZCof81aeyC

#data #datatools #opensource #ai #readings
Свежие картинки по LLMops Market Map от CB Insights [1]. Все эти картинки, симпатичные, но они лишь визуально иллюстрируют рынок AI/LLM/Generative AI и инвестиции в него.

Лично мне среди AI продуктов интереснее всего развитие поисковиков по данным и продукты по автоматизации (ИИзации) аналитики по данным. Уже есть несколько стартапов обещающих автоматизацию построения дашбордов на основе клиентских данных.

Ссылки:
[1] https://www.cbinsights.com/research/large-language-model-operations-llmops-market-map/

#ai #analytics #llmops
В Rest of world статья о стереотипах о странах заложенных в генеративные ИИ [1]. Например, Indian person обычно старый мужчина с бородой, Mexican person обычно мужчина в сомбреро, а American person чаще женщина и чаще блондинка на фоне флага.

В целом статья о том как генеративный ИИ сужает мир до стереотипов и в этом мало хорошего, впрочем эта проблема на поверхности и точно будет решаться в новых моделях, инструментах, практике их применения.

Ссылки:
[1] https://restofworld.org/2023/ai-image-stereotypes/

#ai #generativeai #sterotypes #readings