Так уж сложилось что я уже лет десять мониторю и иногда выкладываю [1] цифры по legislative burden нормативной нагрузке нарастающей с ростом принимаемых законов и других НПА ежегодно. Так в 2022 году в России было принято 645 федеральных законов из которых 180 было принято в декабре 2022 года, а 55 было принято в ноябре 2022 года. Все эти цифры это абсолютные рекорды. Последний номер закона подписанного в ноябре 2022 года был 465-ФЗ. А вот в 2023 году за ноябрь уже принято 57 законов и номер последнего 564-ФЗ. А то есть есть хорошие шансы что до конца декабря общее число принятых законов составит 750, а это +16% к аналогичному периоду прошлого года (простите что срываюсь на этот бюрократический язык). А ещё можно и нужно замерить число указов Президента РФ, распоряжений и постановлений Правительства РФ и так далее.
Подводить итоги этого бюрократического забега и выбирать победителей по доле прироста макулатуры можно будет в январе 2024 года. Так что ожидайте, примерно в середине января всё прояснится.
P.S. Для сравнения: в Казахстане нумерация законов не внутри года, а от начала работы созывов депутатов. Например, VII созыв меджлиса принимал законы с 1 февраля 2021 года по 20 апреля 2023 года и успел принять всего 227 законов, это примерно по 8.4 закона в месяц, примерно по по 101 закон в год.
Ссылки:
[1] https://t.me/begtin/3511
#laws #lawburden #data #statistics
Подводить итоги этого бюрократического забега и выбирать победителей по доле прироста макулатуры можно будет в январе 2024 года. Так что ожидайте, примерно в середине января всё прояснится.
P.S. Для сравнения: в Казахстане нумерация законов не внутри года, а от начала работы созывов депутатов. Например, VII созыв меджлиса принимал законы с 1 февраля 2021 года по 20 апреля 2023 года и успел принять всего 227 законов, это примерно по 8.4 закона в месяц, примерно по по 101 закон в год.
Ссылки:
[1] https://t.me/begtin/3511
#laws #lawburden #data #statistics
Telegram
Ivan Begtin
Я каждый год подсчитываю и обновляю полуавтоматически цифры по числу постановлений и распоряжений Правительства РФ, они измеряют legislative burden, нормативную нагрузку. Неприятный факт - она растёт и усложняется. Каждый год приходится читать всё больше…
В рубрике интересных наборов данных WikiTables [1] набор данных из 1.6 миллионов таблиц извлечённых из английской Википедии и сопровождающий его набор состоящих из записей в этих таблицах слинкованными с объектами в DBPedia. Помимо того что это само по себе интересная и важная задача при создании связанного графа знаний, это ещё и огромная база для обучения разного рода алгоритмом.
Данные связаны со статьёй TabEL: Entity Linking in WebTables [2] ещё 2015 года и ещё много где использовались и используются они и по сей день.
Лично я эти данные использую для проверки и обучения утилиты metacrafter для идентификации семантических типов данных, но им не ограничиваясь.
Ссылки:
[1] http://websail-fe.cs.northwestern.edu/TabEL/index.html
[2] https://www.semanticscholar.org/paper/TabEL%3A-Entity-Linking-in-Web-Tables-Bhagavatula-Noraset/8ffcad9346c4978a211566fde6807d6fb4bfa5ed?p2df
#readings #data #datasets #research #understandingdata #datadiscovery
Данные связаны со статьёй TabEL: Entity Linking in WebTables [2] ещё 2015 года и ещё много где использовались и используются они и по сей день.
Лично я эти данные использую для проверки и обучения утилиты metacrafter для идентификации семантических типов данных, но им не ограничиваясь.
Ссылки:
[1] http://websail-fe.cs.northwestern.edu/TabEL/index.html
[2] https://www.semanticscholar.org/paper/TabEL%3A-Entity-Linking-in-Web-Tables-Bhagavatula-Noraset/8ffcad9346c4978a211566fde6807d6fb4bfa5ed?p2df
#readings #data #datasets #research #understandingdata #datadiscovery
www.semanticscholar.org
[PDF] TabEL: Entity Linking in Web Tables | Semantic Scholar
TabEL differs from previous work by weakening the assumption that the semantics of a table can be mapped to pre-defined types and relations found in the target KB, and enforces soft constraints in the form of a graphical model that assigns higher likelihood…
Про интересные данные в геополитике, исследование Belt and Road Reboot: Beijing’s Bid to De-Risk Its Global Infrastructure Initiative [1] с результатами анализа чуть менее 21 тысячи проектов профинансированных и поддержанных Китаем за 2000-2021 годы в 165 развивающихся странах и странах со средними доходами. К этому же отчёту набор данных AidData's Global Chinese Development Finance Dataset, Version 3.0 [2] со всеми этими данными.
Данные они распространяют в Excel, и они по формату ближе к академическим датасетам, разве что DOI нехватает.
Сами данные более чем интересные, можно найти проекты которые Китай реализует практически в любой стране мира, в Армении, Уругвае, России, Иране и так далее.
Ссылки:
[1] https://www.aiddata.org/publications/belt-and-road-reboot
[2] https://www.aiddata.org/data/aiddatas-global-chinese-development-finance-dataset-version-3-0
#opendata #international #china #readings #datasets
Данные они распространяют в Excel, и они по формату ближе к академическим датасетам, разве что DOI нехватает.
Сами данные более чем интересные, можно найти проекты которые Китай реализует практически в любой стране мира, в Армении, Уругвае, России, Иране и так далее.
Ссылки:
[1] https://www.aiddata.org/publications/belt-and-road-reboot
[2] https://www.aiddata.org/data/aiddatas-global-chinese-development-finance-dataset-version-3-0
#opendata #international #china #readings #datasets
Не могу не поделиться свежим наблюдением что большая часть тех кто занимался когда-либо открытостью данных в какой-то момент, если не меняют вид деятельности, перестают создавать сами данные и создают инструменты с помощью которых их можно готовить, публиковать, обрабатывать, анализировать и так далее. И у этого есть одно важнейшее объяснение, создавать хорошие данные дорого, если ты только не занимаешься этим постоянно или это не встроено в твой рабочий процесс (с). В более короткой версии этот тезис звучит как "создавать хорошие данные дорого" (с).
Почему так? Потому что создание любого более-менее качественного набора данных требует одновременно отраслевой и технической экспертизы. Например, разбираясь в кулинарии и аналитике можно создать датасет с ингредиентами, но без одного из этих навыков техническое или смысловое качество пострадает.
Поэтому открытость встраивают в процесс. Например, в научной среде открытые данные - это, в первую очередь, один из результатов научной деятельности наравне со статьями, тезисами, презентациями, кодом и так далее. Или открытые данные - это естественная производная от создаваемых банков данных. Аналогично для многих общественных проектов, открытые данные это дополнительный канал коммуникации с разработчиками. Данные публикуются как часть проекта или выделяются в отдельный, но во всех случаях они встроены в производственный процесс.
Собственно и большая часть усилий по убеждению правительств в публикации открытых данных всегда была не про выдумывание новых несуществующих ещё данных, а "давайте поменяем процессы так чтобы данные из государственных систем автоматически публиковались".
В общем создание хороших данных работает только если Вы создаёте данные непрерывно и можете их открыть.
Есть ли способы сделать данные более доступными? Можно пытаться снизить стоимость их производства. Например, я много экспериментировал с автоматическим созданием датасетов из бесконечного числа Excel файлов, DOCX и PDF файлов, типовых API и так далее. Извлечь данные таким образом можно, рассматривать их как качественные - нет. Часто невозможно собрать таким образом даже метаданные, описание и указание первоисточника.
Другие ищут уже опубликованные дата-файлы и пытаются интерпретировать эти находки. Как, например, в той статье о которой я упоминал и в которой авторы прошерстили Github и нашли там сотни миллионов файлов с данными.
Как бы то ни было, это известная и нерешённая проблема. И я вижу как многие уперевшиеся в неё переходят к созданию инструментов, а не датасетов.
#opendata #opensource #thoughts
Почему так? Потому что создание любого более-менее качественного набора данных требует одновременно отраслевой и технической экспертизы. Например, разбираясь в кулинарии и аналитике можно создать датасет с ингредиентами, но без одного из этих навыков техническое или смысловое качество пострадает.
Поэтому открытость встраивают в процесс. Например, в научной среде открытые данные - это, в первую очередь, один из результатов научной деятельности наравне со статьями, тезисами, презентациями, кодом и так далее. Или открытые данные - это естественная производная от создаваемых банков данных. Аналогично для многих общественных проектов, открытые данные это дополнительный канал коммуникации с разработчиками. Данные публикуются как часть проекта или выделяются в отдельный, но во всех случаях они встроены в производственный процесс.
Собственно и большая часть усилий по убеждению правительств в публикации открытых данных всегда была не про выдумывание новых несуществующих ещё данных, а "давайте поменяем процессы так чтобы данные из государственных систем автоматически публиковались".
В общем создание хороших данных работает только если Вы создаёте данные непрерывно и можете их открыть.
Есть ли способы сделать данные более доступными? Можно пытаться снизить стоимость их производства. Например, я много экспериментировал с автоматическим созданием датасетов из бесконечного числа Excel файлов, DOCX и PDF файлов, типовых API и так далее. Извлечь данные таким образом можно, рассматривать их как качественные - нет. Часто невозможно собрать таким образом даже метаданные, описание и указание первоисточника.
Другие ищут уже опубликованные дата-файлы и пытаются интерпретировать эти находки. Как, например, в той статье о которой я упоминал и в которой авторы прошерстили Github и нашли там сотни миллионов файлов с данными.
Как бы то ни было, это известная и нерешённая проблема. И я вижу как многие уперевшиеся в неё переходят к созданию инструментов, а не датасетов.
#opendata #opensource #thoughts
Свежий стандарт по публикации результатов научной деятельности в открытом доступе Cross Domain Interoperability Framework (CDIF): Discovery Module [1] создан в рамках проекта WorldFAIR [2] и охватывает самые разнообразные объекты, но, что важнее, он описывает их публикацию используя schema.org что существенно повышает их находимость для поисковиков, в первую очередь, Google, но не только. Существенная часть стандарта про публикацию наборов данных, с отсылками в другим стандартам, включая DCAT, DataCite, ISO19115, EML, FGDC CSDGM, CERIF и DDI. Странно разве что отсутствие упоминания OAI-PHM. Как бы то ни было, потенциально это новый стандарт, который может быть вскоре одобрен в ЕС.
Ссылки:
[1] https://zenodo.org/records/10252564
[2] https://worldfair-project.eu/2023/12/05/cross-domain-interoperability-framework-cdif-discovery-module-v01-draft-for-public-consultation/
#opendata #datastandards #eu #standards #data #openaccess
Ссылки:
[1] https://zenodo.org/records/10252564
[2] https://worldfair-project.eu/2023/12/05/cross-domain-interoperability-framework-cdif-discovery-module-v01-draft-for-public-consultation/
#opendata #datastandards #eu #standards #data #openaccess
Zenodo
Cross Domain Interoperability Framework (CDIF): Discovery Module (v01 draft for public consultation)
In support of the WorldFAIR project and other activities to improve the implementation of the FAIR principles, the Cross-Domain Interoperability Framework (CDIF) Working Group is producing a suite of recommendations and guidelines. The CDIF will include…
Про то как происходит постепенное принуждение к установке корневого сертификата Портала госуслуг. Картинка с сайта Федерального Казначейства.
Одно из последствий этого "перехода на корневой сертификат" что сайты многих госорганов и госпроектов не будут попадать в Интернет-архив. Уже сейчас попадают не все, потому что блокируются не российские IP адреса. Но дальше не будет лучше.
В моих планах есть задача архивации российских госсайтов в 2024 году, потому что опять, наверняка, что-то поломают (сами сломают, не хакеры), что-то спрячут, а что-то заблокируют.
#internet #connectivity #digitalpreservation #archives
Одно из последствий этого "перехода на корневой сертификат" что сайты многих госорганов и госпроектов не будут попадать в Интернет-архив. Уже сейчас попадают не все, потому что блокируются не российские IP адреса. Но дальше не будет лучше.
В моих планах есть задача архивации российских госсайтов в 2024 году, потому что опять, наверняка, что-то поломают (сами сломают, не хакеры), что-то спрячут, а что-то заблокируют.
#internet #connectivity #digitalpreservation #archives
В рубрике закрытых данных в России, из открытого доступа убрали сведения о расположении кораблей в портах [1] [2], похоже во всех, поскольку мне пока не удалось найти порт в котором бы эта информация раскрывалась на официальном сайте. А также закрыли систему "Судозаходы в РФ" [3]. Ранее сведения из "Табло портов" [4] в этой системе были общедоступны, теперь доступны только для зарегистрированных пользователей. Не могу сказать когда именно эти сведения стали скрывать, но точно в последние 2 года, поскольку ещё в октябре 2021 года они были доступны.
Хотя эти данные и не были открытыми и машиночитаемыми, в машиночитаемую форму они легко превращались.
Ссылки:
[1] https://www.mapm.ru/Port/View_TrafficShip
[2] https://bsamp.ru/port-novorossiysk-vessels.php
[3] https://portcall.marinet.ru/index.php
[4] https://portcalltable.marinet.ru/
#opendata #closeddata #russia #transport #ships #ports
Хотя эти данные и не были открытыми и машиночитаемыми, в машиночитаемую форму они легко превращались.
Ссылки:
[1] https://www.mapm.ru/Port/View_TrafficShip
[2] https://bsamp.ru/port-novorossiysk-vessels.php
[3] https://portcall.marinet.ru/index.php
[4] https://portcalltable.marinet.ru/
#opendata #closeddata #russia #transport #ships #ports
bsamp.ru
Морской порт Новороссийск - Расстановка судов в порту- Федеральное государственное бюджетное учреждение «Администрация морских…
Морской порт Новороссийск - Расстановка судов в порту - Федеральное государственное бюджетное учреждение «Администрация морских портов Черного моря».
С некоторым удивлением и лёгким ужасом я убеждаюсь что в России из НКО с активной позицией в сторону защиты граждан в отношении ИИ в РФ осталась только РПЦ. Не могу даже описать как это контрастирует с развитой частью мира. Как думаете сможет РПЦ представлять интересы общества или, всё таки, это аномалия и должны появится/возродиться правозащитные организации в этой области?
Защита прав человека в применении к ИИ в России. Кто будет этим заниматься?
Anonymous Poll
23%
РПЦ, конечно же, кто ещё
16%
Верните правозащитников инагентов, снимите с них этот статус
17%
Главная правозащитная организация в РФ - Генеральнай прокуратура!
12%
Найдутся какие-нибудь карманные болтуны из сами-знаете какой палаты, они то никуда не убежали
20%
Ещё чуть-чуть и Пр-во создаст какое-нибудь новое учреждение под такое дело
11%
Как кто?! Ашманов же!
9%
Бизнес как-нибудь сам саморегулируется, главное не мешайте...
14%
Какие права? Зачем права? У нас власть миролюбивая и человеколюбивая...
20%
Я зашёл сюда, случайно, просто посмотреть ответы
Неожиданная новость, Университет Парижа (Сорбонна) с 2024 года отказывается от подписки на проприетарный библиометрический продукт Web of Science и библиометрических продуктов от компании Clarivate в пользу открытого OpenAlex [1].
Это очень хорошая новость для проекта OpenAlex в котором собрано уже более 247 миллионов научных работ [2], а теперь и подключаются ведущие университеты.
А я не могу не напомнить что это одна из крупнейших открытых баз данных научных исследований, доступная в виде полных дампов.
Ссылки:
[1] https://www.sorbonne-universite.fr/en/news/sorbonne-university-unsubscribes-web-science
[2] https://openalex.org/stats
#openaccess #opendata #biblography
Это очень хорошая новость для проекта OpenAlex в котором собрано уже более 247 миллионов научных работ [2], а теперь и подключаются ведущие университеты.
А я не могу не напомнить что это одна из крупнейших открытых баз данных научных исследований, доступная в виде полных дампов.
Ссылки:
[1] https://www.sorbonne-universite.fr/en/news/sorbonne-university-unsubscribes-web-science
[2] https://openalex.org/stats
#openaccess #opendata #biblography
Тем временем в Евросоюзе чиновники и законодатели согласовали свежий "Закон о ИИ" [1] который уже скоро примут и туда войдут многие положения по весьма жёсткому регулированию создания, применения и эксплуатации ИИ.
В частности будет запрещена эксплуатация ИИ следующих категорий:
- системы биометрической категоризации, использующие чувствительные характеристики (например, политические, религиозные, философские убеждения, сексуальная ориентация, раса);
- нецелевое извлечение изображений лиц из Интернета или записей с камер видеонаблюдения для создания баз данных для распознавания лиц;
- распознавание эмоций на рабочем месте и в учебных заведениях;
- социальный рейтинг, основанный на социальном поведении или личных характеристиках;
- системы искусственного интеллекта, которые манипулируют поведением людей, чтобы обойти их свободную волю;
- ИИ используемый для эксплуатации уязвимостей людей (из-за их возраста, инвалидности, социального или экономического положения).
За исключением таких задач как:
- целевые поиски жертв (похищение, торговля людьми, сексуальная эксплуатация),
- предотвращение конкретной и существующей террористической угрозы или
- локализация или идентификация лица, подозреваемого в совершении одного из конкретных преступлений
А также будут установлены требования к прозрачности ИИ продуктов и создание "песочниц" по контролем национальных властей для разработки ИИ малым и средним бизнесом без влияния глобальных корпораций.
Штрафы за нарушение могут достигать 7% от глобального оборота компании, так что последствия нарушений будут серьёзными, для многих компаний на кону может стоять принципиальное решение присутствовать или нет на рынке ЕС. Многое будет зависеть от того когда те или иные требования закона будут запланированы к исполнению.
Надо сказать что европейское регулирование резко контрастирует с отсутствием регулирования во многих странах или, к примеру, с российским регулированием в котором нет даже намёка на публичное раскрытие информации за исключением регулирования рекомендательных систем.
Ссылки:
[1] https://www.europarl.europa.eu/news/en/press-room/20231206IPR15699/artificial-intelligence-act-deal-on-comprehensive-rules-for-trustworthy-ai
#ai #eu #legislation #regulation
В частности будет запрещена эксплуатация ИИ следующих категорий:
- системы биометрической категоризации, использующие чувствительные характеристики (например, политические, религиозные, философские убеждения, сексуальная ориентация, раса);
- нецелевое извлечение изображений лиц из Интернета или записей с камер видеонаблюдения для создания баз данных для распознавания лиц;
- распознавание эмоций на рабочем месте и в учебных заведениях;
- социальный рейтинг, основанный на социальном поведении или личных характеристиках;
- системы искусственного интеллекта, которые манипулируют поведением людей, чтобы обойти их свободную волю;
- ИИ используемый для эксплуатации уязвимостей людей (из-за их возраста, инвалидности, социального или экономического положения).
За исключением таких задач как:
- целевые поиски жертв (похищение, торговля людьми, сексуальная эксплуатация),
- предотвращение конкретной и существующей террористической угрозы или
- локализация или идентификация лица, подозреваемого в совершении одного из конкретных преступлений
А также будут установлены требования к прозрачности ИИ продуктов и создание "песочниц" по контролем национальных властей для разработки ИИ малым и средним бизнесом без влияния глобальных корпораций.
Штрафы за нарушение могут достигать 7% от глобального оборота компании, так что последствия нарушений будут серьёзными, для многих компаний на кону может стоять принципиальное решение присутствовать или нет на рынке ЕС. Многое будет зависеть от того когда те или иные требования закона будут запланированы к исполнению.
Надо сказать что европейское регулирование резко контрастирует с отсутствием регулирования во многих странах или, к примеру, с российским регулированием в котором нет даже намёка на публичное раскрытие информации за исключением регулирования рекомендательных систем.
Ссылки:
[1] https://www.europarl.europa.eu/news/en/press-room/20231206IPR15699/artificial-intelligence-act-deal-on-comprehensive-rules-for-trustworthy-ai
#ai #eu #legislation #regulation
European Parliament
Artificial Intelligence Act: deal on comprehensive rules for trustworthy AI
MEPs reached a political deal with the Council on a bill to ensure AI in Europe is safe, respects fundamental rights and democracy, while businesses can thrive and expand.
В качестве регулярного напоминания, портал открытых данных РФ (data.gov.ru) закрыт уже почти 8 месяцев, вероятность что на его месте создадут что-то другое ненулевая, вероятность что новый портал будет содержать все данные с предыдущего - нулевая.
Мы сделали дамп портала в рамках проекта Национального цифрового архива (ruarxive.org) и, хотя, большая часть данных на портале были скорее бесполезными чем необходимыми, среди опубликованных там датасетов могло быть и что-то нужное.
Полную архивную копию портала можно скачать по ссылке [1], общим объёмом в 14Gb.
Ссылки:
[1] https://cdn.ruarxive.org/public/dataportals/data.gov.ru/2022-02-02/datagovru_20220202.zip
#opendata #digitalpreservation #datacatalogs #russia #data #datasets
Мы сделали дамп портала в рамках проекта Национального цифрового архива (ruarxive.org) и, хотя, большая часть данных на портале были скорее бесполезными чем необходимыми, среди опубликованных там датасетов могло быть и что-то нужное.
Полную архивную копию портала можно скачать по ссылке [1], общим объёмом в 14Gb.
Ссылки:
[1] https://cdn.ruarxive.org/public/dataportals/data.gov.ru/2022-02-02/datagovru_20220202.zip
#opendata #digitalpreservation #datacatalogs #russia #data #datasets
IBM, Meta и ещё более 50 компаний и исследовательских центров создали AI Alliance [1] как Международное сообщество ведущих разработчиков, исследователей и адептов технологий, сотрудничающих вместе для продвижения открытого, безопасного и ответственного искусственного интеллекта. Туда же входят RedHat, Linux Foundation, Oracle, Intel и ещё много и много кто. Например, там есть Hugging Face, но, например, нет Kaggle, если мы говорим про крупные платформы/сообщества исследователей. Зато присутствуют Национальный научный фонд США (NSF) и NASA, единственные государственные организации на текущий момент.
Пока на сайте самого альянса мало информации [2], но явно будет больше интересного и полезного.
А самое главное что фокус усилий и действий альянса будет вокруг ИИ с открытым кодом.
Ссылки:
[1] https://newsroom.ibm.com/AI-Alliance-Launches-as-an-International-Community-of-Leading-Technology-Developers,-Researchers,-and-Adopters-Collaborating-Together-to-Advance-Open,-Safe,-Responsible-AI
[2] https://thealliance.ai
#opensource #ai
Пока на сайте самого альянса мало информации [2], но явно будет больше интересного и полезного.
А самое главное что фокус усилий и действий альянса будет вокруг ИИ с открытым кодом.
Ссылки:
[1] https://newsroom.ibm.com/AI-Alliance-Launches-as-an-International-Community-of-Leading-Technology-Developers,-Researchers,-and-Adopters-Collaborating-Together-to-Advance-Open,-Safe,-Responsible-AI
[2] https://thealliance.ai
#opensource #ai
IBM Newsroom
AI Alliance Launches as an International Community of Leading Technology Developers, Researchers, and Adopters Collaborating Together…
The AI Alliance is action oriented & decidedly international, designed to create opportunities everywhere through a diverse range of institutions that can shape the evolution of AI in ways that better reflect the needs & the complexity of our societies.
2023 год ещё не закончился, но уже время подводить итоги.
Предлагаю простую эстафету и рассказать про:
- 2 достижения в 2023 году
- 2-3 запланированных достижения/проекта/цели на 2024 год
- и одно пожелание на 2024 год.
Я не могу рассказать о многом чем занимаюсь, но об одном большом-любимом хобби переходящим в деятельность могу.
—
Достижения 2023 года:
- Создание общего индекса данных (https://github.com/commondataio/dataportals-registry, https://registry.commondata.io), около 9912+ порталов данных, репозиториев исследовательских данных, порталов с каталогами данных и т. д. MIT Лицензия
- Почти завершено исследование общих API, стандартов данных и практик, связанных с открытыми данными, включая DCAT, CKAN API, Dataverse API, OAI-PMH и около 20+ других.
Планируется на 2024 год:
- Запуск системы поиска данных на основе Common Data Index. Демо-версия уже завершена: проиндексировано около 6 миллионов наборов данных (начало 2024 г.).
- Обновить инструмент Metacrafter с открытым исходным кодом для автоматического определения семантических типов в индексе поисковой системы и создать облачную версию.
Пожелание на следующий год:
- Проиндексировать около 40-50 миллионов наборов данных в поисковой системе и, конечно, всем побольше мира.
—
Напишите в комментариях тут, или в своих телеграм каналах о своих итогах и планах, насколько работа позволяет об этом написать;)
#opendata #data #newyear #plans
Предлагаю простую эстафету и рассказать про:
- 2 достижения в 2023 году
- 2-3 запланированных достижения/проекта/цели на 2024 год
- и одно пожелание на 2024 год.
Я не могу рассказать о многом чем занимаюсь, но об одном большом-любимом хобби переходящим в деятельность могу.
—
Достижения 2023 года:
- Создание общего индекса данных (https://github.com/commondataio/dataportals-registry, https://registry.commondata.io), около 9912+ порталов данных, репозиториев исследовательских данных, порталов с каталогами данных и т. д. MIT Лицензия
- Почти завершено исследование общих API, стандартов данных и практик, связанных с открытыми данными, включая DCAT, CKAN API, Dataverse API, OAI-PMH и около 20+ других.
Планируется на 2024 год:
- Запуск системы поиска данных на основе Common Data Index. Демо-версия уже завершена: проиндексировано около 6 миллионов наборов данных (начало 2024 г.).
- Обновить инструмент Metacrafter с открытым исходным кодом для автоматического определения семантических типов в индексе поисковой системы и создать облачную версию.
Пожелание на следующий год:
- Проиндексировать около 40-50 миллионов наборов данных в поисковой системе и, конечно, всем побольше мира.
—
Напишите в комментариях тут, или в своих телеграм каналах о своих итогах и планах, насколько работа позволяет об этом написать;)
#opendata #data #newyear #plans
GitHub
GitHub - commondataio/dataportals-registry: Registry of data portals, catalogs, data repositories including data catalogs dataset…
Registry of data portals, catalogs, data repositories including data catalogs dataset and catalog description standard - commondataio/dataportals-registry
Forwarded from Ах, этот Минфин (Olya Parkhimovich)
Портал СП РФ "Госрасходы" (spending.gov.ru) снова недоступен. На сайте не указаны сроки проведения технических работ, поэтому остается только надеяться на то, что его работа будет возобновлена.
Forwarded from Выше квартилей
Les grands embrasements naissent de petites étincelles
На сайте Сорбонны опубликована новость о том, что ведущий университет Франции прекратил свою подписку на Web of Science, а также перестанет использовать другие библиометрические инструменты Clarivate в 2024 году. На выходных эту новость подхватили многие наши коллеги после заметки Ивана Бегтина.
Такое решение обусловлено тенденцией к переходу от проприетарных продуктов к открытым и бесплатным инструментам. Вместо WoS Сорбонна будет использовать OpenAlex, с которым университет собирается заключить партнерское соглашение. В будущем ожидается, что обе стороны возьмут на себя обязательства по сотрудничеству и улучшению качества данных, относящихся к Сорбонне.
Решение Сорбонны подпадает под общий тренд последних лет, связанный с Open Access. Так, в анонсе Сорбонны упоминается Лейденский CWTS Ranking, который также заявляет о приоритетности открытых данных, стремится к полной прозрачности и воспроизводимости своих рейтингов при помощи CrossRef и OpenAlex. Кроме того, Лейденский Университет анонсирует версию «открытого издания» своего рейтинга на базе OpenAlex в 2024 году.
Про OpenAlex в качестве потенциального конкурента библиометрических баз, доступных по подписке, довольно позитивно отзываются и другие университеты:
• Библиотеки HKU, HKUST, Сингапурского университета менеджмента и Университета Калгари публиковали обзорные статьи про OpenAlex с примерами составления API-запросов;
• О преимуществах использования OpenAlex писал университет Хьюстона;
• Лаборатория Утрехтского университета предлагает использовать данные базы в проекте FAIR data;
• Университет Милана официально ссылается на данные OpenAlex в отчетах о научно-исследовательской работе;
• Политехнический университет Каталонии (BarcelonaTech) использует данные базы в рамках мониторинга открытого доступа в каталонских университетах.
Как видно из приведенных заметок, обращение к открытым данных пока ограничивается лишь рекомендациями и инструкциями. Однако уже сейчас очевидно, что инициативу Сорбонны в перспективе могут разделить и другие ведущие университеты. Ведь большие пожары зарождаются из маленьких искр.
#анонсы #новости #открытыйдоступ #университеты #openalex
На сайте Сорбонны опубликована новость о том, что ведущий университет Франции прекратил свою подписку на Web of Science, а также перестанет использовать другие библиометрические инструменты Clarivate в 2024 году. На выходных эту новость подхватили многие наши коллеги после заметки Ивана Бегтина.
Такое решение обусловлено тенденцией к переходу от проприетарных продуктов к открытым и бесплатным инструментам. Вместо WoS Сорбонна будет использовать OpenAlex, с которым университет собирается заключить партнерское соглашение. В будущем ожидается, что обе стороны возьмут на себя обязательства по сотрудничеству и улучшению качества данных, относящихся к Сорбонне.
Решение Сорбонны подпадает под общий тренд последних лет, связанный с Open Access. Так, в анонсе Сорбонны упоминается Лейденский CWTS Ranking, который также заявляет о приоритетности открытых данных, стремится к полной прозрачности и воспроизводимости своих рейтингов при помощи CrossRef и OpenAlex. Кроме того, Лейденский Университет анонсирует версию «открытого издания» своего рейтинга на базе OpenAlex в 2024 году.
Про OpenAlex в качестве потенциального конкурента библиометрических баз, доступных по подписке, довольно позитивно отзываются и другие университеты:
• Библиотеки HKU, HKUST, Сингапурского университета менеджмента и Университета Калгари публиковали обзорные статьи про OpenAlex с примерами составления API-запросов;
• О преимуществах использования OpenAlex писал университет Хьюстона;
• Лаборатория Утрехтского университета предлагает использовать данные базы в проекте FAIR data;
• Университет Милана официально ссылается на данные OpenAlex в отчетах о научно-исследовательской работе;
• Политехнический университет Каталонии (BarcelonaTech) использует данные базы в рамках мониторинга открытого доступа в каталонских университетах.
Как видно из приведенных заметок, обращение к открытым данных пока ограничивается лишь рекомендациями и инструкциями. Однако уже сейчас очевидно, что инициативу Сорбонны в перспективе могут разделить и другие ведущие университеты. Ведь большие пожары зарождаются из маленьких искр.
#анонсы #новости #открытыйдоступ #университеты #openalex
Незаслуженно упущенный мной документ GENERATIVE ARTIFICIAL INTELLIGENCE. OPPORTUNITIES, RISKS AND POLICY CHALLENGES [1] отчет European Parliamentary Technology Assessment о генеративном ИИ с точки зрения регуляторов в Евросоюзе и немного в Японии в контексте влияния ИИ на демократию. В целом весьма полезный обзорный документ.
И туда же вдогонку публикация про норвежский бюджет 2024 года [2] и упоминания расходов на ИИ в нём.
Ссылки:
[1] https://teknologiradet.no/en/publication/epta-report-2023-generative-artificial-intelligence-opportunities-risks-and-policy-challenges/
[2] https://medium.com/ethical-ai-resources/artificial-intelligence-in-the-norwegian-national-budget-for-2024-4f4d5bdde6fc
#ai #readings #eu #norway
И туда же вдогонку публикация про норвежский бюджет 2024 года [2] и упоминания расходов на ИИ в нём.
Ссылки:
[1] https://teknologiradet.no/en/publication/epta-report-2023-generative-artificial-intelligence-opportunities-risks-and-policy-challenges/
[2] https://medium.com/ethical-ai-resources/artificial-intelligence-in-the-norwegian-national-budget-for-2024-4f4d5bdde6fc
#ai #readings #eu #norway
Teknologirådet
EPTA Report 2023: Generative Artificial Intelligence - Opportunities, Risks and Policy Challenges
The 2023 EPTA report on Generative AI was released at the annual EPTA conference in Barcelona and is the result of the collaborative efforts of the European Parliamentary Technology Assessment (EPTA) network.
Не все знают что в основе проекта Wikidata лежит расширение для MediaWiki под названием Wikibase [1]. Это продукт с открытым кодом созданный в Wikimedia Deutschland и используемый для баз объектов в стиле Mediawiki, со встроенным редактором свойств, схем, объектов, API и поддержкой связанных данных. У Wikibase существует множество инсталляций база которых собрана на Wikibase.world (тоже инсталляция Wikibase)).
Главное отличие Wikibase от того же Semantic MediaWiki, в том что в Semantic Mediawiki есть попытка приблизить текст к структуре, а в Wikibase это попытка приблизить данные к Wiki.
По природе своей проекты на Wikibase включая Wikidata гораздо ближе к сообществам библиотекарей, архивистов, историков и тд. Очень многие проекты на его основе сфокусированы на библиографии, языках и тд.
Но постепенно, та же Wikidata, наполняется референсными данными с которыми можно работать напрямую используя API и библиотеки вроде WikidataIntegrator [3].
Главные плюсы - системность решения, главные минусы - негибкость в отображении данных. Например, у меня в работе есть множество больших реестров которым нужны интерфейсы редактирования и визуализации, с обновлением схем и тд.
Я о некоторых писал, какие-то менее известны:
- реестр всех государственных доменных имён в РФ (от 10 до 200 тысяч)
- реестр семантических типов данных (до 5000)
- реестр порталов данных (от 10 до 20 тысяч)
- каталогов всех цифровых слепков сайлов из Ruarxive (от 10 тысяч)
Вести их в Wikibase было бы правильно, но жуть как неудобно если это не повседневный инструмент. Причём главным образом из-за отсутствия табличного, массового режима обновления данных. Хотя и интеграция с Wikidata актуальна во проектах.
Ссылки:
[1] https://www.mediawiki.org/wiki/Wikibase/Using_Wikibase
[2] https://wikibase.world/query/#PREFIX%20wdt%3A%20%3Chttps%3A%2F%2Fwikibase.world%2Fprop%2Fdirect%2F%3E%0APREFIX%20wd%3A%20%3Chttps%3A%2F%2Fwikibase.world%2Fentity%2F%3E%0A%0ASELECT%20%3FitemLabel%20%3Furl%20%3Fitem%20WHERE%20%7B%0A%20%20%20%20%3Fitem%20wdt%3AP3%20wd%3AQ10%20.%0A%20%20%20%20%3Fitem%20wdt%3AP1%20%3Furl%20.%0A%20%20%20%20%3Fitem%20wdt%3AP13%20wd%3AQ54%20.%0A%20%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22%5BAUTO_LANGUAGE%5D%2Cen%22.%20%7D%0A%7D
[3] https://github.com/SuLab/WikidataIntegrator
#opensource #wikidata #wiki
Главное отличие Wikibase от того же Semantic MediaWiki, в том что в Semantic Mediawiki есть попытка приблизить текст к структуре, а в Wikibase это попытка приблизить данные к Wiki.
По природе своей проекты на Wikibase включая Wikidata гораздо ближе к сообществам библиотекарей, архивистов, историков и тд. Очень многие проекты на его основе сфокусированы на библиографии, языках и тд.
Но постепенно, та же Wikidata, наполняется референсными данными с которыми можно работать напрямую используя API и библиотеки вроде WikidataIntegrator [3].
Главные плюсы - системность решения, главные минусы - негибкость в отображении данных. Например, у меня в работе есть множество больших реестров которым нужны интерфейсы редактирования и визуализации, с обновлением схем и тд.
Я о некоторых писал, какие-то менее известны:
- реестр всех государственных доменных имён в РФ (от 10 до 200 тысяч)
- реестр семантических типов данных (до 5000)
- реестр порталов данных (от 10 до 20 тысяч)
- каталогов всех цифровых слепков сайлов из Ruarxive (от 10 тысяч)
Вести их в Wikibase было бы правильно, но жуть как неудобно если это не повседневный инструмент. Причём главным образом из-за отсутствия табличного, массового режима обновления данных. Хотя и интеграция с Wikidata актуальна во проектах.
Ссылки:
[1] https://www.mediawiki.org/wiki/Wikibase/Using_Wikibase
[2] https://wikibase.world/query/#PREFIX%20wdt%3A%20%3Chttps%3A%2F%2Fwikibase.world%2Fprop%2Fdirect%2F%3E%0APREFIX%20wd%3A%20%3Chttps%3A%2F%2Fwikibase.world%2Fentity%2F%3E%0A%0ASELECT%20%3FitemLabel%20%3Furl%20%3Fitem%20WHERE%20%7B%0A%20%20%20%20%3Fitem%20wdt%3AP3%20wd%3AQ10%20.%0A%20%20%20%20%3Fitem%20wdt%3AP1%20%3Furl%20.%0A%20%20%20%20%3Fitem%20wdt%3AP13%20wd%3AQ54%20.%0A%20%20%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22%5BAUTO_LANGUAGE%5D%2Cen%22.%20%7D%0A%7D
[3] https://github.com/SuLab/WikidataIntegrator
#opensource #wikidata #wiki
MediaWiki
Wikibase/Using Wikibase - MediaWiki
Почему я задумался о Wikibase и аналогичным проектам, потому что Airtable поменял уже какое-то время назад тарифы и теперь поддерживать там бесплатно большие таблицы невозможно. Какие-то таблицы вроде семантических типов данных и реестра каталогов данных я уже переносил в режим их редактирования в Github'е в виде тысяч YAML файлов. А теперь у меня закончилась квота на базы редактирования доменов, международных договоров и архивов сайтов. В общем что-то с этим надо делать и, либо найти альтернативу Airtable, либо перенести на Github и эти базы.
Главное отличие в том что у этих баз много разных связанных сущностей. В этом смысле гораздо проще вести базу каталогов данных, там основная сущность - это каталог. А даже в одной только базе госсайтов сущности включают: домен, организацию, ASN, регион и несколько десятков атрибутов.
Я всерьёз подумываю о том можно ли перенести такое на Wikibase или найти разумную альтернативу Airtable.
#opendata #datasets #data #government #domains
Главное отличие в том что у этих баз много разных связанных сущностей. В этом смысле гораздо проще вести базу каталогов данных, там основная сущность - это каталог. А даже в одной только базе госсайтов сущности включают: домен, организацию, ASN, регион и несколько десятков атрибутов.
Я всерьёз подумываю о том можно ли перенести такое на Wikibase или найти разумную альтернативу Airtable.
#opendata #datasets #data #government #domains