Для тех кто будет сегодня в Москве или в онлайне на конференции Smart Data 2023 напоминаю что я буду там выступать в 11:30 с докладом Common Data Index. Как построить поисковую систему по открытым данным такую же, как Google Dataset Search, но проще и быстрее [1]

Тема будет довольно необычной, систем поиска общедоступных данных в мире не так много, я буду рассказывать как про предметные, так и про технические сложности в её построении. Через какое-то время будет доступна и презентация, но, конечно, я в выступлении рассказываю значительно больше того что остаётся в слайдах.

Ссылки:
[1] https://smartdataconf.ru/talks/6d6d864c6f5840a491d1f7921e7b79c7/

#opendata #events #datasearch

Немного рефлексии после выступления на Smart Data 2023:
1. Многие говорят что надо делать поисковик по данным общедоступным даже при его текущем несовершенном виде, а там всего 3.3 миллиона датасетов в демо версии, неоптимизированный фронт, косяки с отображением описаний датасетов в HTML и тд. в общем-то всё сравнительно легко исправляется, но на всё нужно время:) Я пока затягиваю публичный анонс, но, наверное, можно будет его сделать раньше.

Пока демо версию я впервые публично показывал на Smart Data и её видело максимум пару десятков человек.

2. К выступлению в реестре каталогов данных Common Data Index уже почти 10 тысяч каталогов данных. Всё больше и больше геодкаталогов, геосерверов, геоданных. С оговоркой что количество каталогов данных - это не число самих наборов данных и не их объём.

3. По моим ощущениям аудитории моё выступление зашло, некоторые вопросы были о том можно ли оптимизировать большой пласт ручной работы. Как бы я сам хотел бы это оптимизировать! Например, как было бы круто уметь определять название организации и её тип (госструктура, университет, нко) по сайту её каталога данных и как было бы круто определять автоматически город/регион/страну для каталогов данных у которых невозможно сразу определить их по gtld.
4, Важный вопрос о том что некоторые ссылки в поисковой системе ведут в пустоту потому что каталоги меняются и отваливаются и что с этим делать. Самое правильное решение - архивировать, иметь локальную копию, предоставлять её по запросу.

Мой доклад слегка выбивался из общего списка корпоративных дата-инженерных выступлений, кстати, весьма интересных, но слушателей было немало и у меня:)

А в качестве завершения могу сказать что Smart Data, однозначно, одна из наиболее полезных конференций по данным идущих в России, ради неё стоит приезжать в Москву послушать и пообщаться вживую. Собственно и не секрет что многие дата-инженеры, программисты и аналитики приезжают на такие конференции не из России, давно уже перебравшись в близлежащие страны.

#opendata #events #thoughts

Для тех кто любит моделировать данные и думать о том как они устроены, интересное мероприятие Data Modelling Days 2023 от команды Wikidata [1] это 3-х дневное мероприятие от фонда Wikimedia Deutschland о том как устроен проект Wikidata, как создаются в нём новые сущности и свойства и как вносятся объекты.

За пределами научного применения Wikidata - это самый заметный и самый практически применимый продукт основанный на связанных данных, семантической сети и со SPARQL интерфейсом. Это из тех проектов где люди как раз и занимаются о том как устроены данные. С приоритетом на GLAM (Galleries, Libraries, Archives, and Museums) и библиографию, но и по другим областям там очень много всего. Сравнивать его можно разве что с DBPedia (крупнейший проект по превращению Википедии в Linked Data) или с DataCommons (инициатива Google).

Если у меня получится найти время, я там точно хочу послушать о том как создатели Википедии думают о проектировании схем данных.

Ссылки:
[1] https://www.wikidata.org/wiki/Wikidata:Events/Data_Modelling_Days_2023

#opendata #databases #wikidata #wikimedia #events

Вот уже долгое время у меня в задачах висит провести опрос по поводу российского дня открытых данных. Мы в @infoculture проводим его уже много лет, в последние годы, начиная с ковидных годов дистанционно. Не проводили только в 2022 году. В 2024 году будем проводить, и российский, дистанционно и в Ереване, армянский, вживую.

Поэтому, во первых, если Вы хотите запартнёрится к организации ODD в России или в Армении то напишите мне в личку или на почту ivan@begtin.tech, а если хотите выступить спонсором так точно пишите)

С темами армянского ODD всё довольно понятно, мы его проводить будем в первый раз и в ситуации когда всё только начинается. А вот с темами того что обсуждать в России всегда есть вопрос, большой вопрос.

Самые очевидные темы:
- закрытие данных/сведений/документов/сайтов
- архивация данных везде где возможно
- оценка/обзор потенциальных госинициатив (портал данных для ИИ), которые пока незаметны, но обещаны
- что-то ещё?

Большой опрос под это делать не хочется, так что следующим постом я размещу мини-опрос в телеграме чтобы было понятно по каким темам собирать спикеров.

#opendata #russia #armenia #opengov #events

За текучкой дел я почти упустил и не успел посмотреть выступления на FOSSDEM и уж совсем упустил податься туда рассказать о том что делаю сам и с командой, тем не менее там много что есть посмотреть по теме данных и открытого кода и по теме Open Research [1] где как раз про открытые данные много.

На что стоит обратить внимание из связанного с данными:
- Updating open data standards [2]
- The French Open Science Monitor: steering the science based on open bibliographic databases [3]
- Unlocking Research Data Management with InvenioRDM [4]
- Cosma, a visualization tool for network synthesis [5]

Там ещё много узкотехнических докладов, не сомневаюсь что многие их если ещё не посмотрели, то посмотрят.

Ссылки:
[1] https://fosdem.org/2024/schedule/track/open-research/
[2] https://fosdem.org/2024/schedule/event/fosdem-2024-3109-updating-open-data-standards/
[3] https://fosdem.org/2024/schedule/event/fosdem-2024-3185-the-french-open-science-monitor-steering-the-science-based-on-open-bibliographic-databases/
[4] https://fosdem.org/2024/schedule/event/fosdem-2024-3452-unlocking-research-data-management-with-inveniordm/
[5] https://fosdem.org/2024/schedule/event/fosdem-2024-3394-cosma-a-visualization-tool-for-network-synthesis/

#opendata #data #events

Open Data Day - это 231 мероприятие в 2024 году организованные волонтёрами по всему миру [1]. Мероприятия разные по формату: оффлайновые митапы, хакатоны, дататоны, лекции, конференции и многое другое. Где-то большие события, где-то встречи групп в несколько человек.

Обратите внимание на мероприятия:
- День открытых данных в Москве (виртуальный) https://opendataday.ru
- ODD Armenia, оффлайновый митап https://odd.opendata.am
- Вечер оживших карт в Перми https://eduthon.timepad.ru/event/2789535/

На постсоветском пространстве осталось только мероприятие в Украине, но ничего нет даже в балтийских республиках или в Центральной Азии.

У многих мероприятий будет онлайн так что будет что посмотреть потом.

#opendata #events #opengov

Один мой товарищ на вопрос "Как дела?" отвечал "Ну как, в моменте хорошо, но это такой момент, секунда, когда ты летишь между 99 и 98 этажами, пока летишь то хорошо, но летишь то вниз".

Если говорить о том как в России с открытыми данными и общедоступностью информации, то в моменте хорошо и даже если с другими странами сравнивать, в моменте, то тоже будет не так уж плохо. Главное не забывать что это момент полёта между 99 и 98 этажами.

Тем не менее, 6 марта онлайн пройдет День открытых данных в форме мини-конференции с докладами.

Доклады будут на разные темы текущего состояния открытости/закрытости российских данных, проектах на их основе и многом другом.

Не забудьте зарегистрироваться и присоединиться!

#opendata #opendataday #events #russia

Если Вы ещё не подключились, трансляция онлайн Дня открытых данных в Москве идет вот тут https://www.youtube.com/live/qOEg6lvC1hY?feature=shared

Доклады уже начались

#opendata #events #russia

Для тех кто интересуется темой приватности на русском языке, очень скоро состоится Eurasian Data Protection Congress [1] с большим числом выступлений и дискуссий о том что происходит с персональными данными в мире и в российском и белорусском контекстах.


Ссылки:
[1] https://edpc.network/

#privacy #events #personaldata #dataprotection