Ivan Begtin
7.99K subscribers
1.82K photos
3 videos
101 files
4.53K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts ivan@begtin.tech
Download Telegram
Симпатичный свежий инструмент с открытым кодом по визуализации данных Trelliscope [1]. Написан на R, распространяется под лицензией MIT, команда, также, ведёт разработку пакета на Python [2].

Даёт возможность создавать недорогие интерактивные дашборды в короткие сроки, поверх стандартных датафреймов. Причём в примерах есть создание дашборда поверх больших наборов данных вроде поездок такси Нью Йорка (64GB, 1.6 миллиарда строк) [3].

Для очень многих задач когда данные большие или когда надо сделать визуализацию частью продукта, а лишних ресурсов нет, может оказаться очень полезным подспорьем.

И, кстати, будь такая штука удобным образом внедрена в один из сервисов/продуктов тетрадок вроде Jupyter Notebook, то совсем цены бы ей не было.

Ссылки:
[1] https://trelliscope.org/
[2] https://github.com/trelliscope/
[3] https://trelliscope.org/trelliscope/articles/bigdata.html

#opensource #dataviz #data #datatools
В рубрике как это работает у них [1] Open Context, проект про архивацию и создание наборов археологических наборов данных, как структурированных табличных файлов, так и совокупности изображений, видеозаписей, 3D моделей, записок исследователей археологов и так далее. В проекте эта совокупность данных называется Data publication, а сам он построен на привязке к контексту территории, исторической эпохи и так далее.

В общей сложности так опубликовано 136 наборов данных и тысячи медиа файлов, изображений и остального. Ближе всего они к датасетам для машинного обучения, поскольку являются смешением первичных и структурированных данных.

Большим достоинством Open Context является единая схема/модель описания публикаций, открытое API и публикация под свободными лицензиями.

Проект ведёт НКО The Alexandria Archive Institute [2], они же публикуют регулярно материалы по цифровой грамотности для археологов [3] и многое другое по Digital Humanities и Digital Preservation в контексте сохранения мирового наследия.

Ссылки:
[1] https://opencontext.org
[2] https://alexandriaarchive.org
[3] https://alexandriaarchive.org/data-literacy-program/

#opendata #datasets #datacatalogs #digitalhumanities #digitalpreservation #archeology
В рубрике интересных наборов данных Scans.io Stanford Internet Research Data Repository [1] коллекция больших наборов данных по инфраструктуре Интернета полученные путём сканирования всех доступных подсетей. Наборы данных там существуют, как созданные в Стенфордском университете, так и коммерческих компаний таких как Rapid7 и Censys.

Часть общедоступны, можно скачать сразу. Для доступа к данным от Rapid7 теперь уже какое-то время требуется написать им обоснование и рассказ о том для какого исследования Вам это нужно [2], а Censys уже давно большой коммерческий проект и к небольшой части своих данных они дают доступ через облако Google [3].

Применение у этих данных может быть не только в задачах инфобеза/кибербеза, но и в целях разного рода инструмента исследования инфрастурктуры. Или, например, data discovery. Многие из порталов данных мне удавалось найти через анализ базу DNS записей.

Ссылки:
[1] https://scans.io
[2] https://opendata.rapid7.com
[3] https://support.censys.io/hc/en-us/articles/360038761891-Research-Access-to-Censys-Data

#opendata #datasets #networksecurity #researchdata
В рубрике как это работает у них большое изменение в статистике последних лет - это превращение статистических порталов в порталы данных. Если в классических стат порталах акцент был на визуализации и экспорте данных в XML/CSV/XLSX, то сейчас почти все новые порталы сразу называют порталами данных, включают API, как правило, REST API или более специфичное для статистики API на базе SDMX, а также добавляют возможность получения индикатора целиком и получение статистической базы целиком.

В качестве примера, порталы на базе open-source движка .Stat Suite [1].

- https://data.ilo.org - портал данных международной организации труда. Более тысячи индикаторов, JSON API, экспорт в CSV
- https://stats.pacificdata.org - Pacific Data Hub Explorer (индикаторы по странам Тихого океана)
- https://dataexplorer.unescap.org - портал индикаторов целей устойчивого развития по азиатским странам Тихого океана
- https://statdb.nso.gov.mt - портал индикаторов Мальты

и многие другие, в мире около десятка национальных и международных порталов сделанных только на этом движке.

При этом надо сказать что большая часть статистических индикаторов в мире публикуются, всё ещё, очень консервативно. Кроме .Stat Suite из массовых продуктов есть только PxWeb [2] для публикации индикаторов, а в большинстве остальных случаев статслужбы публикуют данные, или на собственноручно разработанных продуктах, или в виде Excel файлов, а иногда и PDF файлов. Тем не менее ситуация постепенно меняется и, как минимум, данные которые и ранее собирались в рамках статистических наблюдений становятся более доступными.

Ссылки:
[1] https://siscc.org
[2] https://www.scb.se/en/services/statistical-programs-for-px-files/px-web/

#opendata #statistics #datacatalogs
Forwarded from Open Data Armenia
Номинация "Culture Apps" нашего конкурса [1] в мире относится к теме Цифровых гуманитарных наук, на английском языке Digital Humanities. В последние годы появляется всё большее число проектов в это области и для тех кто хочет поискать вдохновения для себя стоит взглянуть на проекты участников победителей международной премии Digital Humanitarian Awards [2] где есть множество интерактивных и визуальных проектов по представлению культуры и истории.

Вот некоторые из них, победители прошлых лет.

TravellersMap ( https://travellersmap.gr)

Проект наложением на карты современной Греции и Турции видеолекций о исторических местах и событиях связанных с древнегреческой культурой, со ссылками на Wiki и базы знаний по истории Греции

Archivo de Literatura Digital en América Latina (https://www.cartografiadigital.cl)

Интерактивная инфографика цифровой литературы Южной Америки

Battle of Hong Kong 1941
(https://digital.lib.hkbu.edu.hk/1941hkbattle/en/map.php)

Интерактивная карта визуализации битвы за Гонконг в 1941 году, с таймлайном события.

А также существует множество других технологических интересных гуманитарных проектов о которых мы будем рассказывать здесь в телеграм канале и на наших семинарах.

Подумайте о том какие события в истории Армении и армянского народа могли бы быть представлены наглядно. Как собрать данные и нужно ли их много? Иногда достаточно сесть с книгой в руках и выписать даты и события, пройтись по открытым источникам и найти фотографии, использовать удобные low-code инструменты и собрать на их основе интересный проект.

Если у Вас есть вопросы, идеи, мысли и желание продвинуться в этом, задавайте вопросы в нашем чате @opendataamchat.

И напоминаю заявки на конкурс мы принимаем до 18 февраля включительно.

Ссылки:
[1] https://contest.opendata.am
[2] http://dhawards.org

#digitalheritage #opendata #contest #history #dataviz #culture #armenia
В рубрике закрытых данных в России.

1. Закрытие статистики Росавиации

С февраля 2022 года не публикуется ведомственная статистика Росавиации которая включает:
- Основные производственные показатели гражданской авиации [1]
- Перевозки пассажиров [2]
- Перевозки грузов и почты [3]

2. Закрытие статистики органов прокуратуры

Генпрокуратура не только не обновляет портал Crimestat.ru [4] с января 2023 года, но и с февраля 2023 года не размещает Статистические данные об основных показателях деятельности органов прокуратуры [5]. Ведомственная статистика осталась на сайтах региональных органов прокуратуры, например, Москвы [6]

Ссылки:
[1] https://favt.gov.ru/dejatelnost-vozdushnye-perevozki-osnovnye-proizvodstvennye-pokazateli-ga/
[2] https://favt.gov.ru/dejatelnost-vozdushnye-perevozki-perevozki-passazhirov/
[3] https://favt.gov.ru/dejatelnost-vozdushnye-perevozki-perevozki-gruzov-i-pochty/
[4] https://crimestat.ru
[5] https://epp.genproc.gov.ru/web/gprf/activity/statistics/office/result
[6] https://epp.genproc.gov.ru/web/proc_77/activity/statistics/result

#closeddata #russia #opendata #statistics #transport #crime
О доступности статистики

Часть 1/2

К вопросу о доступности данных, так получается что у меня часто возникают задачи в которых необходимо искать данные в самых заковыристых местах, странах, общедоступных и не очевидных источниках. Собственно это часть работ по data discovery которыми я занимаюсь практически постоянно. Поделюсь наблюдением одной из причин широкого распространения открытых данных, оно в том что в ситуации изобилия производства данных уже давно планка ценности данных смещается в сторону 4-х принципов:
- гранулярности
- оперативности
- гарантии доставки
- простоты употребления.

Это немного похоже на 6 принципов открытых данных из хартии [1], но, по факту, это другое.

Рассмотрим пример, предположим есть индикаторы рождений и смертности. Предположим статистическая служба страны публикует его с детализацией ежегодного индикатора по стране. Ценны ли эти эти данные? Они бывают нужны, без них странно, но платить за них никто не будет. Годовой индикатор не конвертируется в любое оперативное решение.

Гранулярность
Пойдём далее, предложим что у нас есть эти индикаторы в разрезе регионов и по месяцам. Это уже гораздо более ценные данные, даже при том что ежемесячные данные, обычно, публикуются с задержкой от 1 до 2 месяцев, тем не менее, это уже некоторые показатели под которые можно адаптировать госполитику, принимать корпоративные решения.

Возможно ли лучше? Предположим есть эти же индикаторы с детализацией до города/района и в еженедельном или, даже, ежедневном разрезе. Всё это гранулярность - гранулярность географическая, гранулярность временная.

Оперативность
Оперативность доставки данных - это прямая характеристика срока их доступности после наступления события которые они отображают. Для годовых стат. данных часто задержка в их публикации может составлять до 1-1.5 лет, а для оперативных данных центральных банков, таких как уровень инфляции или курс валют, они доступны с задержкой не более чем в сутки.

Далее - гарантии доставки, это гарантии того что данные поступают непрерывно и их поставка не прервётся из-за какой-либо случайности. А простота использования в том что потребуется минимум усилий на использовать эти данные.

Всё это в первую очередь об индикативных временных рядах на основе которых можно принимать оперативные управленческие решения. Так вот таких временных рядов в открытых источниках в мире совсем немного. Например, данные ООН [2] и данные Всемирного банка [3] - это годовые данные, зачастую с задержкой от 1 до 5 лет, в зависимости от того как работают статслужбы стран. А, например, база индикаторов Банка международных расчётов (BIS) [4] на 92% состоит из квартальных временных рядов, на 7% из годовых и только 0.13% (около 1300) индикаторов с ежемесячной и ежесуточной гранулярностью. При это их географическое покрытие детализируется только до конкретной страны. В большинстве других больших база общедоступных индикаторов ситуация и того хуже, как правило доступны только годовые индикаторы и редко иначе.

Так вот, если судить о доступности данных по этим критериям, то может показаться что, к примеру, в России всё не так плохо. Есть немало индикаторов, в том числе публикуемых ежедневно и в том числе с детализацией до региона и, иногда, и до города которые дают прямое или косвенное измерение поведения потребителей, экономической активности, финансовой активности, состояния общества и так далее. Есть много стран по которым подобные индикаторы найти сложно, например, почти все африканские страны, Средняя Азия, Юго-Восточная Азия, Южная Америка и ещё много где. Да, есть исключения, но в целом самые интересные индикаторы доступны достаточно редко даже в развитых странах. Например, я как-то писал о том что в Исландии публикуют экспериментальную статистику по смертности в разрезе недель [5], аналогично поступают в Великобритании [6] и в Тасмании (штат Австралии) в рамках ковидного мониторинга [7].
О доступности статистики

Часть 2/2

Где-то есть и ещё более интересные данные, вроде энергопотребления в Индии в виде ежесуточных индикаторов по штатам или множество экспериментальных индикаторов Евростата в ЕС.

Возвращаясь к доступности подобных данных в России, то повторюсь что не всё так плохо, интересные данные можно найти даже сейчас, но я лично не упоминаю их ровно по той причине что только расскажешь как и их тоже прикроют. Ситуация на сейчас "неплохо", но движение негативное, данных становится меньше, даже альтернативные данные могут в любой момент прикрыть цензурными/нецензурными действиями.

С другой стороны, к примеру, в Армении, норма - это ежемесячные данные АрмСтата, в PDF формате, со слабой доступностью данных даже по марзам (регионам). Похожая ситуация со многими постсоветскими странами. Но в защиту той же Армении могу сказать что расходы на информатизацию статистики были минимальны и дефицит данных возникает по бедности, а не из-за политических ограничений.

А, к примеру, в России я совершенно точно знаю что детальная статистика, например, по рождаемости с высокой гранулярностью собирается в ЕГР ЗАГС, но то что публикуется [9] это просто красивая картинка, не имеющая ценности. Почему же данные не публикуются? Может ими торгуют где-то как-то втихую? Не публикуется даже статистика потому что "зачем россиянам знать сколько их рождается и умирает". В той же системе ЕГР ЗАГС есть данные по смертности, но их целенаправленно не публикуют. Есть данные в разрезе регионов, муниципалитетов, месяцев, дней. Но их не публикуют. Потому что когда в государстве побеждает патернализм, то "экономика данных" превращается исключительно в формат гос-фетишизма, игры в хайп госмаркетологов и инструмент лоббирования и торговли с крупными цифровыми олигополиями и монополиями.

Ссылки:
[1] https://opendatacharter.org/principles/
[2] https://data.un.org
[3] https://data.worldbank.org
[4] https://data.bis.org
[5] https://www.statice.is/publications/experimental-statistics/deaths-ex/
[6] https://www.ons.gov.uk/peoplepopulationandcommunity/birthsdeathsandmarriages/deaths/datasets/weeklyprovisionalfiguresondeathsregisteredinenglandandwales
[7] https://www.health.tas.gov.au/health-topics/coronavirus-covid-19/current-risk-level-and-statistics/weekly-statistics
[8] https://ndap.niti.gov.in/catalogue
[9] https://zags.nalog.gov.ru/analytics

#opendata #statistics #datasets #indicators #thoughts
В рубрике о закрытых данных в России, с октября 2022 года более не публикуются Оперативные данные «Единая энергетическая система России: промежуточные итоги». ранее публиковавшиеся в форме PDF отчетов информационных обзоров [1] со сведениями о энергопотреблении в России и другим индикаторам работы единой энергосистемы страны.

Ссылки:
[1] https://www.so-ups.ru/functioning/ups/ups-review/ups-review22/

#opendata #closeddata #russia #energy #statistics