Ничего такого, что можно было бы назвать "никогда такого не было". И слава богу.
Forwarded from Ivan Begtin (Ivan Begtin)
В последние годы порталы открытых данных перестали быть чем-то новым и прорывным, в основном они все основаны на нескольких решениях: CKAN, DKAN, OpenDataSoft, Dataverse и они как выполняли так и выполняют ключевую функцию доставки данных конечным пользователям. Иногда может показаться, а что же ещё может в них появиться? Так вот главное что может появиться, а новые сервисы доставки данных без порталов. Это сервисы управления пакетами данных очень похожих на системы контроля версий или системы управления пакетами ПО в Unix.
Datahub.io
Проект компании Datopian вышедшей из Open Knowledge Foundation. Основная его идея в том чтобы публиковать тщательно упакованные наборы данных в соответствии со стандартом Frictionless Data. Там не так много данных, но есть возможность публиковать свои наборы и есть возможность получать опубликованное там через API или утилиту командной строки "data". Каждый набор данных включает метаданные для интеграции их в свои системы. Ориентирован на табличные данные. Адаптирован более всего под язык Python, но есть много примеров на разных языках.
Ссылка: https://datahub.io
Data Package Manager for R (DPMR)
Система управления пакетами для языка R. Также основана на стандарте Frictionless Data, но уже заточенный под конкретный язык
Ссылка: https://github.com/christophergandrud/dpmr
Octopub
Проект Института открытых данных по автоматизации подготовки и публикации наборов данных. Довольно давно находится в стадии Beta, но продолжает развиваться. Важный акцент делают на валидации данных, как минимум на уровне форматов
Ссылка: https://octopub.io
Data Retriever
Сервис и код по подготовке наборов данных и доступа к ним для языков Python и R. В основном ориентирован на исследовательские данные.
Ссылка: https://www.data-retriever.org/
Dolt
Можно сказать Git для данных. Не даёт данным упаковки, но даёт интерфейс похожий на систему контроля версий Git для обновления данных и поддержания их в актуальном состоянии.
Ссылка: https://github.com/liquidata-inc/dolt
Data Version Control (DVC)
Система управления версиями данных ориентированная на машинное обучение. Заточено под данные относительно большого объёма, достигло версии пререлиза 1.0 и активно развивается. Значительно заточено под облачное хранение, такое как AWS S3.
Ссылка: https://dvc.org/
Sno.Earth
Заточено под геоданные и табличные данные, основной стандарт по которому работает это GeoPackage на основе которого даёт возможность работать с данными как система версионирования.
Ссылка: https://sno.earth/
Quilt
Утилита от создателей портала QuiltData, раздающем петабайтный архив данных поверх инфраструктуры AWS. Четко ориентировано на работу с данными как с кодом. Заточено под табличные данные, но возможно пригодно и для других задач.
Ссылки: https://github.com/quiltdata/quilt
—
Это всё, безусловно, не полный список. Существует множество инструментов внутри корпоративных решений, есть продукты умеющие версионировать справочники, есть много подходов к упаковке исследовательских данных и, конечно, за пределами данных, есть множество инструментов создания пакетов с контентом в архивной среде.
#data #datapackages #opensource
Datahub.io
Проект компании Datopian вышедшей из Open Knowledge Foundation. Основная его идея в том чтобы публиковать тщательно упакованные наборы данных в соответствии со стандартом Frictionless Data. Там не так много данных, но есть возможность публиковать свои наборы и есть возможность получать опубликованное там через API или утилиту командной строки "data". Каждый набор данных включает метаданные для интеграции их в свои системы. Ориентирован на табличные данные. Адаптирован более всего под язык Python, но есть много примеров на разных языках.
Ссылка: https://datahub.io
Data Package Manager for R (DPMR)
Система управления пакетами для языка R. Также основана на стандарте Frictionless Data, но уже заточенный под конкретный язык
Ссылка: https://github.com/christophergandrud/dpmr
Octopub
Проект Института открытых данных по автоматизации подготовки и публикации наборов данных. Довольно давно находится в стадии Beta, но продолжает развиваться. Важный акцент делают на валидации данных, как минимум на уровне форматов
Ссылка: https://octopub.io
Data Retriever
Сервис и код по подготовке наборов данных и доступа к ним для языков Python и R. В основном ориентирован на исследовательские данные.
Ссылка: https://www.data-retriever.org/
Dolt
Можно сказать Git для данных. Не даёт данным упаковки, но даёт интерфейс похожий на систему контроля версий Git для обновления данных и поддержания их в актуальном состоянии.
Ссылка: https://github.com/liquidata-inc/dolt
Data Version Control (DVC)
Система управления версиями данных ориентированная на машинное обучение. Заточено под данные относительно большого объёма, достигло версии пререлиза 1.0 и активно развивается. Значительно заточено под облачное хранение, такое как AWS S3.
Ссылка: https://dvc.org/
Sno.Earth
Заточено под геоданные и табличные данные, основной стандарт по которому работает это GeoPackage на основе которого даёт возможность работать с данными как система версионирования.
Ссылка: https://sno.earth/
Quilt
Утилита от создателей портала QuiltData, раздающем петабайтный архив данных поверх инфраструктуры AWS. Четко ориентировано на работу с данными как с кодом. Заточено под табличные данные, но возможно пригодно и для других задач.
Ссылки: https://github.com/quiltdata/quilt
—
Это всё, безусловно, не полный список. Существует множество инструментов внутри корпоративных решений, есть продукты умеющие версионировать справочники, есть много подходов к упаковке исследовательских данных и, конечно, за пределами данных, есть множество инструментов создания пакетов с контентом в архивной среде.
#data #datapackages #opensource
datahub.io
DataHub Cloud
At Datahub, we provide various solutions to Publish and Deploy your Data with power and simplicity. Datahub is the fastest way for individuals, teams and organizations to publish, deploy and share their data.
Смех смехом, но криволапость ученых-моченых приводит к систематическим проблемам во всех науках, где нужна статистика, и где экспериментаторы не желают снисходить до программирования. Они ведь именно в Эксель все забивают и считают так. Получается, конечно, криво и косо.
Так что лично мне было не смешно. Эксель так и работает.
Так что лично мне было не смешно. Эксель так и работает.
Подробная карта Римской Империи на 211 год н.э.
https://www.earthlymission.com/incredibly-detailed-map-of-the-roman-empire-in-211-ad/
https://www.earthlymission.com/incredibly-detailed-map-of-the-roman-empire-in-211-ad/
Earthly Mission
Incredibly Detailed Map of the Roman Empire in 211 AD
This map created by Sardis Verlag is one of the most detailed and interesting maps of the Roman Empire you’ll find online. It shows what the Empire looked
Forwarded from Толкователь
Как в России эпидемия коронавируса повлияла на желание иметь детей.
Опрос «Человек, семья, общество» проходил с марта по май 2020 г. на фоне нарастания социальной и экономической напряженности в связи с разворачивающейся пандемией коронавируса. Он охватил 9500 респондентов, из них 4900 респондентов в возрасте 18–44 лет.
Число респондентов, декларирующих предпочтение бездетности, со времени предыдущего опроса выросло очень значительно, более, чем в 2 раза – с 10,4% до 22,7%.
Среди молодых респондентов без детей доля декларирующих нежелание иметь детей выросла с 8,3 до 20,3%, среди респондентов 35 лет и старше – с 15 до 20,1%. Крайне резко увеличилась доля нежелающих иметь ещё детей среди однодетных респондентов 35 лет и старше – с 31,7 до 51,9%.
(Из свежего Мониторинга РАНХиГС)
Опрос «Человек, семья, общество» проходил с марта по май 2020 г. на фоне нарастания социальной и экономической напряженности в связи с разворачивающейся пандемией коронавируса. Он охватил 9500 респондентов, из них 4900 респондентов в возрасте 18–44 лет.
Число респондентов, декларирующих предпочтение бездетности, со времени предыдущего опроса выросло очень значительно, более, чем в 2 раза – с 10,4% до 22,7%.
Среди молодых респондентов без детей доля декларирующих нежелание иметь детей выросла с 8,3 до 20,3%, среди респондентов 35 лет и старше – с 15 до 20,1%. Крайне резко увеличилась доля нежелающих иметь ещё детей среди однодетных респондентов 35 лет и старше – с 31,7 до 51,9%.
(Из свежего Мониторинга РАНХиГС)