#aws #s3 #requesterpays
О, классно, оказывается, можно великодушно захостить данные в s3, но не скатываться при этом в полный альтруизм и позволить скачивающим платить за трафик. К примеру, так хранятся все статьи arXiv.org
А вот так можно с ними работать на кластере (подсчёт статей с упоминанием Matplotlib).
https://docs.aws.amazon.com/AmazonS3/latest/userguide/RequesterPaysBuckets.html
О, классно, оказывается, можно великодушно захостить данные в s3, но не скатываться при этом в полный альтруизм и позволить скачивающим платить за трафик. К примеру, так хранятся все статьи arXiv.org
А вот так можно с ними работать на кластере (подсчёт статей с упоминанием Matplotlib).
https://docs.aws.amazon.com/AmazonS3/latest/userguide/RequesterPaysBuckets.html
www.coiled.io
How Popular is Matplotlib?
This analysis tracks the growth of Matplotlib on the preprint server arXiv beginning in 2002 with 1% up to 2022 with 17% of all papers using Matplotlib. We analyze a dump of arXiv data on AWS S3 using Dask and Coiled.