STWP 02026 第 24 周周报
- “上架”了一个 12c32g 1Gbps对等的“家里云”。
- 更新了内部的基础设施和服务。
- 另购置了两个 LTO5 驱动器，还未安装。
- “上架”了一个 12c32g 1Gbps对等的“家里云”。
- 更新了内部的基础设施和服务。
- 另购置了两个 LTO5 驱动器，还未安装。
STWP 02026 第 25 周周报
c2026-5: B 站早期(2009-)的很多视频托管在第三方网站上。例如，目前已知有大约 10 万视频曾托管于新浪，且目前新浪的存储桶上仍然有大部分这些视频。
虽然 bilibili 后来将这些第三方源迁移到了自家，但时过境迁，很多视频现在在 bilibili 上也消失了。
新浪云将于今年9月左右关停，这批视频有丢失风险，我们正在开展存档。
熟悉新浪旧 api 以及 bilibili 旧视频的朋友可前往 https://t.me/saveweb_projects/208 讨论。
c2026-5: B 站早期(2009-)的很多视频托管在第三方网站上。例如，目前已知有大约 10 万视频曾托管于新浪，且目前新浪的存储桶上仍然有大部分这些视频。
虽然 bilibili 后来将这些第三方源迁移到了自家，但时过境迁，很多视频现在在 bilibili 上也消失了。
新浪云将于今年9月左右关停，这批视频有丢失风险，我们正在开展存档。
熟悉新浪旧 api 以及 bilibili 旧视频的朋友可前往 https://t.me/saveweb_projects/208 讨论。
❤8
Save The Web Project
STWP 02026 第 25 周周报 c2026-5: B 站早期(2009-)的很多视频托管在第三方网站上。例如，目前已知有大约 10 万视频曾托管于新浪，且目前新浪的存储桶上仍然有大部分这些视频。 虽然 bilibili 后来将这些第三方源迁移到了自家，但时过境迁，很多视频现在在 bilibili 上也消失了。 新浪云将于今年9月左右关停，这批视频有丢失风险，我们正在开展存档。 熟悉新浪旧 api 以及 bilibili 旧视频的朋友可前往 https://t.me/saveweb_projects/208…
STWP 02026 第 26 周周报
- 修了 gowarc 创建的 zstd frame 不包含 frame_content_size 的问题 https://github.com/internetarchive/gowarc/issues/202
- 向 IIPC 提交了一份利用 zstd 多 frame 以及 zstd seek table skippable frame 的“可加快 zstd warc 遍历 records 时的速度、并支持并行读取多个 records、并且还可稍微提高压缩率、还能便于重放系统按需重放大文件的指定 range 而不用加载并缓存整个 record”的扩展提案。更牛逼的是，此扩展提案甚至是向后兼容的，不会破坏任何现有的 zstd warc parser。https://github.com/iipc/warc-specifications/issues/118🎉 🎉 🎉 🎉
- 修了 gowarc 创建的 zstd frame 不包含 frame_content_size 的问题 https://github.com/internetarchive/gowarc/issues/202
- 向 IIPC 提交了一份利用 zstd 多 frame 以及 zstd seek table skippable frame 的“可加快 zstd warc 遍历 records 时的速度、并支持并行读取多个 records、并且还可稍微提高压缩率、还能便于重放系统按需重放大文件的指定 range 而不用加载并缓存整个 record”的扩展提案。更牛逼的是，此扩展提案甚至是向后兼容的，不会破坏任何现有的 zstd warc parser。https://github.com/iipc/warc-specifications/issues/118
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
zstd warcs generated by gowarc do not have the `Frame_Content_Size` set · Issue #202 · internetarchive/gowarc
According to the spec https://iipc.github.io/warc-specifications/specifications/warc-zstd/, it states that "Each Zstandard frame in a compressed WARC file must include the Frame_Content_Size (...
Save The Web Project
猜测国家图书馆的网页快照存档项目的规模与速度。 图1，2020年09月 的论文中提到的 2018 年的数据——保存的数据量 210 TB。 ——《国家图书馆网络资源采集与保存平台的技术实现》 图2，2021年03月 的论文中提到的最新数据（2021年3月）——300TB。 ——《国家图书馆网络信息资源采集与保存平台关键技术实现》 按照论文里的说法，这个新(?)系统是 2018 年研制（基于 IIPC 的一整套轮子魔改）完成。那么算得国家图书馆的网页抓取量大概在每天 90 GiB 左右，且政府网站占其存档的比例约为…
https://www.nlc.cn/web/yejiefuwu/newtsgj/NLCNetInfoResourcePreservationProtection/index.html
如果大家想知道我们的国家图书馆做 web archive 有多菜，看看这个数据量吧，存这么多年也还是 300TB 出头，不知道在吃什么干饭。看不下去了。
(for English readers: Telegram's auto translation failed to grasp that the post was intended to mock the library)
如果大家想知道我们的国家图书馆做 web archive 有多菜，看看这个数据量吧，存这么多年也还是 300TB 出头，不知道在吃什么干饭。看不下去了。
(for English readers: Telegram's auto translation failed to grasp that the post was intended to mock the library)
❤6
在没人注意到的角落，“永远的” 2010 年网上世博会 www.expo.cn 关站了。不过据说上海世博会博物馆的展厅内仍有本地版，不过据说本地版与在线版有差异，本地版可能缺少一些数据。
关闭理由是 flash 太老了。（当然这个理由咱不认可，你看隔壁 http://www.expo2005.or.jp 不还在线吗）
关闭理由是 flash 太老了。（当然这个理由咱不认可，你看隔壁 http://www.expo2005.or.jp 不还在线吗）
😢17😱1