Save The Web Project
🎉🎂 Save The Web Project 四岁啦! 回顾过去 365 天,我们干了: - Discuz!,代码完成度很低,项目目前挂起。 - 抽屉网,完成。 - 发现了个 GitHub 的小漏洞。 - AcFun 弹幕,完成。 - cnblogs,仅预扫描,目前挂起。 - googl 短链,完成。 - 参与开发 Zeno。 - backland,追踪中。 - AcFun 存档器,完成。 - 发现了个“对多”的数据库小漏洞。 - 对多,追踪中。 - 丑搜 v3,完成。 - NicoNico Shunga,完成。…
🎉🎂 Save The Web Project 五岁啦!
🎉20 5
儿童节不知道去哪儿?
明天(6月1号)和后天(2号),两位 @saveweb 成员在杭州(明星路地铁站附近),欢迎来线下一起写代码和聊天!
本条消息下回复“1”即可。
Let's save the web!
明天(6月1号)和后天(2号),两位 @saveweb 成员在杭州(明星路地铁站附近),欢迎来线下一起写代码和聊天!
本条消息下回复“1”即可。
Let's save the web!
🥰3
STWP 02026 第 24 周周报
- “上架”了一个 12c32g 1Gbps对等的“家里云”。
- 更新了内部的基础设施和服务。
- 另购置了两个 LTO5 驱动器,还未安装。
- “上架”了一个 12c32g 1Gbps对等的“家里云”。
- 更新了内部的基础设施和服务。
- 另购置了两个 LTO5 驱动器,还未安装。
STWP 02026 第 25 周周报
c2026-5: B 站早期(2009-)的很多视频托管在第三方网站上。例如,目前已知有大约 10 万视频曾托管于新浪,且目前新浪的存储桶上仍然有大部分这些视频。
虽然 bilibili 后来将这些第三方源迁移到了自家,但时过境迁,很多视频现在在 bilibili 上也消失了。
新浪云将于今年9月左右关停,这批视频有丢失风险,我们正在开展存档。
熟悉新浪旧 api 以及 bilibili 旧视频的朋友可前往 https://t.me/saveweb_projects/208 讨论。
c2026-5: B 站早期(2009-)的很多视频托管在第三方网站上。例如,目前已知有大约 10 万视频曾托管于新浪,且目前新浪的存储桶上仍然有大部分这些视频。
虽然 bilibili 后来将这些第三方源迁移到了自家,但时过境迁,很多视频现在在 bilibili 上也消失了。
新浪云将于今年9月左右关停,这批视频有丢失风险,我们正在开展存档。
熟悉新浪旧 api 以及 bilibili 旧视频的朋友可前往 https://t.me/saveweb_projects/208 讨论。
❤8
Save The Web Project
STWP 02026 第 25 周周报 c2026-5: B 站早期(2009-)的很多视频托管在第三方网站上。例如,目前已知有大约 10 万视频曾托管于新浪,且目前新浪的存储桶上仍然有大部分这些视频。 虽然 bilibili 后来将这些第三方源迁移到了自家,但时过境迁,很多视频现在在 bilibili 上也消失了。 新浪云将于今年9月左右关停,这批视频有丢失风险,我们正在开展存档。 熟悉新浪旧 api 以及 bilibili 旧视频的朋友可前往 https://t.me/saveweb_projects/208…
STWP 02026 第 26 周周报
- 修了 gowarc 创建的 zstd frame 不包含 frame_content_size 的问题 https://github.com/internetarchive/gowarc/issues/202
- 向 IIPC 提交了一份利用 zstd 多 frame 以及 zstd seek table skippable frame 的“可加快 zstd warc 遍历 records 时的速度、并支持并行读取多个 records、并且还可稍微提高压缩率、还能便于重放系统按需重放大文件的指定 range 而不用加载并缓存整个 record”的扩展提案。更牛逼的是,此扩展提案甚至是向后兼容的,不会破坏任何现有的 zstd warc parser。https://github.com/iipc/warc-specifications/issues/118🎉 🎉 🎉 🎉
- 修了 gowarc 创建的 zstd frame 不包含 frame_content_size 的问题 https://github.com/internetarchive/gowarc/issues/202
- 向 IIPC 提交了一份利用 zstd 多 frame 以及 zstd seek table skippable frame 的“可加快 zstd warc 遍历 records 时的速度、并支持并行读取多个 records、并且还可稍微提高压缩率、还能便于重放系统按需重放大文件的指定 range 而不用加载并缓存整个 record”的扩展提案。更牛逼的是,此扩展提案甚至是向后兼容的,不会破坏任何现有的 zstd warc parser。https://github.com/iipc/warc-specifications/issues/118
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
zstd warcs generated by gowarc do not have the `Frame_Content_Size` set · Issue #202 · internetarchive/gowarc
According to the spec https://iipc.github.io/warc-specifications/specifications/warc-zstd/, it states that "Each Zstandard frame in a compressed WARC file must include the Frame_Content_Size (...