程序员用“无限垃圾网页”戏弄Meta爬虫，耗时5个月才被放过
界面专家 Bruce Ediger 在博客中披露，他今年3月发现 Meta 的网页爬虫 meta-externalagent/1.1 高频抓取自己博客内容，用量大到让他不胜其烦。于是他将所有带该 User-Agent 的请求统一返回由 bork.php 生成的“无限网站”页面，里面充满调味品、内衣和过气明星等无聊内容，让 Meta 爬虫疯狂吞下海量低质数据。
5月30日至31日，Meta 爬虫请求量一度飙到27万个 URL。担心带宽和费用后，Ediger 改为直接返回 404，并观察这家全球最值钱公司之一要多久才断开，结果大约过了5个月才真正“知难而退”。评论区不少开发者借机吐槽大厂爬虫滥用带宽、建议直接防火墙封 IP 或用“陷阱”减速对方。
Slashdot
界面专家 Bruce Ediger 在博客中披露，他今年3月发现 Meta 的网页爬虫 meta-externalagent/1.1 高频抓取自己博客内容，用量大到让他不胜其烦。于是他将所有带该 User-Agent 的请求统一返回由 bork.php 生成的“无限网站”页面，里面充满调味品、内衣和过气明星等无聊内容，让 Meta 爬虫疯狂吞下海量低质数据。
5月30日至31日，Meta 爬虫请求量一度飙到27万个 URL。担心带宽和费用后，Ediger 改为直接返回 404，并观察这家全球最值钱公司之一要多久才断开，结果大约过了5个月才真正“知难而退”。评论区不少开发者借机吐槽大厂爬虫滥用带宽、建议直接防火墙封 IP 或用“陷阱”减速对方。
Slashdot
This media is not supported in your browser
VIEW IN TELEGRAM
未知原因导致 BIOS 的数据无法保存（时钟正常），系统装在 Second HDD 上，但是默认设置是从第一硬盘启动的，所以说会 missing
现在是 22:18，我零星小睡 结束时间 22:28