Forwarded from Rikka Insight (Shiina Rikka)
共犯组是极好的(点头
136886168
136940086
136886168
136940086
This media is not supported in your browser
VIEW IN TELEGRAM
程序员用“无限垃圾网页”戏弄Meta爬虫,耗时5个月才被放过
界面专家 Bruce Ediger 在博客中披露,他今年3月发现 Meta 的网页爬虫 meta-externalagent/1.1 高频抓取自己博客内容,用量大到让他不胜其烦。于是他将所有带该 User-Agent 的请求统一返回由 bork.php 生成的“无限网站”页面,里面充满调味品、内衣和过气明星等无聊内容,让 Meta 爬虫疯狂吞下海量低质数据。
5月30日至31日,Meta 爬虫请求量一度飙到27万个 URL。担心带宽和费用后,Ediger 改为直接返回 404,并观察这家全球最值钱公司之一要多久才断开,结果大约过了5个月才真正“知难而退”。评论区不少开发者借机吐槽大厂爬虫滥用带宽、建议直接防火墙封 IP 或用“陷阱”减速对方。
Slashdot
界面专家 Bruce Ediger 在博客中披露,他今年3月发现 Meta 的网页爬虫 meta-externalagent/1.1 高频抓取自己博客内容,用量大到让他不胜其烦。于是他将所有带该 User-Agent 的请求统一返回由 bork.php 生成的“无限网站”页面,里面充满调味品、内衣和过气明星等无聊内容,让 Meta 爬虫疯狂吞下海量低质数据。
5月30日至31日,Meta 爬虫请求量一度飙到27万个 URL。担心带宽和费用后,Ediger 改为直接返回 404,并观察这家全球最值钱公司之一要多久才断开,结果大约过了5个月才真正“知难而退”。评论区不少开发者借机吐槽大厂爬虫滥用带宽、建议直接防火墙封 IP 或用“陷阱”减速对方。
Slashdot
This media is not supported in your browser
VIEW IN TELEGRAM