This media is not supported in your browser
VIEW IN TELEGRAM
Forwarded from 不存在的世界
没有什么事是比深夜写代码的时候门口几个警察在敲门来得更让人清醒了(
小概率事件发生的概率不为零啊不为零(
PS: 频道主没啥事,和 Telegram 无关
小概率事件发生的概率不为零啊不为零(
PS: 频道主没啥事,和 Telegram 无关
Forwarded from Rikka Insight (Shiina Rikka)
共犯组是极好的(点头
136886168
136940086
136886168
136940086
This media is not supported in your browser
VIEW IN TELEGRAM
程序员用“无限垃圾网页”戏弄Meta爬虫,耗时5个月才被放过
界面专家 Bruce Ediger 在博客中披露,他今年3月发现 Meta 的网页爬虫 meta-externalagent/1.1 高频抓取自己博客内容,用量大到让他不胜其烦。于是他将所有带该 User-Agent 的请求统一返回由 bork.php 生成的“无限网站”页面,里面充满调味品、内衣和过气明星等无聊内容,让 Meta 爬虫疯狂吞下海量低质数据。
5月30日至31日,Meta 爬虫请求量一度飙到27万个 URL。担心带宽和费用后,Ediger 改为直接返回 404,并观察这家全球最值钱公司之一要多久才断开,结果大约过了5个月才真正“知难而退”。评论区不少开发者借机吐槽大厂爬虫滥用带宽、建议直接防火墙封 IP 或用“陷阱”减速对方。
Slashdot
界面专家 Bruce Ediger 在博客中披露,他今年3月发现 Meta 的网页爬虫 meta-externalagent/1.1 高频抓取自己博客内容,用量大到让他不胜其烦。于是他将所有带该 User-Agent 的请求统一返回由 bork.php 生成的“无限网站”页面,里面充满调味品、内衣和过气明星等无聊内容,让 Meta 爬虫疯狂吞下海量低质数据。
5月30日至31日,Meta 爬虫请求量一度飙到27万个 URL。担心带宽和费用后,Ediger 改为直接返回 404,并观察这家全球最值钱公司之一要多久才断开,结果大约过了5个月才真正“知难而退”。评论区不少开发者借机吐槽大厂爬虫滥用带宽、建议直接防火墙封 IP 或用“陷阱”减速对方。
Slashdot