资源下载_技术教程_网站源码_游戏源码_活动资讯_vps服务器资讯_国外云服务器
免费看全网VIP电影 点击了解文字广告位 点击了解文字广告位 高性价比云服务器
一站式影视App 全免费 点击了解文字广告位 点击了解文字广告位 洛杉矶节点15元起
看直播?看电视? 点击了解文字广告位 点击了解文字广告位 高防CDN服务3元起
一个App即可搞定 点击了解文字广告位 点击了解文字广告位 挂机宝6/月元起
完全免费 点击下载 点击了解文字广告位 点击了解文字广告位 免备案虚拟主机1元起

站长吐槽:头条搜索爬虫暴力抓取网站内容

发布:LEUNG2019-12-2 19:56分类: 站长新闻 这篇文章木有标签 浏览:67字数:351 去评论(0)

 最近有站长在网上发文吐槽表示,字节跳动为了快速发展搜索业务派出爬虫四处抓取网站内容,给中小网站主们造成了很大的损失和困扰,影响了网站正常的用户访问。

 站长吐槽:头条搜索爬虫暴力抓取网站内容 搜索引擎 微新闻 第1张

该站长表示,今年7月份,他突然发现公司的网站经常性打不开,网页加载极其缓慢,有时甚至直接瘫痪。经过一系列排查后,在服务器日志上发现了bytespider爬虫的痕迹。该爬虫抓取的频率每天达几百万次,高则上千万次,服务器带宽负载飙至100%,而且该爬虫在抓取时完全不遵守网站的robots协议。

该站长顺着该爬虫的IP地址查询,证实,该爬虫就是字节跳动搜索爬虫。

并且,在CSDN、V2EX等技术论坛也了解到,从字节跳动开始做搜索之后,其实网络上就一直有站长抱怨头条搜索爬虫抓取过于暴力的声音,遭受字节跳动搜索爬虫暴力抓取的不是个例,很多小网站他们也没放过。


正文到此结束

 

发表评论

电子邮件地址不会被公开。 必填项已用*标注