请选择 进入手机版 | 继续访问电脑版
SEO必须把握的常识:2019最新搜索引擎蜘蛛大全记录
小丸子 发表于:2021-9-14 12:01:49 复制链接 发表新帖
阅读数:90
作为一个合格的SEO职员,分析搜索引擎蜘蛛的活动轨迹黑白常紧张的,是一门非常紧张的SEO技巧。

SEO必须把握的常识:2019最新搜索引擎蜘蛛大全记录

SEO必须把握的常识



不过很多新加入SEO的朋侪,通常对各个搜索引擎的蜘蛛并不清晰,相识各大搜索引擎蜘蛛爬虫,对我们进行网站SEO优化起到很大作用;

而且,各大seo搜索引擎的蜘蛛会不断地访问抓取我们站点的内容,也会斲丧肯定的站点流量。

以是偶然候就必要屏蔽某些蜘蛛访问我们的站点,文章尾部会讲解决办法。

下面是网络了各大搜索引擎的蜘蛛爬虫UA,以便你必要时查阅。

1.百度蜘蛛:BaiduSpider

常见的Baiduspider和Baiduspider-image(抓取图片)

百度公司还有别的几个蜘蛛:Baiduspider-video(抓取视频)、Baiduspider-news(抓取消息)、Baiduspider-mobile(抓取wap),都不常见

百度蜘蛛爬虫UA:

PC端:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

移动端:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

图片:“Baiduspider-image+(+http://www.baidu.com/search/spider.htm)”

SEO必须把握的常识:2019最新搜索引擎蜘蛛大全记录

谷歌蜘蛛是GoogleBot



2.谷歌蜘蛛:Googlebot

有人说谷歌蜘蛛是GoogleBot,官方谷歌蜘蛛最新名称为Googlebot,还发现了Googlebot-Mobile,看名字是应该是抓取wap内容的

谷歌蜘蛛爬虫UA:“Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”

图片:“Googlebot-Image/1.0”

3.360蜘蛛:360Spider

它是一个非常“勤劳抓爬”的蜘蛛

360蜘蛛爬虫UA:Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0);

4.搜狗蜘蛛:Sogou News Spider

搜狗公司还有别的几个蜘蛛:Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou Orion spider,冬镜在日志中只发现了常见的Sogou News Spider。(参考大神百度的robots文件,搜狗蜘蛛名称可以用Sogou概括,但有没有用就不知道了.)

搜狗蜘蛛爬虫UA:“Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)”

5.必应蜘蛛:bingbot

必应蜘蛛爬虫UA:“Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)”

6.SOSO蜘蛛:Sosospider

腾讯已玩死,交给搜狗公司了

soso蜘蛛爬虫UA:“Sosospider+(+http://help.soso.com/webspider.htm)”

SEO必须把握的常识:2019最新搜索引擎蜘蛛大全记录

soso蜘蛛爬虫



7.雅虎蜘蛛:Yahoo! Slurp China(雅虎中国)或Yahoo! Slurp(雅虎英文)

雅虎蜘蛛爬虫UA:

雅虎中国:“Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)”

雅虎英文:“Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)”

8.MSN蜘蛛:msnbot,msnbot-media

好像只见到msnbot-media在狂爬……

MSN蜘蛛爬虫UA:

*msnbot/1.0 (+http://search.msn.com/msnbot.htm”)

别的还有 一搜蜘蛛:

YisouSpider、Alexa蜘蛛:ia_archiver、宜搜蜘蛛:EasouSpider、即刻蜘蛛:JikeSpider,以及还有YandexBot、AhrefsBot和ezooms.bot等这些蜘蛛,听说这几个国外的蜘蛛都不咋好

怎样屏蔽搜索引擎蜘蛛

实在常用的搜索引擎就那么几个,只要在robots.txt文件里把常用的搜索引擎蜘蛛放进来就行,别的的可以齐备屏蔽。

好了,今天关于蜘蛛的变乱就介绍这里,更多关于SEO工具,可以关注我的博客更新。

更多建站干系文章,可以点击下面的“相识更多”,进行查看。
返回列表 使用道具 举报
条评论
avatar
您需要登录后才可以回帖 登录 | 立即注册
高级