请选择 进入手机版 | 继续访问电脑版
你见过会爬的蜘蛛,有一种蜘蛛只是一段程序,你见过吗?
美人殇 发表于:2021-8-13 20:42:36 复制链接 发表新帖
阅读数:100
有网站不懂做优化?不懂什么是SEO?网站SEO优化排名怎么做都上不去?

由于你不懂SEO,相识SEO优化的核心,优化还难吗?那都不是事。

上篇文章我们介绍了搜索引擎的工作原理。我们知道搜索引擎会通过蜘蛛抓取网站页面。那今天我们就来说说关于蜘蛛的介绍。

什么是蜘蛛

搜索引擎用来爬行和访问页面的程序被称为蜘蛛(Spider ),也称为机器人(bot)。蜘蛛访问任何一个网站时,都会先访问网站根目次下的robots.txt文件。假如Robots.txt文件禁止搜索引擎抓取某些文件或目次,蜘蛛将服从协议,不抓取被禁止的网址。

和欣赏器一样,搜索引擎也有标明本身身份的代理名称,站长可以在日志文件中看到搜索引擎的特定代理名称,从而辨识搜索引擎蜘蛛。

寻常一点:蜘蛛就是搜索引擎用来爬行和访问页面的程序,蜘蛛就是一段程序。

寻常我们用得比较多得叫百度蜘蛛(baiduspidere),除了百度蜘蛛,还有很多蜘蛛。不同的搜索引擎蜘蛛名称不一样。

BaiduSpider---百度蜘蛛

Googlebot---谷歌机器人(谷歌蜘蛛)

Bingbot---必应机器人(必应蜘蛛)

360Spider---360蜘蛛

SogouSpider---搜狗蜘蛛
你见过会爬的蜘蛛,有一种蜘蛛只是一段程序,你见过吗?


还有很多国外搜索引擎没有枚举出来,比如雅虎。现在在中国主流的三大搜索引擎百度、360好搜、搜狗。知道这三个搜索引擎就可以了。雅虎、谷歌已经退出中国市场。

熟悉了什么是蜘蛛,我们都知道蜘蛛是爬行和访问网站的程序,那么怎样让本身来抓取本身网站呢?很简单,让蜘蛛喜欢上本身,我们可以自动吸引蜘蛛,吸引蜘蛛,就得明确蜘蛛喜欢什么?蜘蛛喜欢什么呢?
你见过会爬的蜘蛛,有一种蜘蛛只是一段程序,你见过吗?


①网站和页面权重

质量高,资格老的网站被以为权重比较高,这种网站上面页面被爬行的深度也会高,以是会有更多页面被收录。

②页面更新度

蜘蛛每次爬行都会把页面数据储存起来,假如蜘蛛第二次爬行发现与第一次收录完全一样,阐明页面没有更新,蜘蛛也就没有必须常常更新,假如页面常常更新,蜘蛛就会更加频仍地访问这种页面,页面上出现新的链接,也自然会被蜘蛛更快的跟踪,抓取新页面。

③导入链接

无论是外部链接还是同一个网站的内部链接,要被蜘蛛抓取,就必须有导入链接进入页面,否则蜘蛛根本没有机会知道页面的存在。高质量的导入链接也常常使页面上的导出链接被爬行深度增长。

④与首页点击间隔

一样寻常来说网站上权重最高的是首页,大部分外部链接都是导入首页的,蜘蛛访问最频仍的也是首页。离首页的间隔越近,页面权限越高,被蜘蛛爬行的机会也越大。

上面几点就是蜘蛛比较喜欢的内容,只有把我们本身的网站做成蜘蛛喜欢的容貌,才大概让蜘蛛常常来访问抓取本身网站的页面。上面都是理论,大家假如不明白不要紧,后面的文章会介绍。

既然知道了蜘蛛喜欢什么,同时让蜘蛛能来到本身的网站,那我们就有很多东西不想让蜘蛛知道的。不想让蜘蛛抓取跟访问,怎么办?

我们提到蜘蛛访问任何一个网站时,都会先访问网站根目次下的robots.txt文件。假如Robots.txt文件禁止搜索引擎抓取某些文件或目次,蜘蛛将服从协议,不抓取被禁止的网址。

那么什么是什么robots文件?Robots文件在哪呢?怎样写robots文件?

后面的文章会给大家介绍怎样写robots.txt文件。

下一篇文章:《搜索引擎工作原理-预处理规则详解》,之前文章计划错误,中心加入了蜘蛛介绍。
返回列表 使用道具 举报
条评论
avatar
您需要登录后才可以回帖 登录 | 立即注册
高级