请选择 进入手机版 | 继续访问电脑版
百度蜘蛛是什么生物,还跟淘宝结过梁子?
大少爷 发表于:2021-10-22 12:23:21 复制链接 发表新帖
阅读数:118
百度蜘蛛是什么生物,还跟淘宝结过梁子?


淘宝放了百度的蜘蛛,这是什么梗?

昨天看到一条消息,标题叫:淘宝部分解禁百度蜘蛛。乍一看标题以为是淘宝本来不让卖一种蜘蛛,现在让卖了,但现实被骗然不是这么回事儿。今天就来跟您说说什么是百度蜘蛛,淘宝解禁百度蜘蛛,这是个什么梗。

我们寻常用百度搜索,比如您搜索:“科技富能量”这几个字儿。可以或许出现腾讯消息的内容,能出现新浪微博的内容,当然还能出现蜻蜓FM的节目列表。
百度蜘蛛是什么生物,还跟淘宝结过梁子?


您有没有想过一个标题:网络上的信息近乎无穷无尽,百度是怎么能在0.0几秒的时间里把我们想要的东西找出来的?有些博客或者网页里信赖也有和“科技富能量”有关的内容,比如:我们的群【富能量纠结帮】,明显也存在在网上,但为什么在百度里却搜索不出来呢?

这就要谨慎介绍一下百度蜘蛛了

百度蜘蛛又号称“网络爬虫”,听起来挺恶心的,就像名字一样,它是一种可以或许在网络上,到处爬的东西。这种蜘蛛当然不是漫无目的地乱爬,它是按照肯定的规则,自动抓取网络信息的一种脚本程序。
百度蜘蛛是什么生物,还跟淘宝结过梁子?


它现实上是一种信息搬运工,当它爬到某一个网页上以后,会抓取相应的内容,然后把它的链接地址,以致网页的快照(一份完备网页信息)送回给百度的索引库。如许,以后用户在百度搜索关键字的时间,就能搜索到对应网站里的信息,假如用户再点击百度的搜索结果,百度就可以把用户导向对应的网站。

这个感觉有点儿像我们在本身电脑里搜索一个文件,第一次搜索会很慢,但是今后搜索的速率就会变快,这就是由于我们第一次搜索的时间,现实上是对整个硬盘的每一个角落进行搜索,这个过程就有点儿像蜘蛛在一个大仓库里到处爬,搜集谍报的过程。
百度蜘蛛是什么生物,还跟淘宝结过梁子?


第一次搜索完成以后,Windows会建立一个索引库,就像一份清单,清晰地写着各种.rm-vb在几号仓库,哪个地区。以后再搜索的时间,先看清单就行了,速率当然会快得多。

百度蜘蛛也一样,它的索引库就像一个装满蜘蛛的大盒子,不停放出蜘蛛访问各个网站,网络谍报,然后带回来给百度。是不是忽然想到《权利的游戏》里谁人宦官、谍报总管、“八爪蜘蛛”瓦里斯和他的“小小鸟”?
百度蜘蛛是什么生物,还跟淘宝结过梁子?


▲ 瓦里斯(Varys),外号「八爪蜘蛛」,在为七国铁王座服务的御前会议中担任一个颇具机密感的职务——谍报总管。瓦里斯通过他的那些“小小鸟”(《权利的游戏》中最不起眼的一群孤儿、流离儿)编织成的谍报网来网络机密

为什么网上有的东西搜不出来?

答案就很显着了,蜘蛛没爬到呗。比如WX群里的内容,百度蜘蛛就爬不到。爬不到的缘故原由又分两种:一种就是没爬到……另一种就是人家把百度蜘蛛给屏蔽了。当然还有一种大概就是,百度蜘蛛爬到了,但是带回来的信息百度一看:哎呀……不符合干系法律法规和政策……。
百度蜘蛛是什么生物,还跟淘宝结过梁子?


▲ 你猜小编搜了啥关键词,一击即中

对于大多数网站来说,是欢迎百度蜘蛛过来爬的,恨不得费尽心机勾引百度蜘蛛“常过来看看”。如许用户就能搜索到本身的网站,能让用户在第一时间看到本身网站更新的内容。有的网站不仅要夺取百度蜘蛛来访,还会给百度塞点儿钱,让百度蜘蛛带回去的信息可以或许在用户搜索列表里的顶部表现,这就是著名的百度推广。

淘宝为什么要屏蔽百度蜘蛛呢?

我们在百度搜索的时间,能搜出来淘宝的店铺和商品这不是一件更方便的变乱吗?或许是,但是淘宝不这么看。

当全部商品只能在淘宝网上搜索到的时间,淘宝不仅是一个购物平台,更是一个巨大的流量入口。用户要买什么东西,都要先辈淘宝。淘宝的自营广告、用户数据网络和分析,都可以顺理成章地睁开。
百度蜘蛛是什么生物,还跟淘宝结过梁子?


▲ 淘宝每年发布的消耗数据报告,正是基于剁手党们以淘宝为入口的搜索、购买活动

那开头消息说的,淘宝部分解禁百度蜘蛛,解禁的部分大多是和文章资讯干系的信息,而淘宝店铺之类的目次依然是屏蔽状态——以后在百度上还是搜不出来淘宝店铺的。
百度蜘蛛是什么生物,还跟淘宝结过梁子?


▲ 淘宝robots协议对百度开放的目次,看不懂不要紧,你必要知道的是这内里不包含淘宝店铺首页、产品详情页,这些紧张的页面在百度中依然是被封禁的

毕竟竞争对手,阿里怎么大概答应百度的“八爪蜘蛛”在本身的地盘上乱爬呢?
返回列表 使用道具 举报
条评论
avatar
您需要登录后才可以回帖 登录 | 立即注册
高级