请详细解释什么事百度爬虫,有什么作用

来源:百度知道 编辑:UC知道 时间:2024/07/07 17:49:06
支持原创,请不要复制黏贴其他网站的成品。我看过相关的网页,还是不大清楚,请用通俗的语言回答我的问题。

网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁,自动索引,模拟程序或者蠕虫。
  百度蜘蛛,是百度搜索引擎的一个自动程序。它的作用是访问收集整理互联网上的网页、图片、视频等内容,然后分门别类建立索引数据库, 使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。
百度蜘蛛的运行原理:
  (1)通过百度蜘蛛下载回来的网页放到补充数据区,通过各种程序计算过后才放到检索区,才会形成稳定的排名,所以说只要下载回来的东西都可以通过指令找到,补充数据是不稳定的,有可能在各种计算的过程中给k掉,检索区的数据排名是相对比较稳定的,百度目 前是缓存机制和补充数据相结合的,正在向补充数据转变,这也是目 前百度收录困难的原因,也是很多站点今天给k了明天又放出来的原因。
  (2)深度优先和权重优先,百度蜘蛛抓页面的时候从起始站点(即种子站点指的是一些门户站点)是广度优先抓取是为了抓取更多的网址,深度优先抓取的目的是为了抓取高质量的网页,这个策略是由调度来计算和分配的,百度蜘蛛只负责抓取,权重优先是指反向连接较多的页面的优先抓取,这也是调度的一种策略,一般情况下网页抓取抓到40%是正常范围,60%算很好,100%是不可能的,当然抓取的越多越好。

说通俗一点就是一段程序,这段程序可以在互联网上自动查询更新的网站

百度蜘蛛,英文名是“baiduspider”是百度搜索引擎的一个自动程序。它的作用是访问互联网上的html网页,建立索引数据库,使用户能在百度搜索引擎中搜索到您网站的网页。
常见问题
1.Baiduspider对一个网站服务器造成的访问压力如何?
答:Baiduspider会自动根据服务器的负载能力调节访问密度。在连续访问一段时间后,Baiduspider会暂停一会,以防止增大服务器的访问压力。所以在一般情况下,Baiduspider对您网站的服务器不会造成过大压力。
2.为什么Baiduspider不停的抓取我的网站?
答:对于您网站上新产生的或者持续更新的页面,Baiduspider会持续抓取。此外,您也