搜索引擎蜘蛛

时间:12-10-05 栏目:SEO基础 作者:福清seo 评论:5 点击: 2,461 次

搜索引擎蜘蛛的概念:

搜索引擎蜘蛛是搜索引擎制定的一种用来跟踪网页链接爬行和访问页面的程序也称作“机器人”。因为搜索引擎蜘蛛会跟踪网页链接,从一个页面爬行到另一个页面,就好像蜘蛛在蜘蛛网上爬行那样,所以被称作“蜘蛛”。

搜索引擎蜘蛛的作用:

搜索引擎蜘蛛的主要作用是根据搜索引擎制定的规律,跟踪网页链接爬行,并把爬行过的网页进行检测去重,最后将有价值的网页以文本的形式收集存储到搜索引擎的数据库里。

搜索引擎蜘蛛的爬行方式:

1、广度优先

2、深度优先

影响搜索引擎蜘蛛爬行的因素:

1、robots.txt文件

2、nofollow标签

3、flash

4、图片

5、JavaScript

6、网站游览权限

7、强制使用cookies

8、HTTP返回码

9、服务器

10、域名解析

11、网站程序完善

12、动态URL

13、框架结构

14、session id

相关文章推荐:

搜索引擎工作抓取排名原理搜索引擎算法|搜索引擎排名四大要素百度蜘蛛工作原理|百度收录原理

声明:本文由(SEO博客)版权所有,禁止转载,文章链接:搜索引擎蜘蛛

搜索引擎蜘蛛:目前有5 条留言

  1. 地板
    第一站博客:

    沙发我来坐

    2012-10-06 上午 9:53 [回复]
    • 福清seo:

      欢迎第一站博主来访

      2012-10-06 上午 11:16 [回复]
  2. 板凳
    买彩票:

    嘿嘿,支持下!

    2012-10-26 上午 11:08 [回复]
    • 福清seo:

      谢谢支持

      2012-10-26 下午 7:57 [回复]
  3. 沙发
    hgh reviews:

    Keep functioning ,terrific job!

    2013-03-11 下午 12:47 [回复]

发表评论

不解 砸舌 伤心 邪恶 惊呼 开心 害羞 大笑 汗颜 惊讶 头晕 酷毙 开心 发怒 别扭 白眼 眨眼 思考 扭头 中立 哭泣 尴尬

---=====【福清人在路上】=====---
福清SEO博客★福清人自己的博客
10年专注互联网★5年实战品牌营销
SEO顾问:www.fqseo.org
品牌营销:www.pinpaiyingxiao.org
新浪微博:weibo.com/61953117
微信号:61953117【私人】
公众号:福清人在路上(ID:fqrzls)

微博江湖