1.7.13 搜索引擎蜘蛛

搜索引擎蜘蛛在Web中漫游，寻找要添加进搜索引擎索引列表中的信息。蜘蛛有时也称为爬行器或者机器人。针对有机列表优化页面的目的就是为了吸引蜘蛛的注意。

蜘蛛，也称为蜘蛛程序（spider）。网络蜘蛛是一个自动提取网页的程序，是搜索引擎的重要组成部分，其任务就是尽可能多和快地给搜索引擎输送网页，实现强大的数据支持。

网络蜘蛛通过网页的链接地址来寻找网页，从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其他链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。