搜索引擎蜘蛛即Search Engine Spider，是一个很形象的名字。把互联网比喻成一张蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。搜索引擎蜘蛛是通过网页的链接地址来寻找网页，从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网，那么搜索引擎蜘蛛就可以用这个原理把互联网上所有节点的网页都抓取下来。

由于互联网上无数的网站页面，搜索引擎蜘蛛无法将所有的页面都下载保存到服务器。因此，许多搜索引擎的网络蜘蛛只是抓取那些重要的网页，而在抓取的时候评价重要性主要的依据是某个网页的链接广泛度（及外部链接的数量与质量）。

抓取网页策略

在抓取网页的时候，搜索引擎蜘蛛一般有两种策略：广度优先和深度优先。广度优先是指搜索引擎蜘蛛会先抓取起始网页中链接的所有网页，然后再选择其中的一个链接网页，继续抓取在此网页中链接的所有网页。这是最常用的方式，因为这个方法可以让搜索引擎蜘蛛并行处理，提高其抓取速度。深度优先是指搜索引擎蜘蛛会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后再转入下一个起始页，继续跟踪链接。这个方法有个优点是搜索引擎蜘蛛在设计的时候比较容易。

由于不可能抓取所有的网页，有些搜索引擎蜘蛛对一些不太重要的网站，设置了访问的层数。例如，A为起始网页，属于0层，B、C、D、E、F属于第1 层，G、H属于第2层，I属于第3层。如果搜索引擎蜘蛛设置的访问层数为2的话，网页I是不会被访问到的。这也让有些网站上一部分网页能够在搜索引擎上搜索 到，另外一部分不能被搜索到。 对于网站设计者来说，扁平化的网站结构设计有助于搜索引擎抓取其更多的网页。

访问网站权限

搜索引擎蜘蛛在访问网站网页的时候，经常会遇到加密数据和网页权限的问题，有些网页是需要会员权限才能访问。当然，网站的所有者可以通过协议让搜索引擎蜘蛛不去抓取，但对于一些出售报告的网站，他们希望搜索引擎能搜索到他们的报告，但又不能完全免费的让搜索者查看，这样就需要给搜索引擎蜘蛛提供相应的用户名和密码。搜索引擎蜘蛛可以通过所给的权限对这些网页进行网页抓取，从而提供搜索。而当搜索者点击查看该网页的时候，同样需要搜索者提供相应的权限验证。

工作内容

1、收录页面

一般收录页面需要有蜘蛛抓取完成，通过抓取算法来决定收录那些页面，在算法调整后，对于伪原创、采集站点予以强烈的打击，所以在收录页面方面变得更加的严格了，高质量内容页面以及权重高的站点一般收录页面的几率会高很多。对于收录页面这方面相信很多的站长都是很清楚，每天蜘蛛都在分分秒秒不停地收录着，但是你会发现其实大部分的站点的收录都减少了，这是为什么呢？因为需要过滤页面。

2、过滤页面

很多页面被收录之后，搜索引擎认为该页面对用户没有太大的价值，或者是质量度比较低的页面，必然就会过滤，这也是用户体验好的一种表现。很多站点以优化为目的，丝毫不考虑用户的体验，例如一些桥页、跳转页面这些就是典型，K站就是一种过滤页面的表现，把那些作弊的站点的页面全部的过滤掉。很多人抱怨K站事件，尤其是那些屌丝站长们整天在论坛抱怨这个抱怨那个，为什么K你的站，很显然你的站点真的是以用户体验为核心运营站吗？

做SEO的人大多都是为了优化而运营站点，每天写的站内的更新、做外链肯定一部分是为了优化而优化，K你的站是牺牲少部分人的利益，更多的用户是从中获益的。要知道多少人在搜索，如果搜索出来的信息是你为了优化而运营的站点，低质量的页面，那搜索引擎其实是拿自己未来的前途给你的站点做铺垫的。所以过滤页面这方面非常的严格，大家也不要使用黑帽技术了。

3、建立索引

经过了收录页面以及过滤页面的工作之后，搜索引擎会对这些页面逐一进行标记和识别，并将这信息进行储存为结构化的数据，储存到搜索引擎的服务器中，这些储存的数据有网页的信息、网页的标题、关键词、页面描述等标签、网页外链及描述、抓取记录。还会将网页中的关键词信息进行识别和储存，以便与用户搜索的内容进行匹配。建立完善的索引数据库，方便呈现出最佳的显示信息。

4、显示信息

用户输入的关键词，搜索引擎会对其进行一系列复杂的分析，并根据分析的结论在索引库中寻找与之最为匹配的一系列网页，按照用户输入的关键词所体现的需求强弱和网页的优劣进行打分，并按照最终的分数进行排列，展现给用户。一般显示出最佳信息需要是最适合匹配关键词相关的页面，包括站内和站外优化的因素。