搜索引擎需要处理庞大的数据，庞大的数据值得是搜索引擎需要了解处理的页面数，在这庞大的数据里面是复杂的结构。我们要了解搜索引擎，也需要了解其爬行器才能深入了解到搜索引擎的工作方式。

    软件程序无法像人类那样可以正确解读各种类型的数据，具有其局限性，因此，搜索引擎的优点和不足都是需要了解的，搜索引擎也正在不断增加投资，改进其页面内容的处理能力。力洋络网认为在互联网的营销领域，搜索引擎返回的搜索结果格式有所不同，其搜索结果页面的每个部分代表着搜索引擎提供的一个信息片段，而搜索引擎通过提供更具有相关性的结果和更针对性的查询相应相互竞争，从而得到更好的用户查询结果。正因如此站长们更应该考虑垂直搜索结果的加入对网站排名以及流量的影响。所谓的垂直结果也成为即时回答，不仅仅是出现简单的页面链接，还会根据搜索出现一些图片、视频或者是音频等等，理解爬行、索引以及排名的工作原理有助于优化并达到优化目标。而搜索引擎需要很好的完成一些优化任务才能更好地提供相关的搜索结果：爬行嗯哼索引网页上的数以亿计的文档提供相关页面的列表响应用户查询。

    搜索引擎为了提供更好的查询结果，会尽可能试图通过Web爬行发现万维网上所有公开的网页，然后显示与用户查询最匹配的结果。Web的链接结构将所有的页面联系在一起，通过链接，爬行器可以接触到无数的相互连接的文档，搜索引擎通过加载页面内容并进行分析。搜索引擎在它所收集的文档中寻找查询相关页面，同时仅返回与用户查询相关的结果，按照重要性牌勋结果。也就是说相关性和重要性都是优化过程中需要重视的因素。重要性和相关性不是人工确定的，而是根据搜索引擎精心设计的算法从大量的页面进行筛选的，再按照质量排名。搜索引擎为每个页面上的内容都赋予权重，并为此对每个页面进行细致的分析。

    当搜索引擎读取了一个页面时，会分析它们的代码，将页面中的优质部分放在磁盘阵列中以便查询时调用。搜索引擎也需要建立许多的大型数据中心，瞬间访问数千亿网站的信息是个繁重的任务。当让它也有其局限性，它只能理解大部分网页的部分内容，搜索引擎爬行器分析网页的原始HTML形式，当搜索引擎检测到一张图片的时候，除非你在alt属性中提供相关信息，否则它没办法知道图片展示的内容。