当第一步，搜索引擎爬行网站并抓取页面的时候，是最重要的一步，当我们用搜索引擎（以百度为例，多数人搜素还是喜欢用百度的）输入关键词后，会出现很多的关键词信息，这个过程是瞬间的，以秒来计算的。这个时候，我们可以想一想，百度在一秒钟之内把所有查询关键词从浩瀚的互联网数据中逐一抓取还是实现已经处理好了这部分的数据呢？仅仅一秒钟的时间，可以想象，是多么庞大的工程，所以百度都是实现抓取好的，不然会耗费很多的时间，时效性不高。

搜索引擎的搜集工作也是要按照一定的规律来进行的，基本上可以分解成：批量搜集和增量搜集两种特征。批量搜集：是将互联网上只要是存在链接的网页都收集一遍，耗时几周。增量搜集：是批量搜集的一个技术升级，完美的弥补了批量搜集的缺点，在原本的基础上搜集新增加的网站页面，变更上次收集之后有改变的页面，删除收集重复和不存在的网页。