不是所有新生成的页面都对用户有用，比如一些明显的欺骗用户的网页，死链接，空白内容页面等。对用户需求、蜘蛛、本站，都是没有意义的，这样百度就会在临时库中将这些不符合的页面进行排除掉，避免给用户、蜘蛛，造成不必要的影响，百度尤其怕对用户体验产生影响。
百度对抓取回来的内容会逐一进行添加标签和识别（此处百度用到分词技术）进行关键词的识别，将这些标记进行储存为结构化的数据，百度原话：“比如网页的tagtitle、metadescripiton、网页外链及描述、抓取记录。”也就是说在索引库中就进行相关的标题、关键词、描述的整理了。将页面中的关键词储存，方便接下来的用户搜索关键词索引。此处涉及到正序、倒叙，正序就是蜘蛛以页面为主进行关键词排序，倒叙是指搜索引擎以关键词为主进行页面展现。
用户在百度搜索关键词，百度通过倒叙算法，将保存在索引库中的符合条件的关键词页面进行筛选，按照用户输入的关键词所体现的需求强弱和网页的优劣进行打分，并按照最终的分数进行排列，展现给用户。
百度蜘蛛，通过蜘蛛算法的规则，对目标页面判断是否抓取（优先抓取）。通过页面的大小自动匹配频率、频次。蜘蛛算法是通过对网站中的历史表现，一、页面内容的质量（优质内容优先），二、用户体验是否良好（广告、内容布局），三、是否使用了作弊手法等（建议不使用作弊手法百度17年下半年开始每月都会推出新算法）。
网站生成新的页面内容，百度蜘蛛就会从互联网中某个改指向改页面的链接进行访问、抓取，如果没有设置外链指向网站的新生成页面，蜘蛛就无法对网站进行抓取。对于已被抓取过的内容，搜索引擎会对抓取的页面进行记录，并依据这些页面对用户的重要程度安排不同频次的抓取更新工作。
百度展现出关键词搜索结果，必须是在互联网中拥有的。搜索展示结果从产生到被展现给用户，会有下面四个点：抓取（BaiduSpiter蜘蛛）、过滤（临时库代码过滤）、索引区（存储文字）和排名展示（展示关键词搜索页面）。
从搜索引擎输入搜索词，到搜索引擎根据关键词反向索引搜索结果的过程，就是用户使用搜索引擎最完整的步骤。搜索引擎又是如何在浩如烟海的互联网资源中，以光速将用户所需求的页面展现出来？中间有什么样的逻辑以及算法？就需要对搜索引擎的逻辑及算法进行简单的分析。