搜索引擎爬虫的工作原理分析

搜索引擎爬虫是指搜索引擎用来自动抓取网页的程序或机器人。就是从某个URL作为起点进行访问,然后将网页保存回数据库,并继续循环。通常认为,搜索引擎爬虫是跟着链接进行爬行的,因此将其称为爬虫。建立网站时,只需有链接指向我们的网页,爬虫就会自动抓取我们的网页。

搜索引擎爬虫的工作原理分析

根据使用场景,网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种

  1. 通用网络爬虫 是 捜索引擎抓取系统(Baidu、Google、Yahoo等)的重要组成部分。主要目的是将互联网上的网页下载到本地,形成一个互联网内容的镜像备份。
  2. 聚焦爬虫,是"面向特定主题需求"的一种网络爬虫程序,它与通用搜索引擎爬虫的区别在于: 聚焦爬虫在实施网页抓取时会对内容进行处理筛选,尽量保证只抓取与需求相关的网页信息。

聚焦爬虫工作原理及关键技术概述

网络爬虫是一个自动提取网页的程序,它为搜索引擎从Internet网上下载网页,是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂,需要根据一定的网页分析算法过滤与主题无关的链接,保留有用的链接并将其放入等待抓取的URL队列。然后,它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL,并重复上述过程,直到达到系统的某一条件时停止,另外,所有被爬虫抓取的网页将会被系统存贮,进行一定的分析、过滤,并建立索引,以便之后的查询和检索;对于聚焦爬虫来说,这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。

相对于通用网络爬虫,聚焦爬虫还需要解决三个主要问题:

  1. 对抓取目标的描述或定义;
  2. 对网页或数据的分析与过滤;
  3. 对URL的搜索策略。

抓取目标的描述和定义是确定网页分析算法与URL搜索策略如何制订的基础。网页分析算法和候选URL排名算法是确定搜索引擎提供的服务形式和爬虫网页抓取行为的关键所在。这两个部分的算法密切相关。

2

发表评论