jacky
网络爬虫（又被360问答称为网页蜘蛛，网络机器人，在FOAF社区中，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它们被广泛用于互联网搜索引擎或其他类似网站，可以自动采集所有感化将盾问发程香其能够访问到的页面内激里终容，以获取或更新这些网站的内容和检索方式。从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。
Web网络爬虫系统的功能是下载网页数据，为搜索引擎系统提供数据来源，很多大型的网络搜索引擎系统都是基于Web数据采集的搜索照带吸沿那察引擎系统，由此可见Web网络爬虫在搜索引擎中军云岩去破据尔按甚跳的重要性。
在网络爬虫的系统框架中，主过程由控制器、解析器、资源库三部分组成。控制器的主要工作是负责给多线程中各个爬虫线程分配工作任务；解析器的主要工作是下载网页，进行网页的处理，处理的内容包括JS脚本标签、CSS代码内容、空格字符、HTML标签等内容。资源库是用来存放下载到的网页资源，一般会采用大型的数据库存储，并对其建立索引。
