爬虫基本原理

1. 请求网站并提取数据的自动化程序

1. 用python/java模拟浏览器，获取网址的代码
2. 从里面提取有用信息，存入文本或者数据库
3. 可以进行长时间，自动地，批量地提取数据，分析数据

   2.基本流程

   1. 发起请求

   通过http向目标站点发起请求，即发送request，请求可以包含headers等信息（例如发送浏览器的配置信息，伪装成浏览器)，等待服务器响应

   2.获取响应内容

   服务器正常响应，可以获得response，里面的内容就是页面内容，可能会有html，json，二进制等格式类型

   3.解析内容

   可以使用正则表达式之类的方法进行解析，如果是json，可以用json的方法进行解析

   4.保存数据

   存为文本，或数据库，或存为特定格式（视频，音频）

对于多网页，可以采取下面的流程爬取：

python爬虫架构

Python 爬虫架构主要由五个部分组成，分别是调度器、URL管理器、网页下载器、网页解析器、应用程序（爬取的有价值数据）。

1. 调度器：相当于一台电脑的CPU，主要负责调度URL管理器、下载器、解析器之间的协调工作。
2. URL管理器：包括待爬取的URL地址和已爬取的URL地址，防止重复抓取URL和循环抓取URL，实现URL管理器主要用三种方式，通过内存、数据库、缓存数据库来实现。
3. 网页下载器：通过传入一个URL地址来下载网页，将网页转换成一个字符串，网页下载器有urllib2（Python官方基础模块）包括需要登录、代理、和cookie，requests(第三方包)
4. 网页解析器：将一个网页字符串进行解析，可以按照我们的要求来提取出我们有用的信息，也可以根据DOM树的解析方式来解析。网页解析器有正则表达式（直观，将网页转成字符串通过模糊匹配的方式来提取有价值的信息，当文档比较复杂的时候，该方法提取数据的时候就会非常的困难）、html.parser（Python自带的）、beautifulsoup（第三方插件，可以使用Python自带的html.parser进行解析，也可以使用lxml进行解析，相对于其他几种来说要强大一些）、lxml（第三方插件，可以解析 xml 和 HTML），html.parser 和 beautifulsoup 以及 lxml 都是以 DOM 树的方式进行解析的。
5. 应用程序：就是从网页中提取的有用数据组成的一个应用。

下面用一个图来解释一下调度器是如何协调工作的:

1. 调度器可以认为是整个程序；
2. url管理器可以使用类似于set的手段或者是使用数据库，从数据库中提取标记为未爬取过的信息，爬取后进行标记；
3. 通过Requests、urllib2等库或者Scrapy框架对url进行访问，下载网页，如果需要加载ajax，可以使用selenium或者框架进行操作；
4. 使用BeautifulSoup、re、css选择器、xpath等手段对网页进行解析；
5. 解析后提取数据，存入数据库，以这些数据作为应用程序的后端，组成应用程序。