### 一、前言
为什么要先说Requests库呢，因为这是个功能很强大的网络请求库，可以实现跟浏览器一样发送各种HTTP请求来获取网站的数据。网络上的模块、库、包指的都是同一种东西，所以后文中可能会在不同地方使用不同称谓，不要迷惑哦。

结合一个实例来讲解吧。我的一个设计师小伙伴常去一些设计类网站收集素材，其中有个网站Unsplash里面美图特别多，所以想要把里面的图片都保存下来，这样咱们的小爬虫就登场了。说干就干，赶紧开始吧。

先来准备环境

### 二、运行环境
1、系统版本
我使用的是Linux环境。
所以这个教程我就以Linux系统为例了，因为正式的线上代码，如果在windows上运行会被同行笑话的。

2、Python版本
我电脑装了好多个Python版本（学一个装一个。。。），不过推荐使用Anaconda这个科学计算版本，主要是因为它自带一个包管理工具，可以解决有些包安装错误的问题。去Anaconda官网，选择Python3.6版本，然后下载安装。
不会安装的看这里：
https://blog.junphp.com/details/214.jsp

3、IDE
我使用的是PyCharm，是专门为Python开发的IDE。这是JetBrians的产品。

### 三、Requests 库的安装
在linux 系统下，我们只需要输入命令 `sudo  pip install requests`,即可安装。

又或者是使用命令：
```
wget https://bootstrap.pypa.io/get-pip.py
python get-pip.py 
pip install requests
```

### 四、开工
现在我们新建一个`test.py`文件进行测试，并写入以下代码：
```python
#!/usr/bin/env
# -*- coding:utf-8 -*-
# 因为我们打印页面内容就会设置中文，中文需要先声明编码

# 导入requests库
import requests

# 然后用它来获取咱们的目标网页：
# 像目标url地址发送get请求，返回一个response对象
res = requests.get('https://blog.junphp.com')
# res.text是http response的网页HTML
print(res.text)
```
将这个文件上传到服务器任意位置，然后使用`cd`命令进入该文件所在目录下，执行命令`python test.py`运行脚本查看效果。
这就完成了爬虫的第一步，获取到了网页的HTML内容。
怎么样，很简单吧。
这只是用到了requests库的get请求，还有其他的请求使用也与之类似。
下面我们简单介绍一下每个请求的用法。

### 五、Requests库的简单使用

1、GET请求
`res = requests.get("https://blog.junphp.com")`
这就是我们刚刚用到的。
其实就是向网站发送了一个GET请求，然后网站会返回一个response。
res 就是response。
大家可以在运行的时候查看res的`type`。
`print(type(res))`

GET请求还可以传递参数：
```
payload = {'key1': 'value1', 'key2': 'value2'}
res = requests.get("http://blog.junphp.com/get_api", params=payload)
```
上面代码向服务器发送的请求中包含了两个参数key1和key2，以及两个参数的值。
实际上它构造成了如下网址：
`http://blog.junphp.com/get_api?key1=value1&key2=value2`

2、POST请求
无参数的POST请求：
`res = requests.post("http://blog.junphp.com/post_api")`
有参数的POST请求：
```
payload = {'key1': 'value1', 'key2': 'value2'}
r = requests.post("http://blog.junphp.com/post_api", data=payload)
```
POST请求多用来提交表单数据，即填写一堆输入框，然后提交。

3、其他请求
其他一些请求例如put请求、delete请求、head请求、option请求等其实都是类似的。
但是平时用的不多，就不仔细介绍了。
有用到的可以去看官网文档哦。
阅读官方文档是必备技能！
```
res = requests.put("http://blog.junphp.com/put")
res = requests.delete("http://blog.junphp.com/delete")
res = requests.head("http://blog.junphp.com/get")
res = requests.options("http://blog.junphp.com/get")
```
Requests库的官方地址：
`http://docs.python-requests.org/zh_CN/latest/user/quickstart.html`

已有0条评论

添加新评论☺

如果认为本文对您有所帮助请赞助本站

支付宝扫一扫赞助

已有0条评论

添加新评论☺