Requests请求库

import requests

# -*- coding:utf8 -*-

# -*- coding:utf8 -*-

# 工程路径：3 requests请求库使用.py

# 工程日期：8/6/2019

# 工程目标：

"""

requests 7个主要方法：

requests.request()： 构造一个请求，支撑一下各方法的基础方法

requests.get()： 获取HTML网页的主要方法，对应HTTP的GET

requests.head()： 获取HTML网页头的信息方法，对应HTTP的HEAD

requests.post()： 向HTML网页提交POST请求方法，对应HTTP的POST

requests.put()： 向HTML网页提交PUT请求的方法，对应HTTP的RUT

requests.patch()： 向HTML网页提交局部修改请求，对应于HTTP的PATCH

requests.delete()： 向HTML页面提交删除请求,对应HTTP的DELETE

13个参数 requests.request(method,url,**kwargs)

method：请求方式，对应get/put/post等7种

requests.method(url, **kwargs)

url：拟获取页面的url链接

**kwargs：控制访问参数，共13个，均为可选项:

params: 字典或字节序列，作为参数增加到url中

data: 字典，字节序列或文件对象，作为Request的内容

json: JSON格式的数据，作为Request的内容

headers： 字典，HTTP定制头（模拟浏览器进行访问）

cookies： 字典或CpplieJar,Request中的cookie

auth: 元祖，支持HTTP认证功能

files： 字典类型，传输文件

timeout: 设定超时时间，秒为单位

proxies: 字典类型，设定访问代理服务器，可以增加登陆认证

allow_redirects:True//False， 默认为True，重定向开关

stream:True/False,默认为True, 获取内容立即下载开关

verify:True/False,默认为True， 认证SSL证书开关

cert： 本地SSL证书路径

"""

#%%

import requests

response = requests.get('http://www.baidu.com/')

print(type(response)) #查看response的类型

print(requests.status_codes) # 状态码

print(response.text) # 输出响应内容

print(response.headers) # 返回响应头

print(requests.cookies)

#%% get 方法传传参 添加参数，headers等

import requests

data = {

"s?tn" : "02003390_30_hao_pg",

'wd':'美女'

}

header = {}

response = requests.get('http://www.taobao.com/',params=data )

print(response.text)

print(response.url)

#%% 解析json

import requests

import json

response = requests.get('http://www.baidu.com/')

print(response.json())

#%% 获取二进制流数据

import requests

response = requests.get('https://hbimg.huabanimg.com/6519f3b9d79be866403eb8d33ea5fa9ca5e3e5a2e40f6-Fzf6yq_fw658')

with open('tupian.jpg','wb') as f:

f.write(response.content)

f.close()

#%% 响应属性

import requests

response = requests.get('http://www.baidu.com')

print(response.content)

print(response.url)

print(response.headers)

print(response.text)

print(response.cookies)

print(response.encoding)

print(response.history)

print(response.next)

#%%状态码判断

import requests

response = requests.get('http://www.baidu.com')

if response.status_code == requests.codes.ok:

print("ok")

#%% 取cookies

import requests

response = requests.get('http://www.baidu.com')

print(response.cookies)

for key, value in response.cookies.items():

print(key + '=' + value)

#%% 会话维持 session

#%% 证书验证

# 大部分的网站为https网站， 需要证书验证 非官方认证的证书网站会发生ssl报错

# 为避免该类型的异常抛出，将证书的参数设置为false

import requests

# response = requests.get('https://www.12306.cn',verify = False)

response = requests.get('https://www.12306.cn')

print(response.status_code)

print(response.content)

#%% 代理设置

# 声明字典类型的代理集，作为代理参数传即可

import requests

proxies = {

'http':'http://127.0.0.1:1080'

#'https': 'https://127.0.1.7:1060'

}

response = requests.get('https://www.12306.cn',verify = False, proxies=proxies)

print(response.content)

#%% 异常处理

# requestsexception(ioerror)

# 父类异常为requestexception 继承IOerror

# requests的异常也可以捕获子类 connectionerror、urlrequerd、toomanyredirects、httperror

# connecttimeout、readtimeout、timeout、sslerror、proxyerror 异常

import requests

from requests.exceptions import ReadTimeout, HTTPError, RequestException

response = requests.get('http://www.baidu.com')

try:

response = requests.get('https://www.baidu.com', timeout=0.1)

print(response.status_code)

except ReadTimeout:

print("超时错误")

except ConnectionError:

print("连接错误")

except RequestException