热点新闻
Python模块·Requests请求数据(可以作用于爬虫)
2023-08-06 20:31  浏览:3580  搜索引擎搜索“养老之家”
温馨提示:信息一旦丢失不一定找得到,请务必收藏信息以备急用!本站所有信息均是注册会员发布如遇到侵权请联系文章中的联系方式或客服删除!
联系我时,请说明是在养老之家看到的信息,谢谢。
展会发布 展会网站大全 报名观展合作 软文发布

一、Requests简介:

  • requests 是用 Python 语言编写的、优雅而简单的 HTTP 库
  • requests 内部采用来 urillib3
  • 需要爬虫可以使用该工具模块
  • requests 发送一个 GET 请求,需要在 URL 里请求的参数可通过 params 传递
  • requests 发送一个 POST 请求,新增了一个可选参数 data,需要通过 POST 请求传递 body 里的数据可以通过 data 传递

二、Requests常用函数:

分类 关键字 / 函数 / 方法 说明
模块 import requests 导入模块
requests.get("url") 向指定站点发出GET请求(查)
requests.post("url") 向指定站点发出POST请求(增)
requests.delete("url") 向指定站点发出DELETE请求(删)
requests.put("url") 向指定站点发出PUT请求(改-全量修改)
requests.patch("url") 向指定站点发出PATCH请求(改-补丁修改)
对象 response=requests.get("url") 获取请求返回值对象
response.text text:以文本的方式显示相应结果
response.content content:以二进制方式显示相应数据
格式:"b'.....'"
response.json() json():以JSON的方式显示相应结果
相当于调用了json.loads(response.text)
response.encoding encoding:修改编码

三、请求参数:

  • 当访问一个 URL 时,我们经常需要发送一些查询的字段作为过滤信息,例如:httpbin.com/get?key=val,这里的 key=val 就是限定返回条件的参数键值对
  • 当利用 python 的 requests 去发送一个需要包含这些参数键值对时,可以将它们传给params
  • 还可以通过headers参数,模拟真实用户访问,绕过反爬虫机制

import requests headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36' } # 这是目标url # url = 'https://www.baidu.com/s?wd=python' url = 'https://www.baidu.com/s?' # 请求参数是一个字典 即wd=python kw = {'wd': 'python'} # 带上请求参数发起请求,获取响应 response = requests.get(url, headers=headers, params=kw) print(response.text)

四、案例练习:(下载网页源代码,并下载全部图片素材)

  • 下载新浪首页图片

import os.path import re import threading import requests # 下载资源函数 def download(url, file_name): response = requests.get(url) with open(file_name, mode="wb") as fw: # 写入到指定文件中 fw.write(response.content) # 获取url列表(图片) # 1.读取网页文件内容 # 2.匹配url正则 # 3.保存匹配结果到列表中 # 4.返回列表 def get_url(file_name, re_str): with open(file_name, mode="r") as fr: regular_obj = re.compile(re_str) url_list = [] while True: line_data = fr.readline() if len(line_data) == 0: break result = regular_obj.search(line_data) if result is not None: url_list.append(result.group()) return url_list if __name__ == '__main__': # 网页文件下载地址 图片存放地址 html_file, pic_dir = "/opt/my_html.html", "/tmp/images/" # 指定下载url,可以动态变换 url_html = "https://www.sinaxxxx.com.cn" # 文件不存在则下载 if not os.path.exists(url_html): # 下载网页资源 download(url_html, html_file) # 目录不存在则创建 if not os.path.exists(pic_dir): os.makedirs(pic_dir) # 图片路径的正则判断 pic_re = "(http|https)://[\w\./-]+\.(jpg|png|jepg|gif)" # 获取图片资源 list_image = get_url(html_file, pic_re) # 下载图片素材到 /tmp/images for url_image in list_image: f_name = url_image.split("/")[-1] print(f_name) # 异步下载资源 threading.Thread( target=download, args=(url_image, f"{pic_dir}{f_name}") ).start()

发布人:242a****    IP:117.173.23.***     举报/删稿
展会推荐
让朕来说2句
评论
收藏
点赞
转发