上犹电脑信息网我们一直在努力
您的位置:上犹电脑信息网 > 设置问题 > 零基础 Python3 实战课程 ProxyHandler 设置代理服务器-代理服务器设置

零基础 Python3 实战课程 ProxyHandler 设置代理服务器-代理服务器设置

作者:上犹日期:

返回目录:设置问题

"""

PrroHandler 代理设置:我们正常爬取网页的时候,往往爬取的数据流量会很大,而且都是通过一个ip地址去请求的,

这样的话,就很容易被目标网站识别成爬虫程序,而封掉我们的ip地址,这样我们就再也取不到数据了。

而网络代理刚好可以解决这个问题,因为在请求的时候,我们首先是由自己的ip将请求发送给代理服务器,然后代理

服务器上会有成千上万个ip地址帮我们去请求数据,再将数据返回给我们,这样的话目标网站就再也封不掉我们的ip了

"""

# 目标:请求一个 URL 的时候使用 代理服务器去访问

# ========== 1、先不使用代理看看是什么样子的 ==============

# 1、导入相关的库

from urllib import request

# 2、先演示一下当前没有使用代理服务器的时候,我们去访问目标的ip是哪一个

# "http://httpbin.org/ip" 这个 URL 的作用呢,是它可以将你当前访问的ip地址给你返回来,让你方便查看

url = "http://httpbin.org/ip"

# 3、向上面这个 URL 去发送请求,并获取相应信息

response = request.urlopen(url)

# 4、打印一下结果,看当前我们没有用代理时 我们的ip地址是什么

# 返回结果是这个:b'{\n "origin": "36.102.4.100"\n}\n'

print(response.read())

# =============== 2、看看使用代理后是什么样子的 =================

【纯个人手打,替老师传道,不求多大成就但愿 能帮到大家,在闲暇的时间里为大家共享一些工作经验和各种技术资源文章,希望帮助大家共同进步 也希望我的发布对你有所帮助,我的发布里有更多类似的文章可以查阅,喜欢的请点关注,谢谢。你们的关注是我不停发布的最大动力在我发布里好多类似这样的文章,请尽情阅览】

# 1、导入相关库

from urllib import request

# 2、定义请求的目标 URL

url = "http://httpbin.org/ip"

# 3、使用 ProxyHandler 构建一个对象,备用

# 代理字典语法为:request.ProxyHandler({"协议":"代理服务器的ip:代理服务器的端口号"

handler = request.ProxyHandler({"http": "118.190.149.36:8080"})

# 4、使用上面创建的 handler 构建一个 opener ,留着下面发请求的时候用

opener = request.build_opener(handler)

# 5、使用 opener.open() 函数去向 URL 发送请求,这样,上面的代理服务器我们就算是添加进来了

response = opener.open(url)

# 6、打印响应结果,看我们返回的结果是不是我们上面设置的代理服务器的ip,如果是则正确

print(response.read()) # 返回结果为:b'{\n "origin": "118.190.149.36"\n}\n'

零基础 Python3 实战课程 ProxyHandler 设置代理服务器

未使用代理的代码

零基础 Python3 实战课程 ProxyHandler 设置代理服务器

使用代理的代码

注意事项:1、上面的 http://httpbin.org/ip :这个URL是专门供测试使用的一个组织开放的公共测试URL,你也可以用,但是如果换成了别的 URL 那么返回的就不是 ip了

2、开发环境:Python3.6.5 IDE : Pycharm 2018

操作系统:windows 10x64

3、发文依然使用截图加源代码形式上传,一是图片方便看,二是源代码方便粘贴复

相关阅读

关键词不能为空
极力推荐

电脑蓝屏_电脑怎么了_win7问题_win10问题_设置问题_文件问题_上犹电脑信息网

关于我们