Scrapy 配置动态代理IP的实现
#代码知识 发布时间： 2026-01-12
应用 Scrapy框架 ，配置动态IP处理反爬。
# settings 配置中间件
DOWNLOADER_MIDDLEWARES = {
'text.middlewares.TextDownloaderMiddleware': 543,
# 'text.middlewares.RandomUserAgentMiddleware': 544,
# 'text.middlewares.CheckUserAgentMiddleware': 545,
'text.middlewares.ProxyMiddleware': 546,
'text.middlewares.CheckProxyMiddleware': 547
}
# settings 配置可用动态IP
PROXIES = [
"http://101.231.104.82:80",
"http://39.137.69.6:8080",
"http://39.137.69.10:8080",
"http://39.137.69.7:80",
"http://39.137.77.66:8080",
"http://117.191.11.102:80",
"http://117.191.11.113:8080",
"http://117.191.11.113:80",
"http://120.210.219.103:8080",
"http://120.210.219.104:80",
"http://120.210.219.102:80",
"http://119.41.236.180:8010",
"http://117.191.11.80:8080"
]
# middlewares 配置中间件
import random
class ProxyMiddleware(object):
def process_request(self, request, spider):
ip = random.choice(spider.settings.get('PROXIES'))
print('测试IP:', ip)
request.meta['proxy'] = ip
class CheckProxyMiddleware(object):
def process_response(self, request, response, spider):
print('代理IP:', request.meta['proxy'])
return response
代码知识SEO
上一篇 : Intellij 下 mybatis 插件 MyBatisCodeHelperPro破解步骤详解
下一篇 : 浅析python 通⽤爬⾍和聚焦爬⾍
-
SEO外包最佳选择国内专业的白帽SEO机构，熟知搜索算法，各行业企业站优化策略！
SEO公司
-
可定制SEO优化套餐基于整站优化与品牌搜索展现，定制个性化营销推广方案！
SEO套餐
-
SEO入门教程多年积累SEO实战案例，从新手到专家，从入门到精通，海量的SEO学习资料！
SEO教程
-
SEO项目资源高质量SEO项目资源，稀缺性外链，优质文案代写，老域名提权，云主机相关配置折扣！
SEO资源
-
SEO快速建站快速搭建符合搜索引擎友好的企业网站，协助备案，域名选择，服务器配置等相关服务！
SEO建站
-
快速搜索引擎优化建议没有任何SEO机构，可以承诺搜索引擎排名的具体位置，如果有，那么请您多注意！专业的SEO机构，一般情况下只能确保目标关键词进入到首页或者前几页，如果您有相关问题，欢迎咨询！
