0. 前言
周日在爬一个国外网站的时候,发现用协程并发请求,并且请求次数太快的时候,会出现对方把我的服务器IP封掉的情况。于是网上找了一下开源的python代理池,这里选择的是star数比较多的proxy_pool
1. 安装环境
# 安装python虚拟环境, python环境最好为python3.6,再往上的话,安装依赖时会报错 sudo apt update sudo apt install python3.6 pip3 install virtualenv virtualenv venv --python=python3.6 source venv/bin/activate # 安装redis sudo apt install redis-server # 启动redis server redis-server
2. 安装依赖
git clone https://github.com/jhao104/proxy_pool.git cd proxy_pool pip install -r requirements.txt
3. 修改配置文件
# 修改setting.py # 配置API服务 HOST = "0.0.0.0" # IP PORT = 5010 # 监听端口 # 配置数据库 # 以下为三个示例,根据redis的配置,选择其中一种即可 # 一般启动redis时如果没有配置文件,那么选择第一种即可 # 1. Redis IP: 127.0.0.1 Port: 6379 DB_CONN = 'redis://@127.0.0.1:6379' # 2. Redis IP: 127.0.0.1 Port: 6379 Password: 123456 DB_CONN = 'redis://:123456@127.0.0.1:6379' # 3. Redis IP: 127.0.0.1 Port: 6379 Password: 123456 DB: 15 DB_CONN = 'redis://:123456@127.0.0.1:6379/15' # 配置 ProxyFetcher PROXY_FETCHER = [ "freeProxy01", # 这里是启用的代理抓取方法名,所有fetch方法位于fetcher/proxyFetcher.py "freeProxy02", # .... ]
4. 启动
# 可以用tmux开三个窗口 # 启动调度程序 python proxyPool.py schedule # 启动webApi服务 python proxyPool.py server
5. 测试
import requests def get_proxy(): return requests.get("http://127.0.0.1:5010/get/").json() def delete_proxy(proxy): requests.get("http://127.0.0.1:5010/delete/".format(proxy)) # your spider code def getHtml(): # .... retry_count = 5 proxy = get_proxy().get("proxy") while retry_count > 0: try: html = requests.get('http://www.example.com', proxies={"http": "http://{}".format(proxy)}) # 使用代理访问 return html except Exception: retry_count -= 1 # 删除代理池中代理 delete_proxy(proxy) return None
更多的用法和文档请参考:document 和 https://github.com/jhao104/proxy_pool
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件!
如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
白云城资源网 Copyright www.dyhadc.com
暂无“python爬虫利用代理池更换IP的方法步骤”评论...
更新日志
2024年07月03日
2024年07月03日
- 杨钰莹.1995-因为有你【新时代】【WAV+CUE】
- 许慧欣.2006-谜【上华】【WAV+CUE】
- 绝区零珂蕾妲驱动盘怎么搭配 珂蕾妲驱动盘及词条选择攻略
- 绝区零强袭鸣徽有哪些 绝区零强袭鸣徽效果介绍
- 魔兽世界奥格瑞玛怎么去幽暗城 奥格瑞玛去幽暗城方法介绍
- 《间谍过家家日记大作战》成就攻略一览
- 完美的音乐品质-群星《红酒杯发烧酒廊情歌》2CD[WAV]
- 群星.2011《高雄国际Hi-End音响大展纪念发烧金碟》[WAV分轨]
- 康康1999-催泪[阿尔法][WAV+CUE]
- 和守望先锋太像?《星鸣特攻》开发商:我们与众不同
- 速通玩家有福了!夏季游戏速通大会正在火热进行中
- 《使命召唤》新处决动作曝光 或联动《死侍3》?
- 《陈百强出道35周年 文质翩翩》4CD[WAV+CUE][1.8GB]
- 邓丽君《思君集》3CD[WAV+CUE][1.2GB]
- 华语流行S.H.E《12CD》2001~2010[APE+CUE][3.7GB]