一、序言:
世界 1024 程序猿节日不加班,闲着没事儿。。。随手写了个播客访问量爬虫玩玩,访问量过万不是事儿!!!每个步骤注释都很清晰,代码仅供学习参考!
---- Nick.Peng
二、所需环境:
Python3.x
相关模块: requests、json、lxml、urllib、bs4、fake_useragent
三、增加Blog访问量代码如下:
#!/usr/bin/env python # -*- coding: utf-8 -*- # @Author: Nick # @Date: 2019-10-24 15:40:58 # @Last Modified by: Nick # @Last Modified time: 2019-10-24 16:54:31 import random import re import time import urllib import requests from bs4 import BeautifulSoup from fake_useragent import UserAgent try: from lxml import etree except Exception as e: import lxml.html # 实例化一个etree对象(解决通过from lxml import etree导包失败) etree = lxml.html.etree # 实例化UserAgent对象,用于产生随机UserAgent ua = UserAgent() class BlogSpider(object): """ Increase the number of CSDN blog visits. """ def __init__(self): self.url = "https://blog.csdn.net/PY0312/article/list/{}" self.headers = { "Referer": "https://blog.csdn.net/PY0312/", "User-Agent": ua.random } self.firefoxHead = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"} self.IPRegular = r"(([1-9]" def send_request(self, num): """ 模拟浏览器发起请求 :param num: num :return: html_str """ html_str = requests.get(self.url.format( num), headers=self.headers).content.decode() # print(html_str) return html_str def parse_data(self, html_str): """ 用于解析发起请求返回的数据 :param html_str: :return: each_page_urls """ # 将返回的 html字符串 转换为 element对象,用于xpath操作 element_obj = etree.HTML(html_str) # print(element_obj) # 获取每一页所有blog的url each_page_urls = element_obj.xpath( '//*[@id="mainBox"]/main/div[2]/div/h4/a/@href') # print(each_page_urls) return each_page_urls def parseIPList(self, url="http://www.xicidaili.com/"): """ 爬取最新代理ip,来源:西刺代理 注意:西刺代理容易被封,如遇到IP被封情况,采用以下两种方法即可解决: 方法一:请参考我上一篇博客《Python 实现快代理IP爬虫》 ===> 喜欢研究的同学,可参考对接此接口 方法二:直接屏蔽掉此接口,不使用代理也能正常使用 :param url: "http://www.xicidaili.com/" :return: 代理IP列表ips """ ips = [] request = urllib.request.Request(url, headers=self.firefoxHead) response = urllib.request.urlopen(request) soup = BeautifulSoup(response, "lxml") tds = soup.find_all("td") for td in tds: string = str(td.string) if re.search(self.IPRegular, string): ips.append(string) # print(ips) return ips def main(self, total_page, loop_times, each_num): """ 调度方法 :param total_page: 设置博客总页数 :param loop_times: 设置循环次数 :param each_num: 设置每一页要随机挑选文章数 :return: """ i = 0 # 根据设置次数,打开循环 while i < loop_times: # 遍历,得到每一页的页码 for j in range(total_page): # 拼接每一页的url,并模拟发送请求, 返回响应数据 html_str = self.send_request(j + 1) # 解析响应数据,得到每一页所有博文的url each_page_urls = self.parse_data(html_str) # 调用parseIPList随机产生代理IP,防反爬 # ips = self.parseIPList() # proxies = {"http": "{}:8080".format( # ips[random.randint(0, 40)])} # 遍历,每一页随机挑选each_num篇文章 for x in range(each_num): # 随机抽取每一页的一篇博文进行访问,防反爬 current_url = random.choice(each_page_urls) status = True if requests.get( current_url, headers=self.headers).content.decode() else False print("当前正在访问的文章是:{},访问状态:{}".format(current_url, status)) time.sleep(1) # 延时1秒,防反爬 time.sleep(1) # 延时1秒,防反爬 i += 1 if __name__ == '__main__': bs = BlogSpider() bs.main(7, 200, 3) # 参数参照main方法说明,酌情设置
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件!
如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
白云城资源网 Copyright www.dyhadc.com
暂无“Python 爬虫实现增加播客访问量的方法实现”评论...
《魔兽世界》大逃杀!60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容,新游玩模式《强袭风暴》即将于3月21 日在亚服上线,届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕,并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时,他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中,玩家将会进入一个全新的海盗主题大逃杀式限时活动,其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场,作为一个独立于主游戏之外的活动,玩家可以用大逃杀的风格来体验《魔兽世界》,不分职业、不分装备(除了你在赛局中捡到的),光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式,玩家在加入海盗主题的预赛大厅区域前,可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹,《巨龙崛起》和《魔兽世界:巫妖王之怒 经典版》的玩家都可以获得奖励。
更新日志
2024年10月06日
2024年10月06日
- 群星《前途海量 电影原声专辑》[FLAC/分轨][227.78MB]
- 张信哲.1992-知道新曲与精丫巨石】【WAV+CUE】
- 王翠玲.1995-ANGEL【新艺宝】【WAV+CUE】
- 景冈山.1996-我的眼里只有你【大地唱片】【WAV+CUE】
- 群星《八戒 电影原声带》[320K/MP3][188.97MB]
- 群星《我的阿勒泰 影视原声带》[320K/MP3][139.47MB]
- 纪钧瀚《胎教古典音乐 钢琴与大提琴的沉浸时光》[320K/MP3][148.91MB]
- 刘雅丽.2001-丽花皇后·EMI精选王【EMI百代】【FLAC分轨】
- 齐秦.1994-黄金十年1981-1990CHINA.TOUR.LIVE精丫上华】【WAV+CUE】
- 群星.2008-本色·百代音乐人创作专辑【EMI百代】【WAV+CUE】
- 群星.2001-同步过冬AVCD【环球】【WAV+CUE】
- 群星.2020-同步过冬2020冀待晴空【环球】【WAV+CUE】
- 沈雁.1986-四季(2012梦田复刻版)【白云唱片】【WAV+CUE】
- 纪钧瀚《胎教古典音乐 钢琴与大提琴的沉浸时光》[FLAC/分轨][257.88MB]
- 《国语老歌 怀旧篇 3CD》[WAV/分轨][1.6GB]