此货很干,跟上脚步!!!
Cookie
cookie是什么东西"text-align: center">
用Pycharm打开这个项目
首先修改配置文件setting.py
1.关闭机器人协议
2.取消禁用cookie的功能
现在就回到爬虫文件wyySpider.py准备前期的工作
修改start_urls里的网址和准备一个请求头
首先用火狐浏览器打开网易云音乐,登录后进入到个人主页
在爬虫代码那里准备一下,修改一下start_urls
import scrapy from selenium import webdriver from selenium.webdriver.common.action_chains import ActionChains import time class WyyspiderSpider(scrapy.Spider): name = 'wyySpider' allowed_domains = ['163.com'] start_urls = ['https://music.163.com/playlist"htmlcode">from selenium import webdriver from selenium.webdriver.common.action_chains import ActionChains import time导完包还要一个谷歌的驱动程序,先看一下自己的谷歌版本
到这网站下载相同版本的驱动程序:https://sites.google.com/a/chromium.org/chromedriver/home
如果版本跟我的一样可以去网盘下载:
链接: https://pan.baidu.com/s/1M-gME2R8EEhEoFlPaDhbmA 提取码: 7iai解压后记住这个驱动的位置,在爬虫文件写一个获取cookie的函数
以下代码的坐标不一定适合各位的电脑,不过给你们安利个物理外挂(电脑微信截图Alt+A)def getCookie(self): # 获取谷歌的驱动,参数为刚刚驱动程序的位置 driver = webdriver.Chrome("C:/Users/Administrator/AppData/Local/Programs/Python38/Lib/site-packages/selenium/webdriver/chrome/chromedriver.exe") # -----------------selenium自动登录----------------------- # 打开谷歌然后访问指定的网站 driver.get("https://music.163.com/") # 最大化,睡眠是怕网速慢没加载出来 driver.maximize_window() time.sleep(1) # 鼠标从(0,0)向x(1435px),y(35px)移动,用左键点击一下 ActionChains(driver).move_by_offset(1435, 35).click().perform() time.sleep(0.3) # 点击其他方式 ActionChains(driver).move_by_offset(-480, 575).click().perform() time.sleep(0.3) # 同意条款 ActionChains(driver).move_by_offset(-218, -10).click().perform() time.sleep(0.3) # 手机登录 ActionChains(driver).move_by_offset(107, -100).click().perform() time.sleep(0.3) # 输入账号密码 # 通过css选择器获取id为"p"的标签,然后send_keys就是模拟输入一些信息 driver.find_element_by_css_selector("#p").send_keys("账号") driver.find_element_by_css_selector("#pw").send_keys("密码") time.sleep(0.3) # 点击登录 ActionChains(driver).move_by_offset(110, 15).click().perform() time.sleep(1) # 找到头像悬浮 img = driver.find_element_by_css_selector("div.head:nth-child(1) > img:nth-child(1)") ActionChains(driver).move_to_element(img).perform() time.sleep(0.5) # 点击我的主页 ActionChains(driver).move_by_offset(0, 40).click().perform() time.sleep(0.5) # 点击喜欢的音乐 ActionChains(driver).move_by_offset(-870, 830).click().perform() time.sleep(0.3) # -----------------selenium自动登录-----------------------登录完毕后就可以获取cookie,但看一下下面的cookie
[{'domain': 'music.163.com', 'expiry': 2147483647, 'httpOnly': False, 'name': 'WM_TID', 'path': '/', 'secure': False, 'value': 'UnQj6SSNqN9BEVdubmNcEjpl%2B9DA'}, {'domain': 'music.163.com', 'expiry': 2147483647, 'httpOnly': False, 'name': 'WM_NIKE', 'path': '/', 'secure': False, 'value': '9ca17ae2e6ffcda170e2e6ee87f4508ef58483ea4a97968ea7c54e879a8eaaf445aebc83b6e933f3f1c0b4c82af0fea7c3b92af697b7a6dc7b82afc09ad98ca695bc5082ecbcb1e772b7889b3d1c15bf28da0bbfb5b95aa8795f073adbc9c98ed79a28d8aa7f450f1ae9dd9b77a85edbf9ac625f1ef84d8f970b4e7bfd8cd21b48e8c8ec17df3e7a898f74488ef9bb5c837e2a3'}, {'domain': '.music.163.com', 'httpOnly': False, 'name': 'WNMCID', 'path': '/', 'sameSite': 'Strict', 'secure': False, 'value': 'fdygqk.1611989994304.01.0'}, {'domain': '.music.163.com', 'httpOnly': False, 'name': 'WEVNSM', 'path': '/', 'sameSite': 'Strict', 'secure': False, 'value': '1.0.0'}, {'domain': 'music.163.com', 'expiry': 2147483647, 'httpOnly': False, 'name': 'WM_NI', 'path': '/', 'secure': False, 'value': '6IyEYqBqpyZMITjt9DB4tPdzuXUFC%2BNyOiu3S04CTC5Nsv2Q4gkMM0BQ2SPZxQWvItmyodTwnsbSFFqD3rS84rG3qyG%2F31L7zdp9q7N%2BpRDmBw19hwtHD1UTE%3D'}, {'domain': '.music.163.com', 'expiry': 1927349994, 'httpOnly': False, 'name': 'NMTID', 'path': '/', 'secure': False, 'value': '00O-pWx8ZDJJQfiFkHzsgin07nYSmUAAAF3UhdN2w'}, {'domain': '.163.com', 'expiry': 4765589994, 'httpOnly': False, 'name': '_ntes_nuid', 'path': '/', 'secure': False, 'value': '738fc9cd89d6d8799fa76b3348d25d7d'}, {'domain': '.163.com', 'expiry': 4765589994, 'httpOnly': False, 'name': '_ntes_nnid', 'path': '/', 'secure': False, 'value': '738fc9cd89d6d8799fa76b3348d25d7d,1611989994150'}, {'domain': '.music.163.com', 'expiry': 1769671794, 'httpOnly': False, 'name': '_iuqxldmzr_', 'path': '/', 'secure': False, 'value': '32'}, {'domain': '.music.163.com', 'expiry': 1769671794, 'httpOnly': False, 'name': 'JSESSIONID-WYYY', 'path': '/', 'secure': False, 'value': 'OoCMxNwGV%5CfZD2OSzAXovf4ASVZsJ8UQ4sgg7JfH075cKTD%2FW3sMzZj%2BpayS1EnNVXzRm%2F2GxfzIoNv3FTjYxKeNFZWqf6UeiMSc1%2BG98kgsEM94juuE%5Cs18k2%2BPNPAp3hU0G%5CFDUtjkimCR5pgOIOI%3A1611991794102'}]是列表加字典的结构,而Scrapy的cookie是字符串类型的,所以我们要做一个转型
# 将driver获取的字典类型的cookie提取name和value封装成字符串 temp = [] for i in driver.get_cookies(): temp.append(i['name'] + "=" + i['value']) # 返回字符串cookie return ';'.join(temp)所以这个函数基本就写完了,自动登录后获取cookie是不是很爽!!!
现在重写一下def start_requests(self),这个函数是在请求发起前执行的在这个函数把请求头给塞进去,因为setting那边没有定义
def start_requests(self): # 定义请求头的时候调用一下getCookie获取一下cookie headers = { 'Cookie': self.getCookie(), 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36' } # 注意url是个列表这里拿下标[0],然后把headers请求头塞进去,交给parse函数 yield scrapy.Request(url=self.start_urls[0], headers=headers, callback=self.parse)请求前一切准备好之后,在解析函数(parse)进行保存一下数据,记得导re包
def parse(self, response): # 匹配歌曲名的正则表达式 patt = re.compile(r'<a href="/song.id=.*">([^<|{]*"../response.txt", mode="w+", encoding="utf-8") as file: for item in listdata: file.write(item+"\n")一句启动爬虫的命令,眨眨眼的时间 ~
数据就进去了哦!原来我的喜爱歌单只有不到500~
下面就是爬虫源代码
import scrapy from selenium import webdriver from selenium.webdriver.common.action_chains import ActionChains import time import re class WyyspiderSpider(scrapy.Spider): name = 'wyySpider' allowed_domains = ['163.com'] start_urls = ['https://music.163.com/playlist"C:/Users/Administrator/AppData/Local/Programs/Python38/Lib/site-packages/selenium/webdriver/chrome/chromedriver.exe") # -----------------selenium自动登录----------------------- # 打开谷歌然后访问指定的网站 driver.get("https://music.163.com/") # 最大化,睡眠是怕网速慢没加载出来 driver.maximize_window() time.sleep(1) # 以下坐标以自己的电脑为准 # 鼠标从(0,0)向x(1435px),y(35px)移动,用左键点击一下 ActionChains(driver).move_by_offset(1435, 35).click().perform() time.sleep(0.3) # 点击其他方式 ActionChains(driver).move_by_offset(-480, 575).click().perform() time.sleep(0.3) # 同意条款 ActionChains(driver).move_by_offset(-218, -10).click().perform() time.sleep(0.3) # 手机登录 ActionChains(driver).move_by_offset(107, -100).click().perform() time.sleep(0.3) # 输入账号密码 # 通过css选择器获取id为"p"的标签,然后send_keys就是模拟输入一些信息 driver.find_element_by_css_selector("#p").send_keys("账号") driver.find_element_by_css_selector("#pw").send_keys("密码") time.sleep(0.3) # 点击登录 ActionChains(driver).move_by_offset(110, 15).click().perform() time.sleep(1) # 找到头像悬浮 img = driver.find_element_by_css_selector("div.head:nth-child(1) > img:nth-child(1)") ActionChains(driver).move_to_element(img).perform() time.sleep(0.5) # 点击我的主页 ActionChains(driver).move_by_offset(0, 40).click().perform() time.sleep(0.5) # # 点击喜欢的音乐 # ActionChains(driver).move_by_offset(-870, 830).click().perform() # time.sleep(0.3) # -----------------selenium自动登录----------------------- # 将driver获取的字典类型的cookie提取name和value封装成字符串 # 临时存放每个拼接好的key=value字符串 temp = [] # 遍历driver给的cookies字典 for i in driver.get_cookies(): temp.append(i['name'] + "=" + i['value']) # 返回字符串cookie return ';'.join(temp) def start_requests(self): # 定义请求头的时候调用一下getCookie获取一下cookie headers = { 'Cookie': self.getCookie(), 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36' } # 注意url是个列表这里拿下标[0],然后把headers请求头塞进去,交给parse函数 yield scrapy.Request(url=self.start_urls[0], headers=headers, callback=self.parse) def parse(self, response): # 匹配歌曲名的正则表达式 patt = re.compile(r'<a href="/song.id=.*">([^<|{]*"response.txt", mode="w+", encoding="utf-8") as file: for item in listdata: file.write(item+"\n")
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！
如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
白云城资源网 Copyright www.dyhadc.com
暂无“Scrapy+Selenium自动获取cookie爬取网易云音乐个人喜爱歌单”评论...
更新日志
2024年11月08日
2024年11月08日
- 雨林唱片《赏》新曲+精选集SACD版[ISO][2.3G]
- 罗大佑与OK男女合唱团.1995-再会吧!素兰【音乐工厂】【WAV+CUE】
- 草蜢.1993-宝贝对不起（国）【宝丽金】【WAV+CUE】
- 杨培安.2009-抒·情（EP）【擎天娱乐】【WAV+CUE】
- 周慧敏《EndlessDream》[WAV+CUE]
- 彭芳《纯色角3》2007[WAV+CUE]
- 江志丰2008-今生为你[豪记][WAV+CUE]
- 罗大佑1994《恋曲2000》音乐工厂[WAV+CUE][1G]
- 群星《一首歌一个故事》赵英俊某些作品重唱企划[FLAC分轨][1G]
- 群星《网易云英文歌曲播放量TOP100》[MP3][1G]
- 方大同.2024-梦想家TheDreamer【赋音乐】【FLAC分轨】
- 李慧珍.2007-爱死了【华谊兄弟】【WAV+CUE】
- 王大文.2019-国际太空站【环球】【FLAC分轨】
- 群星《2022超好听的十倍音质网络歌曲(163)》U盘音乐[WAV分轨][1.1G]
- 童丽《啼笑姻缘》头版限量编号24K金碟[低速原抓WAV+CUE][1.1G]