前面一篇文章有说过,利用scrapy来爬取图片,是为了对图片数据进行分类而收集数据。
本篇文章就是利用上次爬取的图片数据,根据图片的颜色特征来做一个简单的分类处理。
实现步骤如下:
1:图片路径添加
2:对比度处理
3:滤波处理
4:数据提取以及特征向量化
5:图片分类处理
6:根据处理结果将图片分类保存
代码量中等,还可以更少,只是我为了练习类的使用,而将每个步骤都封装成了一个独立的类,当然里面也有类继承的问题,遇到的问题前面一篇文章有讲解。内容可能有点繁琐,尤其是文件和路径的使用(可以自己修改),已经尽量优化代码了。
爬取的原始数据如下:
直接上代码:
import os import numpy as np import skimage import matplotlib.pyplot as plt from skimage import io #读取图片 from skimage import exposure #调用调对比度的方法 rescale_intensity、equalize_hist from skimage.filters import gaussian #高斯 from skimage import img_as_float #图片unit8类型到float from scipy.cluster.vq import kmeans,vq,whiten #聚类算法 import shutil #文件夹内容删除 class Path(object): def __init__(self): self.path = r"D:\PYscrapy\get_lixiaoran\picture" self.pathlist = [] #原始图片列表 self.page = 0 def append(self): #将每张图片的路径加载到列表中 much = os.listdir(self.path) for i in range(len(much)): repath = os.path.join(self.path,str(self.page)+'.jpg') self.page +=1 self.pathlist.append(repath) return self.pathlist class Contrast(object): def __init__(self,pathlist): self.pathlist = pathlist self.contrastlist = [] #改变对比度之后的图片列表 self.path2 = r"D:\PYscrapy\get_lixiaoran\picture2" self.page2 = 0 def balance(self): #将每张图片进行对比度的处理,两种方式 1:均衡化 2:从某个值开始取极值 if os.path.exists(self.path2) == False: os.mkdir(self.path2) # for lis in self.pathlist: # data = skimage.io.imread(lis) # equalized = exposure.equalize_hist(data) #方法一这里使用个人人为更好的均衡化处理对比度的方法 # self.contrastlist.append(equalized) for lis in self.pathlist: data = skimage.io.imread(lis) high_contrast = exposure.rescale_intensity(data,in_range=(20,220)) #方法二 以20和220取两端极值 self.contrastlist.append(high_contrast) for img in self.contrastlist: repath = os.path.join(self.path2,str(self.page2)+'.jpg') #保存修改后的图片 skimage.io.imsave(repath,img) self.page2 +=1 class Filter(Contrast): def __init__(self,pathlist): super().__init__(pathlist) self.path31 = self.path2 self.path32 = r"D:\PYscrapy\get_lixiaoran\picture3" self.page3 = 0 self.filterlist = [] def filte_r(self): img = os.listdir(self.path31) #读取文件内容 if os.path.exists(self.path32) == False: os.mkdir(self.path32) for lis in range(len(img)): #循环做每张图片的高斯过滤 path = os.path.join(self.path31,str(lis)+r'.jpg') img = skimage.io.imread(path) gas = gaussian(img,sigma=3) #multichannel=False 去掉颜色2D self.filterlist.append(gas) path_gas = os.path.join(self.path32,str(self.page3)+r'.jpg') skimage.io.imsave(path_gas,gas) self.page3 +=1 return self.path32 class Vectoring(object): def __init__(self,filter_path): self.path41 = filter_path self.diff = [] self.calculate = [] def vector(self): numbers = os.listdir(self.path41) #获取文件夹内容 os.chdir(self.path41) #切换路径 for i in range(len(numbers)): self.diff.append([]) for j in range(4): self.diff[i].append([]) #diff[[number],[img_float],[bin_centers],[hist]] for cnt,number in enumerate(numbers): img_float = img_as_float(skimage.io.imread(number)) #将图像ndarry nint8->float hist,bin_centers = exposure.histogram(img_float,nbins=10) #取图像的 每个区间的像素值 分隔区间 self.diff[cnt][0] = number self.diff[cnt][1] = img_float self.diff[cnt][2] = bin_centers #把数据添加到diff中 self.diff[cnt][3] = hist for i,j in enumerate(self.diff): #使用hist和bin_centers相乘来降维,向量化 self.calculate.append([y*self.diff[i][3][x] for x,y in enumerate(self.diff[i][2])]) #这里可能需要理解一下,就是涉及的参数有点多 for i in range(len(self.diff)): self.diff[i].append(self.calculate[i]) #将特征向量calculate也加入到diff中 return self.diff #diff[[number],[img_float],[bin_centers],[hist],[calculate]] class Modeling(Vectoring): def __init__(self,filter_path,K): super().__init__(filter_path) self.K = K def model(self): diff = self.vector() calculate = [] for i in range(len(diff)): calculate.append(diff[i][4]) spot = whiten(calculate) #这里使用scipy的k-means方法来对图片进行分类 center,_ = kmeans(spot,self.K) #如果对scipy的k-means不熟悉,前面有专门的讲解 cluster,_ = vq(spot,center) return diff,cluster #获得预测值 class Predicting(object): def __init__(self,predicted_diff,predicted_cluster,K): self.diff = predicted_diff self.cluster = predicted_cluster self.path42 = r'D:\PYscrapy\get_lixiaoran\picture4' self.K = K def predicted(self): if os.path.exists(self.path42) == True: much = shutil.rmtree(self.path42) os.mkdir(self.path42) else: os.mkdir(self.path42) os.chdir(self.path42) for i in range(self.K): #创建K个文件夹 os.mkdir('classify{}'.format(i)) for i,j in enumerate(self.cluster): skimage.io.imsave('classify{}\\{}'.format(j,self.diff[i][0]),self.diff[i][1]) #根据图片的分类来将它们保存至对应的文件夹 if __name__=="__main__": np.random.seed(10) #文件路径添加 start = Path() pathlist = start.append() #对比度类 second = Contrast(pathlist) second.balance() #get改变对比度后的图片个数 #高斯过滤 filte = Filter(pathlist) filter_path = filte.filte_r() #数据提取及向量化 vectoring = Vectoring(filter_path) #K值的自定义 K = 3 #建模 modeling = Modeling(filter_path,K) predicted_diff,predicted_cluster = modeling.model() #预测 predicted = Predicting(predicted_diff,predicted_cluster,K) predicted.predicted()
文件如下:
(K=3)分类如下(picrure4):
白色的基本在一类
黑色的基本一类
分类出来的图片比较模糊是因为,我分类的是处理过后的图片,并非原图。
其实仔细看效果还是有的,就是确实不是太明显,图片的内容还是有点复杂的。大体的框架已经有了,只是优化的问题,调整优化,以及向量特征化的处理,就能得到更好的结果。或者使用一些更好的处理方式,我这里只是简单的使用了几种常见的图片处理方式,所以效果一般。
这里的类有点多,从上到下是类的顺序,所以一步步看还是不复杂的。如果有什么好的建议可以分享一下。
以上这篇python数据处理 根据颜色对图片进行分类的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
《魔兽世界》大逃杀!60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容,新游玩模式《强袭风暴》即将于3月21 日在亚服上线,届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕,并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时,他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中,玩家将会进入一个全新的海盗主题大逃杀式限时活动,其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场,作为一个独立于主游戏之外的活动,玩家可以用大逃杀的风格来体验《魔兽世界》,不分职业、不分装备(除了你在赛局中捡到的),光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式,玩家在加入海盗主题的预赛大厅区域前,可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹,《巨龙崛起》和《魔兽世界:巫妖王之怒 经典版》的玩家都可以获得奖励。
更新日志
- 小骆驼-《草原狼2(蓝光CD)》[原抓WAV+CUE]
- 群星《欢迎来到我身边 电影原声专辑》[320K/MP3][105.02MB]
- 群星《欢迎来到我身边 电影原声专辑》[FLAC/分轨][480.9MB]
- 雷婷《梦里蓝天HQⅡ》 2023头版限量编号低速原抓[WAV+CUE][463M]
- 群星《2024好听新歌42》AI调整音效【WAV分轨】
- 王思雨-《思念陪着鸿雁飞》WAV
- 王思雨《喜马拉雅HQ》头版限量编号[WAV+CUE]
- 李健《无时无刻》[WAV+CUE][590M]
- 陈奕迅《酝酿》[WAV分轨][502M]
- 卓依婷《化蝶》2CD[WAV+CUE][1.1G]
- 群星《吉他王(黑胶CD)》[WAV+CUE]
- 齐秦《穿乐(穿越)》[WAV+CUE]
- 发烧珍品《数位CD音响测试-动向效果(九)》【WAV+CUE】
- 邝美云《邝美云精装歌集》[DSF][1.6G]
- 吕方《爱一回伤一回》[WAV+CUE][454M]