此操作目的是为了制作自己的数据集,深度学习框架进行数据准备,此操作步骤包括对文件夹进行操作,将两个文件夹合并至另一个文件夹
该实例为一个煤矿工人脸识别的案例;首先原始数据集(简化版的数据集旨在说明数据准备过程)如下图所示:
该数据集只有三个人的数据,A01代表工人甲的煤矿下的照片,B01代表工人甲下矿前的照片,同理A02、B02代表工人乙的矿下、矿上的照片数据。。。
如下图所示
矿下
矿上
开始制作数据集:
首先建立训练集(0.7)和测试集(0.3),即建立一个空白文件夹
将该文件夹分为四个小文件夹(空),train代表训练集,val代表测试集,valb代表矿井下的测试集,vall代表矿井上的测试集,注:后边两个测试集可有可无
最终制作的数据集如下所示:
下面为所有的程序详解
#导入一些进行该操作需要的库 import numpy as np import os import random import shutil path=r'C:\Users\Administrator.SKY-20180518VHY\Desktop\rx\ore'#原始数据集的路径 data=os.listdir(path) #listdir该操作([添加链接描述](https://www.jb51.net/article/184106.htm))在我的上篇文章中有所介绍,此操作能读取的内容为A01、A02、A03、B01、B02、B03这些文件夹 #print(data) root=path#复制原始数据路径path
读取文件夹 A01、A02、A03、存入c列表中B01、B02、B03,将其存入d列表中
c=[] d=[]#创建两个空列表 for i in range(len(data)): a=data[i][0] if (a=='A'): c.append(data[i]) else: d.append(data[i]) #print(d)
导入路径四个空文件夹的路径
train_root='C:\\Users\\Administrator.SKY-20180518VHY\\Desktop\\myself\\train' val_root='C:\\Users\\Administrator.SKY-20180518VHY\\Desktop\\myself\\val' vall_root='C:\\Users\\Administrator.SKY-20180518VHY\\Desktop\\myself\\valb' valb_root='C:\\Users\\Administrator.SKY-20180518VHY\\Desktop\\myself\\vall' for i in range(len(c)): qqq=os.path.exists(train_root+'/'+c[i][1:]) if (not qqq): os.mkdir(train_root+'/'+c[i][1:]) qq=os.path.exists(val_root+'/'+c[i][1:]) if (not qq): os.mkdir(val_root+'/'+c[i][1:]) qq=os.path.exists(vall_root+'/'+c[i][1:]) if (not qq): os.mkdir(vall_root+'/'+c[i][1:]) qq=os.path.exists(valb_root+'/'+c[i][1:]) if (not qq): os.mkdir(valb_root+'/'+c[i][1:]) #f=[] #g=[] aq='C:\\Users\\Administrator.SKY-20180518VHY\\Desktop\\rx\\ore\\' train_root1='C:\\Users\\Administrator.SKY-20180518VHY\\Desktop\\myself\\train\\' val_root1='C:\\Users\\Administrator.SKY-20180518VHY\\Desktop\\myself\\val\\' vall_root1='C:\\Users\\Administrator.SKY-20180518VHY\\Desktop\\myself\\valb\\' valb_root1='C:\\Users\\Administrator.SKY-20180518VHY\\Desktop\\myself\\vall\\' for i in range(len(c)): a=c[i] data_0=os.listdir(aq+a) # f.append(data_0) # g.append(aq+a) #print(f) #print(g) random.shuffle(data_0)#打乱A中数据 for j in range(len(d)): b=d[j] if(a[1:]==b[1:]): data_1=os.listdir(aq+b) #print(aq+b); random.shuffle(data_1) #print(data_1) #print(data_0,data_1) for z in range(len(data_0)): #print(z) pic_path=aq+a+'/'+data_0[z] if z<int(len(data_0)*0.7): obj_path=train_root1+a[1:]+'/'+data_0[z] else: obj_path=val_root1+a[1:]+'/'+data_0[z] obl_path=vall_root1+a[1:]+'/'+data_0[z] shutil.copyfile(pic_path,obl_path) #print(len(data_0),len(data_0)*0.7) #if (os.path.exists(pic_path)): shutil.copyfile(pic_path,obj_path) for z in range(len(data_1)): pic_path=aq+b+'/'+data_1[z] if z<int(len(data_1)*0.7): obj_path=train_root1+b[1:]+'/'+data_1[z] else: obj_path=val_root1+b[1:]+'/'+data_1[z] obl_path=valb_root1+a[1:]+'/'+data_1[z] shutil.copyfile(pic_path,obl_path) #if (os.path.exists(pic_path)): shutil.copyfile(pic_path,obj_path)#shutil.copyfile( src, dst)
从源src复制到dst中去。当然前提是目标地址是具备可写权限。抛出的异常信息为IOException. 如果当前的dst已存在的话就会被覆盖掉
将数据送入pytorch中,对数据进行迭代
from __future__ import print_function, division import torch import torch.nn as nn import torch.optim as optim from torch.optim import lr_scheduler import numpy as np import torchvision from torchvision import datasets, models, transforms import matplotlib.pyplot as plt import time import os import copy import math import torch.nn.functional as F D=299 data_transforms = { 'train': transforms.Compose([ # transforms.RandomResizedCrop(D), transforms.Resize(D), transforms.RandomCrop(D), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ]), 'val': transforms.Compose([ transforms.Resize(D), transforms.CenterCrop(D), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ]), } data_dir = r'C:\Users\Administrator.SKY-20180518VHY\Desktop\myself' image_datasets = {x: datasets.ImageFolder(os.path.join(data_dir, x), data_transforms[x]) for x in ['train', 'val']} dataloaders = {x: torch.utils.data.DataLoader(image_datasets[x], batch_size=200, shuffle=True, num_workers=4) for x in ['train', 'val']} dataset_sizes = {x: len(image_datasets[x]) for x in ['train', 'val']} class_names = image_datasets['train'].classes device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") #print(image_datasets['train'][0]) img, label = image_datasets['val'][11] print(label)#输出为2即第三类
以上这篇python实现将两个文件夹合并至另一个文件夹(制作数据集)就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
python,文件夹合并,数据集
P70系列延期,华为新旗舰将在下月发布
3月20日消息,近期博主@数码闲聊站 透露,原定三月份发布的华为新旗舰P70系列延期发布,预计4月份上市。
而博主@定焦数码 爆料,华为的P70系列在定位上已经超过了Mate60,成为了重要的旗舰系列之一。它肩负着重返影像领域顶尖的使命。那么这次P70会带来哪些令人惊艳的创新呢?
根据目前爆料的消息来看,华为P70系列将推出三个版本,其中P70和P70 Pro采用了三角形的摄像头模组设计,而P70 Art则采用了与上一代P60 Art相似的不规则形状设计。这样的外观是否好看见仁见智,但辨识度绝对拉满。
更新日志
- 小骆驼-《草原狼2(蓝光CD)》[原抓WAV+CUE]
- 群星《欢迎来到我身边 电影原声专辑》[320K/MP3][105.02MB]
- 群星《欢迎来到我身边 电影原声专辑》[FLAC/分轨][480.9MB]
- 雷婷《梦里蓝天HQⅡ》 2023头版限量编号低速原抓[WAV+CUE][463M]
- 群星《2024好听新歌42》AI调整音效【WAV分轨】
- 王思雨-《思念陪着鸿雁飞》WAV
- 王思雨《喜马拉雅HQ》头版限量编号[WAV+CUE]
- 李健《无时无刻》[WAV+CUE][590M]
- 陈奕迅《酝酿》[WAV分轨][502M]
- 卓依婷《化蝶》2CD[WAV+CUE][1.1G]
- 群星《吉他王(黑胶CD)》[WAV+CUE]
- 齐秦《穿乐(穿越)》[WAV+CUE]
- 发烧珍品《数位CD音响测试-动向效果(九)》【WAV+CUE】
- 邝美云《邝美云精装歌集》[DSF][1.6G]
- 吕方《爱一回伤一回》[WAV+CUE][454M]