1.安装bazel,从github上下载linux版的.sh文件,然后安装
2.从GitHub上下载最新的TensorFlow源码
3.进入TensorFlow源码文件夹,输入命令
bazel build tensorflow/tools/graph_transforms:transform_graph
这里会遇到各种坑,比如
ERROR: /opt/tf/tensorflow-master/tensorflow/core/kernels/BUILD:3044:1: C++ compilation of rule ‘//tensorflow/core/kernels:matrix_square_root_op' failed (Exit 4)
gcc: internal compiler error: Killed (program cc1plus)
这个错误是cpu负荷太大,需要加行代码
# 生成swap镜像文件 sudo dd if=/dev/zero of=/mnt/512Mb.swap bs=1M count=512 # 对该镜像文件格式化 sudo mkswap /mnt/512Mb.swap # 挂载该镜像文件 sudo swapon /mnt/512Mb.swap
又或者这个@aws Error downloading
我看csdn有的博主解决方法是去临时文件夹删掉文件重新下载,但是我这边发现没用,我这边的解决方法是运行bazel前先输入一条命令:
sed -i '\@https://github.com/aws/aws-sdk-cpp/archive/1.5.8.tar.gz@aws' tensorflow/workspace.bzl
命令里的网址就是实际要下载的文件的地址,因为有的地址可能改了
到这里编译bazel就完成了
4.编译完了就可以模型压缩了,也是一行代码,in_graph为输入模型路径,outputs不动,out_graph为输出模型路径,transforms就填一个quantize_weights就可以了,这个就是把32bit转成8bit的,也是此方法最有效的一步;我看有的博主还先编译summary然后打印出输入输出结点,之后再输入一大堆参数,还删除一些结点啥的,我这边都试了,最终也并没有更缩减模型大小,所以就这样就可以了。
bazel-bin/tensorflow/tools/graph_transforms/transform_graph --in_graph=../model/ctpn.pb --outputs='output_node_name' --out_graph=../model/quantized_ctpn.pb --transforms='quantize_weights'
最终从68m缩减到17m,75%的缩减比例,实测效果基本没啥差别,这方法还是很管用的。
补充:模型压缩一二三之tensorflow查看ckpt模型里的参数和数值
查看ckpt模型参数和数值
import os from tensorflow.python import pywrap_tensorflow checkpoint_path = os.path.join("<你的模型的目录>", "./model.ckpt-11000") # Read data from checkpoint file reader = pywrap_tensorflow.NewCheckpointReader(checkpoint_path) var_to_shape_map = reader.get_variable_to_shape_map() # Print tensor name and values for key in var_to_shape_map: print("tensor_name: ", key) print(reader.get_tensor(key))
注意:
1、"<你的模型目录>“是指你的meta、ckpt这些模型存储的路径。
比如路径”/models/model.ckpt-11000.meta"这种,那么"<你的模型目录>“就是”/models"
2、当目录下有多个ckpt时,取最新的model名字到ckpt-<最大数字>就可以了,后面不用了。
以上为个人经验,希望能给大家一个参考,也希望大家多多支持。如有错误或未考虑完全的地方,望不吝赐教。
tensorflow,模型压缩
更新日志
- 群星.2011《高雄国际Hi-End音响大展纪念发烧金碟》[WAV分轨]
- 康康1999-催泪[阿尔法][WAV+CUE]
- 和守望先锋太像?《星鸣特攻》开发商:我们与众不同
- 速通玩家有福了!夏季游戏速通大会正在火热进行中
- 《使命召唤》新处决动作曝光 或联动《死侍3》?
- 《陈百强出道35周年 文质翩翩》4CD[WAV+CUE][1.8GB]
- 邓丽君《思君集》3CD[WAV+CUE][1.2GB]
- 华语流行S.H.E《12CD》2001~2010[APE+CUE][3.7GB]
- 北风之望饮品怎么调配?饮品调酒配方分享
- 原画壁纸及美图第254期,无水印可自取
- 原画壁纸及美图第255期,无水印可自取
- 群星.1991-宝丽金冬日浓情【宝丽金】【WAV+CUE】
- 胡杨林.2006-香水有毒【太格印象】【WAV+CUE】
- 陈晓东.2002-从未忘记2CD【环球】【WAV+CUE】
- 绝区零珂蕾妲阵容怎么搭配好 珂蕾妲队伍搭配攻略