最近看到一個巨牛的人工智能教程,分享一下給大家。教程不僅是零基礎,通俗易懂,而且非常風趣幽默,像看小說一樣!覺得太牛了,所以分享給大家。平時碎片時間可以當小說看,【點這裏可以去膜拜一下大神的“小說”】。
1 量化爲PB格式模型
從官方提供的tensorflow版本與編譯工具版本中選擇bazel版本下載,各個版本的Tensorflow與各個編譯環境映射表如下。
版本 | Python 版本 | 編譯器 | 編譯工具 | cuDNN | CUDA |
---|---|---|---|---|---|
tensorflow_gpu-1.13.1 | 2.7 、3.3-3.6 | GCC 4.8 | Bazel 0.19.2 | 7.4 | 10.0 |
tensorflow_gpu-1.12.0 | 2.7、3.3-3.6 | GCC 4.8 | Bazel 0.15.0 | 7 | 9 |
tensorflow_gpu-1.11.0 | 2.7、3.3-3.6 | GCC 4.8 | Bazel 0.15.0 | 7 | 9 |
tensorflow_gpu-1.10.0 | 2.7、3.3-3.6 | GCC 4.8 | Bazel 0.15.0 | 7 | 9 |
tensorflow_gpu-1.9.0 | 2.7、3.3-3.6 | GCC 4.8 | Bazel 0.11.0 | 7 | 9 |
tensorflow_gpu-1.8.0 | 2.7、3.3-3.6 | GCC 4.8 | Bazel 0.10.0 | 7 | 9 |
tensorflow_gpu-1.7.0 | 2.7、3.3-3.6 | GCC 4.8 | Bazel 0.9.0 | 7 | 9 |
tensorflow_gpu-1.6.0 | 2.7、3.3-3.6 | GCC 4.8 | Bazel 0.9.0 | 7 | 9 |
tensorflow_gpu-1.5.0 | 2.7、3.3-3.6 | GCC 4.8 | Bazel 0.8.0 | 7 | 9 |
tensorflow_gpu-1.4.0 | 2.7、3.3-3.6 | GCC 4.8 | Bazel 0.5.4 | 6 | 8 |
tensorflow_gpu-1.3.0 | 2.7、3.3-3.6 | GCC 4.8 | Bazel 0.4.5 | 6 | 8 |
tensorflow_gpu-1.2.0 | 2.7、3.3-3.6 | GCC 4.8 | Bazel 0.4.5 | 5.1 | 8 |
tensorflow_gpu-1.1.0 | 2.7、3.3-3.6 | GCC 4.8 | Bazel 0.4.2 | 5.1 | 8 |
tensorflow_gpu-1.0.0 | 2.7、3.3-3.6 | GCC 4.8 | Bazel 0.4.2 | 5.1 | 8 |
1.1 安裝bazel
打開地址:【Bazel官網】閱讀詳細的安裝步驟,從https://github.com/bazelbuild/bazel/releases/tag/0.19.2 下載0.19版本的bazel,這裏我們在linux平臺下安裝,因此選擇bazel-0.19.2-installer-linux-x86_64.sh
如下圖所示
安裝bazel:
# Step 1: Install required packages
sudo apt-get install pkg-config zip g++ zlib1g-dev unzip python3
# Step 2: Run the installer
chmod +x bazel-<version>-installer-linux-x86_64.sh
./bazel-0.19-installer-linux-x86_64.sh --user
# Step 3: Set up your environment
export PATH="$PATH:$HOME/bin"
# Step 4: Install the JDK
sudo apt-get install openjdk-8-jdk
安裝過程中如果有以下異常:
bazel depends on google-jdk | java8-jdk | java8-sdk | oracle-java8-installer; however:
Package google-jdk is not installed.
Package java8-jdk is not installed.
Package java8-sdk is not installed.
Package oracle-java8-installer is not installed.
先輸入java -version
看java
是否安裝成功,如果沒安裝成功則重新安裝java
如果java正常,則輸入:sudo apt-get install -f
再安裝bazel
1.2 下載Tensorflow源碼
下載1.13
版本Tensorflow
源碼:https://github.com/tensorflow/tensorflow/tree/v1.13.2
使用bazel
編譯tensorflow
量化工具
bazel build tensorflow/tools/graph_transforms:transform_graph
1.3 執行轉換量化命令
將導出的pb模型執行模型量化轉換,以tensorflow_inception_graph.pb
模型爲例,命令如下:
bazel-bin/tensorflow/tools/graph_transforms/transform_graph \
--in_graph=tensorflow_inception_graph.pb \
--out_graph=optimized_inception_graph.pb \
--inputs='Mul:0' \
--outputs='softmax:0' \
--transforms='
strip_unused_nodes(type=float, shape="1,299,299,3")
remove_nodes(op=Identity, op=CheckNumerics)
fold_old_batch_norms
'
2 量化爲TFLite格式模型
除了使用transform_graph工具對pb模型進行量化轉換外,還可以使用TFLite對模型進行量化處理,但是需要注意的是,使用TFLite轉換得到的量化模型是tflite結構,意味着只能在tflite中運行(大部分場景爲移動端),可以參考官網詳細使用步驟:【https://www.tensorflow.org/lite/performance/post_training_quantization】
一個簡單的示例如下:
import tensorflow as tf
converter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir)
converter.optimizations = [tf.lite.Optimize.OPTIMIZE_FOR_SIZE]
tflite_quant_model = converter.convert()