(圖文並茂)深度學習實戰(4)：從mnist數據集裏面提取出圖片數據
經過上一篇的(圖文並茂)深度學習實戰(3)：mnist手寫體識別案例,我們運行了caffe自帶的mnist手寫體案例，獲得了一個mnist的模型，並且使用這個模型來預測了一下。但是是不是覺得不夠可視化？數據集樣子也看不到，而且都是使用sh腳本，很多不熟悉？
還有最重要的一點，就是官網提供的mnist數據並不是圖片，但我們以後做的實際項目可能是圖片，因此我們的練習就從圖片開始。
所以今天介紹一下從mnist數據集裏面提取出圖片數據的做法。
1.mnist二進制數據集介紹
由於在caffe下下載好的mnist數據集是類似於t10k-images-idx3-ubyte這樣的二進制文件，mnist 原二進制文件是一個訓練圖片集，一個訓練標籤集，一個測試圖片集，一個測試標籤集；
訓練集是有60000個用例的，也就是說這個文件裏面包含了60000個標籤內容，每一個標籤的值爲0到9之間的一個數。
圖示：
2.Python將MNIST數據集轉化爲圖片
編寫兩個.py文件：分別用來提取測試集，訓練集：
1.提取訓練集mnist_tiqu.py:
（其中就涉及到重命名位數不足，而採取不足5位補0）
py實現重命名+補全位數版本源碼：
# -*- coding:utf-8 -*-
# author zoutao
# 2017/11/2
import numpy as np
import struct
from PIL import Image
import os
data_file = '/home/nvidia/caffe/data/mnist/train-images-idx3-ubyte' #需要修改的路徑
# It's 47040016B, but we should set to 47040000B
data_file_size = 47040016
data_file_size = str(data_file_size - 16) + 'B'
data_buf = open(data_file, 'rb').read()
magic, numImages, numRows, numColumns = struct.unpack_from(
'>IIII', data_buf, 0)
datas = struct.unpack_from(
'>' + data_file_size, data_buf, struct.calcsize('>IIII'))
datas = np.array(datas).astype(np.uint8).reshape(
numImages, 1, numRows, numColumns)
label_file = '/home/nvidia/caffe/data/mnist/train-labels-idx1-ubyte' #需要修改的路徑
# It's 60008B, but we should set to 60000B
label_file_size = 60008
label_file_size = str(label_file_size - 8) + 'B'
label_buf = open(label_file, 'rb').read()
magic, numLabels = struct.unpack_from('>II', label_buf, 0)
labels = struct.unpack_from(
'>' + label_file_size, label_buf, struct.calcsize('>II'))
labels = np.array(labels).astype(np.int64)
datas_root = '/home/nvidia/桌面/zout_study/mnist_zt/mnist_data/train' #需要修改的路徑
if not os.path.exists(datas_root):
os.mkdir(datas_root)
for i in range(10):
file_name = datas_root + os.sep + str(i)
if not os.path.exists(file_name):
os.mkdir(file_name)
for ii in range(numLabels):
img = Image.fromarray(datas[ii, 0, 0:28, 0:28])
label = labels[ii]
#不足5位補0版本
file_name = datas_root + os.sep + str(label) + os.sep + \
str(ii).zfill(5) + '.png'
img.save(file_name)
2.提取測試集mnist_tiqu_test.py:
源碼：
#-*- coding:utf-8 -*-
# author zoutao
# 2017/11/2
import numpy as np
import struct
from PIL import Image
import os
data_file = '/home/nvidia/caffe/data/mnist/t10k-images-idx3-ubyte' #需要修改的路徑
# It's 7840016B, but we should set to 7840000B
data_file_size = 7840016
data_file_size = str(data_file_size - 16) + 'B'
data_buf = open(data_file, 'rb').read()
magic, numImages, numRows, numColumns = struct.unpack_from(
'>IIII', data_buf, 0)
datas = struct.unpack_from(
'>' + data_file_size, data_buf, struct.calcsize('>IIII'))
datas = np.array(datas).astype(np.uint8).reshape(
numImages, 1, numRows, numColumns)
label_file = '/home/nvidia/caffe/data/mnist/t10k-labels-idx1-ubyte'#需要修改的路徑
# It's 10008B, but we should set to 10000B
label_file_size = 10008
label_file_size = str(label_file_size - 8) + 'B'
label_buf = open(label_file, 'rb').read()
magic, numLabels = struct.unpack_from('>II', label_buf, 0)
labels = struct.unpack_from(
'>' + label_file_size, label_buf, struct.calcsize('>II'))
labels = np.array(labels).astype(np.int64)
datas_root = '/home/nvidia/桌面/zout_study/mnist_zt/mnist_data/test' #需要修改的路徑
if not os.path.exists(datas_root):
os.mkdir(datas_root)
for i in range(10):
file_name = datas_root + os.sep + str(i)
if not os.path.exists(file_name):
os.mkdir(file_name)
for ii in range(numLabels):
img = Image.fromarray(datas[ii, 0, 0:28, 0:28])
label = labels[ii]
#加文字版本
file_name = datas_root + os.sep + str(label) + os.sep + \
'image_name_' + str(ii) + '.png'
#不足5位補0版本
file_name = datas_root + os.sep + str(label) + os.sep + \
str(ii).zfill(5) + '.png'
img.save(file_name)
分別運行即可！
數據分成了訓練集（60000張共10類）和測試集（共10000張10類），每個類別放在一個單獨的文件夾0-9。
圖：
提取出來的圖片如下：
其中一些參考博客：
https://blog.csdn.net/qq_32166627/article/details/52640730
以上就是從mnist數據集裏面提取原始圖片數據,當然，caffe下使用python，是需要先編譯python接口的，也就是你在終端下運行python，然後import cafe 不會報錯。至於怎麼編譯的，可以參考這個系列的第一篇文章。
下一篇我們介紹mnist手寫體項目的開發。
————————————————
版權聲明：本文爲CSDN博主「csdnzoutao」的原創文章，遵循 CC 4.0 BY-SA 版權協議，轉載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/ITBigGod/article/details/83788865