莫煩Tensorflow教程（1~14）

原創 daydayup_668819 2018-12-12 22:06

一、Tensorflow結構

import tensorflow as tf
import numpy as np

#create data
x_data=np.random.rand(100).astype(np.float32)
y_data=x_data*0.1+0.3

#create tensorflow structure
Weights=tf.Variable(tf.random_uniform([1],-1.0,1.0)) #一維，範圍[-1,1]
biases=tf.Variable(tf.zeros([1]))

y=Weights*x_data+biases

loss=tf.reduce_mean(tf.square(y-y_data))

#建立優化器，減小誤差，提高參數準確度，每次迭代都會優化
optimizer=tf.train.GradientDescentOptimizer(0.5) #學習效率<1
train=optimizer.minimize(loss)

#初始化變量
init=tf.global_variables_initializer()

with tf.Session() as sess:
    sess.run(init)
    #train
    for step in range(201):
        sess.run(train)
        if step%20==0:
            print(step,sess.run(Weights),sess.run(biases))

二、Session

import tensorflow as tf

matrix1 = tf.constant([[3, 3]])
matrix2 = tf.constant([[2], [2]])

# matrix multiply
# np.dot(m1,m2)
product = tf.matmul(matrix1, matrix2)

# # method 1
# sess = tf.Session()  # Session是一個object，首字母要大寫
# # 只有sess.run()之後，tensorflow纔會執行一次
# result = sess.run(product)
# print(result)
# # close 不影響，會顯得更整潔
# sess.close()

# method 2
# with 可以自己關閉會話
with tf.Session() as sess:
    result2 = sess.run(product)
    print(result2)

三、Variable

import tensorflow as tf

state=tf.Variable(0,name='counter')
# print(state.name)
# 變量+常量=變量
one=tf.constant(1)
new_value=tf.add(state,one)
#將state用new_value代替
updata=tf.assign(state,new_value)

#變量必須要激活
init=tf.global_variables_initializer()

with tf.Session() as sess:
    sess.run(init)
    for _ in range(3):
        sess.run(updata)
        print(sess.run(state))

四、placeholder

運行到sess.run()的時候再給輸入

利用feed_dict綁定

import tensorflow as tf

# 給定type，tf大部分只能處理float32數據
input1 = tf.placeholder(tf.float32)
input2 = tf.placeholder(tf.float32)

# Tensorflow 1.0 修改版
# tf.mul---tf.multiply
# tf.sub---tf.subtract
# tf.neg---tf.negative
output = tf.multiply(input1, input2)

with tf.Session() as sess:
    # placeholder在sess.run()的時候傳入值
    print(sess.run(output, feed_dict={input1: [7.], input2: [2.]}))

五、激勵函數

解決非線性問題

這裏寫圖片描述

這裏寫圖片描述

要求：必須可微分

簡單的神經網絡一般可以使用任何激勵函數；

複雜的神經網絡不能隨意選擇，會造成梯度爆炸和梯度消失的問題；

這裏寫圖片描述

如何選擇
這裏寫圖片描述

簡述激勵函數：

讓某一部分的神經元先激活，傳到後面的神經元，不同的神經元對不同的特徵敏感。

這裏寫圖片描述

激活函數的輸出：

激活 / 抑制

一般的神經網絡：

這裏寫圖片描述

激活函數就在layer2中

六、添加層

import tensorflow as tf
import numpy as np

def add_layer(inputs,in_size,out_size,activation_function=None):
    #Weights是一個矩陣，[行，列]爲[in_size,out_size]
    Weights=tf.Variable(tf.random_normal([in_size,out_size]))#正態分佈
    #初始值推薦不爲0，所以加上0.1，一行，out_size列
    biases=tf.Variable(tf.zeros([1,out_size])+0.1)
    #Weights*x+b的初始化的值，也就是未激活的值
    Wx_plus_b=tf.matmul(inputs,Weights)+biases

    #激活

    if activation_function is None:
        #激活函數爲None，也就是線性函數
        outputs=Wx_plus_b
    else:
        outputs=activation_function(Wx_plus_b)
    return outputs

七、構建一個神經網絡

import tensorflow as tf
import numpy as np

def add_layer(inputs,in_size,out_size,activation_function=None):
    #Weights是一個矩陣，[行，列]爲[in_size,out_size]
    Weights=tf.Variable(tf.random_normal([in_size,out_size]))#正態分佈
    #初始值推薦不爲0，所以加上0.1，一行，out_size列
    biases=tf.Variable(tf.zeros([1,out_size])+0.1)
    #Weights*x+b的初始化的值，也就是未激活的值
    Wx_plus_b=tf.matmul(inputs,Weights)+biases

    #激活

    if activation_function is None:
        #激活函數爲None，也就是線性函數
        outputs=Wx_plus_b
    else:
        outputs=activation_function(Wx_plus_b)
    return outputs

"""定義數據形式"""
# (-1,1)之間，有300個單位，後面的是維度，x_data是有300行（300個例子）
x_data=np.linspace(-1,1,300)[:,np.newaxis]
# 加噪聲,均值爲0，方差爲0.05，大小和x_data一樣
noise=np.random.normal(0,0.05,x_data.shape)
y_data=np.square(x_data)-0.5+noise

xs=tf.placeholder(tf.float32,[None,1])
ys=tf.placeholder(tf.float32,[None,1])

"""建立網絡"""
#定義隱藏層，輸入1個節點，輸出10個節點
l1=add_layer(xs,1,10,activation_function=tf.nn.relu)
#定義輸出層
prediction=add_layer(l1,10,1,activation_function=None)

"""預測"""
#損失函數,算出的是每個例子的平方，要求和（reduction_indices=[1]，按行求和）,再求均值
loss=tf.reduce_mean(tf.reduce_sum(tf.square(ys-prediction),reduction_indices=[1]))

"""訓練"""
#優化算法,minimize(loss)以0.1的學習率對loss進行減小
train_step=tf.train.GradientDescentOptimizer(0.1).minimize(loss)

init=tf.global_variables_initializer()

with tf.Session() as sess:
    sess.run(init)
    for i in range(1000):
        sess.run(train_step,feed_dict={xs:x_data,ys:y_data})
        if i%50==0:
            print(sess.run(loss,feed_dict={xs:x_data,ys:y_data}))

八、可視化

import tensorflow as tf
import numpy as np
import matplotlib.pylab as plt
def add_layer(inputs,in_size,out_size,activation_function=None):
    #Weights是一個矩陣，[行，列]爲[in_size,out_size]
    Weights=tf.Variable(tf.random_normal([in_size,out_size]))#正態分佈
    #初始值推薦不爲0，所以加上0.1，一行，out_size列
    biases=tf.Variable(tf.zeros([1,out_size])+0.1)
    #Weights*x+b的初始化的值，也就是未激活的值
    Wx_plus_b=tf.matmul(inputs,Weights)+biases

    #激活

    if activation_function is None:
        #激活函數爲None，也就是線性函數
        outputs=Wx_plus_b
    else:
        outputs=activation_function(Wx_plus_b)
    return outputs

"""定義數據形式"""
# (-1,1)之間，有300個單位，後面的是維度，x_data是有300行（300個例子）
x_data=np.linspace(-1,1,300)[:,np.newaxis]
# 加噪聲,均值爲0，方差爲0.05，大小和x_data一樣
noise=np.random.normal(0,0.05,x_data.shape)
y_data=np.square(x_data)-0.5+noise

xs=tf.placeholder(tf.float32,[None,1])
ys=tf.placeholder(tf.float32,[None,1])

"""建立網絡"""
#定義隱藏層，輸入1個節點，輸出10個節點
l1=add_layer(xs,1,10,activation_function=tf.nn.relu)
#定義輸出層
prediction=add_layer(l1,10,1,activation_function=None)

"""預測"""
#損失函數,算出的是每個例子的平方，要求和（reduction_indices=[1]，按行求和）,再求均值
loss=tf.reduce_mean(tf.reduce_sum(tf.square(ys-prediction),reduction_indices=[1]))

"""訓練"""
#優化算法,minimize(loss)以0.1的學習率對loss進行減小
train_step=tf.train.GradientDescentOptimizer(0.1).minimize(loss)

init=tf.global_variables_initializer()

with tf.Session() as sess:
    sess.run(init)

    fig=plt.figure()
    #連續性的畫圖
    ax=fig.add_subplot(1,1,1)
    ax.scatter(x_data,y_data)
    # 不暫停
    plt.ion()
    # plt.show()繪製一次就會暫停
    # plt.show() #也可以用plt.show(block=False)來取消暫停，但是python3.5以後提供了ion的功能，更方便
    for i in range(1000):
        sess.run(train_step,feed_dict={xs:x_data,ys:y_data})
        if i%50==0:
            # print(sess.run(loss,feed_dict={xs:x_data,ys:y_data}))
            #嘗試先抹除，後繪製第二條線
            #第一次沒有線，會報錯，try就會忽略錯誤，然後緊接着執行下面的步驟
            try:
                # 畫出一條後抹除掉,去除第一個線段，但是隻有一個，也就是抹除當前的線段
                ax.lines.remove(lines[0])
            except Exception:
                pass
            prediction_value=sess.run(prediction,feed_dict={xs:x_data})
            lines=ax.plot(x_data,prediction_value,'r-',lw=5) #lw線寬

            # 暫停0.1s
            plt.pause(0.1)

這裏寫圖片描述

這裏寫圖片描述

九、加速神經網絡訓練

網絡越複雜，數據越多，參數越多，訓練時間越長，但是往往爲了解決複雜的問題，網絡複雜度高不可避免，所以要使用某些方法使得網絡運行更快。

1. 隨機梯度下降

2. 在參數更新上優化

3. 學習率

十、優化器

是對學習率的改變

從初始的cost慢慢走到最小cost的過程

十一、可視化 Tensorboard

1. Tensorboard安裝：

pip install tensorboard
  • 1

2. 編程獲得logs文件夾下的可視化文件
這裏寫圖片描述

3. 進入cmd，到保存文件的路徑下

cd E:\python\mofan Tensorflow\logs
  • 1

4. 啓動Tensorboard

Tensorboard --logdir=logs
  • 1

天吶，不知道哪天手殘把系統變量的Path給刪除了，整了一晚上安裝Tensorboard都出錯，終於發現了是Path的問題，以後還是乖乖的，啥也不敢刪除了。

這裏寫圖片描述

如何複製其中的內容？

1）右鍵上面的空白邊，出現下面界面：

這裏寫圖片描述

2）點擊“標記”

3）選中，點擊“Enter”，就複製了

 http://PC-20160519HGCD:6006
  • 1

最好使用google chrome打開網址，即可看到graphs。

十二、分類學習

這裏寫圖片描述
28*28=784個數據點，也就是x輸入的大小

總共0~9，也就是y輸出的大小

代表3：這裏寫圖片描述

黑色格子表示爲分類結果：

這裏寫圖片描述

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

mnist=input_data.read_data_sets('MNIST_data',one_hot=True)

def add_layer(inputs,in_size,out_size,activation_function=None):
    #Weights是一個矩陣，[行，列]爲[in_size,out_size]
    Weights=tf.Variable(tf.random_normal([in_size,out_size]))#正態分佈
    #初始值推薦不爲0，所以加上0.1，一行，out_size列
    biases=tf.Variable(tf.zeros([1,out_size])+0.1)
    #Weights*x+b的初始化的值，也就是未激活的值
    Wx_plus_b=tf.matmul(inputs,Weights)+biases

    #激活

    if activation_function is None:
        #激活函數爲None，也就是線性函數
        outputs=Wx_plus_b
    else:
        outputs=activation_function(Wx_plus_b)
    return outputs

def compute_accuracy(v_xs,v_ys):
    #全局變量
    global prediction
    #生成預測值，也就是概率，即每個數字的概率
    y_pre=sess.run(prediction,feed_dict={xs:v_xs})
    #對比預測的數據是否和真實值相等，對比位置是否相等，相等就對了
    correct_prediction=tf.equal(tf.arg_max(y_pre,1),tf.arg_max(v_ys,1))
    #計算多少個對，多少個錯
    #tf.cast(x,dtype)，將x數據轉換爲dtype類型
    accuracy=tf.reduce_mean(tf.cast(correct_prediction,tf.float32))
    result=sess.run(accuracy,feed_dict={xs:v_xs,ys:v_ys})
    return result

# define placeholder for inputs to networks
# 不規定有多少個sample，但是每個sample大小爲784（28*28）
xs=tf.placeholder(tf.float32,[None,784])
ys=tf.placeholder(tf.float32,[None,10])

#add output layer
prediction=add_layer(xs,784,10,activation_function=tf.nn.softmax)

#the error between prediction and real data
cross_entropy=tf.reduce_mean(-tf.reduce_sum(ys*tf.log(prediction),reduction_indices=[1]))
train_strp=tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)

init=tf.global_variables_initializer()

with tf.Session() as sess:
    sess.run(init)
    for i in range(2000):
        batch_xs,batch_ys=mnist.train.next_batch(100)
        sess.run(train_strp,feed_dict={xs:batch_xs,ys:batch_ys})

        if i%50==0:
            print(compute_accuracy(mnist.test.images,mnist.test.labels))

結果：

0.1415
0.6516
0.751
0.7875
0.8115
0.8247
0.837
0.8403
0.8448
0.8532
0.8585
0.8594
0.8618
0.8631
0.8644
0.098
0.098
0.098

十三、過擬合

這裏寫圖片描述

分類中的過擬合：

這裏寫圖片描述

實際：
這裏寫圖片描述

對十字形的新數據分類錯誤

解決方法：

1）增加數據量

過擬合的原因是模型複雜度和數據量不匹配，也就是數據量太小

這裏寫圖片描述

當數據量增大時，紅線被拉直，沒有那麼扭曲

這裏寫圖片描述

2）正則化

WW變化太大，則讓cost的變化也變大。

這裏寫圖片描述

3）專門用於神經網絡的訓練方法：Dropout regularization

第一次訓練：隨機去掉神經網絡節點和網絡連接：

這裏寫圖片描述

這裏寫圖片描述

第二次訓練：再次隨機去掉一些參數

這裏寫圖片描述

意義：每一次預測的結果都不會依賴於某部分特定的神經元，例如Regularization，當過度依賴某些WW的數值會很大，L1/L2會懲罰大的參數，而Dropout是從根本上不讓其過度依賴某些神經元。

十四、Dropout解決over-fitting

這裏寫圖片描述

黑色的線是理想的分割線，綠色的曲線就是過擬合的曲線，所以要避免讓機器學習學到綠色的線

這裏寫圖片描述

  • 第一條是直線擬合，沒有很好的擬合效果，underfit
  • 第二條效果較好，just right
  • 第三條是過擬合，over-fitting

Tensorflow解決overfitting——dropout

Summary：所有需要在TensorBoard上展示的統計結果。
tf.name_scope()：爲Graph中的Tensor添加層級，TensorBoard會按照代碼指定的層級進行展示，初始狀態下只繪製最高層級的效果，點擊後可展開層級看到下一層的細節。
tf.summary.scalar()：添加標量統計結果。
tf.summary.histogram()：添加任意shape的Tensor，統計這個Tensor的取值分佈。
tf.summary.merge_all()：添加一個操作，代表執行所有summary操作，這樣可以避免人工執行每一個summary op。
tf.summary.FileWrite：用於將Summary寫入磁盤，需要制定存儲路徑logdir，如果傳遞了Graph對象，則在Graph Visualization會顯示Tensor Shape Information。執行summary op後，將返回結果傳遞給add_summary()方法即可。

未使用dropout：

import tensorflow as tf
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import LabelBinarizer

#load data
digits=load_digits()
#0~9的圖像
X=digits.data
#y是binary的，表示數字1，就在第二個位置放上1，其餘都爲0
y=digits.target
y=LabelBinarizer().fit_transform(y)
#切分
X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=3)

def add_layer(inputs,in_size,out_size,layer_name,activation_function=None):
    #Weights是一個矩陣，[行，列]爲[in_size,out_size]
    Weights=tf.Variable(tf.random_normal([in_size,out_size]))#正態分佈
    #初始值推薦不爲0，所以加上0.1，一行，out_size列
    biases=tf.Variable(tf.zeros([1,out_size])+0.1)
    #Weights*x+b的初始化的值，也就是未激活的值
    Wx_plus_b=tf.matmul(inputs,Weights)+biases

    #激活

    if activation_function is None:
        #激活函數爲None，也就是線性函數
        outputs=Wx_plus_b
    else:
        outputs=activation_function(Wx_plus_b)
    # 下面的表示outputs的值
    tf.summary.histogram(layer_name+'/outputs',outputs)

    return outputs

#define placeholder for inputs to network
xs=tf.placeholder(tf.float32,[None,64])
ys=tf.placeholder(tf.float32,[None,10])

#add output layer
# l1爲隱藏層，爲了更加看出overfitting，所以輸出給了100
l1=add_layer(xs,64,100,'l1',activation_function=tf.nn.tanh)

prediction=add_layer(l1,100,10,'l2',activation_function=tf.nn.softmax)

#the error between prediction and real data
cross_entropy=tf.reduce_mean(-tf.reduce_sum(ys*tf.log(prediction),reduction_indices=[1]))
#添加標量統計結果
tf.summary.scalar('loss',cross_entropy)
train_step=tf.train.GradientDescentOptimizer(0.6).minimize(cross_entropy)

init=tf.global_variables_initializer()

with tf.Session() as sess:
    sess.run(init)
    #添加一個操作，代表執行所有summary操作，這樣可以避免人工執行每一個summary op
    merged=tf.summary.merge_all()
    #summary writer goes in here
    train_writer=tf.summary.FileWriter("logs/train",sess.graph)#train爲log的子文件夾
    test_writer=tf.summary.FileWriter("logs/test",sess.graph)
    for i in range(500):
        sess.run(train_step,feed_dict={xs:X_train,ys:y_train})
        if i%50==0:
            #record loss
            train_result=sess.run(merged,feed_dict={xs:X_train,ys:y_train})
            test_result = sess.run(merged, feed_dict={xs: X_test, ys: y_test})
            train_writer.add_summary(train_result,i)
            test_writer.add_summary(test_result,i)

這裏寫圖片描述

紅色：testdata

綠色：trainingdata

使用dropout：

當train_result=sess.run(merged,feed_dict{xs:X_train,ys:y_train,keep_prob:1})時，也就是訓練數據未使用dropout時，仍然有過擬合
這裏寫圖片描述

當train_result=sess.run(merged,feed_dict{xs:X_train,ys:y_train,keep_prob:0.5})時，兩者擬合的很好

這裏寫圖片描述


import tensorflow as tf
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import LabelBinarizer

#load data
digits=load_digits()
#0~9的圖像
X=digits.data
#y是binary的，表示數字1，就在第二個位置放上1，其餘都爲0
y=digits.target
y=LabelBinarizer().fit_transform(y)
#切分
X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=3)

def add_layer(inputs,in_size,out_size,layer_name,activation_function=None):
    #Weights是一個矩陣，[行，列]爲[in_size,out_size]
    Weights=tf.Variable(tf.random_normal([in_size,out_size]))#正態分佈
    #初始值推薦不爲0，所以加上0.1，一行，out_size列
    biases=tf.Variable(tf.zeros([1,out_size])+0.1)
    #Weights*x+b的初始化的值，也就是未激活的值
    Wx_plus_b=tf.matmul(inputs,Weights)+biases
    #dropout 主功能，drop掉50%的結果，輸出更新後的結果
    Wx_plus_b=tf.nn.dropout(Wx_plus_b,keep_prob)
    #激活

    if activation_function is None:
        #激活函數爲None，也就是線性函數
        outputs=Wx_plus_b
    else:
        outputs=activation_function(Wx_plus_b)
    # 下面的表示outputs的值
    tf.summary.histogram(layer_name+'/outputs',outputs)

    return outputs

#define placeholder for inputs to network
"""dropout"""
# 確定保留多少結果不被捨棄掉
keep_prob=tf.placeholder(tf.float32)

xs=tf.placeholder(tf.float32,[None,64])
ys=tf.placeholder(tf.float32,[None,10])

#add output layer
# l1爲隱藏層，爲了更加看出overfitting，所以輸出給了100
l1=add_layer(xs,64,50,'l1',activation_function=tf.nn.tanh)

prediction=add_layer(l1,50,10,'l2',activation_function=tf.nn.softmax)

#the error between prediction and real data
cross_entropy=tf.reduce_mean(-tf.reduce_sum(ys*tf.log(prediction),reduction_indices=[1]))
#添加標量統計結果
tf.summary.scalar('loss',cross_entropy)
train_step=tf.train.GradientDescentOptimizer(0.6).minimize(cross_entropy)

init=tf.global_variables_initializer()

with tf.Session() as sess:
    sess.run(init)
    #添加一個操作，代表執行所有summary操作，這樣可以避免人工執行每一個summary op
    merged=tf.summary.merge_all()
    #summary writer goes in here
    train_writer=tf.summary.FileWriter("logs/train",sess.graph)#train爲log的子文件夾
    test_writer=tf.summary.FileWriter("logs/test",sess.graph)
    for i in range(500):
        # drop掉60%，保持40%不被drop掉
        sess.run(train_step,feed_dict={xs:X_train,ys:y_train,keep_prob:0.4})
        if i%50==0:
            #record loss（不要drop掉任何東西，所以爲1）
            train_result=sess.run(merged,feed_dict={xs:X_train,ys:y_train,keep_prob:0.5})
            test_result = sess.run(merged, feed_dict={xs: X_test, ys: y_test,keep_prob:1})
            train_writer.add_summary(train_result,i)
            test_writer.add_summary(test_result,i)
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

[深度之眼]LeNet/AlexNet/VGGNet/InceptionNet/ResNet實現fashion_mnist分類

本文使用五種經典卷積神經網絡，實現fashion_mnist十分類問題，並對比準確度和運行時間LeNet5 原理AlexNet8 原理VGGNet16 原理InceptionNet10 原理ResNet18 原理 用到的包： im

TF_Keras 2020-07-08 11:53:37

深度學習基礎——張量的通俗理解

轉載鏈接：https://www.cnblogs.com/abella/p/10142935.html   也許你已經下載了TensorFlow，而且準備開始着手研究深度學習。但是你會疑惑：TensorFlow裏面的Tensor，也就是“

SupreEvi 2020-07-08 11:53:15

視頻目標分割之Video Object Segmentation using Space-Time Memory Networks

Video Object Segmentation using Space-Time Memory Networks 文章目錄Video Object Segmentation using Space-Time Memory Ne

有为少年 2020-07-08 11:18:09

基於attention機制實現 CRNN OCR文字識別

定義網絡結構 實現 BahdanauAttention，其中socre的實現方法爲 perceptron 形式 class BahdanauAttention(tf.keras.Model): def __init__(sel

koibiki 2020-07-08 12:23:28

opencv 加載tensorflow pb模型

opencv加載的pb模型必須是用tf.layers 和 tf.nn 下的api構建的,使用slim會在加載時報未知的layer的錯誤 基本流程: 1.加載pb bool CardDetect::load_model(string mo

koibiki 2020-07-08 12:23:28

深度學習-攢機小記

預算1w以內吧。 下面是英偉達DevBox的配置，可以作爲參考。 The DIGITS DevBox includes the following hardware and software: Four TITAN X GPU

路越 2020-07-08 12:17:40

聊天機器人/對話生成

在這裏記錄一下聊天機器人方面的瞭解。算是一個Survey吧。 聊天機器人有兩種技術方向： 1. 基於檢索 2. 基於生成模型 術語 Generation based automatic chatting system Ne

路越 2020-07-08 12:17:40

推薦系統系列（二）：從零開始搭建基於向量的推薦策略

從零開始搭建基於向量的推薦策略背景架構離線Pipeline搭建用戶行爲日誌上報日誌存儲到數據倉庫數據預處理模型訓練構建項目索引在線服務用戶向量預測最近項目查找總結參考 背景 向量召回/語義向量召回是現在流行的一種推薦策略，簡單來說

路越 2020-07-08 12:17:27

論文解讀：Single path one-shot neural architecture search with uniform sampling

Single path one-shot neural architecture search with uniform sampling 1、總覽 大多數搜索空間鬆弛化的方法裏，結構分佈是被連續地參數化了，這些參數在超網絡訓練時一同被

Lawrence-C 2020-07-08 12:06:15

深度學習論文中的一些術語（僅備份用，不定時更新）

hinge loss: 是機器學習領域中的一種損失函數，可用於“最大間隔(max-margin)”分類 hinge loss 函數是凸函數，因此機器學習中很多的凸優化方法同樣適用於 hinge loss empirical risk: 經

forg_ood 2020-07-08 12:04:52

深度學習_目標檢測_FPN論文詳解

FPN的創新點 多層特徵 特徵融合 解決了目標檢測中的多尺度問題，通過簡單的網絡連接改變，在基本不增加原有模型計算量的情況下，大幅度提升小物體（small object）的檢測性能。 在物體檢測裏面，有限計算量情況下，網絡的深

CV-GANRocky 2020-07-08 11:57:07

深度學習_目標檢測_“YOLOv5”詳解（持續更新）

YOLOv5可以方便的進行工程化部署： YOLOv5（PyTorch）−>ONNX−>CoreML−>iosYOLOv5（PyTorch） -> ONNX -> CoreML -> iosYOLOv5（PyTorch）−>ONNX

CV-GANRocky 2020-07-08 11:57:07

TensorFlow+CNN+OpenCV快速識別中文驗證碼

聲明:文章僅源自個人興趣愛好，不涉及他用，侵權聯繫刪。 轉載請註明：轉自此博文https://leejason.blog.csdn.net/article/details/106150572 TensorFlow+CNN+Open

郑德帅 2020-07-08 11:43:39

apt-get update 卡在working 0 已解決

Ign:1 http://mirrors.163.com/ubuntu trusty InRelease Get:2 http://mirrors.163.com/ubuntu trusty-security InRelease

一蓑烟雨任平生yu 2020-07-08 11:20:23

深度學習調參技巧pdf . Free download!

這裏有一份深度學習的調參技巧 《Neural Networks: Tricks of the Trade》收錄了許多論文裏提出的調參技巧。送給大家！ 鏈接: https://pan.baidu.com/s/1dtKVOYsu6pY

一蓑烟雨任平生yu 2020-07-08 11:20:22