線性神經網絡

線性神經網絡(激活函數爲y=x)

import numpy as np
import matplotlib.pyplot as plt

#輸入數據
X=np.array([[1,3,3],
	  [1,4,3],
	  [1,1,1]])
#標籤
Y=np.array([1,1,-1])
#權值初始化,1行3列，取值範圍-1到1
W=(np.random.random(3)-0.5)*2
print(W)
#學習率設置
lr=0.11
#計算迭代次數
n=0
#神經網絡輸出
o=0

def update():
	global X,Y,W,lr,n
	n+=1
#與感知器相比就改動了這一點
	o=np.dot(X,W.T)
	W_c=lr*((Y-o.T).dot(X))/int(X.shape[0])
	W=W+W_c

for _ in range(100):
	update() #更新權值
	print(W) #打印當前權值
	print(n) #打印迭代次數
	o=np.sign(np.dot(X,W.T)) #計算當前輸出
	if(o==Y.T).all(): #如果實際輸出等於期望輸出，模型收斂，循環結束
		print('Finished')
		print('epoch:',n)
		break

#正樣本
x1=[3,4]
y1=[3,3]
#負樣本
x2=[1]
y2=[1]

#計算分界線的斜率以及截距
k=-W[1]/W[2]
d=-W[0]/W[2]
print('k=',k,',d=',d)

xdata=np.linspace(0,5)
plt.plot(xdata,xdata*k+d,'r')
plt.plot(x1,y1,'bo')
plt.plot(x2,y2,'yo')
plt.show()

解決異或問題的方法有:

現在嘗試用添加非線性成分解決異或問題。

import numpy as np
import matplotlib.pyplot as plt

#輸入數據
X=np.array([[1,0,0,0,0,0],
	  [1,0,1,0,0,1],
	  [1,1,0,1,0,0],
	  [1,1,1,1,1,1]])
#標籤
Y=np.array([-1,1,1,-1])
#權值初始化,1行3列，取值範圍-1到1
W=(np.random.random(6)-0.5)*2
print(W)
#學習率設置
lr=0.11
#計算迭代次數
n=0
#神經網絡輸出
o=0

def update():
	global X,Y,W,lr,n
	n+=1
	o=np.dot(X,W.T)
	W_c=lr*((Y-o.T).dot(X))/int(X.shape[0])
	W=W+W_c

for _ in range(1000):
	update() #更新權值
	print(W) #打印當前權值
	print(n) #打印迭代次數
	o=np.dot(X,W.T) #計算當前輸出


#正樣本
x1=[0,1]
y1=[1,0]
#負樣本
x2=[0,1]
y2=[0,1]
def calculate(x,root):
    a=W[3]
    b=W[2]+x*W[4]
    c=W[0]+x*W[1]+x*x*W[3]
    if root == 1:
        return (-b+np.sqrt(b*b-4*a*c))/(2*a)
    if root == 2:
        return (-b-np.sqrt(b*b-4*a*c))/(2*a)

xdata=np.linspace(-1,2)
plt.plot(xdata,calculate(xdata,1),'r')
plt.plot(xdata,calculate(xdata,2),'r')
plt.plot(x1,y1,'bo')
plt.plot(x2,y2,'yo')
plt.show()

看一下最終的值：

np.dot(X,W.T)

array([-0.99134175, 0.99421823, 0.99421823, -0.99552619])