原创 搭建Hadoop HA集羣
(學習筆記) 搭建Hadoop HA集羣 1、準備工作: 設置IP 關閉防火牆 service iptables stop service iptables status 自動關閉 chkconf
原创 神經網絡中優化器的作用
一句話,用來更新和計算影響模型訓練和模型輸出的網絡參數,使其逼近或達到最優值,從而最小化(或最大化)損失函數E(x) 這種算法使用各參數的梯度值來最小化或最大化損失函數E(x)。最常用的一階優化算法是梯度下降。
原创 Mapreduce算法四、key值和value值分別是組合值
package CartsDemo; import java.util.HashSet; import java.util.Set; import org.apache.hadoop.conf.Configuration; i
原创 MapReduce算法一、簡單求和計數(類似WordCount)
package MRDemo; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop
原创 Mapreduce算法五、mapJoin與標識
package MRDemo; import java.util.ArrayList; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.
原创 Mapreduce算法三、利用cleanup對reduce結果進行排序
package CartsDemo; import java.io.IOException; import java.util.HashMap; import java.util.Set; import org.apache.
原创 Mapreduce算法二、數據去重(HashSet)
package MRDemo; import java.io.IOException; import java.util.HashSet; import org.apache.hadoop.conf.Configuration
原创 (Hdoop Distributed File System )分佈式文件系統原理;HDFS文件系統基本架構和運行機制
(自己學習筆記) 1、(Hdoop Distributed File System )分佈式文件系統原理;HDFS文件系統基本架構和運行機制 原理:解決大數據的存儲問題,橫跨在多臺計算機的存儲系統,存儲在分佈式文件系統上的數據
原创 信息增益
知乎上看到的說法,覺得不錯 熵:表示隨機變量的不確定性。 條件熵:在一個條件下,隨機變量的不確定性。 信息增益:熵 - 條件熵 在一個條件下,信息不確定性減少的程度! 通俗地講,X(明天下雨)是一個隨機變量,X的熵可以算出來, Y(
原创 tensorflow的共享變量的聯繫與區別
點擊打開鏈接 可以參照上面的網頁進行學習
原创 交叉熵損失函數好文推薦
點擊打開鏈接 點擊打開鏈接
原创 LSTM循環神經網絡中的超長序列問題
點擊打開鏈接
原创 pip安裝工具包時超時問題的簡單解決
pip install snownlp --timeout 6000 直接在原有的命令後面添加 --timeout 時間即可
原创 tensorflow高階教程:tf.dynamic_rnn
點擊打開鏈接 引言 TensorFlow很容易上手,但是TensorFlow的很多trick卻是提升TensorFlow心法的法門,之前說過TensorFlow的read心法,現在想說一說TensorFlow在RNN上的心法,簡直好