原创 搭建Hadoop HA集羣

(學習筆記) 搭建Hadoop HA集羣 1、準備工作: 設置IP 關閉防火牆 service iptables stop service iptables status 自動關閉 chkconf

原创 神經網絡中優化器的作用

一句話,用來更新和計算影響模型訓練和模型輸出的網絡參數,使其逼近或達到最優值,從而最小化(或最大化)損失函數E(x) 這種算法使用各參數的梯度值來最小化或最大化損失函數E(x)。最常用的一階優化算法是梯度下降。

原创 Mapreduce算法四、key值和value值分別是組合值

package CartsDemo; import java.util.HashSet; import java.util.Set; import org.apache.hadoop.conf.Configuration; i

原创 MapReduce算法一、簡單求和計數(類似WordCount)

package MRDemo; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop

原创 Mapreduce算法五、mapJoin與標識

package MRDemo; import java.util.ArrayList; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.

原创 Mapreduce算法三、利用cleanup對reduce結果進行排序

package CartsDemo; import java.io.IOException; import java.util.HashMap; import java.util.Set; import org.apache.

原创 Mapreduce算法二、數據去重(HashSet)

package MRDemo; import java.io.IOException; import java.util.HashSet; import org.apache.hadoop.conf.Configuration

原创 (Hdoop Distributed File System )分佈式文件系統原理;HDFS文件系統基本架構和運行機制

(自己學習筆記) 1、(Hdoop Distributed File System )分佈式文件系統原理;HDFS文件系統基本架構和運行機制 原理:解決大數據的存儲問題,橫跨在多臺計算機的存儲系統,存儲在分佈式文件系統上的數據

原创 信息增益

知乎上看到的說法,覺得不錯 熵:表示隨機變量的不確定性。 條件熵:在一個條件下,隨機變量的不確定性。 信息增益:熵 - 條件熵 在一個條件下,信息不確定性減少的程度! 通俗地講,X(明天下雨)是一個隨機變量,X的熵可以算出來, Y(

原创 tensorflow的共享變量的聯繫與區別

點擊打開鏈接 可以參照上面的網頁進行學習

原创 交叉熵損失函數好文推薦

點擊打開鏈接 點擊打開鏈接

原创 LSTM循環神經網絡中的超長序列問題

點擊打開鏈接

原创 pip安裝工具包時超時問題的簡單解決

pip install snownlp --timeout 6000 直接在原有的命令後面添加 --timeout 時間即可

原创 tensorflow高階教程:tf.dynamic_rnn

點擊打開鏈接 引言 TensorFlow很容易上手,但是TensorFlow的很多trick卻是提升TensorFlow心法的法門,之前說過TensorFlow的read心法,現在想說一說TensorFlow在RNN上的心法,簡直好

原创 DataFrame 數據合併,連接(merge,join,concat)

點擊打開鏈接