原创 Hadoop運行一段時間後無法stop-all.sh
這幾天需要做 不同節點的查詢試驗，才發現不能關閉節點。百度一個一番之後。 解決方法; 修改 hadoop-env.sh 文件 export HADOOP_PID_DIR=/usr/software/hadoop-2.7.2/tmp 這
2020-07-03 01:53:48
原创 Pycharm連接遠程服務器設置 Pycharm連接遠程服務器並實現遠程調試
原 Pycharm連接遠程服務器並實現遠程調試 2018年08月29日 16:14:11 Lin_Danny 閱讀數：7430 </div> <div
2020-07-03 01:53:37
原创 linux cuda10.0使用pip安裝pytorch
wget https://download.pytorch.org/whl/cu100/torch-1.3.0%2Bcu100-cp36-cp36m-linux_x86_64.whl wget https://download.pytor
2020-07-03 01:53:37
原创 hadoop paceavailable on volume '/dev/mapper/vg_master-lv_root' is 0
Hadoop 的namenode一直處於standby狀態，kill掉另一個namenode這也不能active，查看日誌 WARNorg.apache.hadoop.hdfs.server.namenode.NameNodeResour
2020-07-03 01:53:37
原创 Hadoop中sequencefile和mapfile的區別
原文網址：http://blog.csdn.net/javaman_chen/article/details/7241087 Hadoop的HDFS和MapReduce子框架主要是針對大數據文件來設計的，在小文件的處理上不但效率低
2020-02-21 07:57:44
1
原创 Hbase啓動出現的問題 master.HMasterCommandLine: Master exiting
2016-12-28 19:00:25,797 INFO [main] util.ServerCommandLine: env:NAMESRV_A
2020-02-21 07:57:44
21
原创 MapReduce讀取HBase內容到hdfs
mapper 函數： static class AnalyzMapper extends TableMapper<Text, Writable>{ private static IntWritable ONE = new IntWri
2020-02-21 07:57:44
原创 Tensorflow使用TFRecord構建自己的數據集並讀取
Tensorflow使用TFRecord構建自己的數據集並讀取 參考文章： http://blog.csdn.net/freedom098/article/details/56011858 還有 優酷上kevin大神的視頻 目標：1
2020-02-21 07:57:44
原创 windows下python numpy,scipy,pandas 等模塊的安裝
1、首先進入http://www.lfd.uci.edu/~gohlke/pythonlibs/ 找到和你需要的 .whl 包，必須和你安裝的Python的版本對應。 2、進入dos 命令， 進入到你安裝的Python目錄下的 scri
2020-02-21 07:57:44
原创 使用MapReduce結合HBase Filter過濾數據
使用MapReduce過濾HBase數據 需求：讀取hbase數據，根據某一些條件，過濾掉不符合情況的行，實現數據在服務器端的過濾。 解決方法：通過翻閱《HBase權威指南》發現，實現這個需求有以下幾種方法 ① 使用行過濾器（Ro
2020-02-21 07:57:44
原创 ubuntu ping不通DNS
前兩天剛給服務器重裝的系統，發現連不上網。通過查找發現可以ping通網管，但是ping不通設置的dns的ip。解決辦法如下： 配置dns vim /etc/resolv.conf nameserver xxx.xxx.xxx.xxx 但是
2020-02-21 07:57:44
原创 Ubuntu ssh遠程root用戶登錄失敗
第一步：現更改root的密碼： 輸入 su – 第一個爲系統啓動時設置的賬號密碼，在重新設置root密碼 第二步，修改文件 $ sudo vi /etc/ssh/sshd_config 找到PermitRootLogin
2020-02-21 07:57:44
原创 hdoop 文本數據按列去重
問題描述： 多個數據源的文件合併，根據具體幾列（根據需求確定到底是幾列）的值確定行的唯一性,刪除掉重複的行。我們假設我們的需求是根據文本的前3列來確
2020-02-21 07:57:43
原创 備註：tensorflow模型訓練時同時進行測試，將結果可視化。
1、首先創建兩個placeholder，用來存放測試數據集，和標籤。 x = tf.placeholder(tf.float32, shape = [BATCH_SIZE,256,256,3]) y_ = tf.placeholder(
2020-02-21 07:57:43
原创 window下python安裝 geopandas
參考：https://geoffboeing.com/2014/09/using-geopandas-windows/ 簡單翻譯一下： 安裝geopandas 有兩種方式 1、安裝Anaconda， 然後安裝geopandas， 如果
2019-08-09 17:56:17