原创 Hadoop學習筆記：HDFS理論知識
閱讀目錄HDFS介紹分佈式文件系統的結構HDFS主要組件的功能名稱節點（NameNode）SecondaryNameNode第二名稱節點數據節點（DataNode）HDFS體系結構的侷限性 HDFS介紹 HDFS是hadoop自帶
2020-06-30 04:30:30
原创 python學習筆記（進階）
閱讀目錄一、 *args與**kwargs的用法二、使⽤ *args 和 **kwargs 來調⽤函數標準參數與*args、**kwargs在使⽤時的順序三、⽣成器(Generators)四、Map，Filter 和 Reduce
2020-06-30 04:30:30
原创 SecureCRT無法退格和刪除、中文亂碼的解決方法
1、無法退格和刪除 選擇----->會話選項---->映射鍵---->勾選兩個勾 仿真---->終端選擇linux 2、中文亂碼的解決方法 修改完編碼格式可能不會立即生效，需要重啓SercureCRT。 外觀---->字符編碼
2020-06-30 04:30:30
原创 數據結構與算法——隊列（筆記）
目錄隊列1、定義2、隊列特點：先進先出(FIFO)3、隊列的基本運算：4、隊列的存儲結構（1）隊列的順序存儲。爲了區別對空和隊滿的情況：設隊列中的元素爲整型，則循環隊列的類型定義爲：創建一個空的循環隊列：判斷隊列是否爲空元素入循環
2020-06-30 04:30:28
原创 Flask-WTF之表單驗證
閱讀目錄安裝Flask-WTF目錄結構Flask_WTF.pyindex.html效果：點擊提交按鈕：記一些錯誤： 安裝Flask-WTF pip install Flask-WTF 目錄結構 Flask_WTF.py from
2020-06-30 04:30:28
原创 機器學習筆記（二）：迴歸分析
閱讀目錄線性模型1、基本形式2、線性迴歸3、迴歸練習4、利用波士頓房價數據構造一個線性迴歸模型，其中房間數爲自變量，房價爲目標變量，並求出迴歸係數。5、邏輯迴歸6、例子：通過分析不同的因素對研究生錄取的影響來預測一個人是否會被錄取
2020-06-30 04:30:28
原创 機器學習筆記（一）：緒論、模型評估與選擇
目錄什麼是機器學習？基本術語歸納與演繹歸納偏好經驗誤差與過擬合1、真實值與預測值2、“過”與“不及”評估方法1、訓練集與測試集2、測試誤差與泛化誤差性能度量比較檢驗與偏差方差泛化錯誤率的構成：偏差＋方差＋噪聲練習1、查準率／準確率
2020-06-30 04:30:28
原创 spark sql 的一些基本操作
一、dataframe的創建 scala> import spark.implicits._ import spark.implicits._ scala> val df = spark.read.json("file:///u
2020-06-30 04:30:26
原创 Sqoop的安裝與簡單案例分析
一、安裝Sqoop 1、下載並解壓 wget -c http://ftp.riken.jp/net/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz tar -zxvf
2020-06-30 04:30:26
原创 redis安裝和簡單案例演示
一、安裝redis 1、下載redis wget http://download.redis.io/releases/redis-4.0.8.tar.gz 2.解壓 tar xzvf redis-4.0.8.tar.gz -C
2020-06-30 04:30:26
原创 Hadoop之HDFS讀寫文件過程（流程圖+代碼）
閱讀目錄一、HDFS文件讀取過程HDFS文件讀取的流程圖：流程圖的說明：代碼：二、HDFS文件寫入過程HDFS文件寫入的流程圖流程圖的說明：代碼： 一、HDFS文件讀取過程 當客戶端需要讀取文件時，首先向NameNode發起讀請
2020-06-30 04:30:26
3
原创 hbase僞分佈安裝和hbase案例
一、安裝hbase 1、下載 wget https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/hbase-2.2.4-bin.tar.gz 2、解壓並修改文件名 tar
2020-06-30 04:30:26
原创 Hadoop 之Mapreduce wordcount詞頻統計案例（詳解）
閱讀目錄一、創建項目 ：example-hdfs二、項目目錄三、WordCountMapper.class四、WordCountReducer.class五、WordCounfDriver.class六、pom.xml七、打包ja
2020-06-30 04:30:26
1
原创 Spark Streaming基礎案例實現
文件流 在文件流的應用場景中，需要編寫Spark Streaming 程序，一直對文件系統的某個目錄進行監聽，一旦發現有新的文件生成， Spark Streaming就會自動把文件內容讀取過來，使用用戶自定義的處理邏輯進行處理
2020-06-30 04:30:26
原创 Spark之RDD編程常用算子代碼例子
閱讀目錄RDD一、創建RDD1、從對象集合創建RDD2、從外部存儲創建RDD（1）從HDFS文件創建RDD（2）從Linux本地文件創建RDD二、轉換算子1、map()算子2、filter()算子3、flatMap()算子4、di
2020-04-23 07:35:15