原创 centos6.5 安裝python3.8
centos6.5 安裝python3.8 參考來源：http://ask.xmodulo.com/install-python3-centos.html 1. 安裝必要的工具 sudo yum install yum-utils
2020-06-22 18:55:22
3
原创 Hadoop生態之MapReduce工作機制二(七)
一、MapReduce程序的打包運行過程： 1> 選中待打包項目，右鍵選擇菜單export，導出項目 2> 點擊Next進行下一步操作，選擇需要打包的類，輸入導出jar包的名稱和路徑。(可以報lib包去掉，集羣上包含的有mr的依賴包
2020-06-11 04:31:54
原创 Linux基礎之CentOs安裝mysql數據庫（五）
第一種安裝方式(離線安裝)： 1.先將mysql客戶端和mysql服務器rpm軟件上傳到centos服務器 MySQL-client-5.6.25-1.linux_glibc2.5.x86_64.rpm MySQL-s
2020-06-11 04:31:54
原创 Hadoop技術生態之Hive數據倉庫二(九)
Hive數據倉庫基於shell命令行基本操作（DDL/DML）： 首先啓動hive數據庫倉庫的shell腳本模式： 命令：/opt/mysoft/hive/bin/hive 1> 查看當前Hive中有哪些數據庫 hive初始化後
2020-06-11 04:31:54
原创 Java爬蟲技術—入門祕籍之HTTP協議和robtos協議(一)
文章目錄： 入門祕籍—Http協議與robots協議 內功修煉—深入理解網絡爬蟲概念，作用，原理和爬取方式及流程 山中奇遇—得授頁面解析技術之Xpath 入駐兵器閣—獲取爬蟲神器之Jsoup 入駐兵器閣—獲取爬蟲神器之HttpClient
2020-06-11 04:31:54
原创 Hadoop生態之MapReduce工作機制(六)
MapReduce是Hadoop提供的分佈式並行計算框架，用戶不用關心如何編寫實現分佈式並行計算代碼，只需在Mapper 和Reducer 裏實現自己業務邏輯就可以了。簡化了編寫分佈式程序的複雜度。 Hadoop中的mapreduce計算
2020-06-11 04:31:54
原创 zookeeper框架基礎入門
Zookeeper的特點： 1.Zookeeper： 一個領導者（Leader), 多個跟隨者(Follower) 組成的集羣 2.集羣中只要有半數以上的節點存活，Zookeeper集羣就能正常服務。 3.全局數據一致：每個Server保
2020-04-13 19:07:37
原创 python集合 set
集合set：組合數據類型中的一種，可以存放多個、不能重複的，沒有順序的數據。 集合也是一個數據容器，所以對於數據的操作：CRUD(增加、刪除、修改、查詢) dir(set) 系統中描述出來的各種操作方式，按照字母順序自然排列 ['a
2019-10-26 04:34:10
原创 Python列表 list
python中的組合數據類型，使用list來表示：列表中可以存儲多個、可以重複的、有順序的數據。 列表中的操作函數如下： append：列表的末尾增加一個數據 extend：列表的末尾增加一組數據 insert：列表中指定位置處增加一個數
2019-10-26 04:34:10
原创 python字典 dict
字典是python中的組合數據類型，可以存放多個數據，但是字典的特點是存放的每個數據都是key-value鍵值對的對應對數據，在操作過程中，隨時可以通過key找到對應的value數據，字典中每個value數據都有一個key變量描述
2019-10-26 04:34:09
原创 python hashlib模塊
hashlib模塊主要是用於數據加密的模塊。 常用的加密算法：md5，sha，sha256，sha512等 """ 數據加密模塊 hashlib """ import hashlib password = "admin" pass
2019-10-26 04:34:09
原创 python元組 tuple
類型特點：可以存放多個、 可以重複的，有順序的數據，數據不可變。 如果項目中需要定義多個數據到一個變量中存放 存放的數據，在項目運行過程中，會發生數據的增加、修改、刪除的：選擇列表 存放的數據，在項目運行過程中，不允許改變：選
2019-10-26 04:34:08
原创 Centos常用文件或目錄操作命令
常用快捷鍵： 1.ctrl+c 停止執行 2.ctrl+l 清屏 3.ctrl+q 退出 4.tab ：自動補全 5.上下鍵：查看執行過的命令 常用命令： 1. ls 命令：用於顯示目錄下的所有文件 2. ll 命令：顯示目錄下所有文
2019-09-09 02:51:53
原创 Hadoop生態之Hadoop體系架構(一)
Hadoop是一個由Apache基金會所開發的分佈式系統基礎架構。 Hadoop是一個開源框架，可編寫和運行分佈式應用處理大規模數據。Hadoop的框架最核心的設計就是：HDFS和MapReduce。HDFS爲海量的數據提供了存儲，而Ma
2019-06-11 09:24:32
原创 Linux基礎之centos安裝JDK與tomcat（四）
JDK安裝步驟： 1.下載JDK安裝包到指定的目錄下: /usr/local/src/java jdk-8u201-linux-x64.tar.gz 2.把安裝包複製到 /usr/java目錄下: 修改壓縮包
2019-06-11 09:24:32