原创 NameNode 和 SecondaryNameNode

目錄 一、NN和2NN工作機制 二、NN和2NN工作機制詳解 三、Fsimage 和 Edits解析 四、oev查看Edits文件 五、CheckPoint 時間設置 六、 NameNode故障處理 七、集羣安全模式 八、NameNode

原创 HDFS 之 DataNode 核心知識點

目錄 一、DataNode工作機制 二、數據完整性 三、掉線時限參數設置 四、服役新數據節點 五、添加白名單 六、黑名單退役 七、Datanode多目錄配置 一、DataNode工作機制 DataNode工作機制,如下所示: 【1】一個數

原创 HDFS 讀寫數據流程

目錄 一、HDFS 寫數據流程 二、網絡拓撲-節點距離計算 三、機架感知 四、HDFS 讀數據流程 一、HDFS 寫數據流程 HDFS 文件寫入流程圖如下:三個模塊(客戶端、NameNode、DataNode) 【1】校驗:客戶端通過 D

原创 HDFS 組織架構

目錄 一、HDFS 概述 二、HDFS 優缺點 三、HDFS 組成架構 四、HDFS 文件塊大小 一、HDFS 概述 HDFS 產生背景:隨着數據量越來越多,一個系統存儲不下所有的數據,那麼就需要分配到多個操作系統的磁盤中進行存儲,但是不

原创 Java開發人員犯的10大錯誤

目錄 一、將數組轉換爲ArrayList 二、檢查數組是否包含值 三、從循環內的列表中刪除元素 四、HashTable 與 HashMap 五、使用原始集合類型 六、訪問權限 七、ArrayList與LinkedList 八、可變與不可變

原创 Linux 多服務器時間同步設置

目錄 一、配置時間服務器具體步驟 二、其他機器配置(必須root用戶) 找一個機器,作爲時間服務器,所有的機器與這臺集羣時間進行定時的同步,比如,每隔十分鐘,同步一次時間。 一、配置時間服務器具體步驟 【1】檢查 ntp(NTP是網

原创 SSH 無密登錄配置流程

目錄 一、免密登錄原理 二、操作 三、.ssh文件夾下(~/.ssh)的文件功能解釋 一、免密登錄原理 非對稱加密:由於對稱加密的存在弊端,就產生了非對稱加密,非對稱加密中有兩個密鑰:公鑰和私鑰。公鑰由私鑰產生,但卻無法推算出私鑰;公鑰加

原创 分佈式事務原理【理論篇】

目錄 一、本地事務 二、分佈式事務 三、分佈式事務產生的場景 四、CAP 理論 五、CAP 組合方式 一、本地事務 在計算機系統中,更多的是通過計算機控制事務,這是利用數據庫本身的事務特性來實現的,因此叫數據庫事務,由於應用主要靠關係數據

原创 作爲架構師的我,微服務註冊中心該如何選型

我只總結乾貨,不喜歡扯爐子。肯定還有很多方面沒有涉及到,希望各位指出。ths~ 市面上流行的開源註冊中心很多,耳熟能詳的有 Eureka、Zookeeper、Nacos、Consul。我們在選型的時候也主要從這四個組件中進行篩選。下面

原创 JWT 跨域身份驗證

一、傳統用戶身份驗證 Internet 服務無法與用戶身份驗證分開。一般過程如下:這種模式最大的問題是,沒有分佈式架構,無法支持橫向擴展。 【1】用戶向服務器發送用戶名和密碼; 【2】驗證服務器後,相關數據(如用戶角色,登錄時間等)將保

原创 踏入大數據的第一天,我先入入門

目錄 一、大數據特點 二、大數據能幹啥 三、業務流程分析 四、大數據部分組織結構 五、Hadoop是什麼 六、Hadoop的優勢 七、大數據技術生態體系 【轉行原因】目前數據每天已億計算,作爲 Java程序員的我已經無法使用常規工具對數據

原创 網絡防禦

目錄 一、XSS 攻擊 二、XSS 防禦手段 三、注入攻擊 四、SQL 注入防禦措施 五、CSRF 攻擊 六、其他攻擊和漏洞 七、Web 應用防火牆 八、網站安全漏洞掃描 網站應用攻擊最主要的兩個手段:XSS攻擊和 SQL注入攻擊。此外,

原创 HBase 基礎結構

目錄 一、數據模型 二、HBase 物理存儲結構 三、數據模型 四、HBase 基本架構 HBase 是一個分佈式[集羣]、可擴展[動態上下線]、支持海量存儲的 NoSQL 數據庫。相當於 BigTable,負責海量數據的存儲。如果數據量

原创 Error:(3,31) java: 程序包com.xxx.xxx不存在

【問題描述】:項目爲SpringBoot 項目多個 module依賴,對子模塊進行 compile/install 時出現了依賴的類(此類是自己寫的類)不存在。 【解決辦法】:將父工程中使用的 springboot插件註釋掉,如下代碼:

原创 vue 前端項目創建

目錄 一、創建項目 二、修改項目信息 三、如果需要修改端口號 四、項目的目錄結構 五、運行項目 六、登錄頁修改 七、頁面零星修改 八、Eslint語法規範型檢查 一、創建項目 將vue-admin-template-master 模板放入