原创 HDFS一致性和高可用原理

HDFS的特點 分佈式文件系統。 保存多個副本，提供容錯機制，副本丟失或宕機的自動恢復能力。 適合大數據處理，文件分塊存儲，默認是128M；文件與Black的對應關係存儲在NameNode所在節點的內存中，方便文件的尋址和訪問。

2020-07-07 03:17:06 2

原创 sparkSQL數據傾斜，通過兩步計算徹底解決數據傾斜

前言：業務場景，單個用戶的數據量，佔總數據量的30%-40%，使用sparkSQL工具進行統計分析；Group By分組聚合，求PV，UV等出現嚴重數據傾斜； 解決思路：加鹽打散，將大Key散列； 解析：加鹽是散列大key，最爲常用的方式

2018-11-23 04:33:11

原创 spring的事務配置詳解

接下來我將給大家介紹spring事務配置的兩種方式: 1.基於XML的事務配置。2.基於註解方式的事務配置。 前言：在我們詳細介紹spring的兩種聲明式事務管理之前，我們需要先理解這些概念 1）spring的事務管理是通過Aop的方式來

2018-08-22 09:21:27

原创 MySql優化

前言:         回想當初剛投入工作時，想的是努力工作，早日成爲一個老司機，如今也已經工作一年有餘，現在的工作做的倒是順風順水，然而想想自己的成長，卻覺得自己的技術成長極少，甚至之前熟悉的技術，也因爲工作中極少使用而被遺忘，細思極恐

2018-08-22 09:21:27

原创 MyBatis關聯查詢，表字段相同，resultMap映射問題的解決辦法

問題描述：在使用mybatis進行多表聯合查詢時，如果兩張表中的字段名稱形同，會出現無法正常映射的問題。 問題解決辦法：在查詢時，給重複的字段 起別名，然後在resultMap中使用別名進行映射。 給出一個小demo:如下是一個**map

2018-08-22 09:21:26

原创 SpringMVC批量插入，js點擊按鈕自動增加一行

前言：項目中需要做一個批量插入的功能，需求是這樣的，添加應急隊的同時爲應急隊添加隊員，因爲不知道每個隊有多少個隊員，所以需要用JS做一個自動添加行，自動減少行的功能。 關鍵字：springMVC批量插入，JS自動添加行，MyBatis批

2018-08-22 09:21:09

原创 關聯關係中的兩種加載類型詳解

前言：關聯關係有兩種加載類型，延遲加載，立即加載          1.延遲加載：         fetch=FetchType.LAZY 延遲加載 （當從數據庫中獲取一條數據時，不會立刻加載與該數據關聯的數據，而是在我們第一次操作

2018-08-22 09:21:08 4

原创 一個SQL對兩個字段排序

前言：業務需求，需要對兩個字段進行排序 直接上代碼了：SQL語句如下 一，對兩個字段都進行逆序排列：        <span style="font-size:18px;">ORDER BY numOne DESC, numTwo D

2018-08-22 09:21:08

原创 httpClient使用postMethod方法發送請求，攜帶參數並解決中文亂碼問題

前言：工作中遇到兩個系統之間通信的問題，需求是這樣的：要求將信息上報給上級部門（這裏的上級部門是兩一個系統），這就是跨系統通信了 解決方案：使用httpclient實現網絡通信，傳遞數據。 關鍵問題：httpClient  postMet

2018-08-22 09:20:54 5

原创 springMVC文件上傳，判斷是否有文件上傳，解決沒有文件上傳時的出現異常的問題

前言：項目中有這樣的需求，多個功能公用一個頁面，如添加“添加景區”，“添加派出所”，“添加醫院”，“添加學校”等都公用一個頁面，公用一個form表單，在添加信息時它們都公用一個方法。 問題：問題在於“添加景區”功能中有一個上傳圖片文件的功

2018-08-22 09:20:53 1

原创 poi將excel轉換成list集合，excel導入

前言：excel導入也是一個常見的問題了，原理還是比較簡單的，看過很多種用法。今天在項目中需要此功能，在做的時候也遇到一些坑，睡前總結下來，大家一起學習。 正文：廢話不說。 項目中的思路是：首先利用poi插件將excel模板的內容轉換成l

2018-08-22 08:22:41 1

原创 級聯操作的四種類型詳解

前言：使用JPA，創建一對多雙向關聯實體對象時，需要給一對多的關聯指定級聯操作。 級聯操作有四種類型：級聯更新（合併），級聯保存，級聯刷新，和級聯刪除。 詳情：現在我們分別介紹以上四種級聯類型的詳細情況。 1.CascadeType.RE

2018-08-22 08:22:40 6