原创 spark streaming與storm比較
Storm的計算模型： 針對每條記錄的流式實時計算框架，是一種比較純粹的實時計算框架，但是存在一個問題！ Storm由於每來一條數據都會處理下，所以吞吐量並不高。 爲什麼吞吐量不高？ 因爲每條數據過來就直接處理，那麼每條數據的處
2020-06-22 00:41:23
原创 單例模型詳解
一、單例的由來 在我們的程序中，如果需要多個線程操作同一對象，需要保證對象的唯一性。如何保證唯一性呢？ 二、解決的問題 對象實例化過程中，只實例化一次 三、解決的思路 有一個實例化過程（僅僅只有一次），提供返回實例的方法 四、單例
2020-06-22 00:41:23
原创 自己實現mybatis的基本功能
最近在學習mybatis相關的內容，對mybatis功能的強大還有使用方便感受很強，也很想去了解他的實現原理，根據他的原理自己實現了一個簡單版的，在這個過程中也使用到了工廠設計模式、動態代理等等相關的知識，也順帶
2020-04-27 08:32:46
原创 自己動手實現spring創建bean
場景：對賬戶信息進行操作 步驟 首先，持久化層操作 public interface AccountDao { void saveAccount(); } 新增一個賬戶信息，持久化層操作實現類 public clas
2020-04-27 08:32:46
原创 用java操作docker中的minio
一、背景 最近工作中接觸數據安全相關的內容，順便接觸一下現在最新的私有云相關的一些技術，下面是工作中的一個場景。爲了保證數據的安全性，需要確保每個客戶的數據我們保存在各自的一個存儲中，用戶之間數據是不可見的。這樣有幾
2020-04-27 08:32:46
2
原创 spring中ApplicationContext學習
雖然Spring已經火了這麼多年了，工作中也有偶爾接觸到，卻沒有怎麼深入瞭解。現在作爲一個小白開始學習，也是以此博客作爲一個記錄，如果有不對的地方，希望大家指出來，共同探討。 今天跟大家一起學習下有
2020-04-27 08:32:46
原创 HBase工作中常用的一些優化方案
1、表的設計 Pre-creating Regions（預分區） 默認情況下，在創建Hbase表的時候會自動創建一個region分區，當導入數據的時候，所有的Hbase客戶端都向這一個region寫數據，直到這個region足
2019-09-15 15:16:25
原创 hive工作中用到的一些優化策略
1、hive抓取策略 hive.fetch.task.conversion = more/none more不走mr，none走mr 2、explain 顯示執行計劃 3、設置本地運行模式 set hive.exec.mod
2019-09-15 15:16:25
原创 linux簡單命令
簡單學習了一些linux相關的知識，自己做一個簡單的總結，可以在一般工作中命令行狀態下裝裝B，哈哈 正則相關 1. grep grep xxx yyy.file 查找出yyy文件中存在xxx的行 2. 通配
2019-09-02 15:05:16
原创 Linux設置普通用戶無密碼sudo權限
配置普通用戶無密碼sudo權限： root用戶進入到Linux系統的/etc目錄下 cd /etc 將sudoers文件賦予寫的權限 chmod u+w /etc/sudoers 編輯sudoers文件，加入下面一句話： n
2018-08-30 11:46:09
原创 Hadoop卸載或增加節點
卸載節點或者增加節點： 方式一：靜態的增添刪除：將集羣關閉，修改配置文件（etc/hadoop/slaves），重新啓動集羣（很黃很暴力，不夠人性化）。 方式二：動態的增加和卸載節點。 卸載DataNode節點： 1）要在HDFS主
2018-08-30 11:46:09
原创 hadoop安裝包的目錄結構
初次接觸Hadoop，瞭解了Hadoop安裝包的目錄結構，和大家分享下： bin：Hadoop最基本的管理腳本和使用腳本的目錄，這些腳本是sbin目錄下管理腳本的基礎實現，用戶可以直接使用這些腳本管理和使用Hadoop。 etc：Had
2018-08-30 11:46:08
原创 Hadoop的僞分佈式搭建
我們在搭建僞分佈式Hadoop環境，需要將一系列的配置文件配置好。 一、配置文件 1. 配置文件hadoop-env.sh export JAVA_HOME=/opt/modules/jdk1.7.0_67 2. 配
2018-08-30 11:46:08
原创 Linux關閉防火牆、SELinux
使用root權限： Linux關閉防火牆： 1. chkconfig –list|grep iptables 2. chkconfig iptables off 永久關閉防火牆 3. chkconfig iptables on
2018-08-30 11:46:06