原创 hbase零碎小記
1）hbase表查行 可以在shell中進行，命令如下： count ’tablename’,CACHE=>10000,INTERVAL=>10000 CACHE是客戶端緩存條數，INTERVAL是分隔多久顯示一次結果 上述
2020-06-26 09:36:43
原创 SSD優化案例：讀策略優化和中斷多核綁定
轉自：http://noops.me/?p=1778 沒有開場白，直接切主題！各位把這篇當成是報告來閱讀吧： 應用IO模型：大量讀線程同時訪問多塊SSD，請求均爲4KB隨機讀，並且被請求的數據有一定間隔連續性； 服務器硬件配置：L
2020-06-26 09:36:33
1
原创 高可用Hdfs&HBase配置實踐
首先介紹版本背景，hdfs爲2.7.1，hbase爲1.3.0，其它版本的配置可能存在變化。HDFS相關配置：dfs.datanode.synconclose 設爲true，當爲false時，系統重啓或斷電時有可能數據丟失，默認值是fal
2020-06-03 01:33:17
原创 分佈式hadoop集羣安裝啓動流程
（一）hadoop集羣完成以下相關的配置： a、安裝jdk，並添加JAVA_HOME環境變量，在linux環境下可以使用yum安裝jdk； b、配置兩個namenode節點與集羣其它節點之間的SSH互信； c、可下載hadoop源碼在本地
2020-02-21 23:37:41
原创 git常用命令彙總
1、推送本地分支到遠程分支 git push origin local_branch:remote_branch local_branch是你創建的本地分支，remote_branch是遠程上的分之，如果remote_branch不存在則
2020-02-21 23:37:40
原创 Hadoop&HBase集羣linux配置優化
本文會收集工作中遇到的Hadoop&HBase系統優化涉及到的各個參數，並簡要介紹如此設置的意義。1、禁用集羣所有節點的transparent huge page特性，設置方式如下：echo "never" > /sys/kernel/m
2020-02-21 23:37:40
原创 Linux系統運維常用命令彙總
netstat -na | grep 7651 查看本機7651端口在和誰通信 ps aux | grep 7651 查看本機7651進程的相關信息 md5sum 文件名 用於查看文件的md5值，常用於檢查文件是否一致 ps a
2020-02-21 23:37:40
原创 數據庫的事務實現與ACID屬性
本文簡要講述了作者所理解的事務概念與ACID屬性，並簡要介紹了這四個屬性在數據庫中的實現方式。 事務，本質來說就是一組由一個人發起的連續的邏輯操作來完成一件事情，在完成整個事情之前，其所有的改動，都不應該對其他人可見和影響。而在事務結束
2020-02-21 23:37:40
原创 HBase StoreFile的實現分析
StoreFile是hbase中的數據文件，HBase中memestore的每次flush都會形成一個storefile文件。我們知道HBase中的數據索引是按照LSM tree組織起來的，簡單來說，LSM tree就是一系列的B+ tr
2020-02-21 23:37:40
原创 HBase的Scan實現源碼分析
我們從接口InternalScanner開始分析，實現該接口的類表示其是使用於HBase內部的scanner，不暴露給客戶端使用。實現了這個接口的類如下所示： KeyValueHeap、StoreScanner、RegionScanner
2020-02-21 23:37:40
原创 linux系統運維實例分享
1、磁盤寫滿造成java程序退出 業務方發現連接hbase的zk時出現了異常java.net.ConnectException: Connection refused。接到業務方的通知，登陸服務器用jps列出java進程時出現了以下信息：
2020-02-21 23:37:40
原创 java的ThreadPoolExecutor與BlockingQueue
本文介紹java中經常用到的ThreadPoolExecutor，並共同探討學習其中用到的參數BlockingQueue。在介紹具體的實例之前，先來看看ThreadPoolExecutor在hbase中的應用。hbase中的HTable類
2020-02-21 23:37:40
原创 常用的linux系統性能查詢指令
本文彙總工作可能會使用到的linux性能查詢指令，並給出指令的實際用例與輸出解釋，本文將長期更新，限於作者水平有限，文中有描述不準確的地方歡迎指出，共同學習提高。 1、tsar指令 tsar是淘寶開發的用來收集服務器系統信息（mem、cp
2020-02-21 23:37:40
原创 JMM內存可見性與順序一致性模型
讓我們從CPU的緩存結果說起，CPU的速度比磁盤快，爲了處理這種快慢之間的矛盾，現代處理器在CPU和主存之間設計了多層的緩存，越靠近CPU的緩存越快也越小。緩存結構如下圖中所示： 圖中的L1和L2兩級緩存都只能被一個單獨的CPU核使用。
2020-02-21 23:37:40
原创 你可能會用到的數據庫工具
1、percona-toolkit percona-toolkit是一組高級命令行工具集合。 2、pt-query-digest pt-query-digest是用於分析mysql的一個工具，可以分析binlog、slowlog、Gene
2020-02-21 23:37:40