linux：
1）Shell腳本中$0、$?、$!、$$、$*、$#、$@等的意義以及linux命令執行返回值代表意義 https://blog.csdn.net/helloxiaozhe/article/details/80940066
2）linux 下shell中if的“-e，-d，-f”是什麼意思 https://blog.csdn.net/superbfly/article/details/49274889
3）Linux性能優化實戰 https://time.geekbang.org/column/intro/140
4）用sed命令怎麼打印文件中的最後一行
https://zhidao.baidu.com/question/1431848772803799419.html
5）split命令詳解 https://www.cnblogs.com/machangwei-8/p/9570866.html
6）Linux系統下刪除亂碼文件或者目錄，rm刪除不了
https://blog.csdn.net/llbacyal/article/details/24411803
7）yum 運行時提示There was a problem importing one of the Python modules required to run yum. The error lead
https://blog.csdn.net/lingdaz/article/details/40542537
8）請問下在shell命令行怎樣定位到行尾啊。 http://bbs.chinaunix.net/thread-4176195-1-1.html
9）CentOS7 安裝Ansible - No package ansible available
https://blog.csdn.net/downing114/article/details/52220496
10）CentOS7安裝Nmon（linux性能監控工具） https://www.cnblogs.com/mingerlcm/p/7748539.html
//用 yum 安裝nmon 沒有安裝包 參考此鏈接 可行
11）Centos7 cache/buff過高處理方法 https://blog.51cto.com/13578154/2150303?source=dra
12）如何從Zabbix數據庫中獲取監控數據 https://zhidao.baidu.com/question/391817367920441565.html
13) Linux date命令的用法（轉） https://www.cnblogs.com/asxe/p/9317811.html
14) 使用jiacrontab搭建一個可視化的定時任務 https://www.xiaoz.me/archives/11640/comment-page-1
15） HAProxy從零開始到掌握 https://www.jianshu.com/p/c9f6d55288c0
16） 運維實戰案例之文件已刪除但空間不釋放問題解析 https://blog.csdn.net/weixin_34175509/article/details/90071517
17） 解決ganglia中無法刪除不用圖像的方法 https://www.xuebuyuan.com/968126.html
18) 我想使用linux的crontab每天對crontab內容備份 https://zhidao.baidu.com/question/38195391.html
19) Windows主機與Linux服務器之間傳輸文件-xftp4軟件實現 https://blog.csdn.net/qq_28093585/article/details/78759002
20) 【Linux安全】查看是否存在特權用戶以及是否存在空口令用戶 https://blog.csdn.net/qq_41781322/article/details/90517199
如何查詢linux系統中所有用戶的用戶名和密碼 https://zhidao.baidu.com/question/264138406146792045.html
21) Jenkins的數據遷移這塊的內容 通過 備份文件 恢復/遷移 gitlab https://www.cnblogs.com/straycats/p/7702271.html
22) 基於 Python3 的開源堡壘機 Jumpserver v1.0正式發佈 http://www.178linux.com/92454
jumpserver 官方文檔 https://docs.jumpserver.org/zh/docs/introduce.html
23) Linux 下清空或刪除大文件/大量文件的幾種方法 https://blog.csdn.net/sd4493091/article/details/80414053
24) 在python中執行shell命令的6種方法 https://cloud.tencent.com/developer/news/257058
25) shell裏的md5sum生成的結果爲什麼與程序生成的不一樣 https://blog.csdn.net/liuxiao723846/article/details/51555530
26) 使用awk和sed獲取文件奇偶數行的方法總結 https://www.cnblogs.com/kevingrace/p/10540374.html
27) linux下遷移用戶home下主目錄 https://www.iteye.com/blog/tdcq-2026567 有用
28） centos 6.5安裝glances https://www.cnblogs.com/cyq19860102/articles/5732225.html
yum install -y epel*
yum install python-pip python-devel -y
yum install –y glances -y
centos7 安裝 glances 直接 yum -y install glances
29） 調用 ganglia的接口
http://10.10.2.156:8080/ganglia/api/v2/metrics
Ganglia api接口安裝（python版） https://blog.csdn.net/u010180815/article/details/77499015
30） 分享一個實用腳本--一鍵獲取linux內存、cpu、磁盤IO等信息 https://www.toutiao.com/i6754887380399849998/
31） mikoomi -Zabbix監控Apache Hadoop插件/模板 （翻譯）
https://blog.51cto.com/songknight/1374152
32） 端口狀態 LISTENING、ESTABLISHED、TIME_WAIT及CLOSE_WAIT詳解，以及三次握手，滑動窗口
https://blog.csdn.net/zzhongcy/article/details/38851271
33）
sql：
1）30條書寫高質量SQL的建議 https://www.toutiao.com/i6808037495419175438/
2）SQL必知必會 https://time.geekbang.org/column/intro/192
3）Sqlite和mysql的區別及優缺點 https://www.cnblogs.com/zgq123456/p/10129052.html
4） mysql連接數過多 解決方案 https://www.cnblogs.com/lazytomato/p/7428100.html
5) mysql查看沒有主鍵的表 https://blog.csdn.net/gxk1992/article/details/78983486
6) 查詢mysql中沒有主鍵的表 https://blog.csdn.net/qq_35440040/article/details/88185508
7) 數據倉庫到底需不需要主鍵？ https://blog.csdn.net/qq_39425846/article/details/101370412
數據倉庫到底需不需要主鍵？ https://wenku.baidu.com/view/df1461a1be23482fb5da4cc2.html
9) 數倉概念 https://blog.csdn.net/root1994/article/details/93406935
10) tidb Tidb分佈式數據庫 https://blog.csdn.net/sdmxdzb/article/details/81461777 今天開會到了這個數據庫
TiDB 集羣安裝 https://my.oschina.net/dmdgeeker/blog/718564
10分鐘瞭解TiDB https://blog.csdn.net/aa1215018028/article/details/81387554
11） 爲什麼代碼規範要求SQL語句不要過多的join？ https://www.toutiao.com/i6807028762090144267/
hadoop：
1）hadoop集羣客戶端/tmp目錄下臨時文件夾處理 https://www.jianshu.com/p/e8401b05c738
2）hive產生很多.staging_hive文件 https://my.oschina.net/cjun/blog/800603?utm_medium=referral
3）spark 參數調優9-Scheduling調度 https://blog.csdn.net/zyzzxycj/article/details/82256244
4）現在url： http://archive.apache.org/dist/hive/ 選擇相應的版本 這裏面有很多的hive的老版本
5）HIVE 2.3.3安裝 https://blog.csdn.net/xinjichenlibing/article/details/87802152
6）linux top命令%st值高是怎麼回事 http://www.wufangbo.com/linux-top-st/
7）clickhouse內存溢出 ClickHouse開源數據庫 https://www.cnblogs.com/davygeek/p/8018292.html
8）clickhouse 內存不夠 https://blog.csdn.net/weixin_42618907/article/details/88557687
9）永輝的線上用的cdh tarball的方式安裝的
https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh_package_tarball_54.html#concept_h44_r1n_h5
10）CDH 安裝配置指南（Tarball方式） //這個鏈接很重要
https://www.cnblogs.com/fanshudada/p/10024909.html
11）Hadoop CDH四種安裝方式總結及實例指導
https://blog.csdn.net/xfg0218/article/details/52490971
12）hadoop的啓動和停止命令 https://blog.csdn.net/xianpanjia4616/article/details/87696925
13）CDH6離線安裝 https://www.cnblogs.com/mylovelulu/p/10384732.html
14）一篇文章學會使用 nmon https://blog.csdn.net/gorky1112/article/details/80848611
15）clush命令 https://blog.csdn.net/fanren224/article/details/73320743
16）在apache社區提問題 如何向開源社區提問題 https://blog.csdn.net/weixin_34356310/article/details/90101161
17）hadoop論壇： http://www.aboutyun.com/forum-53-1.html
18）Hadoop性能調優總結（一）https://blog.csdn.net/chndata/article/details/46003399
19）DataX介紹 https://www.cnblogs.com/shujuxiong/p/9253455.html
20）Hadoop Shell命令 http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html#get
我們用 -ignoreCrc 去忽略 選項複製CRC校驗失敗的文件
21）Mondrian開源OLAP引擎詳解 https://blog.csdn.net/zyc88888/article/details/80311014
22）什麼情況下kafka消費者組的狀態會爲dead死亡狀態？如何避免？ https://www.orchome.com/1367
23）broker存放offset是kafka從0.9版本開始，提供的新的消費方式。原因是zookeeper來存放，還是有許多弊端，不方便靈活控制，效率不高。
https://blog.csdn.net/camel84/article/details/82433075
24）王義飛的 博客 https://blog.csdn.net/bluedraam_pp
裏面有些 sql 的實驗場景
25）Hadoop集羣下線節點 https://blog.csdn.net/bigdatahappy/article/details/9330873
26）Hadoop集羣datanode磁盤不均衡的解決方案 https://www.cnblogs.com/Richardzhu/p/5807917.html
27）ClickHouse概述 https://www.jianshu.com/p/350b59e8ea68
28）中文官方文檔 https://clickhouse.yandex/docs/zh/
Clickhouse初體驗 https://www.jianshu.com/p/80ce4136fdce
clickhouse 基礎知識 https://www.jianshu.com/p/a5bf490247ea
29）kafka開啓JMX https://www.jianshu.com/p/de4b4cbb0f3c
30）Spark：部署和standalone配置調優 https://www.cnblogs.com/xuejianbest/p/10285014.html
31）Apache Kafka監控與調優 https://baijiahao.baidu.com/s?id=1610644333184173190&wfr=spider&for=pc
32）Hdfs的數據磁盤大小不均衡如何處理 https://blog.csdn.net/rlnLo2pNEfx9c/article/details/79545436
33）在spark導入數據的時候報錯，因爲導入數據爲壓縮文件 這樣的話，需要修改配置文件
https://blog.csdn.net/stark_summer/article/details/48375999
34）ClickHouse 用戶名密碼設置 https://www.jianshu.com/p/e339336e7bb9
35）Impala shell詳解 https://www.cnblogs.com/zlslch/p/6785596.html
36）Kylin介紹 （很有用） https://www.cnblogs.com/honey01/p/8351145.html
37）CLICKHOUSE創建zabbix監控 https://www.jianshu.com/p/de0c9b3bb40c
Prometheus + Clickhouse + Grafana 架構安裝 https://www.jianshu.com/p/4f3c6bbbbfa9
38）CDH 6系列（CDH 6.0.0、CHD 6.1.0等）安裝和使用 https://blog.csdn.net/With__Sunshine/article/details/88632359 此貼超神
CDH6.0.0詳細安裝教程及所遇到的問題 https://blog.51cto.com/pizibaidu/2174297?cid 安裝的很詳細
CentOS7安裝部署CDH6.1.0 https://blog.csdn.net/ITshu/article/details/87165409 這個也不錯
39）Palo 是百度自研的基於 MPP 的交互式 SQL 數據倉庫，主要用於解決報表和多維分析。 https://baijiahao.baidu.com/s?id=1605927162987940647&wfr=spider&for=pc
40）【解決】Spark運行時產生的臨時目錄的問題 https://blog.csdn.net/kwu_ganymede/article/details/49094881
https://www.cnblogs.com/linxuezhang/p/6008122.html
https://www.cnblogs.com/huaxiaoyao/p/5085511.html
41) Centos7.6部署CDH6.1.0大數據平臺教程 https://www.jianshu.com/p/f804bd587d95
42) kafka rebalance 部分分區沒有owner https://www.cnblogs.com/dongxiao-yang/p/6234673.html?utm_source=itdadao&utm_medium=referral
43) 集羣突發流量部分kafka broker不可用排查 https://blog.csdn.net/softwareyyb/article/details/84076166
44) Hadoop之MR的調優性能 https://blog.csdn.net/liao272549164/article/details/40654425
45) hadoop 程序在運行時 reduce過程卡在某個進度不動的問題 https://blog.csdn.net/xp152167/article/details/52886111
46) 一次因爲數據問題引起的reduce被卡住streaming作業問題排查 https://blog.csdn.net/bigdatahappy/article/details/44514219
47) yarn中資源調度fair schedule詳解 https://blog.csdn.net/sinat_29581293/article/details/58143159
48) HadoopWeb界面：Hadoop Non DFS Used concept https://blog.csdn.net/u014297175/article/details/48679321
49) hive把本地的數據文件load導入到表 https://blog.csdn.net/u010002184/article/details/89605107
50) spark 資源大小分配與並行處理 https://www.jianshu.com/p/7029a39cefc2
51) 帶你漲姿勢的認識一下 Kafka https://www.toutiao.com/i6748686597241176588/ // 這個鏈接中，有很多的對參數的新的解釋，準備一下，放到我的筆記中
52) presto的安裝部署 https://blog.csdn.net/weixin_41008393/article/details/90269228
Presto架構及原理 https://www.cnblogs.com/tgzhu/p/6033373.html
53) presto web查詢頁面 yanagishima 安裝 https://blog.csdn.net/weixin_40809627/article/details/86023000
https://github.com/zhaolianchao/yanagishima
54) Spark Web UI詳解 http://blog.csdn.net/qq_27639777/article/details/81069893
55) Clickhouse優缺點及性能情況 https://blog.csdn.net/lovewebeye/article/details/102739939
56) Hive之——Thrift服務 https://blog.csdn.net/l1028386804/article/details/88636689 優先級高
https://blog.51cto.com/2951890/2170588
57) ClickHouse學習筆記 https://www.cnblogs.com/grapelet520/p/11280972.html
58) hive on tez 的安裝 https://blog.csdn.net/weixin_41753664/article/details/86525828
Hive 2.x集成Tez0.9.0引擎指南(Hive-on-Tez) https://blog.csdn.net/gobitan/article/details/85109644
Hive，Hive on Spark和SparkSQL區別 https://www.cnblogs.com/lixiaochun/p/9446350.html
CDH環境下安裝Tez(Hive on Tez ) https://www.jianshu.com/p/3c9f1963ac02
59) kafka集羣選擇多少topic和partition最合適 https://blog.csdn.net/shijinghan1126/article/details/88373882
60) Phoenix 4.14.0 hbase的 由於HBase數據庫只提供了Java和shell兩種接口，並不支持SQL，所以誕生了Phoenix 工具。 // 這個必須要會 後面需要在測試環境自己測試
HBase表結構和Phoenix 使用 https://www.jianshu.com/p/2bde63414659
Phoenix的安裝使用與SQL查詢HBase https://www.cnblogs.com/frankdeng/p/9536450.html
Phoenix安裝與使用文檔超詳細步驟 https://www.cnblogs.com/pigdata/p/10305585.html
Phoenix安裝與兩種方式使用 https://blog.csdn.net/wangpei1949/article/details/79563549
HBase表結構和Phoenix 使用 https://www.jianshu.com/p/2bde63414659
61） Zeppelin初體驗： https://www.jianshu.com/p/ed26b373f0b5
Apache Zeppelin是什麼？ https://www.cnblogs.com/wangsongbai/p/9116146.html 如果還可以寫Hive-SQL，Spark-SQL呢？
62） Airflow是一個可編程，調度和監控的工作流平臺，基於有向無環圖(DAG)，airflow可以定義一組有依賴的任務，按照依賴依次執行。airflow提供了豐富的命令行工具用於系統管控，而其web管理界面同樣也可以方便的管控調度任務，並且對任務運行狀態進行實時監控，方便了系統的運維和管理。
https://www.cnblogs.com/cord/p/9450910.html
63） hbase Region split policy 分區 分裂策略 算法 https://blog.csdn.net/fei33423/article/details/78023614
64） dr.elephant 環境搭建及使用詳解 https://blog.csdn.net/xwc35047/article/details/73614657 ***** 這個也很重要 要看看
Dr-elephant安裝說明文檔 https://www.jianshu.com/p/a1c2c2efe792 金燦按照這個來的 成功了 默認來的
65） hive 中文字符集亂碼的問題 commit 的時候 https://www.cnblogs.com/qingyunzong/p/8724155.html
66） dr.elephant 環境搭建及使用詳解 https://blog.csdn.net/xwc35047/article/details/73614657
開源項目Dr.Elephant http://wenda.chinahadoop.cn/question/2950
Hadoop和Spark性能監控工具Dr. Elephant的編譯、部署及使用 https://www.jianshu.com/p/7bd9a507d21e
67） Tez學習筆記 --- Tez與MapReduce原理與分析 https://blog.csdn.net/u012965373/article/details/77749690
68） 記一次SNN回放EditsLog異常後的宕機恢復過程（上） https://sq.163yun.com/blog/article/172825993223573504
記一次SNN回放EditsLog異常後的宕機恢復過程（上） https://sq.163yun.com/blog/article/172825993223573504
記一次SNN回放EditsLog異常後的宕機恢復過程（下） https://sq.163yun.com/blog/article/172826660353007616
hadoop namenode啓動失敗 https://www.cnblogs.com/yjt1993/p/10476933.html
Hadoop運維筆記 之 Namenode異常停止後無法正常啓動 https://blog.csdn.net/xiaoshunzi111/article/details/50625061
Hadoop運維筆記 之 Namenode異常停止後無法正常啓動 https://www.php.cn/mysql-tutorials-134747.html
69） hive（七）hive-運行方式、GUI接口、權限管理 https://www.cnblogs.com/benjamin77/p/10297544.html
70） Apache Ranger及Hive權限控制 https://www.jianshu.com/p/d9941b8687b7
71） Hadoop datanode隔一段時間就掛掉 報錯：java.lang.OutOfMemoryError: GC overhead limit exceeded
https://blog.csdn.net/dehu_zhou/article/details/81557950
72） hadoop namenode啓動失敗 https://www.cnblogs.com/yjt1993/p/10476933.html
// 從報錯來看，，是獲取edit log日誌出錯。說白點，就是namenode元數據破壞了，需要修復。
73） Kafka跨集羣同步工具——MirrorMaker https://blog.csdn.net/gdutliuyun827/article/details/55263245
74） Presto存活監控腳本 https://blog.csdn.net/hjw199089/article/details/94493376
75） Presto安裝完成之後需要做的 https://www.cnblogs.com/jixin/p/11234861.html
Presto On Yarn 部署示例 http://www.imooc.com/article/286313
Presto必知必會 https://www.2cto.com/net/201609/546062.html
76） Spark動態資源分配 https://blog.csdn.net/maydaysar/article/details/82997106
77） hadoop集羣監控總結 https://blog.csdn.net/lin443514407lin/article/details/82797042
78） 對於每個RPC服務監控指標
http://uhadoop-mzwc2w-master2:50070/jmx?qry=Hadoop:service=NameNode,name=RpcActivityForPort8020
79）
目前已經把 hivemetastore的連接數監控起來了，具體見： http://zabbix.yonghuivip.com/charts.php?sid=e9474eb68b56e53c&form_refresh=1&fullscreen=0&groupid=0&hostid=10390&graphid=95396
80） https://cloud.tencent.com/edu/learning/live-1950 講了整個Clickhouse的歷史. 在第40分鐘專門講了MergeTree表引擎, 第60分鐘有Replicated 和 普通MergeTree 在實現層面的關係；有興趣額同學可以看一下
81） HBase二級索引建設方案分析比較 https://www.toutiao.com/i6808314863178220036/
82）
工作中的其他工具
1）2016版WPS office怎麼控制它自動更新
https://jingyan.baidu.com/article/9158e0000e1f78a25412282b.html
2）鏡像下載地址：https://msdn.itellyou.cn/ //這個專門下載windows的
3）教你windows x64和x86區別是什麼 http://www.windows7en.com/jiaocheng/29804.html
4）參考連接 https://www.cnblogs.com/AryaZ/p/8404767.html 完全解決 crt連mac本地 出現中文亂碼問
5）https://freefilesync.org/download.php FreeFileSync mac 官方下載地址 免費的
6）億圖圖示(Edraw Max) for mac v9.4 中文特別版(附安裝教程) https://www.jb51.net/softs/592396.html?&_=1524190554030#downintro2
7）安裝 Navicat Premium for Mac v12.0.22.0完全免費激活方法之完美破解 https://blog.csdn.net/marswill/article/details/79808416 //完成參考此記錄
Navicat Premium Mac版安裝及破解攻略 https://www.jianshu.com/p/cbca4016217b
8）eclipse關閉無用啓動項、降低eclipse內存佔用 https://jingyan.baidu.com/article/925f8cb8f4c328c0dce0566d.html
如何優化eclipse https://jingyan.baidu.com/article/ce09321b2667712bff858f00.html
9）DBeaver之連接hive初體驗 https://www.cnblogs.com/haopengchen/p/11269202.html
通過數據庫客戶端界面工具DBeaver連接Hive https://blog.csdn.net/dkl12/article/details/81381122
// 本人沒有測試成功，想連生產上的hive2 但是 hiveserver2 在生產上的後臺是可以操作的 DBeaver就不可以操作
10） Mac怎麼創建txt文件？教你設置新建txt的快捷鍵 https://zhuanlan.zhihu.com/p/93009851
11） itellij 使用 maven 打jar包，你百度這個就可以了
https://www.cnblogs.com/acm-bingzi/p/6625303.html
12） CentOS7搭建Shadowsocks服務器 https://www.jianshu.com/p/817813c2ede2
shadowsocks服務器部署實現 https://blog.51cto.com/leoheng/2142850
13） 一鍵安裝 guge BBR 加速 https://zhuanlan.zhihu.com/p/54655414
只需要一個命令 使用root用戶登錄服務器，執行以下命令：
wget --no-check-certificate https://github.com/teddysun/across/raw/master/bbr.sh && chmod +x bbr.sh && ./bbr.sh
14） Tair學習 Tair是一個高性能、分佈式、可擴展、高可靠的Key-Value nosql結構存儲系統，專注於高速緩存場景。
https://blog.csdn.net/qwssd/article/details/99716987
https://www.arabidopsis.org
15）
博客鏈接
1）哥不是小蘿莉 kafka 系列也是可以看看的 https://www.cnblogs.com/smartloli/category/694246.html
2）ucloud 的kafka 的 講解 https://docs.ucloud.cn/analysis/ukafka/index
3) IOPS：每秒讀寫次數。
吞吐量：每秒讀寫IO流量。
IO時延：IO提交到IO完成的時間。
理論上， IOPS與吞吐量越大越好，時延越低越好。
https://docs.ucloud.cn/storage_cdn/udisk/introduction/performance/account
5） 香飄葉子博客 中寫的spark也是挺不錯的 https://blog.51cto.com/xpleaf
6) 從入門到精通 - Fayson帶你玩轉CDH https://mp.weixin.qq.com/s/XtL6y9J_sbOgX2BYfgTtYA ***** 王金燦推薦的很重要的一個鏈接 上面基本上都是講解的cdh的知識點
7） 扎心老鐵 博客 https://www.cnblogs.com/qingyunzong/
8）