原创 TCP擁塞控制機制之慢啓動
什麼是慢啓動 最初的TCP的實現方式是，在連接建立成功後便會向網絡中發送大尺寸的數據包，假如網絡出現問題，很多這樣的大包會積攢在路由器上，很容易導致網絡中路由器緩存空間耗盡，從而發生擁塞。因此現在的TCP協議規定了，新建立的連接不能夠一開
2019-02-02 14:45:42
原创 TCP/IP及內核參數優化調優
Linux下TCP/IP及內核參數優化有多種方式，參數配置得當可以大大提高系統的性能，也可以根據特定場景進行專門的優化，如TIME_WAIT過高，DDOS攻擊等等。如下配置是寫在sysctl.conf中，可使用sysctl -p生效，相關
2019-02-01 17:32:40
2
原创 svn常見問題解決
問題描述 $ svn commit -m "update" svn: Commit failed (details follow): svn: Aborting commit: '/data/users/huser/svn/presto-
2019-02-01 15:13:26
原创 常用文檔鏈接收集
小米監控open-falcon http://book.open-falcon.org/zh/intro/index.html idea http://www.xue51.com/mac/1468.html#xzdz JMXtrans +
2019-02-01 15:13:26
原创 添加JVM監控
在Java啓動進程裏添加以下參數，小米監控只採集7777端口，因此必須使用該端口。 -XX:ErrorFile=${SPARK_LOG_DIR}/hs_err_pid%p.log -Xloggc:${SPARK_LOG_DIR}/gc.l
2019-02-01 15:13:26
原创 java線上服務問題排查
1、業務日誌相關 假設系統出現異常或者業務有異常，首先想到的都是查看業務日誌 查看日誌工具： less 或者more grep tail -f filename 查看實時的最新內容 ps:切忌vim直接打開大日誌文件，由於會直接載入到內存
2019-02-01 15:13:26
原创 linux之hdparm命令說明及其測試硬盤讀寫速度
hdparm -t /dev/sda1功能說明：顯示與設定硬盤的參數。 語 法：hdparm [-CfghiIqtTvyYZ] [-a <快取分區>][-A <0或1>][-c <I/O模式>][-d <0或1>][- k <0或1>]
2019-01-25 15:14:54
原创 KeepAlive + VIP 配置高可用Presto-master主備集羣(單活）
一、 背景 本文主要介紹使用 keepalive 實現 presto 的主備高可用，只能有一個節點存活的情況下，使用此方案。 實驗環境：CentOS 6 64 位 二、 實驗步驟 1. 軟件安裝 安裝
2019-01-25 15:14:54
42
原创 tensorflow-serving部署
一、hadoop集羣部署 OS: centos7 1.hadoop3.0集羣部署並啓動yarn 省略 2.創建python虛擬環境 #安裝virtualenv pip install virtualenv #創建虛擬環境 cd /dat
2019-01-25 15:14:54
原创 docker常用命令備忘
1.查看容器的root用戶密碼 docker logs <容器名orID> 2>&1 | grep '^User: ' | tail -n1 因爲docker容器啓動時的root用戶的密碼是隨機分配的。所以，通過這種方式就
2019-01-10 15:03:57
1
原创 pycharm for mac安裝與破解
安裝 Pro版 官網下載地址：https://www.jetbrains.com/pycharm/ community 版本不需要錢，入門語法都可以使用這個版本；下載地址在同一界面下方位置，不需要註冊碼。 但想創建 django 項目等，
2018-12-16 14:49:26
原创 影響system cpu利用率，禁用透明大內存
一、描述 Hadoop 集羣經常能看到system cpu利用率超過30%，這種一般都在數據量大的機器中出現，操作系統CentOS6。 由文章1所述: Symptom: top and other system monitoring to
2018-12-07 17:11:03
21
原创 hung_task_timeout_secs導致的負載暴增
問題描述： Druid服務器的負載飆升到400多，導致無法提供正常的服務，對類似ps、kill等命令無響應，查系統日誌/var/log/message發現如下信息： Oct 31 05:08:56 server002 kernel: IN
2018-11-04 00:19:18
原创 dr.elephant啓發式算法詳解
Metrics測量指標 1. Used Resources Job使用資源的數量，單位是：GB Hours 計算方式 我們將任務的資源使用定義爲：所有mapper任務和所有reducer任務的資源使用的總和。 例如： 有如下的job: 4
2018-10-13 00:05:42
2
原创 dr.elephant環境搭建及使用詳解
Dr.elephant是一款對hadoop、Hive和Spark任務進行性能監控和調優的工具，它由LinkedIn的團隊於2016年開源。 一、環境搭建 整體環境：dr.elephant 2.0.13, hadoop 2.6.5, spa
2018-10-13 00:05:30