原创 RabbitMQ 問題彙總
1. disk space full 由於RabbitMQ在磁盤上產生數據主要有以下兩個因素： 日誌，默認路徑是：/var/log/rabbitmq mnesia數據庫，默認路徑是：/var/lib/rabbitmq/mnesi
2020-02-25 11:14:13
原创 openresty--基於redis實現一個動態路由
本文的一個例子主要介紹如何利用redis實現對請求頭中User-Agent修改已達到路由到兩個不同的http後臺的目的。這個例子使用了這些openresty組件： Redis2 Nginx Module, Lua Nginx Mo
2020-02-25 11:14:13
原创 RabbitMQ Exchange 類型介紹
1. Direct Exchange 處理路由鍵 需要將一個隊列綁定到交換機上，要求該消息與一個特定的路由鍵完全匹配。 2. Fanout Exchange 不處理路由鍵 發送到交換機的消息都會被轉發到與該交換機綁定的所有隊
2020-02-25 11:14:13
原创 gdb 正常情況下生成 core dump 文件
$ gdb -p 19553 (gdb) gcore warning: target file /proc/19553/cmdline contained unexpected null characters Saved core
2020-02-25 11:14:13
原创 MySQL 如何在線備份歷史表
大家都知道日誌文件，具有“只追加寫不修改”的屬性，歷史表和日誌文件差不多，也具有這個屬性。 同時和日誌文件一樣，歷史表也具有“順序讀”和“隨機讀”的特點，所以有時歷史表會加一些索引。 那麼問題來了：隨着時間的推移，歷史表數據會
2020-02-25 11:14:13
原创 lua table 庫介紹
table庫是由一些輔助函數構成的，這些函數將table作爲數組來操作，本文主要介紹table的常用函數。 1. table.concat 函數申明：table.concat(table[, sep[, i[, j]]]) 用
2020-02-25 11:14:13
原创 數據湖技術說明
1. 爲什麼要做存儲和計算分離？ 隨着數據量的增長，存儲和計算資源的使用率嚴重不均衡 從數據的生命週期來看，存在冷熱數據分層的現象 2. 數據倉庫和數據湖有什麼不同？ 一是存儲數據類型不同 二是數據處理模式不同 三是服務對象不
2019-10-26 10:57:51
原创 研發過程管理與質量控制
質量控制是研發過程管理非常重要的一環，需要考慮到從需求的產生到最終功能上線，以及後續的運維工作，甚至是故障的處理。 方方面面都需要考慮到。 具體包含如下環節。 需求：需求分析、需求評審、需求排期 設計：總體設計、接口設計、詳細設
2019-10-26 10:57:50
原创 對象存儲數據可靠性技術
1. 概述 對象存儲能夠提供海量、安全、低成本、高可靠的雲存儲服務，使用RESTful API 可以在互聯網任何位置存儲和訪問，容量和處理能力彈性擴展，多種存儲類型供選擇全面優化存儲成本，並提供99.999999999%的數據可靠
2019-10-26 10:57:50
原创 ElasticSearch運維手冊
ElasticSearch運維手冊 0. 介紹 主要介紹了ES常用的在運維過程中可能會用到的一些命令。 1. 查看ES集羣中節點信息 查看ES集羣中所有節點信息，以及各個節點內存和CPU相關的指標 $ curl -X GET 'http:
2018-08-29 02:46:12
原创 利用Nginx的resolver實現動態upstream
之前寫了篇文章用openresty實現了一個動態路由，雖然說是動態的，但是實際上還是需要將upstream在配置文件中寫好，還是相當於靜態的。 最近工作中有這方面的需求，upstream是完全動態，由客戶端來指定，開始的時候有一些錯誤，最
2018-08-29 02:46:12
12
原创 ElasticSearch查詢操作最大sharding數目限制
ElasticSearch查詢操作最大sharding數目限制 1. 問題說明 在ES中做一個大範圍的查詢時，經常會報這個錯誤： { "error":{ "root_cause":[ {
2018-08-29 02:46:12
原创 消息隊列總結
在工作中經常會用到消息隊列（MQ），消息隊列適用的場景有哪些呢？消息處理的方式有哪些？ 1. 功能場景 解耦 削峯填谷 最終一致性 廣播消費 無限重試 2. 消息處理 exact once at least once at most
2018-08-29 02:46:12
原创 netty系列3-Java BIO編程
1. BIO特點 網絡模型基本的模型是client/server模型，client進程和server進行通信，server端做綁定IP，並綁定端口；client端向服務端監聽的地址發起連接請求，通過三次握手建立連接。如果建立成功，雙方就可
2018-08-29 02:46:11
1
原创 ELK性能優化說明
ELK性能優化簡要說明 1. 系統部署說明 組件 機器配置 說明 ElasticSearch&Kibana 3 * (32 core + 128GB mem + SAS 3.6T*12) EK混部 Logstash 3 *
2018-08-29 02:46:11
7