原创 spark 算子
spark 算子
原创 linux IO 內核參數調優(路徑修正)
轉自:https://blog.csdn.net/oceansw/article/details/78271187 page cachelinux操作系統默認情況下寫都是有寫緩存的,可以使用direct IO方式繞過操作系統的寫緩存。當你
原创 spark 算子
spark 算子
原创 elasticsearch索引性能優化
bulk提交 mapping設置,不需要搜索的field不建索引 refresh間隔加長,默認一秒 flush改異步 時間段索引等方式減少一個索引的數據量 合理分配片數量 可以的話replication改爲0
原创 kafka分區
一、topic下引入partition的作用:topic是邏輯的概念,partition是物理的概念。爲了性能考慮,如果topic內的消息只存於一個broker,那這個broker會成爲瓶頸,無法做到水平擴展。kafka通過算法儘可能的把p