原创 ClickHouse 詳細集羣部署方案

基本介紹: ClickHouse 來自俄羅斯最大的搜索公司Yandex,配置文件中可以看到Yandex的樣子,於2016年開源。 ClickHouse是面向OLAP的分佈式列式DBMS,OLAP(在線聯機分析)性能優秀,市場反應非常強烈。

原创 ClickHouse 在廣告系統場景中的實踐

目錄 前言 需求分析 主要特點 適用場景 I/O情況 測試結論 前言 隨着數據量的增長,傳統DB已經無法滿足實時聚合分組排序分析需求,目前比較流行日OLAP系統有:Presto,Druid,Kylin,TiFlash,ClickHouse

原创 Druid 分析報表中的實戰(一)

產品又過來提需求了!   案例需求 需要按日彙總充值總數的數據。 過濾條件: 用戶包括:“Tom”和“Jack” 所有城市:“北京”、“上海”、“廣州”和“深圳” 日期範圍:“2020-03-01”到“2020-03-05” 我們用SQ

原创 Druid 分析報表中的實戰(二)

今天介紹一下druid常用查詢類型的TopN和GroupBy。 實踐服務器配置: CPU:24核+SSD 1.4T Flush卡*2+內存256G+千兆網卡 * 15臺 數據量:4億+/天,連續100天數據,數據總量400億+- 一、數據

原创 Go語言 模糊搜索實驗(一)

模糊搜索 要達到的目標是用戶不需要關心搜索系統的結構,任意輸入一串字符或者數字,只要搜索範圍中包含該信息,通過該方法就能夠找出該信息包含在哪個表,哪個字段裏,或者具體哪個位置,進而可以進行更爲詳細的查詢。 系統允許被搜索信息和搜索提問之間

原创 Go語言 讀寫鎖&互斥鎖原理剖析(1)

我們在多協程操作時,有種場景是讀操作次數遠遠大於寫操作,這個時候,我們就會考慮用到讀寫鎖。 讀寫鎖 讀寫鎖(百科)定義:是一種特殊的的自旋鎖,它把對共享資源的訪問者劃分成讀者和寫者,讀者只對共享資源進行讀訪問,寫者則需要對共享資源進行寫操

原创 Go語言 中文分詞技術使用技巧(一)

分詞技術就是搜索引擎針對用戶提交查詢的關鍵詞串進行的查詢處理後根據用戶的關鍵詞串用各種匹配方法進行分詞的一種技術。 中文分詞(Chinese Word Segmentation)指的是將一個漢字序列(句子)切分成一個一個的單獨的詞,分詞就

原创 Go語言 XML生成和解析

前言 XML是指可擴展標記語言(eXtensible MarkupLanguage),它是一種標記語言。它被設計的宗旨是描述數據(XML),而非顯示數據(HTML)。 在日常開發中是比較流行的傳輸和存儲數據結構。 Go語言中,我們用xm

原创 Go語言 可變參數

最近與同事討論時,提到Go語言的可變參數,之前沒有總結過相關知識點,今天我們介紹一下Go語言的可變參數。 可變參數(Variable Parameters):參數數量可變的函數稱之爲可變參數函數,主要是在使用語法糖(syntactic s

原创 Go語言 Yaml編碼和解碼

介紹 YAML Ain’t Markup Language,一種非常簡介的非標記語言,可以快速的對Yaml進行編碼和解碼。 官網地址:https://gopkg.in/yaml.v2 GoDoc:https://godoc.org/gop

原创 Linux 7 cmake:curses library not found

CentOS7 上面安裝MySQL5.7出現以下問題: Curses library not found. Please install appropriate package 解決方法: # yum安裝 yum -y insta

原创 error while loading shared libraries: libatomic.so.1

安裝服務的時候出現的問題: error while loading shared libraries: libatomic.so.1: cannot open shared object file: No such file or di

原创 zookeeper centos7 集羣部署

配置描述: 服務器:CentOS Linux release 7.4.1708 (Core) * 3臺 Zk版本: zookeeper-3.4.14 JDK版本:java version 1.8.0_191 1、下載安裝包 wget

原创 make : flex: Command not found

yum -y install flex  

原创 Linux 7 pycurl.so: undefined symbol 解決方法

使用yum install 包時出現的undefined symbol問題: yum install libatomic1 -y There was a problem importing one of the Python modul