原创 docker容器和虛擬機
前言 1: 只知道虛擬機會對硬件進行虛擬化，容器使用的硬件資源還是宿主機的 正文 1: 對 Docker 項目來說，它最核心的原理實際上就是爲待創建的用戶進程： 啓用 Linux Namespace 配置； 設置指定的 Cgroups
2020-06-24 18:42:52
原创 刪除隊列實現
前言 需要確認的地方！ 1： 內存段中的數據刪除後是否立即刪除，查不到信息？即內存段，是否沒有刪除表？ 是有的，讀段都有delete map 2： 內核說，能查到標記刪除的文檔的版本號信息， 得到的是 add -- > delete
2020-06-24 17:24:28
原创 探尋ES中的數據併發問題
前言 1： 刪除文檔後，版本信息默認會保留60s。 2： 關於cas重試，是需要重新get 一下version的，那肯定會成功吧?這個場景主要在，對於多用戶的局部更新，文檔被修改了並不要緊。例如，兩個進程都要增加頁面瀏覽量，增加的順序我們
2020-06-24 17:24:28
原创 ES如何通過文檔id獲取正排信息
前言 根據文檔id定位到某個字段的正排信息，常常用於需要根據某個字段排序，分類計算，這個必須使用Doc values 正文 1： 在ES中原始數據是以行式存儲的，也就是文檔的所有字段都會連續的存儲在物理空間上。 這樣勢必會佔用非常多的
2020-06-24 17:24:27
原创 kubernetes的一些技術要點（可作爲年OKR）
1：雲搜二期使用k8s提升了哪些點？ 環境打包（使用倉庫鏡像版本，完美解決） 自動化部署，重置分片，重建 （一期未能有效的實現重建，重置分片功能） 資源極大優化：包括機器利用率（減少了50%+的機器），剔除01版本
2020-06-24 17:24:27
1
原创 kubernetes資源設置-2
前言 本筆記詳解，kubernetes調度器在調度時的策略 a：預選的策略 b：優選的策略，會考慮哪些維度，各個維度的權重如何 優選和預選考慮的機器負載指標（cpu+mem），不是線上實時的指標，而是分配出去的資源上下限！ @hxx 這就
2020-06-24 17:24:27
原创 ES的倒排查詢和正排查詢一句話簡短的幾句話，收穫滿滿
前言 1：理解query到正排鏈的查詢過程 2：理解docid到取出正排值的過程 正文: 1： 舉例說明從query到倒排鏈的過程 query= title=愛 將愛進行Unicode編碼，成 ep 01xx 使用詞典文件（.tip，
2020-06-24 17:24:26
原创 CPU使用過低，load過高
1：按照網上說的，這種情況很有可能下面的情況 等待磁盤I/O完成的進程過多，導致進程隊列長度過大，但是cpu運行的進程卻很少，這樣就體現到負載過大了，cpu使用率低。 使用“iostat -txk 1”或者“sar -d 1”（每個一秒採
2020-06-24 17:24:26
2
原创 heapster+influxdb+grafana
Kubernetes有個出名的監控agent—cAdvisor。在每個kubernetes Node上都會運行cAdvisor，它會收集本機以及容器的監控數據(cpu,memory,filesystem,network,uptime)。在
2020-06-24 17:24:26
原创 fst和skiplist
前言 1：爲什麼要講fst和skiplist 檢索的倒排結構通常包含兩種結構，一個是詞典(一般要加載到內存)，一個是倒排表。如下圖 一次查詢需要經歷兩個階段，找到詞典的位置（或者叫判斷這個詞存不存在），比如輸入Lucene，先要找到這
2020-06-24 17:24:26
原创 ElasticSearcher對不同字段類型索引方式
背景 1： 核心數據類型(strings, numbers, booleans及dates)以不同的方式進行索引，而這點也是現實：在Elasticsearch中他們是被區別對待的 2： 確切值(exact values)(比如string
2020-06-24 17:24:26
原创 CPU使用過低，load過高-2
1： 一個個pod剔除，直到機器load爲0（空機器） 關注“上下文切換” 指標 記錄移除了哪些pod 產生了哪些變化 驗證free少的機器，load高？ 結論： a：進程數越多，即使CPU空閒率比較高，但是load還是有可能比較高，
2020-06-24 17:24:26
5
原创 kubernetes 探針設置
在builder中加上了存活探針: image: wcs.online.registry.58corp.com:8000/wcs-online/wcsk8sctl:v1.0 imagePullPolicy: Always ports: -
2020-06-24 17:24:26
原创 pod重啓和生命週期
前言 1：如何構造pod原地重啓，即pod ip不發生改變 2： 怎麼構造pod init容器多次執行 3： 當pod 非init容器全部刪除，是否會導致pod所有容器全部執行？ 摘自：https://kubernetes.io/zh
2020-06-24 17:24:26
原创 ElasticSearcher索引
前言 1：查詢的過程是怎樣的（結合架構分析） 2：索引過程是怎樣的（結合架構分析） 3：ES索引的存儲結構是怎樣的 本文只介紹索引 正文 1： 索引過程 文檔只有在segment中才能被查詢，建索引的時候是放在內存中，此內存不
2020-06-24 17:24:26