原创 Elasticsearch負載均衡策略發生死鎖解決方案

Elasticsearch負載均衡策略發生死鎖解決方案一、問題描述與解決方案1、問題產生的背景2、解決方案二、集羣分片分配時的相關設置(譯文)集羣分片分配分片分配設置分片重新平衡分配設置啓發式分片平衡分配 一、問題描述與解決方案

原创 Elasticsearch解決數據版本衝突問題的策略

Elasticsearch解決數據版本衝突問題的策略一、主要請求流程(索引和刪除等操作的基本流程)二、數據版本衝突的原因1、refresh的執行2、文檔發生更改三、結論 一、主要請求流程(索引和刪除等操作的基本流程) 1、集羣中某

原创 Elaticsearch索引數據大批量刪除接口優化

Elaticsearch索引數據大批量刪除接口優化一、需求二、索引數據刪除接口2.1使用到的elasticsearch核心接口2.2封裝刪除腳本2.3封裝接口實現三、Lucene分段處理的優化3.1、refersh3.2、flus

原创 圖譜分析引擎跨服務器遷移

圖譜分析引擎跨服務器遷移一、需求二、腳本實現方式1、壓縮2、傳輸3、解壓三、備註 一、需求 將服務器A的圖庫數據/索引/配置完整遷移到B服務器。 二、腳本實現方式 1、壓縮 在壓縮時注意忽略不必要的數據文件,優化壓縮/傳輸/解壓效率。

原创 NEO4J億級數據全文索引構建優化

NEO4J億級數據全文索引構建優化一、數據量規模(億級)二、構建索引的方式三、構建索引發生的異常四、全文索引代碼優化1、Java.lang.OutOfMemoryError2、訪問數據庫時3、優化方案4、優化代碼5、執行效率測試 如

原创 NEO4J中文分詞全文索引自動更新解決方案

NEO4J中文分詞全文索引自動更新解決方案一、樣例數據二、英文與中文全文索引差別1、創建NEO4J默認索引2、刪除索引3、創建支持中文分詞的索引三、APOC自帶英文全文索引過程(可自動更新索引)1、添加全文索引2、新增節點與屬性3、檢

原创 NEO4J全文檢索架構

NEO4J全文檢索架構一、有大量存量數據(億級以上)(並長期有增量數據進入)二、無大量存量數據或者少量存量數據(或全部爲增量數據)三、架構方案選擇優先級 以下方案,是根據實踐總結的基於NEO4J的全文檢索解決方案,各有優缺點,僅供參

原创 NEO4J空間索引

NEO4J空間索引1、創建圖層2、查看已經創建的圖層列表3、建立空間點並將新創建的點加入到geom圖層中4、查詢維度在60.0到60.2之間,經度在15.0到15.3之間的空間點5、導入全國公路shp文件6、查詢一個矩形內的圖形語句7

原创 基於NEO4J的高級檢索功能

基於NEO4J的高級檢索一、需求二、創建索引1、索引自動更新配置2、執行帶有索引自動更新配置的過程三、查詢索引1、LUCENE查詢語法2、實現高級檢索的核心:LUCENE QUERY語句拼接四、總結 一、需求 基於NEO4J實現類似萬

原创 基於社交圖譜的多層關係挖掘推薦

基於社交圖譜的多層關係挖掘推薦一、需求分析1、推薦功能2、親密度衡量標準3、實現思路二、案例測試1、準備樣例數據2、構建查詢3、優化 一、需求分析 1、推薦功能 根據多層人員互動類關係,推薦社交聯繫最緊密的前N個人。 2、親密度衡量標

原创 自定義中文全文索引

自定義中文全文索引一、中文分詞插件1、分詞組件的調整2、分詞測試二、樣例數據準備三、通過中文全文分詞組件創建節點索引四、中文分詞索引查詢五、總結 一、中文分詞插件 NEO4J中文全文索引,分詞組件使用IKAnalyzer。爲了支持高

原创 全源最短路徑的應用

全源最短路徑的應用一、最短路徑-CYPHER自帶函數二、全源最短路徑-neo4j-graph-algorithms算法包1、isFinite函數的使用2、將圖形作爲無向圖處理3、大圖運算三、通過全源最短路徑算法尋找路徑緊密度排序1、路

原创 基於目標羣體的潛在人物挖掘

基於目標羣體的潛在人物挖掘一、目標羣體中存在潛在關係的人物挖掘二、案例測試 一、目標羣體中存在潛在關係的人物挖掘 目標:通過對當前多個節點的標籤、關係、屬性的分析,從社交圖譜中挖掘與目標羣體關係緊密的潛在人物。 1、遍歷路徑拿到與

原创 社交圖譜好友關係分析

社交圖譜好友關係分析一、兩兩之間好友關係查詢二、自定義函數實現兩兩關係統計三、使用UNWIND實現節點屬性更新四、自定義過程實現節點屬性更新 id(source)源節點 id(target)目標節點 result 606

原创 基於NEO4J圖模型的列表推薦

基於NEO4J圖模型的列表推薦一、潛在可能認識的人排序列表二、對可能認識的人進一步篩選三、業務查詢和存儲過程的編寫 一、潛在可能認識的人排序列表 六度關係以內人脈網絡-(只返回賬號類型節點)(用戶頁面觸發式接口)(排序:根據關係層數排