ElasticSearch實戰系列二: ElasticSearch的DSL語句使...

ElasticSearch DSL 介紹
Elasticsearch提供了基於JSON的完整查詢DSL(特定於域的語言)來定義查詢。將查詢DSL視爲查詢的AST(抽象語法樹),它由兩種子句組成:
葉子查詢子句:
葉查詢子句中尋找一個特定的值在某一特定領域,如 match,term或 range查詢。這些查詢可以自己使用。
複合查詢子句
複合查詢子句包裝其他葉查詢或複合查詢,並用於以邏輯方式組合多個查詢(例如 bool或dis_max查詢),或更改其行爲(例如 constant_score查詢)。
查詢子句的行爲會有所不同,具體取決於它們是在 查詢上下文中還是在過濾器上下文中使用。
我們在使用ElasticSearch的時候,避免不了使用DSL語句去查詢,就像使用關係型數據庫的時候要學會SQL語法一樣。如果我們學習好了DSL語法的使用,那麼在日後使用和使用Java Client調用時候也會變得非常簡單。
ElasticSearch DSL 語句使用
這裏我們先來介紹下DSL 語句簡單的使用,從最常用的增刪改查開始!
一、新增數據
ElasticSearch可以直接新增數據,只要你指定了index(索引庫名稱)和type(類型)即可。在新增的時候你可以自己指定主鍵ID,也可以不指定,由 ElasticSearch自身生成。
新增數據命令示例:
POST test1/_doc/1{ "uid" : "1234", "phone" : "12345678909", "message" : "qq", "msgcode" : "1", "sendtime" : "2019-03-14 01:57:04"}
kinaba示例圖:
kinaba示例圖.png

注: POST test1/_doc/1 這是指定主鍵ID爲1,如果POST test1/_doc 的話,那麼便是es自身生成ES語句。
這裏我們還可以通過 GET test1/ 或 GET test1/_settings和GET test1/_mapping查看該index的狀態,也就是 setting(設置選項) 和mapping(數據結構)。
數據結構.png
二、創建索引庫
在上述示例中,我們通過直接通過創建數據從而創建了索引庫,但是沒有創建索引庫而通過ES自身生成的這種並不友好,因爲它會使用默認的配置,字段結構都是text(text的數據會分詞,在存儲的時候也會額外的佔用空間),分片和索引副本採用默認值,默認是5和1,ES的分片數在創建之後就不能修改,除非reindex(下面會講到),所以這裏我們還是指定數據模板進行創建。
這裏先簡單介紹一下ES的數據結構,以下的數據結構爲ES的6.x版本。
核心數據類型
text 和 keyword
數值數據類型
long,integer,short,byte,double,float,half_float,scaled_float
日期數據類型
date
布爾數據類型
boolean
二進制數據類型
binary
範圍數據類型
integer_range,float_range,long_range,double_range,date_range
複雜數據類型編輯
對象數據類型
object 用於單個JSON對象
嵌套數據類型
nested 用於JSON對象數組
地理數據類型編輯
地理位置數據類型
geo_point 緯度/經度積分
地理形狀數據類型
geo_shape 用於多邊形等複雜形狀
專業數據類型編輯
IP數據類型
ip 用於IPv4和IPv6地址
完成數據類型
completion 提供自動完成建議
令牌計數數據類型
token_count 計算字符串中令牌的數量
mapper-murmur3
murmur3 在索引時計算值的哈希並將其存儲在索引中
mapper-annotated-text
annotated-text 索引包含特殊標記的文本(通常用於標識命名實體)
滲濾器類型
接受來自query-dsl的查詢
join 數據類型
爲同一索引內的文檔定義父/子關係
別名數據類型
爲現有字段定義別名。
多字段編輯
爲不同的目的以不同的方式對同一字段建立索引通常很有用。例如,一個string字段可以映射爲text用於全文搜索的字段,也可以映射爲keyword用於排序或聚合的字段。或者,您可以使用standard分析儀, english分析儀和 french分析儀索引文本字段。
這是多領域的目的。大多數數據類型通過fields參數支持多字段。

上面介紹的字段介紹雖然比較複雜,但是我們常用的幾個類型也就是這幾種 text、keyword、byte、short、integer、long、float、double、boolean、date,其中text和keyword都是string類型,選擇區分很簡單,需要進行分詞用text,不需要並且進行排序或聚合的可以用keyword。
關於ES的數據結構就到這裏了,我們來進行索引庫的創建吧!
新增索引庫的命令示例:
PUT test1{ "settings" : { "number_of_shards" : 10, "number_of_replicas" : 1, "refresh_interval" : "1s" }, "mappings" : { "_doc" : { "properties" : { "uid" : { "type" : "long" }, "phone" : { "type" : "long" }, "message" : { "type" : "keyword" }, "msgcode" : { "type" : "long" }, "sendtime" : { "type" : "date", "format" : "yyyy-MM-dd HH:mm:ss" } } } }}
示例圖:
示例圖.png
示例圖2.png

注:
number_of_shards: 是設置的分片數,設置之後無法更改!
refresh_interval: 是設置es緩存的刷新時間,如果寫入較爲頻繁,但是查詢對實時性要求不那麼高的話,可以設置高一些來提升性能。可以更改
number_of_replicas : 是設置該索引庫的副本數,建議設置爲1以上。
其中這裏還有幾個重要參數也順便說一下:
store: true/false 表示該字段是否存儲,默認存儲。
doc_values: true/false 表示該字段是否參與聚合和排序。
index: true/false 表示該字段是否建立索引,默認建立。
關於這幾個字段的取值可以參考一下的示例圖:
彩色示例圖.png
三、修改數據
其實ES的新增和修改可以看做是一樣,存在則修改,不存在則新增,不過這裏還是簡單的介紹下吧。
修改數據的方式主要有兩種,一種是通過主鍵ID進行修改,這種比較簡單,就是和新增一樣即可。
另一種則是通過條件進行修改,相當於SQL更新語句的 where條件。
根據主鍵修改的命令示例:
POST test1/_doc/1{ "uid" : "1234", "phone" : "12345678909", "message" : "qq", "msgcode" : "1", "sendtime" : "2019-03-14 01:57:04"}
根據條件修改的命令示例:
POST test1/_update_by_query{ "query": { "term": { "phone": "12345678909" } } , "script": { "source": "ctx._source['message'] = 'xuwujing'" }}
原有的數據:
原有數據.png
修改後的數據:
修改後數據.png
注:這裏的根據條件進行修改用到的腳本語言,ES除了使用DSl語句之後,使用一些官方定義的腳本語言和SQL語句也能進行操作,腳本語言和SQL語句的操作留到以後在來講下。
四、刪除數據、字段和索引庫
ES根據主鍵刪除數據的命令示例是DELETE 索引庫/id,簡單實用,但是一定要要加上ID,不然就是刪除索引庫了!
根據主鍵刪除數據命令示例:
DELETE test1/1
根據條件刪除數據的命令示例:
POST test/_delete_by_query{ "query": { "term": { "phone": "12345678909" } }}
當然ES還可以根據條件只刪除某一個字段的數據,比如刪除字段msgcode的數據。
刪除字段數據的命令示例:
POST test/_doc/_update_by_query{"script":{"lang":"painless","inline":"ctx._source.remove("msgcode")"}}
示例圖:
命令示例圖.png
查詢語句查詢所有
match_all可以查詢集羣所有索引庫的信息,包括一些隱藏索性庫的信息。
命令示例:
GET _search{ "query": { "match_all": {} }}
示例圖:
match示例圖.png
查詢索引庫所有的數據,命令格式爲GET 索引庫名稱/索引庫類型/_search,也可以不需要索引庫類型。
命令示例:
GET test1/_doc/_search
如果根據ID查詢某一條數據的話,也比較簡單,只需要將上述的_search換成主鍵ID即可。
命令示例:
GET test1/_doc/2等值(term)查詢
term主要用於精確匹配哪些值,比如數字,日期,布爾值或 not_analyzed 的字符串(未經分析的文本數據類型)
比如根據手機號進行查詢。
命令示例:
GET test1/_doc/_search{ "query": { "term": { "phone": "12345678909" } }}
當然,如果想在一個字段匹配多個值的話,可以使用terms,相當於SQL的in語法。
命令示例:
GET test1/_doc/_search{ "query": { "terms": { "uid": [ 1234, 12345, 123456 ] } }}
示例圖:
123456示例圖.png
注:上述中是沒有123456這條數據,這樣只是爲了做下簡單的測試而已。
範圍(range )查詢
range可以理解爲SQL中的><符號,其中gt是大於,lt是小於,gte是大於等於,lte是小於等於。
命令示例:
GET test1/_doc/_search{ "query": { "range": { "uid": { "gt": 1234, "lte": 12345 } } }}
12345.png
存在(exists)查詢
exists可以理解爲SQL中的exists函數,就是判斷是否存在該字段。
這裏我們新增一條沒有msgcode的字段,然後用exists去查詢。
POST test1/_doc/3{ "uid" : "123456", "phone" : "12345678909", "message" : "qq", "sendtime" : "2019-03-14 01:57:04"}
存在查詢命令示例:
GET test1/_doc/_search{ "query": { "exists": { "field":"msgcode" } }}
示例圖:
msgcods示例圖.png
msgcode示例圖.png

組合(bool)查詢
bool 可以用來合併多個過濾條件查詢結果的布爾邏輯,它包含這如下幾個操作符:
must : 多個查詢條件的完全匹配,相當於 and。
must_not ::多個查詢條件的相反匹配,相當於 not。
should : 至少有一個查詢條件匹配, 相當於 or。
查詢的命令示例:
GET /test1/_search{ "query": { "bool": { "must": { "term": { "phone": "12345678909" } }, "must_not": { "term": { "uid": 12345 } }, "should": [ { "term": { "uid": 1234 } }, { "term": { "uid": 123456 } } ], "adjust_pure_negative": true, "boost": 1 } }}
示例圖:
boost1示例圖.png

模糊(wildcard)查詢
wildcard查詢相當於SQL語句中的like語法,只不過它查詢的數據需要加上*符號。
模糊查詢命令示例:
GET /test1/_search{ "query": { "wildcard": { "message":"wu" } }}
message.png

正則(regexp)查詢
regexp可以支持正則查詢,比如查詢短信內容中的驗證碼之類的。
下面的這個示例就是查詢以xu開頭,後面是0-9數字的內容的數據。
正則查詢命令示例:
GET /test1/_search{ "query": { "regexp": { "message":"xu[0-9]" } }}
示例圖:
正則查尋.png
查詢語句的示例到這裏就差不多就結束了,這裏在推薦一下kinaba查詢的幾個小技巧,如圖所示:
最後一張.png

其它

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章