Elasticsearch 通關教程(二): 索引映射Mapping問題

數據庫建表的時候,我們的DDL語句一般都會指定每個字段的存儲類型,例如:varchar,int,datetime等等,目的很明確,就是更精確的存儲數據,防止數據類型格式混亂。

CREATE TABLE `shop_` (
  `id_` varchar(36) NOT NULL COMMENT 'id',
  `shop_name_` varchar(50) DEFAULT NULL COMMENT '商品名稱',
  `shop_integral_` int(11) DEFAULT NULL COMMENT '兌換所需積分',
  `shop_money_` decimal(10,0) DEFAULT NULL COMMENT '劵面金額',
  `start_time_` datetime DEFAULT NULL COMMENT '有效開始時間',
  `end_time_` datetime DEFAULT NULL COMMENT '有效結束時間',
  `is_delete_` int(1) DEFAULT '1' COMMENT '是否刪除-1:有效,0:刪除',
  PRIMARY KEY (`id_`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 ROW_FORMAT=DYNAMIC;

在 Elasticsearch中也是這樣,創建索引的時候一般也需要指定索引的字段類型,這種方式成爲映射(Mapping)。

字段類型

映射(Mapping)針對的是文檔的字段,數據庫中有varchar,int,datetime等數據類型,那麼我們ElasticSearch中又有哪些字段類型,每個字段類型都代表什麼意思呢?

ElasticSearch更新頻繁,以下內容是針對6.x版本的,對於5.x版本以及之前的版本可能有所不同,未來7.x版本也許也會有所改變,本篇不能做到面面俱到,所以大家可以針對自己的版本查閱官方文檔。

Elasticsearch支持文檔字段的多種不同數據類型,根據官方文檔的分類,可以劃分爲以下幾個類別:
核心數據類型複雜數據類型Geo(地理)數據類型專用數據類型多字段

核心數據類型

  • 字符串類型
    主要包括:text 和 keyword。
  • 數字類型
    主要包括:long, integer, short, byte, double, float, half_float, scaled_float
  • 日期類型
  • 布爾類型
  • 二進制類型
  • 範圍數據類型
    integer_range, float_range, long_range, double_range, date_range

這裏我們重點介紹下 text 和 keyword 的區別:

text 用於索引全文值的字段,例如電子郵件正文或產品說明。這些字段是analyzed,它們通過分詞器傳遞 ,以在被索引之前將字符串轉換爲單個術語的列表。分析過程允許Elasticsearch搜索單個單詞中 每個完整的文本字段。文本字段不用於排序,很少用於聚合(儘管 重要的文本聚合 是一個值得注意的例外)。

keyword 用於索引結構化內容的字段,例如電子郵件地址,主機名,狀態代碼,郵政編碼或標籤。它們通常用於過濾,排序,和聚合。keyword字段只能按其確切值進行搜索。如果您需要索引電子郵件正文或產品說明等全文內容,則可能應該使用text字段。

有時候一個字段同時擁有全文類型(text)和關鍵字類型(keyword)是有用的:一個用於全文搜索,另一個用於聚合和排序。這可以通過多字段類型來實現。

複雜數據類型

Geo數據類型

專用數據類型

多字段

有時候單純的一個字段類型滿足不了我們複雜的需求,爲了不同的目的,以不同的方式索引同一個字段通常很有用。多字段也是ES的一種數據類型,只不過結合了更多的功能。

例如,對於字符串字段,我們既可以將它映射爲text類型用於全文搜索,亦可以將它映射爲keyword類型用於排序或聚合,或者,還可以使用標準分詞器、英語分詞器和其他語言分詞器索引文本字段。

大多數數據類型都通過fields參數支持多字段。例如對於城市名稱的多字段映射,可以這樣寫:

PUT my_index
{
  "mappings": {
    "_doc": {
      "properties": {
        "cityName": {
          "type": "text",
          "fields": {
            "raw": { 
              "type":  "keyword"
            }
          }
        }
      }
    }
  }
}

Elasticsearch的字段類型講解完了,我們接下來正式介紹 ES的映射,ES是如何將索引文檔和數據類型進行關聯的,創建索引前是否必須制定索引文檔的數據類型呢?

映射

映射是定義一個文檔及其包含的字段如何存儲和索引的過程。例如,使用映射來定義:

  • 應將哪些字符串字段視爲全文字段。
  • 哪些字段包含數字,日期或地理位置。
  • 是否應將文檔中所有字段的值索引到catch-all _all字段中。
  • 日期值的格式。
  • 自定義規則以控制動態添加字段的映射。

其實在 ElasticSearch中可以不需要事先定義映射(Mapping),文檔寫入ElasticSearch時,會根據文檔字段自動識別類型,但是通過這種自動識別的字段不是很精確,對於一些複雜的需要分詞的就不適合了。

根據是否自動識別映射類型,我們可以將映射分爲動態映射靜態映射

動態映射,即不事先指定映射類型(Mapping),文檔寫入ElasticSearch時,ES會根據文檔字段自動識別類型,這種機制稱之爲動態映射。

靜態映射,即人爲事先定義好映射,包含文檔的各個字段及其類型等,這種方式稱之爲靜態映射,亦可稱爲顯式映射。

動態映射

Elasticsearch最重要的功能之一是它試圖擺脫你的方式,讓你儘快開始探索你的數據。Elasticsearch試圖讓你成功安裝環境之後就可以直接使用。要索引文檔,您不必首先創建索引、定義映射類型和定義字段,其實您只需索引一個文檔數據,然後索引、類型和字段將自動生效。

索引一個圖書的文檔:

PUT /library/book/1
{
  "bookId":1,
  "bookName":"Java核心技術 卷I",
  "publishDate":"2014-03-12"
}

返回結果如下,表示成功

{
  "_index": "library",
  "_type": "book",
  "_id": "1",
  "_version": 1,
  "result": "created",
  "_shards": {
    "total": 2,
    "successful": 1,
    "failed": 0
  },
  "_seq_no": 0,
  "_primary_term": 1
}

我們看下mapping映射信息

GET library/_mapping

得到如下映射信息,重點關注mapping節點的內容

{
  "library": {
    "mappings": {
      "book": {
        "properties": {
          "bookId": {
            "type": "long"
          },
          "bookName": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "publishDate": {
            "type": "date"
          }
        }
      }
    }
  }
}

可以看到,我們並沒有創建索引映射,Elasticsearch自動根據文檔數據爲我們映射了字段類型,bookId的映射類型爲long,bookName的映射類型爲多字段的即爲text,同時也爲keyword,publishDate的映射類型爲date。可以看到ES的動態映射功能還是蠻強大的。

默認情況下,當在文檔中找到以前未見過的字段時,Elasticsearch會自動將這個新字段添加到類型映射中。我們可以在文檔和object級別禁用這項功能,具體操作方式就是通過將dynamic參數設置爲falsestrict設爲false是忽略新字段,而設爲strict是如果遇到未知字段,就拋出異常

假設啓用了動態字段映射功能,則使用一些簡單的規則來確定字段應具有的數據類型:

JSON datatype Elasticsearch datatype
null 沒有字段添加
true or false boolean
integer long
object object
array 依賴於數組中首個非空值
string 可以是日期字段、double或long字段,也可以是帶有關鍵字子字段的文本字段。

上面這些是可以動態檢測到的字段數據類型,而其他的以外的字段必須要顯式映射數據類型了。

對於string字符串字段,動態映射的結果會有多種,可能映射爲日期類型,也可能映射爲double或long類型,也可能映射爲帶有關鍵字的text類型,具體結果要看配置的檢測類型,是日期檢測還是數字檢測。

日期檢測
如果date_detection啓用(默認),則檢查新字符串字段以查看其內容是否與dynamic_date_formats指定的任何日期模式匹配 。如果找到匹配項,那麼則添加爲具有對應格式的date新字段。

默認值爲

dynamic_date_formats:[ "strict_date_optional_time","yyyy/MM/dd HH:mm:ss Z||yyyy/MM/dd Z"]

例如:

PUT my_index/_doc/1
{
  "create_date": "2015/09/02"
}

通過GET my_index/_mapping得到的結果爲:

{
  "my_index": {
    "mappings": {
      "_doc": {
        "properties": {
          "city": {
            "type": "text",
            "fields": {
              "raw": {
                "type": "keyword"
              }
            }
          },
          "create_date": {
            "type": "date",
            "format": "yyyy/MM/dd HH:mm:ss||yyyy/MM/dd||epoch_millis"
          }
        }
      }
    }
  }
}

動態日期檢測可以通過設置date_detectionfalse來禁用:

PUT my_index
{
  "mappings": {
    "_doc": {
      "date_detection": false
    }
  }
}

PUT my_index/_doc/1 
{
  "create": "2015/09/02"
}

禁用之後,重新獲取映射類型,得到如下結果:

{
  "my_index": {
    "mappings": {
      "_doc": {
        "date_detection": false,
        "properties": {
          "create": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          }
        }
      }
    }
  }
}

這時,create_date字段已被添加爲文本字段。我們也可以自定義檢測到的日期格式,通過dynamic_date_formats可以自定義以支持您自己的日期格式:

PUT my_index 
{ 
  "mappings":{ 
    "_ doc":{ 
      "dynamic_date_formats":["MM / dd / yyyy"] 
    } 
  } 
} 

數字檢測
雖然JSON支持本機浮點和整數數據類型,但某些應用程序或語言有時可能將數字呈現爲字符串。通常,正確的解決方案是顯式映射這些字段,但可以啓用數字檢測(默認情況下禁用)以自動執行此操作:

PUT my_index 
{ 
  "mappings":{ 
    "_ doc":{ 
      "numeric_detection":true 
    } 
  } 
} 

PUT my_index / _doc / 1 
{ 
  "my_float":"1.0",
  "my_integer":"1" 
}

其中my_float字段將添加爲float字段,my_integer字段將添加爲long字段。

除了上面列出的選項外,還可以進一步自定義動態字段映射規則dynamic_templates,動態模板允許您定義可應用於動態添加字段的自定義映射,具體取決於:

  • Elasticsearch檢測到 的數據類型match_mapping_type。
  • 字段的名稱,帶match和unmatch或match_pattern。
  • 字段的完整虛線路徑,帶path_match和path_unmatch。

更多具體內容可參考官方文檔,Dynamic templates一章這裏就不多敘述了。

靜態映射(顯式映射)

動態映射的自動類型推測功能並不是100%正確的,這就需要靜態映射機制。靜態映射與關係數據庫中創建表語句類型,需要事先指定字段類型。相對於動態映射,靜態映射可以添加更加詳細字段類型、更精準的配置信息等。

既然可以自定義映射字段類型,那麼那些複雜的字段類型和分詞器我們都可以根據自己需求添加了,以提供了字段映射使用的各種映射參數的詳細說明,這些映射參數對於某些或所有字段數據類型是通用的,內容太多,這裏感興趣的讀者可以點擊具體鏈接閱讀。

映射參數 說明
analyzer 分析器
normalizer 在 Elasticsearch 中處理字符串類型的數據時,如果我們想把整個字符串作爲一個完整的 term 存儲,我們通常會將其類型 type 設定爲 keyword。但有時這種設定又會給我們帶來麻煩,比如同一個數據再寫入時由於沒有做好清洗,導致大小寫不一致,比如 apple、Apple兩個實際都是 apple,但當我們去搜索 apple時卻無法返回 Apple的文檔。要解決這個問題,就需要 Normalizer出場了。
boost 單個字段可以自動提升以計數更多的相關性得分
coerce 強制嘗試清除髒值以適合字段的數據類型。數據並不總是乾淨的,根據它的生成方式,數字可能會在JSON正文中呈現爲真正的JSON數字,例如5,但它也可能呈現爲字符串,例如"5"。或者,應該是整數的數字可以替代地呈現爲浮點,例如5.0,或甚至 "5.0"。
copy_to copy_to參數允許您創建自定義 _all字段,可以將多個字段的值複製到組字段中,然後可以將其作爲單個字段進行查詢。
doc_values
dynamic 設置動態映射
enabled enabled設置只能應用於映射類型和 object字段,導致Elasticsearch完全跳過對字段內容的解析
fielddata
eager_global_ordinals
format 格式化日期
ignore_above
ignore_malformed
index_options
index
fields
norms
null_value 當字段設置爲null,(或空數組或null值數組)時,它被視爲該字段沒有值。不能被索引或搜索
position_increment_gap
properties
search_analyzer
similarity
store
term_vector
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章