一：mget批量處理
1、批量查詢的好處
就是一條一條的查詢，比如說要查詢100條數據，那麼就要發送100次網絡請求，這個開銷還是很大的
如果進行批量查詢的話，查詢100條數據，就只要發送1次網絡請求，網絡請求的性能開銷縮減100倍
2、mget的語法
（1）一條一條的查詢
GET /test_index/test_type/1
GET /test_index/test_type/2
（2）mget批量查詢
GET /_mget
{
"docs" : [
{
"_index" : "test_index",
"_type" : "test_type",
"_id" : 1
},
{
"_index" : "test_index",
"_type" : "test_type",
"_id" : 2
}
]
}
{
"docs": [
{
"_index": "test_index",
"_type": "test_type",
"_id": "1",
"_version": 2,
"found": true,
"_source": {
"test_field1": "test field1",
"test_field2": "test field2"
}
},
{
"_index": "test_index",
"_type": "test_type",
"_id": "2",
"_version": 1,
"found": true,
"_source": {
"test_content": "my test"
}
}
]
}
（3）如果查詢的document是一個index下的不同type種的話
GET /test_index/_mget
{
"docs" : [
{
"_type" : "test_type",
"_id" : 1
},
{
"_type" : "test_type",
"_id" : 2
}
]
}
（4）如果查詢的數據都在同一個index下的同一個type下，最簡單了
GET /test_index/test_type/_mget
{
"ids": [1, 2]
}
3、mget的重要性
可以說mget是很重要的，一般來說，在進行查詢的時候，如果一次性要查詢多條數據的話，那麼一定要用batch批量操作的api
儘可能減少網絡開銷次數，可能可以將性能提升數倍，甚至數十倍，非常非常之重要
二、bulk語法
1、bulk語法
POST /_bulk
{ "delete": { "_index": "test_index", "_type": "test_type", "_id": "3" }}
{ "create": { "_index": "test_index", "_type": "test_type", "_id": "12" }}
{ "test_field": "test12" }
{ "index": { "_index": "test_index", "_type": "test_type", "_id": "2" }}
{ "test_field": "replaced test2" }
{ "update": { "_index": "test_index", "_type": "test_type", "_id": "1", "_retry_on_conflict" : 3} }
{ "doc" : {"test_field2" : "bulk test1"} }
每一個操作要兩個json串，語法如下：
{"action": {"metadata"}}
{"data"}
舉例，比如你現在要創建一個文檔，放bulk裏面，看起來會是這樣子的：
{"index": {"_index": "test_index", "_type", "test_type", "_id": "1"}}
{"test_field1": "test1", "test_field2": "test2"}
有哪些類型的操作可以執行呢？
（1）delete：刪除一個文檔，只要1個json串就可以了
（2）create：PUT /index/type/id/_create，強制創建
（3）index：普通的put操作，可以是創建文檔，也可以是全量替換文檔
（4）update：執行的partial update操作
bulk api對json的語法，有嚴格的要求，每個json串不能換行，只能放一行，同時一個json串和一個json串之間，必須有一個換行
{
"error": {
"root_cause": [
{
"type": "json_e_o_f_exception",
"reason": "Unexpected end-of-input: expected close marker for Object (start marker at [Source: org.elasticsearch.transport.netty4.ByteBufStreamInput@5a5932cd; line: 1, column: 1])\n at [Source: org.elasticsearch.transport.netty4.ByteBufStreamInput@5a5932cd;
line: 1, column: 3]"
}
],
"type": "json_e_o_f_exception",
"reason": "Unexpected end-of-input: expected close marker for Object (start marker at [Source: org.elasticsearch.transport.netty4.ByteBufStreamInput@5a5932cd; line: 1, column: 1])\n at [Source: org.elasticsearch.transport.netty4.ByteBufStreamInput@5a5932cd;
line: 1, column: 3]"
},
"status": 500
}
{
bulk操作中，任意一個操作失敗，是不會影響其他的操作的，但是在返回結果裏，會告訴你異常日誌
POST /test_index/_bulk
{ "delete": { "_type": "test_type", "_id": "3" }}
{ "create": { "_type": "test_type", "_id": "12" }}
{ "test_field": "test12" }
{ "index": { "_type": "test_type" }}
{ "test_field": "auto-generate id test" }
{ "index": { "_type": "test_type", "_id": "2" }}
{ "test_field": "replaced test2" }
{ "update": { "_type": "test_type", "_id": "1", "_retry_on_conflict" : 3} }
{ "doc" : {"test_field2" : "bulk test1"} }
POST /test_index/test_type/_bulk
{ "delete": { "_id": "3" }}
{ "create": { "_id": "12" }}
{ "test_field": "test12" }
{ "index": { }}
{ "test_field": "auto-generate id test" }
{ "index": { "_id": "2" }}
{ "test_field": "replaced test2" }
{ "update": { "_id": "1", "_retry_on_conflict" : 3} }
{ "doc" : {"test_field2" : "bulk test1"} }
2、bulk size最佳大小
bulk request會加載到內存裏，如果太大的話，性能反而會下降，因此需要反覆嘗試一個最佳的bulk size。一般從1000~5000條數據開始，嘗試逐漸增加。另外，如果看大小的話，最好是在5~15MB之間。