Python-ElasticSearch，python對ES進行寫入、更新、刪除、搜索

Elasticsearch 是一個開源的搜索引擎，建立在一個全文搜索引擎庫 Apache Lucene™ 基礎之上。 Lucene 可能是目前存在的，不論開源還是私有的，擁有最先進，高性能和全功能搜索引擎功能的庫。但是 Lucene 僅僅只是一個庫。爲了利用它，你需要編寫 Java 程序，並在你的 java 程序裏面直接集成 Lucene 包。 更壞的情況是，你需要對信息檢索有一定程度的理解才能明白 Lucene 是怎麼工作的。Lucene 是 很 複雜的。
在上一篇博客中介紹了ElasticSearch的簡單使用，接下來記錄一下ElasticSearch的查詢：

創建index索引

#創建索引，索引的名字是my-index,如果已經存在了，就返回個400，
#這個索引可以現在創建，也可以在後面插入數據的時候再臨時創建
es.indices.create(index='my-index',ignore)

插入數據

#插入數據,(這裏省略插入其他兩條數據，後面用)
es.index(index="my-index",doc_type="test-type",id=01,body={"any":"data01","timestamp":datetime.now()})

get獲取數據

#查詢數據，兩種get and search
#get獲取
res = es.get(index="my-index", doc_type="test-type", id=01)
es.get(index='indexName', doc_type='typeName', id='idValue')

刪除數據

delete：刪除指定index、type、id的文檔

es.delete(index='indexName', doc_type='typeName', id='idValue')

條件刪除

delete_by_query：刪除滿足條件的所有數據，查詢條件必須符合DLS格式

query = {'query': {'match': {'sex': 'famale'}}}# 刪除性別爲女性的所有文檔

query = {'query': {'range': {'age': {'lt': 11}}}}# 刪除年齡小於11的所有文檔

es.delete_by_query(index='indexName', body=query, doc_type='typeName')

條件更新

update_by_query：更新滿足條件的所有數據，寫法同上刪除和查詢

批量寫入、刪除、更新

doc = [
     {"index": {}},
     {'name': 'jackaaa', 'age': 2000, 'sex': 'female', 'address': u'北京'},
     {"index": {}},
     {'name': 'jackbbb', 'age': 3000, 'sex': 'male', 'address': u'上海'},
     {"index": {}},
     {'name': 'jackccc', 'age': 4000, 'sex': 'female', 'address': u'廣州'},
     {"index": {}},
     {'name': 'jackddd', 'age': 1000, 'sex': 'male', 'address': u'深圳'},
 ]
 doc = [
    {'index': {'_index': 'indexName', '_type': 'typeName', '_id': 'idValue'}}
    {'name': 'jack', 'sex': 'male', 'age': 10 }
    {'delete': {'_index': 'indexName', '_type': 'typeName', '_id': 'idValue'}}
    {"create": {'_index' : 'indexName', "_type" : 'typeName', '_id': 'idValue'}}
    {'name': 'lucy', 'sex': 'female', 'age': 20 }
    {'update': {'_index': 'indexName', '_type': 'typeName', '_id': 'idValue'}}
    {'doc': {'age': '100'}}
 ]
 es.bulk(index='indexName'，  doc_type='typeName', body=doc)

 #批量更新也可以採用如下的方式進行json拼裝，最後寫入
 for line in list:
            action = {
                "_index": self.index_name,
                "_type": self.index_type,
                "_id": i, #_id 也可以默認生成，不賦值
                "_source": {
                    "date": line['date'],
                    "source": line['source'].decode('utf8'),
                    "link": line['link'],
                    "keyword": line['keyword'].decode('utf8'),
                    "title": line['title'].decode('utf8')}
            }
            i += 1
            ACTIONS.append(action)
success, _ = bulk(self.es, ACTIONS, index=self.index_name, raise_on_error=True)

---

查詢所有數據

搜索所有數據

es.search(index="my_index",doc_type="test_type")


# 或者
body = {
    "query":{
        "match_all":{}
    }
}
es.search(index="my_index",doc_type="test_type",body=body)

term與terms

term

body = {
    "query":{
        "term":{
            "name":"python"
        }
    }
}
# 查詢name="python"的所有數據
es.search(index="my_index",doc_type="test_type",body=body)

terms

body = {
    "query":{
        "terms":{
            "name":[
                "python","android"
            ]
        }
    }
}
# 搜索出name="python"或name="android"的所有數據
es.search(index="my_index",doc_type="test_type",body=body)

match與multi_match

# match:匹配name包含python關鍵字的數據
body = {
    "query":{
        "match":{
            "name":"python"
        }
    }
}
# 查詢name包含python關鍵字的數據
es.search(index="my_index",doc_type="test_type",body=body)

# multi_match:在name和addr裏匹配包含深圳關鍵字的數據
body = {
    "query":{
        "multi_match":{
            "query":"深圳",
            "fields":["name","addr"]
        }
    }
}
# 查詢name和addr包含"深圳"關鍵字的數據
es.search(index="my_index",doc_type="test_type",body=body)

ids

body = {
    "query":{
        "ids":{
            "type":"test_type",
            "values":[
                "1","2"
            ]
        }
    }
}
# 搜索出id爲1或2d的所有數據
es.search(index="my_index",doc_type="test_type",body=body)

複合查詢bool

bool有3類查詢關係，must(都滿足),should(其中一個滿足),must_not(都不滿足)

body = {
    "query":{
        "bool":{
            "must":[
                {
                    "term":{
                        "name":"python"
                    }
                },
                {
                    "term":{
                        "age":18
                    }
                }
            ]
        }
    }
}
# 獲取name="python"並且age=18的所有數據
es.search(index="my_index",doc_type="test_type",body=body)

切片式查詢

body = {
    "query":{
        "match_all":{}
    }
    "from":2    # 從第二條數據開始
    "size":4    # 獲取4條數據
}
# 從第2條數據開始，獲取4條數據
es.search(index="my_index",doc_type="test_type",body=body)

範圍查詢

body = {
    "query":{
        "range":{
            "age":{
                "gte":18,       # >=18
                "lte":30        # <=30
            }
        }
    }
}
# 查詢18<=age<=30的所有數據
es.search(index="my_index",doc_type="test_type",body=body)

前綴查詢

body = {
    "query":{
        "prefix":{
            "name":"p"
        }
    }
}
# 查詢前綴爲"趙"的所有數據
es.search(index="my_index",doc_type="test_type",body=body)

通配符查詢

body = {
    "query":{
        "wildcard":{
            "name":"*id"
        }
    }
}
# 查詢name以id爲後綴的所有數據
es.search(index="my_index",doc_type="test_type",body=body)

排序

body = {
    "query":{
        "match_all":{}
    }
    "sort":{
        "age":{                 # 根據age字段升序排序
            "order":"asc"       # asc升序，desc降序
        }
    }
}

filter_path

響應過濾

# 只需要獲取_id數據,多個條件用逗號隔開
es.search(index="my_index",doc_type="test_type",filter_path=["hits.hits._id"])

# 獲取所有數據
es.search(index="my_index",doc_type="test_type",filter_path=["hits.hits._*"])

count

執行查詢並獲取該查詢的匹配數

# 獲取數據量
es.count(index="my_index",doc_type="test_type")

度量類聚合

獲取最小值

body = {
    "query":{
        "match_all":{}
    },
    "aggs":{                        # 聚合查詢
        "min_age":{                 # 最小值的key
            "min":{                 # 最小
                "field":"age"       # 查詢"age"的最小值
            }
        }
    }
}
# 搜索所有數據，並獲取age最小的值
es.search(index="my_index",doc_type="test_type",body=body)

獲取最大值

body = {
    "query":{
        "match_all":{}
    },
    "aggs":{                        # 聚合查詢
        "max_age":{                 # 最大值的key
            "max":{                 # 最大
                "field":"age"       # 查詢"age"的最大值
            }
        }
    }
}
# 搜索所有數據，並獲取age最大的值
es.search(index="my_index",doc_type="test_type",body=body)

獲取和

body = {
    "query":{
        "match_all":{}
    },
    "aggs":{                        # 聚合查詢
        "sum_age":{                 # 和的key
            "sum":{                 # 和
                "field":"age"       # 獲取所有age的和
            }
        }
    }
}
# 搜索所有數據，並獲取所有age的和
es.search(index="my_index",doc_type="test_type",body=body)

獲取平均值

body = {
    "query":{
        "match_all":{}
    },
    "aggs":{                        # 聚合查詢
        "avg_age":{                 # 平均值的key
            "sum":{                 # 平均值
                "field":"age"       # 獲取所有age的平均值
            }
        }
    }
}
# 搜索所有數據，獲取所有age的平均值
es.search(index="my_index",doc_type="test_type",body=body)

更多的搜索用法：
https://elasticsearch-py.readthedocs.io/en/master/api.html