ES的聚合是其一大特色。然而出於性能的考慮, ES的聚合是以分片Shard爲單位,而非Index爲單位, 所以
有些聚合的準確性是需要注意的。 比如: TermAggregations.
es的基數聚合使用到了hyperloglog算法。 出於好奇,瞭解了一下。
在海量數據場景下, 我們通常會遇到這樣的兩個問題:
-
數據排重。比如在推送消息場景,消息重複對用戶是打擾, 用戶發券場景, 重複發券就是損失了。
- pv/uv統計。這類場景下, 對精確度要求沒必要錙銖必較。
如何高效解決這兩類問題呢?
對於數據排重, 我們可以使用布隆過濾器。java 樣列代碼如下:
BloomFilter<String> bloomFilter = BloomFilter.create(new Funnel<String>() {
private static final long serialVersionUID = 1L;
@Override
public void funnel(String arg0, PrimitiveSink arg1) {
arg1.putString(arg0, Charsets.UTF_8);
}
}, 1024*1024*32);
bloomFilter.put("asdf");
bloomFilter.mightContain("asdf");
對於計數, 我們可以使用HyperLogLog算法,ES中已經有相關的實現。
其實封裝一下,布隆過濾器也是能直接實現HyperLogLog算法的功能的。
這裏遺留幾個問題,思考清楚後補充:
- BloomFilter跟HyperLogLog算法的原理
- 相同量級數據下的效率及內存消耗
- 各自的適用場景有哪些