數據集
在我們的實際數據採集中,數據可能來自不同的來源,並且以不同的形式展展現:
這些數據可以是一種很結構化的數據被攝入,比如數據庫中的數據, 或者就是一組最原始的非結構化的數據,比如日誌。對於一些非結構化的數據,我們該如何把它們結構化,並使用 Elasticsearch 進行分析呢?
結構化數據
就如上面的數據展示的那樣。在很多的情況下,數據在攝入的時候是一種非結構化的形式來呈現的。這個數據通常有一個叫做 message 的字段。爲了能達到結構化的目的,我們們需要 parse 及 transform 這個 message 字段,並把這個 message 變爲我們所需要的字段,從而達到結構化的母的。讓我們看一個例子。假如我們有如下的信息:
{
"message": "2019-09-29T00:39:02.9122 [Debug]