Golang實戰之海量日誌收集系統（二）收集應用程序日誌到Kafka中

目錄:

GitHub項目地址：https://github.com/PlutoaCharon/Golang_logCollect⭐

Golang實戰之海量日誌收集系統（一）項目背景介紹

Golang實戰之海量日誌收集系統（二）收集應用程序日誌到Kafka中

Golang實戰之海量日誌收集系統（三）簡單版本logAgent的實現

Golang實戰之海量日誌收集系統（四）etcd介紹與使用etcd獲取配置信息

Golang實戰之海量日誌收集系統（五）根據etcd配置項創建多個tailTask

Golang實戰之海量日誌收集系統（六）監視etcd配置項的變更

Golang實戰之海量日誌收集系統（七）logTransfer之從kafka中獲取日誌信息

Golang實戰之海量日誌收集系統（八）logTransfer之將日誌入庫到Elasticsearch並通過Kibana進行展示

Kafka庫的基本操作

我們需要先把兩者啓動，先啓動Zookeeper,再啓動Kafka

啓動ZooKeeper:./bin/zkServer.sh start
啓動kafka:./bin/kafka-server-start.sh ./config/server.properties

我這裏使用的是Golang1.14最新版本,並且開啓了Go Module, 所以下載的包都會整合在go.mod下

這裏使用sarama對kafka進行操作
go get github.com/Shopify/sarama

main.go內容如下：

package main

import (
	"fmt"
	"time"

	"github.com/Shopify/sarama"
)

func main() {
	
	config := sarama.NewConfig()
	config.Producer.RequiredAcks = sarama.WaitForAll         // 發送完數據需要leader和follow都確認
	config.Producer.Partitioner = sarama.NewRandomPartitioner// 新選出⼀個partition
	config.Producer.Return.Successes = true                  // 成功交付的消息將在success channel返回

	// 連接kafka
	client, err := sarama.NewSyncProducer([]string{"localhost:9092"}, config) 
	if err != nil {
		fmt.Println("producer close, err:", err)
		return
	}

	defer client.Close()
	for {
		// 構造⼀個消息
		msg := &sarama.ProducerMessage{}
		msg.Topic = "nginx_log"
		msg.Value = sarama.StringEncoder("this is a good test, my message is good")
		// 發送消息
		pid, offset, err := client.SendMessage(msg)
		if err != nil {
			fmt.Println("send message failed,", err)
			return
		}

		fmt.Printf("pid:%v offset:%v\n", pid, offset)
		time.Sleep(10 * time.Millisecond)
	}
}

連接Kafka 成功,並且成功生產出數據並在本地消費

接下來我們還需要知道一個工具的使用tailf

tailf

我們的agent需要讀日誌目錄下的日誌文件，而日誌文件是不停的增加並且切換文件的，所以我們就需要藉助於tailf這個包來讀文件，當然這裏的tailf和linux裏的tail -f命令雖然不同，但是效果是差不多的，都是爲了獲取日誌文件新增加的內容。

而我們的客戶端非常重要的一個地方就是要讀日誌文件並且將讀到的日誌文件推送到kafka

這裏需要我們下載一個包：go get github.com/hpcloud/tail

我們通過下面一個例子對這個包進行一個基本的使用，更詳細的api說明看：https://godoc.org/github.com/hpcloud/tail

package main

import (
	"fmt"
	"github.com/hpcloud/tail"
	"time"
)

// tail demo
func main() {
	fileName := "E:\\Go\\logagent\\tailf\\main\\my.log"
	config := tail.Config{
		ReOpen:    true,
		Follow:    true,
		Location:  &tail.SeekInfo{Offset: 0, Whence: 2},
		MustExist: false,
		Poll:      true}
	tails, err := tail.TailFile(fileName, config)
	if err != nil {
		fmt.Println("tail file failed, err:", err)
		return
	}
	var (
		msg *tail.Line
		ok  bool
	)
	for {
		msg, ok = <-tails.Lines
		if !ok {
			fmt.Printf("tail file close reopen, filename:%s\n", tails.Filename)
			time.Sleep(time.Second)
			continue
		}
		fmt.Println("msg:", msg.Text)
	}
}

日誌庫的使用

這裏是通過beego的日誌庫實現的，beego的日誌庫是可以單獨拿出來用

package main

import (
	"fmt"
	"github.com/astaxie/beego/config"

)

func main() {
	conf, err := config.NewConfig("ini", "E:\\Go\\logagent\\conf\\logagent.conf")
	if err != nil {
		fmt.Println("new config failed, err:", err)
		return
	}

	port, err := conf.Int("server::port")
	if err != nil {
		fmt.Println("read server:port failed, err:", err)
		return
	}

	fmt.Println("Port:", port)
	log_level := conf.String("logs::log_level")
	if len(log_level) == 0 {
		log_level = "debug"
	}
	fmt.Println("log_level:", log_level)

	log_path := conf.String("logs::log_path")
	fmt.Println("log_path:", log_path)
}

將logagent.conf各個配置讀取出來