Go操作etcd

etcd是使用Go語言開發的一個開源的、高可用的分佈式key-value存儲系統，可以用於配置共享和服務的註冊和發現。
類似項目有zookeeper和consul。
etcd具有以下特點：
1. 完全複製：集羣中的每個節點都可以使用完整的存檔
2. 高可用性：Etcd可用於避免硬件的單點故障或網絡問題
3. 一致性：每次讀取都會返回跨多主機的最新寫入
4. 簡單：包括一個定義良好、面向用戶的API（gRPC）
5. 安全：實現了帶有可選的客戶端證書身份驗證的自動化TLS
6. 快速：每秒10000次寫入的基準速度
7. 可靠：使用Raft算法實現了強一致、高可用的服務存儲目錄

2. etcd應用場景

1. 服務發現

服務發現要解決的也是分佈式系統中最常見的問題之一，即在同一個分佈式集羣中的進程或服務，要如何才能找到對方並建立連接。本質上來說，服務發現就是想要了解集羣中是否有進程在監聽 udp 或 tcp 端口，並且通過名字就可以查找和連接。

2. 配置中心

將一些配置信息放到 etcd 上進行集中管理。
這類場景的使用方式通常是這樣：應用在啓動的時候主動從 etcd 獲取一次配置信息，同時，在 etcd 節點上註冊一個 Watcher 並等待，以後每次配置有更新的時候，etcd 都會實時通知訂閱者，以此達到獲取最新配置信息的目的。

3. 分佈式鎖

因爲 etcd 使用 Raft 算法保持了數據的強一致性，某次操作存儲到集羣中的值必然是全局一致的，所以很容易實現分佈式鎖。鎖服務有兩種使用方式，一是保持獨佔，二是控制時序。
- 保持獨佔即所有獲取鎖的用戶最終只有一個可以得到。etcd 爲此提供了一套實現分佈式鎖原子操作 CAS（CompareAndSwap）的 API。通過設置prevExist值，可以保證在多個節點同時去創建某個目錄時，只有一個成功。而創建成功的用戶就可以認爲是獲得了鎖。
- 控制時序，即所有想要獲得鎖的用戶都會被安排執行，但是獲得鎖的順序也是全局唯一的，同時決定了執行順序。etcd 爲此也提供了一套 API（自動創建有序鍵），對一個目錄建值時指定爲POST動作，這樣 etcd 會自動在目錄下生成一個當前最大的值爲鍵，存儲這個新的值（客戶端編號）。同時還可以使用 API 按順序列出所有當前目錄下的鍵值。此時這些鍵的值就是客戶端的時序，而這些鍵中存儲的值可以是代表客戶端的編號。

3. 爲什麼用 etcd 而不用ZooKeeper？

etcd 實現的這些功能，ZooKeeper都能實現。那麼爲什麼要用 etcd 而非直接使用ZooKeeper呢？

1. 爲什麼不選擇ZooKeeper？

部署維護複雜，其使用的Paxos強一致性算法複雜難懂。官方只提供了Java和C兩種語言的接口。
使用Java編寫引入大量的依賴。運維人員維護起來比較麻煩。
最近幾年發展緩慢，不如etcd和consul等後起之秀。

2. 爲什麼選擇etcd？

簡單。使用 Go 語言編寫部署簡單；支持HTTP/JSON API,使用簡單；使用 Raft 算法保證強一致性讓用戶易於理解。
etcd 默認數據一更新就進行持久化。
etcd 支持 SSL 客戶端安全認證。

最後，etcd 作爲一個年輕的項目，正在高速迭代和開發中，這既是一個優點，也是一個缺點。優點是它的未來具有無限的可能性，缺點是無法得到大項目長時間使用的檢驗。然而，目前 CoreOS、Kubernetes和CloudFoundry等知名項目均在生產環境中使用了etcd，所以總的來說，etcd值得你去嘗試。

4. etcd集羣

etcd 作爲一個高可用鍵值存儲系統，天生就是爲集羣化而設計的。由於 Raft 算法在做決策時需要多數節點的投票，所以 etcd 一般部署集羣推薦奇數個節點，推薦的數量爲 3、5 或者 7 個節點構成一個集羣。

1. 搭建一個3節點集羣示例：

在每個etcd節點指定集羣成員，爲了區分不同的集羣最好同時配置一個獨一無二的token。
下面是提前定義好的集羣信息，其中n1、n2和n3表示3個不同的etcd節點。

TOKEN=token-01
CLUSTER_STATE=new
CLUSTER=n1=http://10.240.0.17:2380,n2=http://10.240.0.18:2380,n3=http://10.240.0.19:2380

在n1這臺機器上執行以下命令來啓動etcd：

etcd --data-dir=data.etcd --name n1 \
	--initial-advertise-peer-urls http://10.240.0.17:2380 --listen-peer-urls http://10.240.0.17:2380 \
	--advertise-client-urls http://10.240.0.17:2379 --listen-client-urls http://10.240.0.17:2379 \
	--initial-cluster ${CLUSTER} \
	--initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}

在n2這臺機器上執行以下命令啓動etcd：

etcd --data-dir=data.etcd --name n2 \
	--initial-advertise-peer-urls http://10.240.0.18:2380 --listen-peer-urls http://10.240.0.18:2380 \
	--advertise-client-urls http://10.240.0.18:2379 --listen-client-urls http://10.240.0.18:2379 \
	--initial-cluster ${CLUSTER} \
	--initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}

在n3這臺機器上執行以下命令啓動etcd：

etcd --data-dir=data.etcd --name n3 \
	--initial-advertise-peer-urls http://10.240.0.19:2380 --listen-peer-urls http://10.240.0.19:2380 \
	--advertise-client-urls http://10.240.0.19:2379 --listen-client-urls http://10.240.0.19:2379 \
	--initial-cluster ${CLUSTER} \
	--initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}

etcd 官網提供了一個可以公網訪問的 etcd 存儲地址。你可以通過如下命令得到 etcd 服務的目錄，並把它作爲-discovery參數使用。

curl https://discovery.etcd.io/new?size=3
https://discovery.etcd.io/a81b5818e67a6ea83e9d4daea5ecbc92

# grab this token
TOKEN=token-01
CLUSTER_STATE=new
DISCOVERY=https://discovery.etcd.io/a81b5818e67a6ea83e9d4daea5ecbc92


etcd --data-dir=data.etcd --name n1 \
	--initial-advertise-peer-urls http://10.240.0.17:2380 --listen-peer-urls http://10.240.0.17:2380 \
	--advertise-client-urls http://10.240.0.17:2379 --listen-client-urls http://10.240.0.17:2379 \
	--discovery ${DISCOVERY} \
	--initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}


etcd --data-dir=data.etcd --name n2 \
	--initial-advertise-peer-urls http://10.240.0.18:2380 --listen-peer-urls http://10.240.0.18:2380 \
	--advertise-client-urls http://10.240.0.18:2379 --listen-client-urls http://10.240.0.18:2379 \
	--discovery ${DISCOVERY} \
	--initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}


etcd --data-dir=data.etcd --name n3 \
	--initial-advertise-peer-urls http://10.240.0.19:2380 --listen-peer-urls http://10.240.0.19:2380 \
	--advertise-client-urls http://10.240.0.19:2379 --listen-client-urls http:/10.240.0.19:2379 \
	--discovery ${DISCOVERY} \
	--initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}

到此etcd集羣就搭建起來了，可以使用etcdctl來連接etcd。

export ETCDCTL_API=3
HOST_1=10.240.0.17
HOST_2=10.240.0.18
HOST_3=10.240.0.19
ENDPOINTS=$HOST_1:2379,$HOST_2:2379,$HOST_3:2379

etcdctl --endpoints=$ENDPOINTS member list

5. Go語言操作etcd

這裏使用官方的etcd/clientv3包來連接etcd並進行相關操作。

1. 安裝

go get go.etcd.io/etcd/clientv3

2. put和get操作

put命令用來設置鍵值對數據，get命令用來根據key獲取值。

package main

import (
	"context"
	"fmt"
	"time"

	"go.etcd.io/etcd/clientv3"
)

// etcd client put/get demo
// use etcd/clientv3

func main() {
	cli, err := clientv3.New(clientv3.Config{
		Endpoints:   []string{"127.0.0.1:2379"},
		DialTimeout: 5 * time.Second,
	})
	if err != nil {
		// handle error!
		fmt.Printf("connect to etcd failed, err:%v\n", err)
		return
	}
    fmt.Println("connect to etcd success")
	defer cli.Close()
	// put
	ctx, cancel := context.WithTimeout(context.Background(), time.Second)
	_, err = cli.Put(ctx, "hh", "helloworld")
	cancel()
	if err != nil {
		fmt.Printf("put to etcd failed, err:%v\n", err)
		return
	}
	// get
	ctx, cancel = context.WithTimeout(context.Background(), time.Second)
	resp, err := cli.Get(ctx, "hh")
	cancel()
	if err != nil {
		fmt.Printf("get from etcd failed, err:%v\n", err)
		return
	}
	for _, ev := range resp.Kvs {
		fmt.Printf("%s:%s\n", ev.Key, ev.Value)
	}
}

3. watch操作

watch用來獲取未來更改的通知。

package main

import (
	"context"
	"fmt"
	"time"

	"go.etcd.io/etcd/clientv3"
)

// watch demo

func main() {
	cli, err := clientv3.New(clientv3.Config{
		Endpoints:   []string{"127.0.0.1:2379"},
		DialTimeout: 5 * time.Second,
	})
	if err != nil {
		fmt.Printf("connect to etcd failed, err:%v\n", err)
		return
	}
	fmt.Println("connect to etcd success")
	defer cli.Close()
	// watch key:q1mi change
	rch := cli.Watch(context.Background(), "hh") // <-chan WatchResponse
	for wresp := range rch {
		for _, ev := range wresp.Events {
			fmt.Printf("Type: %s Key:%s Value:%s\n", ev.Type, ev.Kv.Key, ev.Kv.Value)
		}
	}
}

將上面的代碼保存編譯執行，此時程序就會等待etcd中hh這個key的變化。

Go操作etcd

Go操作etcd

目錄

1. etcd介紹

2. etcd應用場景

1. 服務發現

2. 配置中心

3. 分佈式鎖

3. 爲什麼用 etcd 而不用ZooKeeper？

1. 爲什麼不選擇ZooKeeper？

2. 爲什麼選擇etcd？

4. etcd集羣

1. 搭建一個3節點集羣示例：

5. Go語言操作etcd

1. 安裝

2. put和get操作

3. watch操作

《Go語言聖經》學習筆記第八章 Groroutines和Channels

《Go語言聖經》學習筆記第九章基於共享變量的併發

Go操作NSQ

《Go語言聖經》學習筆記第三章基礎數據類型

LeetCode：輸出整體輪廓線和最長子數組長度

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結