MinIO 搭建

MinIO 搭建

MinIO 是一個基於 Apache License v2.0 開源協議的對象存儲服務。它兼容亞馬遜 S3 雲存儲服務接口，非常適合於存儲大容量非結構化的數據，例如圖片、視頻、日誌文件、備份數據和容器/虛擬機鏡像等，而一個對象文件可以是任意大小，從幾 kb 到最大 5T 不等。

MinIO 是一個非常輕量的服務,可以很簡單的和其他應用的結合，類似 NodeJS, Redis 或者 MySQL。

官方對 Minio 的定義是一個高性能的對象存儲。

Build high performance data infrastructure
for machine learning, analytics and

application data workloads with MinIO 。

Minio 的官方網站是 https://min.io ，
Minio 的官方文檔是 https://docs.min.io/cn/ ，
GitHub 倉庫地址是：https://github.com/minio/minio ，目前有 18.8k Stars (2019.11.9)

Minio 的 benchmark 說明：

https://min.io/resources/docs/MinIO-vs-HDFS-MapReduce-performance-comparison.pdf
https://min.io/resources/docs/MinIO-throughput-benchmarks-on-NVMe-SSD.pdf
https://min.io/resources/docs/Performance-comparison-Starburst-Presto-SQL.pdf
https://min.io/resources/docs/MinIO-throughput-benchmarks-on-HDD.pdf
https://min.io/resources/docs/Performance-comparison-Apache-Spark.pdf

快速開始一個單節點的 MinIO

MinIO 分爲服務端和客戶端，服務端提供一個對象存儲，也提供一個 Web 的管理頁面。客戶端是用來管理、查看服務端的一個工具。服務端的二進制文件是 minio ，客戶端的二進制文件是 mc 。

使用二進制文件啓動

首先先下載服務端的二進制文件，其次準備一個用來存儲的磁盤或者目錄，

下載好以後賦予執行權限，可以使用如下命令快速啓動。

chmod +x minio
./minio server /erdong/data

啓動後可以通過訪問 http://localhost:9000 來訪問你的對象存儲。

使用 Docker 啓動

MinIO 需要一個持久捲來存儲配置和應用數據。不過, 如果只是爲了測試一下, 您可以通過簡單地傳遞一個目錄（在下面的示例中爲 /erdong/data）啓動 MinIO 。這個目錄會在容器啓動時在容器的文件系統中創建，不過所有的數據都會在容器退出時丟失。

要創建具有永久存儲的 MinIO 容器，您需要將本地持久目錄從主機操作系統映射到虛擬配置 ~/.minio 並導出 /data 目錄。 爲此，請運行以下命令

docker run -p 9000:9000 --name minio \
  -e "MINIO_ACCESS_KEY=minioadmin" \
  -e "MINIO_SECRET_KEY=minioadminpassword" \
  -v /erdong/minio/data:/data \
  -v /erdong/minio/config:/root/.minio \
  minio/minio server /data

啓動後，即可訪問 http://localhost:9000 來訪問你的對象存儲。

上述命令中設置瞭如下參數：

• MINIO_ACCESS_KEY 管理員的訪問祕鑰
• MINIO_SECRET_KEY 管理員的祕鑰
• /erdong/minio/data:/data 掛載持久化數據目錄
• /erdong/minio/config:/root/.minio 掛載配置文件
• server 啓動 Server 模式，除了該模式還有一個 Gateway 模式。
• /data 指定數據目錄

如果需要指定端口可以使用如下參數

--address ":9000"

使用 TLS 安全訪問 MinIO 服務

接下來我們看看如何在 linux 上配置 MinIO 服務使用 TLS 。

使用 TLS 的前提是先下載好 MinIO Server 。

如果你已經有私鑰和公鑰證書，你需要將他們拷貝到 MinIO 的 $HOME/.minio/certs 文件夾，私鑰的名字必須是 private.key ，公鑰證書的名字必須是 public.crt 。 MinIO 在 Linux 只支持使用 PEM 格式的祕鑰和證書，在 Windows 上只支持 PEM 格式的祕鑰和證書，目前不支持 PFX 證書。

如果這個證書是被證書機構簽發的，public.crt 應該是服務器的證書。

Linux 可以使用如下工具來生成證書

• Let‘s Encrypt
• generate_cert.go
• OpenSSL

Windows 可以使用如下工具來生成證書

• GnuTLS

Minio 也可以配置成連接其它服務，不管是 Minio 節點還是像 NATs、Redis 這些。如果這些服務用的不是在已知證書機構註冊的證書，你可以讓 Minio 服務信任這些 CA ，怎麼做呢，將這些證書放到Minio配置路徑下(~/.minio/certs/CAs/ Linux 或者 C:Users<Username>.miniocertsCAs Windows).

如何使用 OpenSSL 來生成自簽證書

使用如下命令生成私鑰，私鑰會生成在執行命令的目錄下

openssl genrsa -out private.key 2048

生成自簽名的證書，證書會生成在執行命令的目錄下

openssl req -new -x509 -days 3650 -key private.key -out public.crt -subj "/C=US/ST=state/L=location/O=organization/CN=domain"

其中相關內容可以按照實際情況修改，比如 /C 是國家，中國是 CN ，/ST 是州或者省， /L 是市或者區， /CN 是域名。

祕鑰和證書生成好以後，按照上邊的要求放置在對應的目錄即可。

Q&A

Thanos 在連接 MinIO 的時候遇到了一些問題，日誌裏有很多錯誤提示，列在下邊供參考。

1. 提示冒號太多

日誌報錯如下所示：

level=info ts=2019-11-08T02:43:40.981858805Z caller=main.go:170 msg="Tracing will be disabled"
level=info ts=2019-11-08T02:43:40.982326667Z caller=factory.go:39 msg="loading bucket configuration"
level=error ts=2019-11-08T02:43:40.982682262Z caller=main.go:200 err="store command failed: create bucket client: create S3 client: initialize s3 client: address http://127.0.0.1:9000: too many colons in address"

日誌描述直譯過來就是冒號太多了，原因是在配置文件中，填寫了 MinIO 提供的 S3 協議的 endpoint 的時候，多填寫了 http:// ，導致提示該錯誤。本意是在內網使用， HTTP 協議就可以了，不需要要開啓 HTTPS ，但是 Thanos 在連接 S3 存儲的時候默認是使用 HTTPS 的，不能通過這種方式來使用 HTTP 。

錯誤的配置如下：

type: S3
config:
  bucket: "disk1"
  endpoint: "http://127.0.0.1:9000"

正確的配置如下：

type: S3
config:
  bucket: "disk1"
  endpoint: "127.0.0.1:9000"

2. 提示對方沒有使用 HTTPS

日誌報錯如下

level=info ts=2019-11-08T02:42:04.366000876Z caller=main.go:170 msg="Tracing will be disabled"
level=info ts=2019-11-08T02:42:04.366417674Z caller=factory.go:39 msg="loading bucket configuration"
level=info ts=2019-11-08T02:42:04.384413714Z caller=cache.go:172 msg="created index cache" maxItemSizeBytes=131072000 maxSizeBytes=262144000 maxItems=math.MaxInt64
level=error ts=2019-11-08T02:42:04.385632149Z caller=main.go:200 err="store command failed: bucket store initial sync: sync block: iter: Get https://127.0.0.1:9000/prometheus-store/?delimiter=%2F&max-keys=1000&prefix=: http: server gave HTTP response to HTTPS client"

這是 Thanos 連接的對象存儲只提供了 HTTP ，沒有提供 HTTPS，這個時候需要讓對象存儲添加證書，啓用 HTTPS 。

3. 不能夠認證某個域名

日誌報錯如下：

level=info ts=2019-11-08T03:06:57.90508837Z caller=main.go:170 msg="Tracing will be disabled"
level=info ts=2019-11-08T03:06:57.905445182Z caller=factory.go:39 msg="loading bucket configuration"
level=info ts=2019-11-08T03:06:57.923283984Z caller=cache.go:172 msg="created index cache" maxItemSizeBytes=131072000 maxSizeBytes=262144000 maxItems=math.MaxInt64
level=error ts=2019-11-08T03:06:57.927125234Z caller=main.go:200 err="store command failed: bucket store initial sync: sync block: iter: Get https://10.23.80.18:9000/prometheus-store/?delimiter=%2F&max-keys=1000&prefix=: x509: cannot validate certificate for minio-erdong.site because it doesn't contain any IP SANs"

因爲 Thanos 連接 Minio 的 HTTP 配置裏，有一個 insecure_skip_verify 選項，該選項默認爲 false ，需要對域名的證書進行驗證，由於使用了自簽證書，沒有在權威的 CA 機構做認證，所以在連接過程中會提示不安全，將值改爲 true，跳過這個驗證就可以了。

  http_config:
    idle_conn_timeout: 90s
    response_header_timeout: 2m
    insecure_skip_verify: true

end