Kubernetes系列之配置高可用企業級鏡像倉庫Harbor

一、Harbor簡介

1.Harbor介紹

Harbor是一個用於存儲和分發Docker鏡像的企業級Registry服務器，通過添加一些企業必需的功能特性，例如安全、標識和管理等，擴展了開源Docker Distribution。作爲一個企業級私有Registry服務器，Harbor提供了更好的性能和安全。提升用戶使用Registry構建和運行環境傳輸鏡像的效率。Harbor支持安裝在多個Registry節點的鏡像資源複製，鏡像全部保存在私有Registry中，確保數據和知識產權在公司內部網絡中管控。另外，Harbor也提供了高級的安全特性，諸如用戶管理，訪問控制和活動審計等。

2.Harbor特性

基於角色的訪問控制：用戶與Docker鏡像倉庫通過“項目”進行組織管理，一個用戶可以對多個鏡像倉庫在同一命名空間（project）裏有不同的權限。
鏡像複製：鏡像可以在多個Registry實例中複製（同步）。尤其適合於負載均衡，高可用，混合雲和多雲的場景。
圖形化用戶界面：用戶可以通過瀏覽器來瀏覽，檢索當前Docker鏡像倉庫，管理項目和命名空間。
AD/LDAP 支持： Harbor可以集成企業內部已有的AD/LDAP，用於鑑權認證管理。
審計管理：所有針對鏡像倉庫的操作都可以被記錄追溯，用於審計管理。
國際化：已擁有英文、中文、德文、日文和俄文的本地化版本。更多的語言將會添加進來。
RESTful API ： RESTful API 提供給管理員對於Harbor更多的操控, 使得與其它管理軟件集成變得更容易。
部署簡單：提供在線和離線兩種安裝工具，也可以安裝到vSphere平臺(OVA方式)虛擬設備。

3.Harbor組件

Harbor在架構上主要由6個組件構成：

Proxy：Harbor的registry, UI, token等服務，通過一個前置的反向代理統一接收瀏覽器、Docker客戶端的請求，並將請求轉發給後端不同的服務。
Registry：負責儲存Docker鏡像，並處理docker push/pull 命令。由於我們要對用戶進行訪問控制，即不同用戶對Docker image有不同的讀寫權限，Registry會指向一個token服務，強制用戶的每次docker pull/push請求都要攜帶一個合法的token, Registry會通過公鑰對token 進行解密驗證。
Core services：這是Harbor的核心功能，主要提供以下服務：
UI：提供圖形化界面，幫助用戶管理registry上的鏡像（image）, 並對用戶進行授權。
webhook：爲了及時獲取registry 上image狀態變化的情況，在Registry上配置webhook，把狀態變化傳遞給UI模塊。
token 服務：負責根據用戶權限給每個docker push/pull命令簽發token. Docker 客戶端向Regiøstry服務發起的請求,如果不包含token，會被重定向到這裏，獲得token後再重新向Registry進行請求。
Database：爲core services提供數據庫服務，負責儲存用戶權限、審計日誌、Docker image分組信息等數據。
Job Services：提供鏡像遠程複製功能，可以把本地鏡像同步到其他Harbor實例中。
Log collector：爲了幫助監控Harbor運行，負責收集其他組件的log，供日後進行分析。

各個組件之間的關係如下圖所示：

二、安裝和配置Harbor

1、環境準備

CentOS Linux release 7.3.1611 (Core)
docker-ce-18.06.1
docker-compose version 1.21.2, build a133471
harbor-v1.8.0

2、安裝docker

# 使用阿里雲鏡像倉庫
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo
# 安裝docker
yum install -y docker-ce-18.06.1.ce-3   #可能找不到安裝包
yum -y install https://mirrors.aliyun.com/docker-ce/linux/centos/7/x86_64/stable/Packages/docker-ce-18.06.3.ce-3.el7.x86_64.rpm

# 設置docker啓動參數（可選）
#  graph: 設置docker數據目錄：選擇比較大的分區（我這裏是根目錄就不需要配置了，默認爲/var/lib/docker）
#  exec-opts: 設置cgroup driver（默認是cgroupfs，不推薦設置systemd）
#  insecure-registries：設置私有倉庫

cat > /etc/docker/daemon.json <<EOF
{
    "graph": "/data/docker",
    "exec-opts": ["native.cgroupdriver=cgroupfs"],
    "insecure-registries": ["http://192.168.101.11"]
}
EOF

# 啓動docker服務並加入開機啓動項
systemctl start docker && systemctl enable docker

3、安裝docker-compose

curl -L https://mirrors.aliyun.com/docker-toolbox/linux/compose/1.21.2/docker-compose-Linux-x86_64 -o /usr/local/bin/docker-compose
 chmod +x /usr/local/bin/docker-compose
 # docker-compose --version
docker-compose version 1.21.2, build a133471

4、安裝harbor

1、下週安裝包
# wget https://storage.googleapis.com/harbor-releases/release-1.8.0/harbor-offline-installer-v1.8.1.tgz

2、解壓並修改配置文件
# tar xf harbor-offline-installer-v1.8.1.tgz -C /usr/local
# cd /usr/local/harbor

node1上
# vim harbor.yml
hostname: 192.168.101.11

node2上
# vim harbor.yml
hostname: 192.168.101.12

3、執行安裝腳本
# ./install.sh

✔ ----Harbor has been installed and started successfully.----   #看到這一行就表示成功了

Now you should be able to visit the admin portal at http://192.168.101.12.
For more details, please visit https://github.com/goharbor/harbor .

4、啓動和停止
# docker-compose up -d  #啓動
# docker-compose down  #停止

5、訪問測試

三、測試上傳並設置同步

1、下週鏡像並提交
# docker pull centos:7.6.1810
# docker push 192.168.101.11/open/centos:7.6.1810
The push refers to repository [192.168.101.11/open/centos]
89169d87dbe2: Pushed
7.6.1810: digest: sha256:747b2de199b6197a26eb1a24d69740d25483995842b2d2f75824095e9d1d19eb size: 529

2、訪問頁面測試

3、設置目標主機

4、設置同步規則

5、查看對端是否同步完成

6、在另一臺服務器上重複此步驟

四、驗證並測試高可用

1、安裝nginx
# yum -y install nginx

2、配置負載均衡
# cat hub.huoban.com.conf
upstream huoban_hub {
     server 192.168.101.11:80 max_fails=3 fail_timeout=10s;
     server 192.168.101.12:80 max_fails=3 fail_timeout=10s;
     ip_hash;
}

server {
    listen 80;
    server_name hub.huoban.com;
    rewrite ^(.*)$  https://hub.huoban.com$1 permanent;
}

server {
    listen 443 ssl;
    server_name hub.huoban.com;
    server_tokens off;
    #proxy_set_header           Host $host;   #這一行不能要。加了之後會報錯
    proxy_set_header           X-Real-IP $remote_addr;
    proxy_set_header           X-Forwarded-For $proxy_add_x_forwarded_for;
    location / {
        proxy_pass      http://huoban_hub;
    }
    access_log /data/logs/nginx/${host}_access.log combined;
}

3、測試訪問

4、推拉鏡像測試

# docker tag centos:7.6.1810 hub.huoban.com/open/centos:7.6.18101
# docker push hub.huoban.com/open/centos:7.6.18101
The push refers to repository [hub.huoban.com/open/centos]
89169d87dbe2: Preparing
denied: requested access to the resource is denied
# docker login hub.huoban.com
Username: admin
Password:
Login Succeeded
# docker push hub.huoban.com/open/centos:7.6.18101
The push refers to repository [hub.huoban.com/open/centos]
89169d87dbe2: Layer already exists
7.6.18101: digest: sha256:747b2de199b6197a26eb1a24d69740d25483995842b2d2f75824095e9d1d19eb size: 529
# # docker pull hub.huoban.com/open/centos:7.6.18101
Trying to pull repository hub.huoban.com/open/centos ...
7.6.18101: Pulling from hub.huoban.com/open/centos
ac9208207ada: Pull complete
Digest: sha256:747b2de199b6197a26eb1a24d69740d25483995842b2d2f75824095e9d1d19eb
Status: Downloaded newer image for hub.huoban.com/open/centos:7.6.18101

Kubernetes系列之配置高可用企業級鏡像倉庫Harbor

一、Harbor簡介

二、安裝和配置Harbor

三、測試上傳並設置同步

四、驗證並測試高可用

vue項目獲取富文本編輯器wangEditor內容導出爲word（html轉word格式並下載）

dotnet C# 創建 X11 應用時設置窗口背景顏色

Navicat安裝與激活教程

TDengine docker安裝方法

vue3組件通信與props

sapui5

Alpine Linux apk add DNS lookup error

部分JDK版本的發佈時間

工作中用到的腳本合集

合併代碼時Beyond Compare設置

Kubernetes零宕機滾動更新

Kubernetes系列之kubernetes Prometheus Operator

Kubernetes系列之基於NFS的PV動態供給(StorageClass)

Kubernetes系列之Kubernetes的彈性伸縮（HPA）

Kubernetes系列之Kubernetes部署metrics-server

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結