Django項目之FastDFS文件存儲系統

0. 使用Docker安裝FastDFS

見博客另一文章：使用Docker安裝FastDFS分佈式文件系統

1. FastDFS的Python客戶端

python版本的FastDFS客戶端使用說明參考https://github.com/jefforeilly/fdfs_client-py

安裝

安裝fdfs_client-py-master.zip到虛擬環境中

pip install fdfs_client-py-master.zip
pip install mutagen
pip install requests

配置

在項目/utils目錄下新建fastdfs目錄，新建client.conf配置文件

# connect timeout in seconds
# default value is 30s
connect_timeout=30

# network timeout in seconds
# default value is 30s
network_timeout=60

# the base path to store log files
base_path=FastDFS客戶端存放日誌文件的目錄

# tracker_server can ocur more than once, and tracker_server format is
#  "host:port", host can be hostname or ip address
tracker_server=172.17.0.1:22122

#standard log level as syslog, case insensitive, value list:
### emerg for emergency
### alert
### crit for critical
### error
### warn for warning
### notice
### info
### debug
log_level=info

# if use connection pool
# default value is false
# since V4.05
use_connection_pool = false

# connections whose the idle time exceeds this time will be closed
# unit: second
# default value is 3600
# since V4.05
connection_pool_max_idle_time = 3600

# if load FastDFS parameters from tracker server
# since V4.05
# default value is false
load_fdfs_parameters_from_tracker=false

# if use storage ID instead of IP address
# same as tracker.conf
# valid only when load_fdfs_parameters_from_tracker is false
# default value is false
# since V4.05
use_storage_id = false

# specify storage ids filename, can use relative or absolute path
# same as tracker.conf
# valid only when load_fdfs_parameters_from_tracker is false
# since V4.05
storage_ids_filename = storage_ids.conf

#HTTP settings
http.tracker_server_port=80

#use "#include" directive to include HTTP other settiongs
##include http.conf

注意：需要修改一下client.conf配置文件

# FastDFS客戶端存放日誌文件的目錄
base_path=
# 運行tracker服務的機器ip
tracker_server=172.17.0.1:22122 

2. 自定義Django文件存儲系統

Django自帶文件存儲系統，但是默認文件存儲在本地，將文件保存到FastDFS服務器上，所以需要自定義文件存儲系統。

在項目/utils/fastdfs目錄中創建fdfs_storage.py文件，實現可以使用FastDFS存儲文件的存儲類如下

from django.conf import settings
from django.core.files.storage import Storage
from django.utils.deconstruct import deconstructible
from fdfs_client.client import Fdfs_client


@deconstructible
class FastDFSStorage(Storage):
    def __init__(self, base_url=None, client_conf=None):
        """
        初始化
        :param base_url: 用於構造圖片完整路徑使用，圖片服務器的域名
        :param client_conf: FastDFS客戶端配置文件的路徑
        """
        if base_url is None:
            base_url = settings.FDFS_URL
        self.base_url = base_url
        if client_conf is None:
            client_conf = settings.FDFS_CLIENT_CONF
        self.client_conf = client_conf

    def _open(self, name, mode='rb'):
        """
        用不到打開文件，所以省略
        """
        pass

    def _save(self, name, content):
        """
        在FastDFS中保存文件
        :param name: 傳入的文件名
        :param content: 文件內容
        :return: 保存到數據庫中的FastDFS的文件名
        """
        client = Fdfs_client(self.client_conf)
        ret = client.upload_by_buffer(content.read())
        if ret.get("Status") != "Upload successed.":
            raise Exception("upload file failed")
        file_name = ret.get("Remote file_id")
        return file_name

    def url(self, name):
        """
        返回文件的完整URL路徑
        :param name: 數據庫中保存的文件名
        :return: 完整的URL
        """
        return self.base_url + name

    def exists(self, name):
        """
        判斷文件是否存在，FastDFS可以自行解決文件的重名問題
        所以此處返回False，告訴Django上傳的都是新文件
        :param name:  文件名
        :return: False
        """
        return False

說明:

自定義文件存儲系統的方法如下：

1）需要繼承自django.core.files.storage.Storage，如

from django.core.files.storage import Storage

class FastDFSStorage(Storage):
    ...

2）支持Django不帶任何參數來實例化存儲類，也就是說任何設置都應該從django.conf.settings中獲取

from django.conf import settings
from django.core.files.storage import Storage

class FastDFSStorage(Storage):
    def __init__(self, base_url=None, client_conf=None):
        if base_url is None:
            base_url = settings.FDFS_URL
        self.base_url = base_url
        if client_conf is None:
            client_conf = settings.FDFS_CLIENT_CONF
        self.client_conf = client_conf

3）存儲類中必須實現_open()和_save()方法，以及任何後續使用中可能用到的其他方法。

• _open(name, mode='rb')

  被Storage.open()調用，在打開文件時被使用。

• _save(name, content)

  被Storage.save()調用，name是傳入的文件名，content是Django接收到的文件內容，該方法需要將content文件內容保存。

  Django會將該方法的返回值保存到數據庫中對應的文件字段，也就是說該方法應該返回要保存在數據庫中的文件名稱信息。

• exists(name)

  如果名爲name的文件在文件系統中存在，則返回True，否則返回False。

• url(name)

  返回文件的完整訪問URL

• delete(name)

  刪除name的文件

• listdir(path)

  列出指定路徑的內容

• size(name)

  返回name文件的總大小

  注意，並不是這些方法全部都要實現，可以省略用不到的方法。

4）需要爲存儲類添加django.utils.deconstruct.deconstructible裝飾器

3. 在Django配置中設置自定義文件存儲類

在settings/dev.py文件中添加設置

# django文件存儲
DEFAULT_FILE_STORAGE = '項目名.utils.fastdfs.fdfs_storage.FastDFSStorage'

# FastDFS
FDFS_URL = 'http://域名:端口'  
FDFS_CLIENT_CONF = os.path.join(BASE_DIR, 'utils/fastdfs/client.conf')

4. 添加image域名

在/etc/hosts中添加訪問FastDFS storage服務器的域名

127.0.0.1   xx域名