本文由西郵陳莉君教授研一學生進行解析，由白嘉慶整理，薛曉雯編輯，崔鵬程校對.
我們先從計算機組成原理的層面介紹DMA，再簡單介紹Linux網絡子系統的DMA機制是如何的實現的。
一、計算機組成原理中的DMA
以往的I/O設備和主存交換信息都要經過CPU的操作。不論是最早的輪詢方式，還是我們學過的中斷方式。雖然中斷方式相比輪詢方式已經節省了大量的CPU資源。但是在處理大量的數據時，DMA相比中斷方式進一步解放了CPU。
DMA就是Direct Memory Access，意思是I/O設備直接存儲器訪問，幾乎不消耗CPU的資源。在I/O設備和主存傳遞數據的時候，CPU可以處理其他事。
1. I/O設備與主存信息傳送的控制方式
I/O設備與主存信息傳送的控制方式分爲程序輪詢、中斷、DMA、RDMA等。
先用“圖1”大體上說明幾種控制方式的區別，其中黃線代表程序輪詢方式，綠線代表中斷方式，紅線代表DMA方式，黑線代表RDMA方式，藍線代表公用的線。可以看出DMA方式與程序輪詢方式還有中斷方式的區別是傳輸數據跳過了CPU，直接和主存交流。
“圖1”中的“接口”既包括實現某一功能的硬件電路，也包括相應的控制軟件，如 “DMA接口” 就是一些實現DMA機制的硬件電路和相應的控制軟件。
“DMA接口”有時也叫做“DMA控制器”（DMAC）。
圖1
上週分享“圖1”時，劉老師說在DMA方式下， DMA控制器（即DMA接口）也是需要和CPU交流的，但是圖中沒有顯示DMA控制器與CPU交流信息。但是這張圖我是按照哈工大劉宏偉老師的《計算機組成原理》第五章的內容畫出的，應該是不會有問題的。查找了相關資料，覺得兩個劉老師都沒有錯，因爲這張圖強調的是數據的走向，即這裏的線僅是數據線。如果要嚴格一點，把控制線和地址線也畫出來，將是“圖2”這個樣子：
圖2
這裏新增了中斷方式的地址線和控制線、DMA方式的地址線和控制線。（“圖2”也是自己繪製，其理論依據參考“圖3”，這裏不對“圖3”進行具體分析，因爲涉及底層的硬件知識）
“圖2”對“圖1”的數據線加粗，新增細實線表示地址線，細虛線表示控制線。可以看出在中斷方式下，無論是傳輸數據、地址還是控制信息，都要經過CPU，即都要在CPU的寄存器中暫存一下，都要浪費CPU的資源；但是在DMA方式下，傳輸數據和地址時，I/O設備可以通過“DMA接口”直接與主存交流，只有傳輸控制信息時，才需要用到CPU。而傳輸控制信息佔用的時間是極小的，可以忽略不計，所以可以認爲DMA方式完全沒有佔用CPU資源，這等價於I/O設備和CPU可以實現真正的並行工作，這比中斷方式下的並行程度要更高很多。
圖3
2. 三種方式的CPU工作效率比較
在I/O準備階段，程序輪詢方式的CPU一直在查詢等待，而中斷方式的CPU可以繼續執行現行程序，但是當I/O準備就緒，設備向CPU發出中斷請求，CPU響應以實現數據的傳輸，這個過程會佔用CPU一段時間，而且這段時間比使用程序輪詢方式的CPU傳輸數據的時間還要長，因爲CPU除了傳輸數據還要做一些準備工作，如把CPU寄存器中的數據都轉移到棧中。
但是DMA方式不一樣，當I/O準備就緒，設備向CPU發出DMA請求，CPU響應請求，關閉對主存的控制器，只關閉一個或者幾個存取週期，在這一小段時間內，主存和設備完成數據交換。而且在這一小段時間內，CPU並不是什麼都不能做，雖然CPU不能訪問主存，即不能取指令，但是CPU的cache中已經保存了一些指令，CPU可以先執行這些指令，只要這些指令不涉及訪存，CPU和設備還是並行執行。數據傳輸完成後，DMA接口向CPU發出中斷請求，讓CPU做後續處理。大家可能會奇怪DMA接口爲什麼也能發出中斷請求，其實DMA接口內有一箇中斷機構，見“圖3”,DMA技術其實是建立在中斷技術之上的，它包含了中斷技術。
總之，在同樣的時間內，DMA方式下CPU執行現行程序的時間最長，即CPU的效率最高。
二、Linux網絡子系統中DMA機制的實現
1. DMA機制在TCP/IP協議模型中的位置
網卡明顯是一個數據流量特別大的地方，所以特別需要DMA方式和主存交換數據。
主存的內核空間中爲接收和發送數據分別建立了兩個環形緩衝區（Ring Buffer）。分別叫接受環形緩衝區（Receive Ring Buffer）和發送環形緩衝區（Send Ring Buffer），通常也叫DMA環形緩衝區。
下圖可以看到DMA機制位於TCP/IP協議模型中的位置數據鏈路層。
網卡通過DMA方式將數據發送到Receive Ring Buffer,然後Receive Ring Buffer把數據包傳給IP協議所在的網絡層，然後再由路由機制傳給TCP協議所在的傳輸層，最終傳給用戶進程所在的應用層。下一節在數據鏈路層上分析具體分析網卡是如何處理數據包的。
2. 數據鏈路層上網卡對數據包的處理
DMA 環形緩衝區建立在與處理器共享的內存中。每一個輸入數據包被放置在環形緩衝區中下一個可用緩衝區，然後發出中斷。接着驅動程序將網絡數據包傳給內核的其它部分處理，並在環形緩衝區中放置一個新的 DMA 緩衝區。
驅動程序在初始化時分配DMA緩衝區，並使用驅動程序直到停止運行。
準備工作：
系統啓動時網卡（NIC）進行初始化，在內存中騰出空間給 Ring Buffer 。Ring Buffer 隊列每個中的每個元素 Packet Descriptor指向一個sk_buff ，狀態均爲ready。
上圖中虛線步驟的解釋：
1.DMA 接口將網卡（NIC）接收的數據包（packet）逐個寫入 sk_buff ，被寫入數據的 sk_buff 變爲 used 狀態。一個數據包可能佔用多個 sk_buff , sk_buff讀寫順序遵循先入先出（FIFO）原則。
2.DMA 寫完數據之後，網卡（NIC）向網卡中斷控制器（NIC Interrupt Handler）觸發硬件中斷請求。
3.NIC driver 註冊 poll 函數。
4.poll 函數對數據進行檢查，例如將幾個 sk_buff 合併，因爲可能同一個數據可能被分散放在多個 sk_buff 中。
5.poll 函數將 sk_buff 交付上層網絡棧處理。
後續處理：
poll 函數清理 sk_buff，清理 Ring Buffer 上的 Descriptor 將其指向新分配的 sk_buff 並將狀態設置爲 ready。
3.源碼分析具體網卡（4.19內核）
Intel的千兆以太網卡e1000使用非常廣泛，我虛擬機上的網卡就是它。
這裏就以該網卡的驅動程序爲例，初步分析它是怎麼建立DMA機制的。
源碼目錄及文件：
內核模塊插入函數在e1000_main.c文件中，它是加載驅動程序時調用的第一個函數。
/**
* e1000_init_module - Driver Registration Routine
*
* e1000_init_module is the first routine called when the driver is
* loaded. All it does is register with the PCI subsystem.
**/
static int __init e1000_init_module(void)
{
int ret;
pr_info("%s - version %s\n", e1000_driver_string, e1000_driver_version);
pr_info("%s\n", e1000_copyright);
ret = pci_register_driver(&e1000_driver);
if (copybreak != COPYBREAK_DEFAULT) {
if (copybreak == 0)
pr_info("copybreak disabled\n");
else
pr_info("copybreak enabled for "
"packets <= %u bytes\n", copybreak);
}
return ret;
}
module_init(e1000_init_module);該函數所做的只是向PCI子系統註冊，這樣CPU就可以訪問網卡了，因爲CPU和網卡是通過PCI總線相連的。
具體做法是，在第230行，通過pci_register_driver()函數將e1000_driver這個驅動程序註冊到PCI子系統。
e1000_driver是struct pci_driver類型的結構體，
static struct pci_driver e1000_driver = {
.name = e1000_driver_name,
.id_table = e1000_pci_tbl,
.probe = e1000_probe,
.remove = e1000_remove,
#ifdef CONFIG_PM
/* Power Management Hooks */
.suspend = e1000_suspend,
.resume = e1000_resume,
#endif
.shutdown = e1000_shutdown,
.err_handler = &e1000_err_handler
};e1000_driver```裏面初始化了設備的名字爲“e1000”，
還定義了一些操作，如插入新設備、移除設備等，還包括電源管理相關的暫停操作和喚醒操作。下面是struct pci_driver一些主要的域。
對該驅動程序稍微瞭解後，先跳過其他部分，直接看DMA相關代碼。在e1000_probe函數，即“插入新設備”函數中，下面這段代碼先對DMA緩衝區的大小進行檢查
如果是64位DMA地址，則把pci_using_dac標記爲1，表示可以使用64位硬件，掛起32位的硬件；如果是32位DMA地址，則使用32位硬件；若不是64位也不是32位，則報錯“沒有可用的DMA配置，中止程序”。
/* there is a workaround being applied below that limits
* 64-bit DMA addresses to 64-bit hardware. There are some
* 32-bit adapters that Tx hang when given 64-bit DMA addresses
*/
pci_using_dac = 0;
if ((hw->bus_type == e1000_bus_type_pcix) &&
!dma_set_mask_and_coherent(&pdev->dev, DMA_BIT_MASK(64))) {
pci_using_dac = 1;
} else {
err = dma_set_mask_and_coherent(&pdev->dev, DMA_BIT_MASK(32));
if (err) {
pr_err("No usable DMA config, aborting\n");
goto err_dma;
}
}
其中的函數dma_set_mask_and_coherent()用於對dma_mask和coherent_dma_mask賦值。
dma_mask表示的是該設備通過DMA方式可尋址的物理地址範圍，coherent_dma_mask表示所有設備通過DMA方式可尋址的公共的物理地址範圍，
因爲不是所有的硬件設備都能夠支持64bit的地址寬度。
/include/linux/dma-mapping.h
/*
* Set both the DMA mask and the coherent DMA mask to the same thing.
* Note that we don't check the return value from dma_set_coherent_mask()
* as the DMA API guarantees that the coherent DMA mask can be set to
* the same or smaller than the streaming DMA mask.
*/
static inline int dma_set_mask_and_coherent(struct device *dev, u64 mask)
{
int rc = dma_set_mask(dev, mask);
if (rc == 0)
dma_set_coherent_mask(dev, mask);
return rc;
}
rc==0表示該設備的dma_mask賦值成功，所以可以接着對coherent_dma_mask賦同樣的值。
繼續閱讀e1000_probe函數，
if (pci_using_dac) {
netdev->features |= NETIF_F_HIGHDMA;
netdev->vlan_features |= NETIF_F_HIGHDMA;
} 如果pci_using_dac標記爲1，則當前網絡設備的features域（表示當前活動的設備功能）和vlan_features域（表示VLAN設備可繼承的功能）都賦值爲NETIF_F_HIGHDMA，NETIF_F_HIGHDMA表示當前設備可以通過DMA通道訪問到高地址的內存。
因爲前面分析過，pci_using_dac標記爲1時，當前設備是64位的。 e1000_probe函數完成了對設備的基本初始化，接下來看如何初始化接收環形緩衝區。
/**
* e1000_setup_rx_resources - allocate Rx resources (Descriptors)
* @adapter: board private structure
* @rxdr: rx descriptor ring (for a specific queue) to setup
*
* Returns 0 on success, negative on failure
**/
static int e1000_setup_rx_resources(struct e1000_adapter *adapter,
struct e1000_rx_ring *rxdr)
{
'''''''
rxdr->desc = dma_alloc_coherent(&pdev->dev, rxdr->size, &rxdr->dma,
GFP_KERNEL);
''''''
memset(rxdr->desc, 0, rxdr->size);
rxdr->next_to_clean = 0;
rxdr->next_to_use = 0;
rxdr->rx_skb_top = NULL;
return 0;
}
這裏dma_alloc_coherent()的作用是申請一塊DMA可使用的內存，它的返回值是這塊內存的虛擬地址，賦值給rxdr->desc。 其實這個函數還隱式的返回了物理地址，物理地址存在第三個參數中。 指針rxdr指向的是struct e1000_rx_ring這個結構體，該結構體就是接收環形緩衝區。
若成功申請到DMA內存，則用memset()函數把申請的內存清零，rxdr的其他域也清零。
對於現在的多核CPU，每個CPU都有自己的接收環形緩衝區，e1000_setup_all_rx_resources()中調用e1000_setup_rx_resources()，初始化所有的接收環形緩衝區。
int e1000_setup_all_rx_resources(struct e1000_adapter *adapter)
{
int i, err = 0;
for (i = 0; i < adapter->num_rx_queues; i++) {
err = e1000_setup_rx_resources(adapter, &adapter->rx_ring[i]);
if (err) {
e_err(probe, "Allocation for Rx Queue %u failed\n", i);
for (i-- ; i >= 0; i--)
e1000_free_rx_resources(adapter,
&adapter->rx_ring[i]);
break;
}
}
return err;
}
e1000_setup_all_rx_resources()由e1000_open()調用，也就是說只要打開該網絡設備，接收和發送環形緩衝區就會建立好。
int e1000_open(struct net_device *netdev)
{
struct e1000_adapter *adapter = netdev_priv(netdev);
struct e1000_hw *hw = &adapter->hw;
int err;
/* disallow open during test */
if (test_bit(__E1000_TESTING, &adapter->flags))
return -EBUSY;
netif_carrier_off(netdev);
/* allocate transmit descriptors */
err = e1000_setup_all_tx_resources(adapter);
if (err)
goto err_setup_tx;
/* allocate receive descriptors */
err = e1000_setup_all_rx_resources(adapter);
if (err)
goto err_setup_rx;
DMA相關內容很多，這次先分享到這裏。
