對於Intel的硬件輔助虛擬化方案而言核心的兩大技術分別是VT-x和VT-d。其中VT-x中主要引入了non-root模式(VMCS)以及EPT頁表等技術，主要關注於vCPU的虛擬化和內存虛擬化。而VT-d的引入則是重點關注設備直通(passthrough)方面（即IO虛擬化）。

VT-x中在non-root模式下，MMU直接使用EPT page table來完成GPA->HVA->HPA的兩級翻譯， VT-d中在non-root模式下，則由IOMMU來使用Context Table和IOMMU page table完成設備DMA請求過程中的HPA->HVA->GPA的翻譯．二者極爲相似，唯一的不同之處在於CPU訪問內存（直通設備IO Memory）是通過MMU查找EPT頁表完成地址翻譯，而直通設備訪問內存的請求則是通過IOMMU查找IOMMU頁表來完成地址翻譯的。本文重點來探索一下Intel IOMMU的工作機制。

硬件結構

先看下一個典型的X86物理服務器視圖：

在多路服務器上我們可以有多個DMAR Unit（這裏可以直接理解爲多個IOMMU硬件），每個DMAR會負責處理其下掛載設備的DMA請求進行地址翻譯。例如上圖中， PCIE Root Port (dev:fun) (14:0)下面掛載的所有設備的DMA請求由DMAR #1負責處理， PCIE Root Port (dev:fun) (14:1)下面掛載的所有設備的DMA請求由DMAR #2負責處理，而DMAR #3下掛載的是一個Root-Complex集成設備[29:0]，這個設備的DMA請求被DMAR #3承包， DMAR #4的情況比較複雜，它負責處理Root-Complex集成設備[30:0]以及I/OxAPIC設備的DMA請求。這些和IOMMU相關的硬件拓撲信息需要BIOS通過ACPI表呈現給OS，這樣OS才能正確驅動IOMMU硬件工作。

關於硬件拓撲信息呈現，這裏有幾個概念需要了解一下：

DRHD: DMA Remapping Hardware Unit Definition 用來描述DMAR Unit(IOMMU)的基本信息
RMRR: Reserved Memory Region Reporting 用來描述那些保留的物理地址，這段地址空間不被重映射
ATSR: Root Port ATS Capability 僅限於有Device-TLB的情形，Root Port需要向OS報告支持ATS的能力
RHSA: Remapping Hardware Static Affinity Remapping親和性，在有NUMA的系統下可以提升DMA Remapping的性能

BIOS通過在ACPI表中提供一套DMA Remapping Reporting Structure 信息來表述物理服務器上的IOMMU拓撲信息，這樣OS在加載IOMMU驅動的時候就知道如何建立映射關係了。

附：我們可以使用一些工具將ACPI表相關信息Dump出來查看

# acpidump --table DMAR -b > dmar.out
# iasl -d dmar.out
# cat dmar.dsl

數據結構

Intel IOMMU Driver的關鍵數據結構可以描述爲（點擊鏈接查看原圖）：

按照自上而下的視圖來看，首先是IOMMU硬件層面， struct dmar_drhd_unit數據結構從系統BIOS角度去描述了一個IOMMU硬件：

list 用來把所有的DRHD串在一個鏈表中便於維護
acpi_dmar_head *hdr 指向IOMMU設備的ACPI表信息
device_cnt 表示當前IOMMU管理的設備數量
include_all 表示該IOMMU是否管理平臺上所有的設備（單IOMMU的物理物理服務器）
reg_base_addr 表示IOMMU的寄存器基地址
intel_iommu *iommu 指針指向struct intel_iommu數據結構
struct intel_iommu 進一步詳細描述了IOMMU的所以相關信息
cap和ecap 記錄IOMMU硬件的Capability和Extended Capability信息
root_entry 指向了此IOMMU的Root Entry Table
ir_table 指向了IOMMU的Interrupt Remapping Table（中斷重映射表）
struct iommu_device iommu 從linux設備驅動的角度描述這個IOMMU並用來綁定sysfs
struct dmar_domain ***domains 比較關鍵，它記錄了這個IOMMU下面管理的所有dmar_domain信息

在虛擬化場景下多個設備可以直通給同一個虛擬機，他們共享一個IOMMU Page Table，這種映射關係就是通過DMAR Domain來表述的，也就是說多個直通設備可以加入到一個DMAR Domain中，他們之間使用同一套頁表完成地址DMA 請求的地址翻譯。那我們接着往下走，來看DMAR Domain：

struct dmar_domain 數據結構用來描述DMAR Domain這種映射關係的
struct list_head devices 鏈表記錄了這個Domain中的所有設備
struct iova_domain iovad 數據結構用一個紅黑樹來記錄iova->hpa的地址翻譯關係
struct dma_pte *pgd 這個指針指向了IOMMU頁表的基地址是IOMMU頁表的入口
bool has_iotlb_device 表示這個Domain裏是否有具備IO-TLB的設備
struct iommu_domain domain 主要包含了iommu_ops *ops指針，記錄了一堆與domain相關的操作

Intel IOMMU初始化

首先探測平臺環境上是否有IOMMU硬件：IOMMU_INIT_POST(detect_intel_iommu)， detect_intel_iommu函數中調用dmar_table_detect函數從ACPI表中查詢DMAR相關內容：

/**
 * dmar_table_detect - checks to see if the platform supports DMAR devices
 */             
static int __init dmar_table_detect(void)
{
        acpi_status status = AE_OK;


        /* if we could find DMAR table, then there are DMAR devices */
        status = acpi_get_table(ACPI_SIG_DMAR, 0, &dmar_tbl);


        if (ACPI_SUCCESS(status) && !dmar_tbl) {
                pr_warn("Unable to map DMAR\n");
                status = AE_NOT_FOUND;
        }


        return ACPI_SUCCESS(status) ? 0 : -ENOENT;
}

如果查詢到信息就validate_drhd_cb驗證DRHD的有效性設置iommu_detected = 1，如果查詢不到DMAR信息那麼認爲沒有IOMMU硬件，跳過後續初始化流程。

接着pci_iommu_init中調用x86_init.iommu.iommu_init()來初始化Intel IOMMU，主要的流程爲：

  intel_iommu_init
        |-> dmar_table_init -> parse_dmar_table -> dmar_walk_dmar_table //重點分析
        |-> dmar_dev_scope_init
            |-> dmar_acpi_dev_scope_init -> dmar_acpi_insert_dev_scope  //重點分析
            |-> dmar_pci_bus_add_dev -> dmar_insert_dev_scope
            |-> bus_register_notifier
        |-> dmar_init_reserved_ranges   // init RMRR
        |-> init_no_remapping_devices   // init no remapping devices
        |-> init_dmars  //重點分析
        |-> dma_ops = &intel_dma_ops
        |-> iommu_device_sysfs_add, iommu_device_set_ops, iommu_device_register
        |-> bus_set_iommu(&pci_bus_type, &intel_iommu_ops)
        |-> bus_register_notifier(&pci_bus_type, &device_nb)

在dmar_table_init函數中我們完成了DMA Remapping相關的ACPI表解析流程，這個parse_dmar_table的函數實現非常精妙，不禁讓人感嘆！它將每種Remapping Structure Types的解析函數封裝成dmar_res_callback，然後調用dmar_walk_dmar_table通過一個for循環擼一遍就完成了全部的解析，代碼精簡思路清晰、一氣呵成。

static int __init
parse_dmar_table(void)
{
    struct acpi_table_dmar *dmar;
    int drhd_count = 0;
    int ret;
    struct dmar_res_callback cb = {
        .print_entry = true,
        .ignore_unhandled = true,
        .arg[ACPI_DMAR_TYPE_HARDWARE_UNIT] = &drhd_count,
        .cb[ACPI_DMAR_TYPE_HARDWARE_UNIT] = &dmar_parse_one_drhd,
        .cb[ACPI_DMAR_TYPE_RESERVED_MEMORY] = &dmar_parse_one_rmrr,
        .cb[ACPI_DMAR_TYPE_ROOT_ATS] = &dmar_parse_one_atsr,
        .cb[ACPI_DMAR_TYPE_HARDWARE_AFFINITY] = &dmar_parse_one_rhsa,
        .cb[ACPI_DMAR_TYPE_NAMESPACE] = &dmar_parse_one_andd,
    };


    /*
     * Do it again, earlier dmar_tbl mapping could be mapped with
     * fixed map.
     */
    dmar_table_detect();    // 重新detect dmar table


    /*
     * ACPI tables may not be DMA protected by tboot, so use DMAR copy
     * SINIT saved in SinitMleData in TXT heap (which is DMA protected)
     */
    dmar_tbl = tboot_get_dmar_table(dmar_tbl);


    dmar = (struct acpi_table_dmar *)dmar_tbl;
    if (!dmar)
        return -ENODEV;


    if (dmar->width < PAGE_SHIFT - 1) {
        pr_warn("Invalid DMAR haw\n");
        return -EINVAL;
    }


    pr_info("Host address width %d\n", dmar->width + 1);
    ret = dmar_walk_dmar_table(dmar, &cb);  //遍歷ACPI表完成解析
    if (ret == 0 && drhd_count == 0)
        pr_warn(FW_BUG "No DRHD structure found in DMAR table\n");


    return ret;
}

dmar_dev_scope_init函數負責完成IOMMU的Device Scope解析。dmar_acpi_insert_dev_scope中多層的遍歷，建立了IOMMU和設備之間的映射關係。

static void __init dmar_acpi_insert_dev_scope(u8 device_number,
                          struct acpi_device *adev)
{
    struct dmar_drhd_unit *dmaru;
    struct acpi_dmar_hardware_unit *drhd;
    struct acpi_dmar_device_scope *scope;
    struct device *tmp;
    int i;
    struct acpi_dmar_pci_path *path;


    for_each_drhd_unit(dmaru) {
        drhd = container_of(dmaru->hdr,
                    struct acpi_dmar_hardware_unit,
                    header);


        for (scope = (void *)(drhd + 1);
             (unsigned long)scope < ((unsigned long)drhd) + drhd->header.length;
             scope = ((void *)scope) + scope->length) {
            if (scope->entry_type != ACPI_DMAR_SCOPE_TYPE_NAMESPACE)
                continue;
            if (scope->enumeration_id != device_number)
                continue;


            path = (void *)(scope + 1);
            pr_info("ACPI device \"%s\" under DMAR at %llx as %02x:%02x.%d\n",
                dev_name(&adev->dev), dmaru->reg_base_addr,
                scope->bus, path->device, path->function);
            for_each_dev_scope(dmaru->devices, dmaru->devices_cnt, i, tmp)
                if (tmp == NULL) {
                    dmaru->devices[i].bus = scope->bus;
                    dmaru->devices[i].devfn = PCI_DEVFN(path->device,
                                        path->function);
                    rcu_assign_pointer(dmaru->devices[i].dev,
                               get_device(&adev->dev));
                    return;
                }
            BUG_ON(i >= dmaru->devices_cnt);
        }
    }
    pr_warn("No IOMMU scope found for ANDD enumeration ID %d (%s)\n",
        device_number, dev_name(&adev->dev));
}

init_dmars函數最後再對描述IOMMU的intel_iommu結構進行初始化，主要的流程包括：

        init_dmars
                |-> intel_iommu_init_qi         // qeueu invalidation
                |-> iommu_init_domains
                |-> init_translation_status
                |-> iommu_alloc_root_entry      //創建Root Entry
                |-> translation_pre_enabled
                |-> iommu_set_root_entry
                |-> iommu_prepare_rmrr_dev
                |-> iommu_prepare_isa           // 0-16MiB 留給ISA設備
                |-> dmar_set_interrupt          // IOMMU中斷初始化

這裏不再展開，但每個點都值得探索一下，例如：

IOMMU中斷是用來做什麼的？
iommu_prepare_identity_map 是在做什麼？
一個IOMMU最多支持多少個DMAR Domain？
qeueue invalidation是用來做什麼的？

可以多問自己一些問題帶着問題去看代碼，從代碼中找到答案，從更深層次去分析問題，理解特性。

參考文獻

https://software.intel.com/sites/default/files/managed/c5/15/vt-directed-io-spec.pdf
https://elixir.bootlin.com/linux/v4.16.12/source/drivers/iommu/intel-iommu.c

本文轉載自：

https://kernelgo.org/intel_iommu.html

(END)

Linux閱碼場原創精華文章彙總

更多精彩，盡在"Linux閱碼場"，掃描下方二維碼關注

Intel IOMMU Introduction

硬件結構

數據結構

Intel IOMMU初始化

參考文獻

(END)

DAPPER 事務 TRANSACTION

7大亮點功能上線！物聯網操作系統一站式開發工具RT-Thread Studio來襲

宋寶華： kvmalloc ——倚天劍屠龍刀兩大神器合體？

混亂的Linux內核實時線程優先級

深入理解C11/C++11內存模型

Linux內核態缺頁會發生什麼 - 玩轉Exception fixup表

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結