封面 用户指南 聚合网络适配器 41xxx Series 第三方信息由 Dell 提供给您。 AH0054602-05 M 2019 年 10 月 16 日 Marvell.
用户指南 聚合网络适配器 有关更多信息，请访问网址：http://www.marvell.
目录 前言 支持的产品 . . . . . . . . 读者对象 . . . . . . . . . 本指南的内容 . . . . . . . 说明文件惯例 . . . . . . . 下载更新和文档 . . . . 法律声明 . . . . . . . . . 激光安全 - FDA 公告 . . 机构认证 . . . . . . . EMI 和 EMC 要求 . KCC：A 级 . . . VCCI：A 级 . . . 产品安全符合性 . . . . 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
用户指南 — 聚合网络适配器 41xxx Series 安装包含 RDMA 的 Linux 驱动程序 . . . . . . . . . . . Linux 驱动程序可选参数 . . . . . . . . . . . . . . . . Linux 驱动程序操作默认值 . . . . . . . . . . . . . . . Linux 驱动程序消息 . . . . . . . . . . . . . . . . . . 统计信息 . . . . . . . . . . . . . . . . . . . . . . . 导入用于安全引导的公钥 . . . . . . . . . . . . . . . . 安装 Windows 驱动程序软件 . . . . . . . . . . . . . . . . . 安装 Windows 驱动程序 . . . . . . . . . . . . . . . . 在 GUI 中运行 DUP . . . . . . . . . . . . . . . . DUP 安装选项 . . . . . . . . . . . . . . . . . . DUP 安装示例 .
用户指南 — 聚合网络适配器 41xxx Series 配置 iSCSI 引导 . . . . . . . . . . . . . . . . . . . . . . . . . 配置分区 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 对 VMware ESXi 6.5 和 ESXi 6.7 的分区 . . . . . . . . . . . . 6 55 59 63 从 SAN 引导配置 从 SAN 的 iSCSI 引导 . . . . . . . . . . . . . . . . . . . . . iSCSI 开箱即用和内建支持 . . . . . . . . . . . . . . . . iSCSI 预引导配置 . . . . . . . . . . . . . . . . . . . . 将 BIOS 引导模式设置为 UEFI . . . . . . . . . . . . 启用 NPAR 和 iSCSI HBA . . . . . . . . . . . . . . 配置存储目标 . . . . . . . . . .
用户指南 — 聚合网络适配器 41xxx Series Linux FCoE 从 SAN 引导的前提条件 . . . . . . 配置 Linux FCoE 从 SAN 引导 . . . . . . . . . 在 VMware 上配置 SAN 的 FCoE 引导 . . . . . . . . 将 ( 滑溜至 ) ESXi 适配器驱动程序注入到映像文件 安装自定义的 ESXi ISO . . . . . . . . . . . . 7 . . . . . . . . . . . . . . . . . . . . 121 121 122 122 123 支持的操作系统和 OFED . . . . . . . . . . . . . . . . . . 计划 RoCE . . . . . . . . . . . . . . . . . . . . . . . . 准备适配器 . . . . . . . . . . . . . . . . . . . . . . . . 准备以太网交换机 . . . . . . . . . . . . . . . . . . . . .
用户指南 — 聚合网络适配器 41xxx Series DCB 相关的参数. . . . . . . . . . RDMA 流量上的全局设置 . . . . . . 设置 RDMA 流量的 vLAN 优先级 在 RDMA 流量上设置 ECN. . . 在 RDMA 流量上设置 DSCP . . 配置 DSCP-PFC. . . . . . . . . . 启用 DCQCN . . . . . . . . . . . 配置 CNP. . . . . . . . . . . . . DCQCN 算法参数 . . . . . . . . . MAC 统计信息 . . . . . . . . . . 脚本示例 . . . . . . . . . . . . . 限制 . . . . . . . . . . . . . . . 8 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
用户指南 — 聚合网络适配器 41xxx Series 安装 Marvell 驱动程序 . . . . . . . . . . . . . . . . 安装 Microsoft iSCSI 启动器 . . . . . . . . . . . . . 配置 Microsoft 启动器以使用 Marvell 的 iSCSI 卸载 . . . iSCSI 卸载常见问题 . . . . . . . . . . . . . . . . . Windows Server 2012 R2、 2016 和 2019 iSCSI 引导安装 iSCSI 故障转储 . . . . . . . . . . . . . . . . . . . Linux 环境中的 iSCSI 卸载 . . . . . . . . . . . . . . . . . 与 bnx2i 的差异 . . . . . . . . . . . . . . . . . . . 配置 qedi.ko . . . . . . . . . . . . . . . . . . . . 在 Linux 中验证 iSCSI 接口 . . . . . . . . . . .
用户指南 — 聚合网络适配器 41xxx Series 15 Windows Server 2016 使用 Hyper-V 配置 RoCE 接口 . . . . . . . . . . . . . . 创建带 RDMA NIC 的 Hyper-V 虚拟交换机 . . . . . . 将 vLAN ID 添加到主机虚拟 NIC . . . . . . . . . . . 验证 RoCE 是否启用 . . . . . . . . . . . . . . . . 添加主机虚拟 NIC （虚拟端口） . . . . . . . . . . . 映射 SMB 驱动器和运行 RoCE 流量 . . . . . . . . . Switch Embedded Teaming 上的 RoCE . . . . . . . . . . 创建带 SET 和 RDMA 虚拟 NIC 的 Hyper-V 虚拟交换机 在 SET 上启用 RDMA . . . . . . . . . . . . . . . 在 SET 上分配 vLAN ID . . . . . . . . . . . . . .
用户指南 — 聚合网络适配器 41xxx Series 虚拟化资源 . . . . . . . . . . . . . . . . . . . . . . . . . VMQ 和 VMMQ 默认加速 . . . . . . . . . . . . . . . . . . . 单一 VPort 池 . . . . . . . . . . . . . . . . . . . . . . . . 17 280 281 281 故障排除 . . . . . . . . . . . . 283 284 284 284 285 285 285 285 286 286 286 286 支持的规格 . . . . . . . . . . . . . . . . . . . . . . . . . . . 测试的电缆和光学模块 . . . . . . . . . . . . . . . . . . . . . . 测试的交换机 . . . . . . . . . . . . . . . . . . . . . . . . . . 288 289 293 故障排除核查表 . . . . . . . .
用户指南 — 聚合网络适配器 41xxx Series 图片列表 图 3-1 3-2 3-3 3-4 3-5 3-6 3-7 3-8 3-9 3-10 3-11 3-12 3-13 4-1 4-2 4-3 4-4 4-5 5-1 5-2 5-3 5-4 5-5 5-6 5-7 5-8 5-9 5-10 5-11 5-12 5-13 5-14 5-15 5-16 5-17 5-18 5-19 5-20 6-1 6-2 6-3 6-4 6-5 页 Dell Update Package 窗口 . . . . . . . . . . . . . . . . . . . . QLogic InstallShield 向导：Welcome （欢迎）窗口 . . . . . . . . . QLogic InstallShield 向导：License Agreement （许可协议）窗口 . . . InstallShield 向导：Setup Type （设置类型）窗口 . . . . . . . . . . InstallShield 向导：Custom Setup （自定义设置）窗口 . . . . . .
用户指南 — 聚合网络适配器 41xxx Series 6-6 6-7 6-8 6-9 6-10 6-11 6-12 6-13 6-14 6-15 6-16 6-17 6-18 6-19 6-20 6-21 6-22 6-23 6-24 6-25 6-26 6-27 6-28 6-29 6-30 6-31 6-32 6-33 6-34 7-1 7-2 7-3 7-4 7-5 7-6 7-7 7-8 7-9 7-10 7-11 7-12 7-13 7-14 7-15 7-16 系统设置：选择常规参数 . . . . . . . . . . . . . . . . 系统设置：iSCSI 常规参数 . . . . . . . . . . . . . . . 系统设置：选择 iSCSI 启动器参数. . . . . . . . . . . . 系统设置：iSCSI 启动器参数 . . . . . . . . . . . . . . 系统设置：选择 iSCSI 第一目标参数. . . . . . . . . . . 系统设置：iSCSI 第一目标参数 . . . . . . . . . . . . .
用户指南 — 聚合网络适配器 41xxx Series 7-17 7-18 8-1 8-2 8-3 8-4 9-1 9-2 9-3 9-4 9-5 10-1 10-2 10-3 10-4 10-5 10-6 10-7 12-1 12-2 12-3 12-4 12-5 12-6 12-7 12-8 12-9 12-10 12-11 12-12 12-13 12-14 12-15 13-1 13-2 13-3 13-4 14-1 15-1 15-2 15-3 15-4 15-5 15-6 15-7 为 PVRDMA 分配 vmknic . . . . . . . . . . . . . . 设置防火墙规则 . . . . . . . . . . . . . . . . . . . Windows PowerShell 命令：Get-NetAdapterRdma . . . Windows PowerShell 命令：Get-NetOffloadGlobalSetting Perfmon：添加计数器 . . . . . . . . . . . . . . . . Perfmon：验证 iWARP 流量 . .
用户指南 — 聚合网络适配器 41xxx Series 15-8 15-9 15-10 15-11 15-12 15-13 15-14 15-15 15-16 16-1 Windows PowerShell 命令：Get-NetAdapter 高级属性：启用 QoS . . . . . . . . . . 高级属性：设置 VLAN ID . . . . . . . . 高级属性：启用 QoS . . . . . . . . . . 高级属性：设置 VLAN ID . . . . . . . . 高级属性：启用虚拟交换机 RSS . . . . . 虚拟交换机管理器 . . . . . . . . . . . . Windows PowerShell 命令：Get-VMSwitch . 示例硬件配置 . . . . . . . . . . . . . . RSSv2 事件日志错误 . . . . . . . . . . xiv . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
用户指南 — 聚合网络适配器 41xxx Series 表格列表 表 2-1 2-2 3-1 3-2 3-3 3-4 3-5 3-6 5-1 6-1 6-2 6-3 6-4 6-5 6-6 7-1 7-2 7-3 7-4 7-5 13-1 16-1 16-2 17-1 A-1 B-1 B-2 页 主机硬件要求 . . . . . . . . . . . . . . . . . . . . . . 最低主机操作系统要求 . . . . . . . . . . . . . . . . . . 41xxx 系列适配器 Linux 驱动程序 . . . . . . . . . . . . . qede 驱动程序可选参数 . . . . . . . . . . . . . . . . . Linux 驱动程序操作默认值 . . . . . . . . . . . . . . . . VMware 驱动程序 . . . . . . . . . . . . . . . . . . . . VMware NIC 驱动程序可选参数 . . . . . . . . . . . . . . VMware 驱动程序参数默认值 .
前言 本前言列出了支持的产品，指定了读者对象，说明了本指南中使用的排版惯例，并 介绍了法律声明。 支持的产品 注 QConvergeConsole® (QCC) GUI 是唯一涵盖所有 Marvell® FastLinQ® 适配 器的 GUI 管理工具。 QLogic Control Suite™ (QCS) GUI 不再支持 FastLinQ 45000 系列适配器以及基于 57xx/57xxx 控制器的适配器，已经被 QCC GUI 管理工具取代。 QCC GUI 为所有 Marvell 适配器提供单面板 GUI 管理。 在 Windows® 环境中，当您运行 QCS CLI 和管理代理安装程序时，将从系 统中卸载 QCS GUI （如果系统上已安装）及任何相关组件。要获取新 GUI， 请从 Marvell 网站为适配器下载 QCC GUI （请参阅第 xx 页上 “ 下载更新和 文档 ”）。 本用户指南介绍以下 Marvell 产品： QL41112HFCU-DE 10Gb 聚合网络适配器，全高支架 QL41112HLCU-DE 10Gb 聚合网络适配器，薄型支架 QL41132
前言 读者对象 QL41164HFRJ-DE 10Gb 聚合网络适配器，全高支架 QL41164HFRJ-DE 10Gb 聚合网络适配器，薄型支架 QL41164HFCU-DE 10Gb 聚合网络适配器，全高支架 QL41232HFCU-DE 10/25Gb NIC 适配器，全高支架 QL41232HLCU-DE 10/25Gb NIC 适配器，薄型支架 QL41232HMKR-DE 10/25Gb NIC 适配器 QL41232HQCU-DE 10/25Gb NIC 适配器 QL41262HFCU-DE 10/25Gb 聚合网络适配器，全高支架 QL41262HLCU-DE 10/25Gb 聚合网络适配器，薄型支架 QL41262HMCU-DE 10/25Gb 聚合网络 QL41262HMKR-DE 10/25Gb 聚合网络适配器 QL41264HMCU-DE 10/25Gb 聚合网络适配器 读者对象 本指南面向负责对安装在 Dell® PowerEdge® 服务器 （在 Windows®、 Linux® 或
前言 说明文件惯例 第 12 章 SR-IOV 配置提供在 Windows、Linux 和 VMware 系统中配置单根输入 / 输出 虚拟化 (SR-IOV) 的步骤。 第 13 章 使用 RDMA 的 NVMe-oF 配置演示如何在简单的网络上为 41xxx Series Adapters 配置 NVMe-oF。 第 14 章 VXLAN 配置介绍如何为 Linux、 VMware 和 Windows Server 2016 配置 VXLAN。 第 15 章 Windows Server 2016 介绍 Windows Server 2016 功能。 第 16 章 Windows Server 2019 介绍 Windows Server 2019 功能。 第 17 章 故障排除介绍各种故障排除方法和资源。 附录 A 适配器 LED 列出适配器 LED 及其意义。 附录 B 电缆和光学模块列出41xxx Series Adapters支持的电缆、光学模块和交换机。 附录 C Dell Z9100 交换机配置介绍如何配置 Dell Z9
前言 说明文件惯例 黑体文字表示用户界面元素，如菜单项、按钮、复选框或列标题。例如： 单击 Start（开始）按钮，指向 Programs（程序），指向 Accessories （附件），然后单击 Command Prompt （命令提示符）。 在 Notification Options （通知选项）下，选中 Warning Alarms （警 报）复选框。 Courier 字体文本表示文件名、目录路径或命令行文字。例如： 要从文件结构的任何地方返回到根目录： 键入 cd/ root 并按 ENTER 键。 发出以下命令 sh ./install.
前言 说明文件惯例 | （竖线）表示互斥的选项；只能选择一个选项。例如： on|off 1|2|3|4 ... （省略号）表示前面的项可重复。例如： x... 表示 x 的一个或多个实例。 [x...] 表示 x 的零个或多个实例。 ⋮ （竖省略号）命令示例输出中的垂直省略号指示重复输出数据部分被 有意省略的位置。 ( ) （圆括号）和 { } （大括号）用来避免逻辑模糊不清。例如： a|b c 模糊不清 {(a|b) c} 表示 a 或 b，后跟 c {a|(b c)} 表示 a 或 b c 下载更新和文档 Marvell 网站提供产品固件、软件和文档的定期更新。 要下载 Marvell 固件、软件和文档： 1. 请访问 www.marvell.com。 2. 指向 Support （支持），然后在 Driver Downloads （驱动程序下载）下单 击 Marvell QLogic/FastLinQ Drivers （QLogic/FastLinQ 驱动程序）。 3.
前言 法律声明 法律声明 本节中涵盖的法律声明包括激光安全 （FDA 公告）、机构认证和产品安全合规性。 激光安全 - FDA 公告 本产品符合 DHHS 规则 21CFR I 章 J 节的规定。本产品的设计和生产符合 IEC60825-1 中有关激光产品安全标签的规定。 I 类激光产品 1类 激光产品 小心 — 在打开时存在 1 类激光辐射 请勿直视光学仪器 Appareil laser de classe 1 Attention—Radiation laser de classe 1 Ne pas regarder directement avec des instruments optiques Produkt der Laser Klasse 1 Vorsicht—Laserstrahlung der Klasse 1 bei geöffneter Abdeckung Direktes Ansehen mit optischen Instrumenten vermeiden Luokan 1 Laserlaite Varoitus—Luokan 1 lasersäteilyä, kun
前言 法律声明 抗扰性标准 EN61000-4-2：ESD EN61000-4-3：RF 电磁场 EN61000-4-4：快速瞬变 / 猝变 EN61000-4-5：快速电涌常见 / 差动 EN61000-4-6：RF 传导敏感度 EN61000-4-8：电力频率磁场 EN61000-4-11：电压骤降和干扰 VCCI：2015-04; A 级 AS/NZS ； CISPR 32：2015 A 级 CNS 13438：2006 A 级 KCC：A 级 经过韩国 RRA A 级认证 产品名称 / 型号：聚合网络适配器和智能以太网适配器 证书持有方：QLogic Corporation 制造日期：请参阅产品上的日期代码 原始制造商 / 国家 （地区）：QLogic Corporation/ 美国 A 级设备 （商用信息 / 电讯设备） 由于本设备已就其商用性执行了 EMC 注册，因此要求销售方 和 / 或购买方对此引起充分注意，倘若发生错误的销售或购买 行为，要求立即将其更换成家用型设备。 韩国语言格式 - A 级 xxii AH0054602-05 M
前言 法律声明 VCCI：A 级 根据 Voluntary Control Council for Interference（干扰自愿控制委员会） (VCCI) 的 标准，该设备是 A 级产品。如果在家庭环境中使用该设备，可能会发生无线电干 扰，在这种情况下，用户可能需要采取纠正措施。 产品安全符合性 UL、 cUL 产品安全： UL 60950-1 （第二版） A1 + A2 2014-10-14 CSA C22.2 No.60950-1-07 （第二版） A1 +A2 2014-10 只能用于所列 ITE 或等价对象。 符合 21 CFR 1040.10 和 1040.
1 产品概览 本章提供 41xxx 系列适配器的以下信息： 功能说明 功能 第 3 页上 “ 适配器规格 ” 功能说明 Marvell FastLinQ 41000 系列适配器包括 10 和 25Gb 聚合网络适配器以及智能以 太网适配器，旨在为服务器系统执行加速的数据网络。 41000 系列适配器包括一 个 10/25Gb 以太网 MAC （具有全双工能力）。 利用操作系统的组合功能，可将网络分割成虚拟 LAN (vLANs)，以及将多个网络 适配器组合到各个组中，以便提供网络负载平衡和容错。有关组合的更多信息，请 参阅操作系统说明文件。 功能 41xxx 系列适配器提供以下功能。并非所有适配器均具备所有功能： NIC 分区 (NPAR) 单芯片解决方案： 10/25Gb MAC 用于直连式铜缆 (DAC) 收发器连接的 SerDes 接口 PCI Express® (PCIe®) 3.
1– 产品概览 功能 大量接收卸载 (LRO) 接收分段结合 (RSC) Microsoft® 动态虚拟机队列 (VMQ) 和 Linux 多队列 自适应中断： 发送方 / 接收方缩放 (TSS/RSS) 使用通用路由封装 (NVGRE) 和虚拟 LAN (VXLAN) L2/L3 GRE 隧道流 量进行网络虚拟化无状态卸载1 可管理性： 系统管理总线 (SMB) 控制器 符合高级配置和电源接口 (ACPI) 1.1a 标准 （多电源模式） 网络控制器边带接口 (NC-SI) 支持 高级网络特性： 巨型帧 （多达 9,600 个字节）。 OS 和链路伙伴必须支持巨型帧。 虚拟 LAN (VLAN) 流控制 (IEEE Std 802.3x) 逻辑链路控制 （IEEE 标准 802.
1– 产品概览 适配器规格 EM64T 处理器支持 iSCSI 和 FCoE 引导支持2 适配器规格 41xxx 系列适配器规格包含适配器的物理特性和标准符合性参考。 物理特性 41xxx 系列适配器 是标准的 PCIe 卡，并附带一个全高或薄型支架以在标准 PCIe 插槽中使用。 标准规格 支持的标准规格包括： PCI Express 基本规格，修订版 3.1 PCI Express 卡机电规格，修订版 3.0 PCI 总线电源管理接口规格，修订版 1.2 IEEE 规格： 802.1ad (QinQ) 802.1AX （链路聚合） 802.1p （优先级编码） 802.1q (VLAN) 以太网的 802.3-2015 IEEE 标准 （流控制） 802.
2 硬件安装 本章提供以下硬件安装信息： 系统要求 第 5 页上 “ 安全预防措施 ” 第 6 页上 “ 预安装核查表 ” 第 6 页上 “ 安装适配器 ” 系统要求 安装 Marvell 41xxx 系列适配器 前，请确认您的系统满足表 2-1 和表 2-2 所示的硬 件和操作系统要求。有关支持的操作系统的完整列表，请访问 Marvell 网站。 表 2-1.
2– 硬件安装 安全预防措施 表 2-2. 最低主机操作系统要求 操作系统 Windows Server 要求 2012 R2、 2019 RHEL® 7.6、 7.7、 8.0、 8.1 Linux SLES® 12 SP4、 SLES 15、 SLES 15 SP1 CentOS 7.6 VMware vSphere® ESXi 6.5 U3 和 vSphere ESXi 6.7 U3 XenServer Citrix 虚拟机监控程序 8.0 7.0、 7.
2– 硬件安装 预安装核查表 预安装核查表 安装适配器之前，请完成以下操作： 1. 确认系统满足 第 4 页上 “ 系统要求 ” 中列出的硬件和软件要求。 2. 确认系统使用最新的 BIOS。 注 如果您从 Marvell 网站获取适配器软件，请确认适配器驱动程序文件的 路径。 3. 如果系统正在运行，请将其关闭。 4. 系统关闭后，断开电源并拔下电源线。 5. 将适配器从其运输包装中取出并放在防静电表面上。 6. 检查适配器，特别是边缘连接器上是否有明显的损坏痕迹。切勿尝试安装损 坏的适配器。 安装适配器 以下说明适用于在大多数系统中安装 Marvell 41xxx 系列适配器。有关执行这些任 务的详细信息，请参阅随系统提供的手册。 要安装适配器： 1. 复查 第 5 页上 “ 安全预防措施 ” 和 第 6 页上 “ 预安装核查表 ”。安装适配器 前，确保系统电源已关闭而且电源线已从电源插座上拔下，并且遵守适当的 电接地步骤。 2.
2– 硬件安装 安装适配器 5. 在适配器卡的两个边角均匀施压以推进插卡，直至其牢固就位在插槽中。当 适配器正确就位时，适配器端口连接器将与插槽开口处对齐，适配器面板将 与系统机箱齐平。 小心 将插卡推进到位时不要过度用力，否则可能损坏系统或适配器。如果无 法固定适配器，将其卸下，重新对齐，并再次尝试。 6. 使用适配器夹或螺丝固定适配器。 7.
3 驱动程序安装 本章提供有关驱动程序安装的以下信息： 安装 Linux 驱动程序软件 第 17 页上 “ 安装 Windows 驱动程序软件 ” 第 31 页上 “ 安装 VMware 驱动程序软件 ” 安装 Linux 驱动程序软件 本节介绍如何安装包含或不包含远程直接内存访问 (RDMA) 的 Linux 驱动程序。还 介绍 Linux 驱动程序的可选参数、默认值、消息、统计信息以及用于安全引导的公 钥。 安装不含 RDMA 的 Linux 驱动程序 安装包含 RDMA 的 Linux 驱动程序 Linux 驱动程序可选参数 Linux 驱动程序操作默认值 Linux 驱动程序消息 统计信息 导入用于安全引导的公钥 Dell 支持页面上提供了 41xxx 系列适配器 Linux 驱动程序和支持说明文件： dell.support.
3– 驱动程序安装 安装 Linux 驱动程序软件 表 3-1 介绍了 41xxx 系列适配器 Linux 驱动程序。 表 3-1. 41xxx 系列适配器 Linux 驱动程序 Linux 驱动程序 说明 qed qed 核心驱动程序模块直接控制固件，处理中断，并为协议特定驱动动程序集提供低级 API。qed 与 qede、qedr、qedi 和 qedf 驱动程序接合。Linux 核心模块管理所有 PCI 设备 资源 （寄存器、主机接口队列，等等）。 qed 核心模块需要使用 Linux 内核版本 2.6.32 或 更高版本。测试集中于 x86_64 体系结构。 qede 适用于 41xxx 系列适配器的 Linux 以太网驱动程序。该驱动程序直接控制硬件，并负责代 表 Linux 主机网络堆栈发送和接收以太网数据包。该驱动程序还代表其自身接收和处理设 备中断 （适用于 L2 网络）。 qede 驱动程序需要使用 Linux 内核版本 2.6.
3– 驱动程序安装 安装 Linux 驱动程序软件 以下源代码 TAR BZip2 (BZ2) 压缩文件会在 RHEL 和 SLES 主机上安装 Linux 驱 动程序： fastlinq-.tar.bz2 注 要通过 NFS、 FTP 或 HTTP （使用网络引导磁盘）进行网络安装，可能需要 含 qede 驱动程序的驱动程序磁盘。可以通过修改 makefile 和 make 环境来 编译 Linux 引导驱动程序。 安装不含 RDMA 的 Linux 驱动程序 要安装不含 RDMA 的 Linux 驱动程序： 1. 从 Dell 下载 41xxx 系列适配器 Linux 驱动程序： dell.support.com 2. 如第 10 页上 “ 移除 Linux 驱动程序 ” 中所述，移除现有 Linux 驱动程序。 3.
3– 驱动程序安装 安装 Linux 驱动程序软件 对于 RHEL： cd /lib/modules//extra/qlgc-fastlinq rm -rf qed.ko qede.ko qedr.ko 对于 SLES： cd /lib/modules//updates/qlgc-fastlinq rm -rf qed.ko qede.ko qedr.ko 要在非 RDMA 环境中移除 Linux 驱动程序： 1. 要获取当前安装的驱动程序的路径，请发出以下命令： modinfo 2. 卸载并移除 Linux 驱动程序。 如果以前是使用 RPM 软件包安装的 Linux 驱动程序，请发出以下命 令： modprobe -r qede depmod -a rpm -e qlgc-fastlinq-kmp-default-.
3– 驱动程序安装 安装 Linux 驱动程序软件 2. 卸载并移除 Linux 驱动程序。 modprobe -r qedr modprobe -r qede modprobe -r qed depmod -a 3. 移除驱动程序模块文件： 如果以前是使用 RPM 软件包安装的驱动程序，请发出以下命令： rpm -e qlgc-fastlinq-kmp-default-. 如果以前是使用 TAR 文件安装的驱动程序，则针对您的操作系统发出 以下命令： 对于 RHEL： cd /lib/modules//extra/qlgc-fastlinq rm -rf qed.ko qede.ko qedr.ko 对于 SLES： cd /lib/modules//updates/qlgc-fastlinq rm -rf qed.ko qede.ko qedr.ko 使用源代码 RPM 软件包安装 Linux 驱动程序 要使用源代码 RPM 软件包安装 Linux 驱动程序： 1.
3– 驱动程序安装 安装 Linux 驱动程序软件 3. 安装新编译的 RPM： rpm -ivh RPMS//qlgc-fastlinq-..rpm 注 如果报告了冲突，则可能需要对某些 Linux 分发版使用 --force 选 项。 驱动程序将安装在以下路径中。 对于 SLES： /lib/modules//updates/qlgc-fastlinq 对于 RHEL： /lib/modules//extra/qlgc-fastlinq 4. 开启所有 ethX 接口，如下所示： ifconfig up 5. 对于 SLES，使用 YaST 来配置以太网接口以在引导时自动启动 （通过设置 静态 IP 地址或启用接口上的 DHCP 实现）。 使用 kmp/kmod RPM 软件包安装 Linux 驱动程序 要安装 kmod RPM 软件包： 1. 在命令提示符处发出以下命令： rpm -ivh qlgc-fastlinq-..rpm 2.
3– 驱动程序安装 安装 Linux 驱动程序软件 qed 和 qede 驱动程序将安装在以下路径中。 对于 SLES： /lib/modules//updates/qlgc-fastlinq 对于 RHEL： /lib/modules//extra/qlgc-fastlinq 3. 加载驱动程序进行测试 （如有必要，先卸载现有驱动程序）： rmmod qede rmmod qed modprobe qed modprobe qede 安装包含 RDMA 的 Linux 驱动程序 有关 iWARP 的信息，请参阅第 8 章 iWARP 配置。 要在内建 OFED 环境中安装 Linux 驱动程序： 1. 从 Dell 下载 41xxx 系列适配器 Linux 驱动程序： dell.support.com 2. 如第 149 页上 “ 在 Linux 的适配器上配置 RoCE” 中所述，在适配器上配置 RoCE。 3. 如第 10 页上 “ 移除 Linux 驱动程序 ” 中所述，移除现有 Linux 驱动程序。 4.
3– 驱动程序安装 安装 Linux 驱动程序软件 Linux 驱动程序可选参数 表 3-2 介绍 qede 驱动程序的可选参数。 表 3-2. qede 驱动程序可选参数 参数 说明 debug 控制驱动程序详细级别，与 ethtool -s msglvl 类似。 int_mode 控制除 MSI-X 以外的中断模式。 gro_enable 启用或禁用硬件通用接收卸载 (GRO) 功能。此功能与内核的软件 GRO 类 似，但只能通过设备硬件执行。 err_flags_override 在发生硬件错误情况下用于禁用或强制采取措施的位图： 位 #31 - 此位掩码的启用位 位 #0 - 阻止重新断言硬件关注 位 #1 - 收集调试数据 位 #2 - 触发恢复过程 位 #3 - 调用 WARN 以获取导致错误的流的调用跟踪 Linux 驱动程序操作默认值 表 3-3 列出了 qed 和 qede Linux 驱动程序操作默认值。 表 3-3.
3– 驱动程序安装 安装 Linux 驱动程序软件 表 3-3. Linux 驱动程序操作默认值 ( 续 ) qed 驱动程序默认值 操作 qede 驱动程序默认值 Coalesce Tx Microseconds （合并 Tx 微秒） — 48 TSO — Enabled （已启用） Linux 驱动程序消息 要设置 Linux 驱动程序消息详细级别，请发出以下命令之一： ethtool -s msglvl modprobe qede debug= 其中 表示 0-15 位，这些是标准的 Linux 网络值，并且 16 及更高的 位特定于驱动程序。 统计信息 要查看详细的统计信息和配置信息，请使用 ethtool 公用程序。参见 ethtool 手册页 了解更多信息。 导入用于安全引导的公钥 Linux 驱动程序要求您导入并注册 Qlogic 公钥以在安全引导环境中加载驱动程序。 开始之前，确保您的服务器支持安全引导。本节提供两种导入并注册公钥的方法。 要导入并注册 Qlogic 公钥： 1.
3– 驱动程序安装 安装 Windows 驱动程序软件 7. 要确定新导入的密钥是否已注册： # mokutil --list-enrolled 要手动启动 MOK 并注册 Qlogic 公钥： 1. 发出以下命令： # reboot 2. 在 GRUB 2 菜单中，按 C 键。 3. 发出以下命令： chainloader $efibootdir/MokManager.efi - boot 4. 选择 Enroll key from disk （从磁盘注册密钥）。 5. 导航到 cert.der 文件，然后按 ENTER 键。 6. 按照说明注册密钥。一般包括按下 0 （零）键，然后按 Y 键确认。 注 固件菜单可能提供更多新增密钥到签名数据库的方法。 有关安全引导的其他信息，请参阅以下网页： https://www.suse.com/documentation/sled-12/book_sle_admin/data/sec_uefi_ secboot.
3– 驱动程序安装 安装 Windows 驱动程序软件 在 GUI 中运行 DUP 要在 GUI 中运行 DUP： 1. 双击代表 Dell Update Package 文件的图标。 注 Dell Update Package 的实际文件名称将会不同。 2. 在 Dell Update Package 窗口 （图 3-1）中，单击 Install （安装）。 图 3-1.
3– 驱动程序安装 安装 Windows 驱动程序软件 3. 在 QLogic Super Installer—InstallShield® 向导的 Welcome （欢迎）窗口 （图 3-2）中，单击 Next （下一步）。 图 3-2. QLogic InstallShield 向导：Welcome （欢迎）窗口 4. 在向导的 License Agreement （许可协议）窗口 （图 3-3）中完成以下操 作： a. 阅读 End User Software License Agreement （最终用户许可协议）。 b. 选择 I accept the terms in the license agreement （我接受许可协议 中的条款）继续。 c.
3– 驱动程序安装 安装 Windows 驱动程序软件 图 3-3. QLogic InstallShield 向导：License Agreement （许可协议）窗口 5. 如下完成向导的 Setup Type （设置类型）窗口 （图 3-4）： a. b.
3– 驱动程序安装 安装 Windows 驱动程序软件 图 3-4. InstallShield 向导：Setup Type （设置类型）窗口 6. 如果您在步骤 5 中选择 Custom （自定义），则如下完成 Custom Setup （自定义设置）窗口 （图 3-5）： a. b.
3– 驱动程序安装 安装 Windows 驱动程序软件 图 3-5. InstallShield 向导：Custom Setup （自定义设置）窗口 7. 在 InstallShield 向导的 Ready To Install （准备安装）窗口 （图 3-6）中，单 击 Install （安装）。 InstallShield 向导将安装 QLogic 适配器驱动程序和管理 软件安装程序。 图 3-6.
3– 驱动程序安装 安装 Windows 驱动程序软件 8. 安装完成时，将显示 InstallShield Wizard Completed （InstallShield 向导完 成）窗口 （图 3-7）。单击 Finish （完成）关闭安装程序。 图 3-7. InstallShield 向导：Completed （完成）窗口 9.
3– 驱动程序安装 安装 Windows 驱动程序软件 图 3-8.
3– 驱动程序安装 安装 Windows 驱动程序软件 注 此命令需要 /s 选项。 DUP 安装示例 以下示例显示如何使用安装选项。 要以无提示方式更新系统，请使用以下命令： .exe /s 要将更新内容提取到 C:\mydir\ 目录： .exe /s /e=C:\mydir 要将驱动程序组件提取到 C:\mydir\ 目录： .exe /s /drivers=C:\mydir 要仅安装驱动程序组件，请使用以下命令： .exe /s /driveronly 要从默认日志位置更改为 C:\my path with spaces\log.txt，请使用以下 命令： .exe /l="C:\my path with spaces\log.txt" 移除 Windows 驱动程序 要移除 Windows 驱动程序： 1. 在控制面板中，单击 Programs （程序），然后单击 Programs and Features （程序和功能）。 2.
3– 驱动程序安装 安装 Windows 驱动程序软件 图 3-9.
3– 驱动程序安装 安装 Windows 驱动程序软件 设置电源管理选项 可以设置电源管理选项，以允许操作系统关闭该控制器以节约电源，或者允许该控 制器唤醒计算机。如果设备正忙 （例如，正在处理呼叫），操作系统将不会关闭设 备。只有在计算机试图进入休眠状态时，操作系统才尝试尽可能关闭各个设备。要 使控制器一直保持打开状态，不要选择 Allow the computer to turn off the device to save power （允许计算机关闭此设备以节约电源）复选框 （图 3-10）。 图 3-10.
3– 驱动程序安装 安装 Windows 驱动程序软件 有关这些管理应用程序的安装说明，请参阅 Marvell 网站上的以下文档： QLogic Control Suite CLI 用户指南 （文档号 BC0054511-00） PowerShell 用户指南 （文档号 BC0054518-00） QConvergeConsole GUI 安装指南 （文档号 SN0051105-00） Windows 中的链路配置 在 Windows OS 中可使用三个不同的参数进行链路配置，可用于 Device Manager （设备管理器）页面中 Advanced （高级）选项卡上的配置。 链路控制模式 控制链路配置有两种模式： Preboot Controlled （预引导控制）是默认模式。在此模式中，驱动程序使用设备 中的链路配置，可从预引导组件配置。此模式会忽略 Advanced （高级）选项卡上 的链路参数。 要从 Device Manager （设备管理器）页面的 Advanced （高级）选项卡 （如 图 3-11 所示）配置链路设置时，应设置 Driver Controll
3– 驱动程序安装 安装 Windows 驱动程序软件 链路速度和双工 Speed & Duplex （速度和双工）属性 （在 Device Manager （设备管理器）页面 的 Advanced （高级）选项卡上）可配置为 Value （值）菜单 （参见图 3-12）中 的任意选择。 图 3-12. 设置 Link Speed and Duplex （链路速度和双工）属性 此配置仅在链路控制属性设为 Driver controlled （驱动程序控制）（参见图 3-11） 时有效。 FEC 模式 OS 级的 FEC 模式配置涉及三种驱动程序高级属性。 要设置 FEC 模式： 1. 设置链路控制。在 Device Manager （设备管理器）页面的 Advanced （高 级）选项卡上： a. 在 Property （属性）菜单中选择 Link control （链路控制）。 b.
3– 驱动程序安装 安装 Windows 驱动程序软件 2. 设置速度和双工。在 Device Manager （设备管理器）页面的 Advanced （高级）选项卡上： a. 在 Property （属性）菜单中选择 Speed & Duplex （速度和双工）。 b. 在 Value （值）菜单中选择固定速度。 FEC 模式配置仅在 Speed & Duplex （速度和双工）设为固定速度时才会激 活。将此属性设置为 Auto Negotiation （自动协商）会禁用 FEC 配置。 3. 设置 FEC 模式。在 Device Manager （设备管理器）页面的 Advanced （高 级）选项卡上： a. 在 Property （属性）菜单中选择 FEC Mode （FEC 模式）。 b. 在 Value （值）菜单中选择有效值 （参见图 3-13）。 图 3-13.
3– 驱动程序安装 安装 VMware 驱动程序软件 安装 VMware 驱动程序软件 本节介绍用于 41xxx 系列适配器的 qedentv VMware ESXi 驱动程序： VMware 驱动程序和驱动程序包 安装 VMware 驱动程序 VMware NIC 驱动程序可选参数 VMware 驱动程序参数默认值 移除 VMware 驱动程序 FCoE 支持 iSCSI 支持 VMware 驱动程序和驱动程序包 表 3-4 列出了协议的 VMware ESXi 驱动程序。 表 3-4. VMware 驱动程序 VMware 驱动程序 说明 qedentv 本机网络驱动程序 qedrntv 本机 RDMA 卸载 （RoCE 和 RoCEv2）驱动程序a qedf 本机 FCoE 卸载驱动程序 qedil 旧版 iSCSI 卸载驱动程序 qedi 本机 iSCSI 卸载驱动程序 （ESXi 6.7 及更高版本）b a 对于 ESXi 6.
3– 驱动程序安装 安装 VMware 驱动程序软件 使用以下任一方法安装单独的驱动程序： 标准 ESXi 软件包安装命令 （请参阅安装 VMware 驱动程序） 单独驱动程序自述文件中的步骤 以下 VMware KB 文章中的步骤： https://kb.vmware.com/selfservice/microsites/search.do?language=en_US& cmd=displayKC&externalId=2137853 您应该首先安装 NIC 驱动程序，然后再安装存储驱动程序。 安装 VMware 驱动程序 可以使用驱动程序 ZIP 文件安装新驱动程序或更新现有驱动程序。请务必从同一 驱动程序 ZIP 文件安装整个驱动程序集。混用来自不同 ZIP 文件的驱动程序会导 致问题。 要安装 VMware 驱动程序： 1. 从 VMware 支持页面下载适用于 41xxx 系列适配器的 VMware 驱动程序： www.vmware.com/support.html 2. 启动 ESX 主机，然后登录至具有管理员权限的帐户。 3.
3– 驱动程序安装 安装 VMware 驱动程序软件 5. 选择以下安装选项之一： 选项 1：发出以下命令，安装驱动程序包 （将一次安装所有驱动程序 VIB）： # esxcli software vib install -d /tmp/qedentv-2.0.3.zip 选项 2：使用 CLI 或 VMware Update Manager (VUM) 直接在 ESX 服 务器上安装 .vib。为此，请解压缩驱动程序 ZIP 文件，然后提取 .vib 文件。 要使用 CLI 安装 .vib 文件，请发出以下命令。请务必指定完整 的 .vib 文件路径： # esxcli software vib install -v /tmp/qedentv-1.0.3.11-1OEM.550.0.0.1331820.x86_64.vib 要使用 VUM 安装 .vib 文件，请参阅下面的知识库文章： 使用 VMware vCenter Update Manager 4.x 和 5.
3– 驱动程序安装 安装 VMware 驱动程序软件 表 3-5.
3– 驱动程序安装 安装 VMware 驱动程序软件 VMware 驱动程序参数默认值 表 3-6 列出了 VMware 驱动程序参数默认值。 表 3-6.
3– 驱动程序安装 安装 VMware 驱动程序软件 FCoE 支持 Marvell VMware FCoE qedf 驱动程序包含在 VMware 软件包中，用于支持 Marvell FastLinQ FCoE 聚合网络接口控制器 (C-NIC)。该驱动程序是内核模式驱 动程序，提供 VMware SCSI 堆栈与 Marvell FCoE 固件和硬件之间的转换层。 VMware ESXi 5.0 及以上版本支持 FCoE 和 DCB 功能。 要启用 FCoE 卸载模式，请参阅位于 https://www.marvell.
4 升级固件 本章提供有关使用 Dell Update Package (DUP) 升级固件的信息。 固件 DUP 是仅用于更新闪存的公用程序；它不用于适配器配置。您可通过双击可 执行文件来运行固件 DUP。或者，您可使用多个支持的命令行选项从命令行运行 DUP。 通过双击运行 DUP 第 39 页上 “ 从命令行运行 DUP” 第 40 页上 “ 使用 .bin 文件运行 DUP” （仅适用于 Linux） 通过双击运行 DUP 要通过双击可执行文件来运行固件 DUP： 1. 双击代表固件 Dell Update Package 文件的图标。 2. 随即出现 Dell Update Package 初始屏幕，如图 4-1 中所示。单击 Install （安装）以继续。 图 4-1.
4– 升级固件 通过双击运行 DUP 3. 请按照屏幕说明进行操作。在 Warning （警告）对话框中，单击 Yes （是） 继续安装。 安装程序表示正在加载新固件，如 图 4-2 所示。 图 4-2. Dell Update Package：加载新固件 完成时，安装程序表明安装结果，如 图 4-3 所示。 图 4-3.
4– 升级固件 从命令行运行 DUP 4. 单击 Yes （是）重新引导系统。 5. 单击 Finish （完成）以完成安装，如 图 4-4 所示。 图 4-4. Dell Update Package：完成安装 从命令行运行 DUP 从命令行运行固件 DUP 而不指定选项时，会产生与双击 DUP 图标相同的行为。 请注意， DUP 的实际文件名称各有不同。 要从命令行运行固件 DUP： 发出以下命令： C:\> Network_Firmware_2T12N_WN32__X16.
4– 升级固件 使用 .bin 文件运行 DUP 图 4-5 显示可用于自定义 Dell Update Package 安装的选项。 图 4-5. DUP 命令行选项 使用 .bin 文件运行 DUP 以下步骤仅在 Linux OS 上受支持。 要使用 .bin 文件更新 DUP： 1. 将 Network_Firmware_NJCX1_LN_X.Y.Z.BIN 文件复制到系统或服务器。 2. 将文件类型更改为可执行文件，如下所示： chmod 777 Network_Firmware_NJCX1_LN_X.Y.Z.BIN 3. 要开始更新过程，请发出以下命令： ./Network_Firmware_NJCX1_LN_X.Y.Z.BIN 4.
4– 升级固件 使用 .bin 文件运行 DUP DUP 更新期间 SUT 的示例输出： ./Network_Firmware_NJCX1_LN_08.07.26.BIN Collecting inventory... Running validation... BCM57810 10 Gigabit Ethernet rev 10 (p2p1) The version of this Update Package is the same as the currently installed version. Software application name: BCM57810 10 Gigabit Ethernet rev 10 (p2p1) Package version: 08.07.26 Installed version: 08.07.26 BCM57810 10 Gigabit Ethernet rev 10 (p2p2) The version of this Update Package is the same as the currently installed version.
5 适配器预引导配置 在主机引导过程中，您有机会暂停并使用人机界面基础设施 (HII) 应用程序执行适 配器管理任务。包括以下任务： 第 43 页上 “ 启动 ” 第 46 页上 “ 显示固件映像属性 ” 第 47 页上 “ 配置设备级参数 ” 第 48 页上 “ 配置 NIC 参数 ” 第 52 页上 “ 配置数据中心桥接 ” 第 53 页上 “ 配置 FCoE 引导 ” 第 55 页上 “ 配置 iSCSI 引导 ” 第 59 页上 “ 配置分区 ” 注 本章中的 HII 屏幕截图具有代表性，可能不符合您在系统上看到的屏幕。 42 AH0054602-05 M
5– 适配器预引导配置 启动 启动 要启动 HII 应用程序： 1. 打开您的平台的 System Setup （系统设置）窗口。有关启动 System Setup （系统设置）的信息，请查询您的系统的用户指南。 2. 在 System Setup （系统设置）窗口 （图 5-1）中，选择 Device Settings （设备设置），然后按 ENTER 键。 图 5-1. 系统设置 3. 在 Device Settings （设备设置）窗口 （图 5-2）中，选择您要配置的 41xxx 系列适配器 端口，然后按 ENTER 键。 图 5-2.
5– 适配器预引导配置 启动 主要配置页 （图 5-3）呈现了适配器管理选项，您可通过该选项设置分区模 式。 图 5-3. 主要配置页面 4. 在 Device Level Configuration （设备级配置）下，将 Partitioning Mode （分区模式）设置为 NPAR，以便将 NIC Partitioning Configuration （NIC 分区配置）选项添加到 Main Configuration Page （主要配置页面），如 图 5-4 中所示。 注 NPAR 不可用于最高速度为 1G 的端口。 图 5-4.
5– 适配器预引导配置 启动 在 图 5-3 和 图 5-4 中， Main Configuration Page （主要配置页面）显示如下内 容： Firmware Image Properties（固件映像属性）（请参阅第 46 页上 “ 显示固件映像属 性 ”） Device Level Configuration（设备级配置）（请参阅第 47 页上 “ 配置设备级参数 ”） NIC Configuration （NIC 配置）（请参阅第 48 页上 “ 配置 NIC 参数 ”) iSCSI Configuration （iSCSI 配置）（如果通过在端口的第三个分区上以 NPAR 模 式启用 iSCSI 卸载，允许 iSCSI 远程引导）（请参阅第 55 页上 “ 配置 iSCSI 引导 ”) FCoE Configuration （FCoE 配置）（如果通过在端口的第二个分区上启用 NPAR 模式下的 FCoE 卸载，允许从 SAN 的 FCoE 引导）（请参阅第 53 页上 “ 配置 FCoE 引导 ”) Data Center Bridging (
5– 适配器预引导配置 显示固件映像属性 表 5-1.
5– 适配器预引导配置 配置设备级参数 L2B Firmware Version （L2B 固件版本）是用于引导的 NIC 卸载固件版本。 图 5-5. 固件映像属性 配置设备级参数 注 仅在 NPAR 模式下启用 iSCSI 卸载功能时，将列出 iSCSI 物理功能 (PF)。仅 当在 NPAR 模式下启用 FCoE 卸载功能后，列出 FCoE PF。并非所有适配 器型号都支持 iSCSI Offload （iSCSI 卸载）和 FCoE Offload （FCoE 卸 载）。每个端口只能启用一个卸载，并且仅在 NPAR 模式下才能启用。 设备级配置包括以下参数： Virtualization Mode （虚拟化模式） NPAREP Mode （NPAREP 模式） 要配置设备级参数： 1. 在 Main Configuration Page （主要配置页面）上，选择 Device Level Configuration（设备级配置）（请参阅第 44 页上 图 5-3），然后按 ENTER 键。 2.
5– 适配器预引导配置 配置 NIC 参数 注 QL41264HMCU-DE （部件号 5V6Y4）和 QL41264HMRJ-DE （部件 号 0D1WT）适配器在设备级配置中显示支持 NPAR、 SR-IOV 和 NPAR-EP，但 1Gbps 端口 3 和 4 不支持这些功能。 3. 对于 Virtualization Mode （虚拟化模式），请选择以下模式之一应用于所有 适配器端口： 4.
5– 适配器预引导配置 配置 NIC 参数 要配置 NIC 参数： 1. 在 Main Configuration Page （主要配置页面）上，选择 NIC Configuration （NIC 配置）（第 44 页上 图 5-3），然后单击 Finish （完成）。 图 5-7 显示了 NIC Configuration （NIC 配置）页面。 图 5-7. NIC 配置 2. 3.
5– 适配器预引导配置 配置 NIC 参数 4. 5. 6. 7.
5– 适配器预引导配置 配置 NIC 参数 8. Maximum Power Savings （最大节能）在此端口上以最大节能模式 启用 EEE。 Maximum Performance （最高性能）在此端口上以最高性能模式启 用 EEE。 当处于 PXE 远程安装模式时， Virtual LAN Mode （虚拟 LAN 模式）参数适 用于整个端口。 PXE 远程安装完成后，它不会持续存在。从以下 vLAN 选项 中选择： 对于 PXE 远程安装模式， Enabled （启用）在此端口上启用 vLAN 模 式， Disabled （已禁用）在此端口上禁用 vLAN 模式。 9. Virtual LAN ID （虚拟 LAN ID）参数指定要在此端口上用于 PXE 远程安装 模式的 vLAN 标记 ID。仅当之前步骤中已启用 Virtual LAN Mode （虚拟 LAN 模式）时，此设置才适用。 10. 单击 Back （后退）。 11.
5– 适配器预引导配置 配置数据中心桥接 要配置端口的 PXE 远程安装以使用 vLAN： 注 PXE 远程安装完成后，此 vLAN 不会持续存在。 1. 将 Virtual LAN Mode （虚拟 LAN 模式）设置为 Enabled （已启用）。 2. 在 Virtual LAN ID （虚拟 LAN ID）方框中，输入使用的数字。 3. 单击 Back （后退）。 4. 看到提示时，单击 Yes （是）以保存更改。更改会在系统重设后生效。 配置数据中心桥接 数据中心桥接 (DCB) 设置包括 DCBX 协议和 RoCE 优先级。 要配置 DCB 设置： 1. 在 Main Configuration Page （主要配置页面）（第 44 页上 图 5-3）上，选 择 Data Center Bridging (DCB) Settings （数据中心桥接 (DCB) 设置）， 然后单击 Finish （完成）。 2.
5– 适配器预引导配置 配置 FCoE 引导 3. 在 Data Center Bridging (DCB) Settings （数据中心桥接 (DCB) 设置）页面 上，将 RoCE v1 Priority （RoCE v1 优先级）输入为一个 0–7 之间的值。 此设置表示用于 RoCE 流量的 DCB 流量类别优先级编号，并且应匹配用于 RoCE 流量的启用 DCB 的交换网络所用的编号。通常， 0 用于默认有损流量 类， 3 用于 FCoE 流量类， 4 用于通过 DCB 的无损 iSCSI-TLV 流量类。 图 5-8. 系统设置：数据中心桥接 (DCB) 设置 4. 单击 Back （后退）。 5.
5– 适配器预引导配置 配置 FCoE 引导 要配置 FCoE 引导配置参数： 1. 在 Main Configuration Page （主要配置页面）上，选择 FCoE Boot Configuration （FCoE 引导配置）菜单，然后根据需要选择以下选项： FCoE General Parameters （FCoE 常规参数）（图 5-9） FCoE Target Configuration （FCoE 目标配置）（图 5-10） 2. 按 ENTER 键。 3. 选择 FCoE 常规参数或 FCoE 目标配置参数的值。 图 5-9. FCoE 常规参数 图 5-10.
5– 适配器预引导配置 配置 iSCSI 引导 4. 单击 Back （后退）。 5. 看到提示时，单击 Yes （是）以保存更改。更改会在系统重设后生效。 配置 iSCSI 引导 注 仅在 NPAR 模式下的第三个分区上启用 iSCSI Offload Mode （iSCSI 卸载 模式）后， iSCSI Boot Configuration Menu （FCoE 引导配置菜单）才可见 （请参阅第 63 页上 图 5-19）。该菜单在 NPAR 模式下不可见。 要启用 FCoE 卸载模式，请参阅位于 https://www.marvell.com/documents/5aa5otcbkr0im3ynera3/ 的 Application Note, Enabling Storage Offloads on Dell and Marvell FastLinQ 41000 Series Adapters。 要配置 iSCSI 引导配置参数： 1.
5– 适配器预引导配置 配置 iSCSI 引导 iSCSI Initiator Parameters （iSCSI 启动器参数）（第 57 页上 图 5-12） iSCSI First Target Parameters （iSCSI 第一目标参数）（第 58 页上 图 5-13） IPv4 Address IPv4 Subnet Mask IPv4 Default Gateway IPv4 Primary DNS IPv4 Secondary DNS VLAN ID iSCSI Name （iSCSI 名称） CHAP ID CHAP Secret （CHAP 机密） Connect （连接） IPv4 Address TCP Port （TCP 端口） Boot LUN （引导 LUN） iSCSI Name （iSCSI 名称） CHAP ID CHAP Secret （CHAP 机密） iSCSI Second Target Parameters （iSCSI 第二目标参数）（第 58 页 上 图 5-14）
5– 适配器预引导配置 配置 iSCSI 引导 图 5-11. iSCSI 常规参数 图 5-12.
5– 适配器预引导配置 配置 iSCSI 引导 图 5-13. iSCSI 第一目标参数 图 5-14.
5– 适配器预引导配置 配置分区 配置分区 您可以为适配器上的每个分区配置带宽范围。有关 VMware ESXi 6.5 上分区配置 的具体信息，请参阅对 VMware ESXi 6.5 和 ESXi 6.7 的分区。 要配置最大和最小带宽分配： 1. 在 Main Configuration Page （主要配置页面）上，选择 NIC Partitioning Configuration （NIC 分区配置），然后按 ENTER 键。 2. 在 Partitioning Configuration （分区配置）页面 （图 5-15）上，选择 Global Bandwidth Allocation （全局带宽分配）。 图 5-15.
5– 适配器预引导配置 配置分区 3. 在 Global Bandwidth Allocation （全局带宽分配）页面 （图 5-16）上，单击 您要为其分配带宽的每个分区的最小和最大 TX 带宽字段。在双端口模式下， 每个端口有八个分区。 图 5-16.
5– 适配器预引导配置 配置分区 要配置分区： 1. 要检查特定分区配置，在 NIC Partitions Configuration （NIC 分区配置）页 面 （第 59 页上 图 5-15）上，选择 Partition n Configuration （分区 n 配 置）。如果未启用 NParEP，则每个端口仅存在四个分区。 2. 要配置第一个分区，选择 Partition 1 Configuration （分区 1 配置），打开 Partition 1 Configuration （分区 1 配置）页面 （图 5-17），其中显示以下参 数： NIC Mode （NIC 模式）（始终启用） PCI Device ID （PCI 设备 ID） PCI （总线）地址 MAC Address （MAC 地址） Virtual MAC Address （虚拟 MAC 地址） 如果未启用 NParEP，则每个端口只有四个分区可用。在非卸载功能适配器 上，不会显示 FCoE Mode （FCoE 模式）和 iSCSI Mode （iSCSI 模式）选 项和信息。 图 5-17.
5– 适配器预引导配置 配置分区 iSCSI Mode （iSCSI 模式）在第三个分区上启用或禁用 iSCSI 卸载个 性。如果在第三个分区上启用此模式，则应禁用 NIC Mode （NIC 模 式）。由于每个端口只有一个卸载可用，如果在端口的第三个分区上启 用 iSCSI 卸载，则无法在同一个 NPAR 模式端口的第二个分区上启用 FCoE 卸载。并非所有适配器均支持 iSCSI Mode （iSCSI 模式）。 FIP MAC Address （FIP MAC 地址）1 Virtual FIP MAC Address （虚拟 FIP MAC 地址）1 全局端口名称 1 Virtual World Wide Port Name （虚拟全局端口名称）1 全局节点名称 1 Virtual World Wide Node Name （虚拟全局节点名称）1 PCI Device ID （PCI 设备 ID） PCI （总线） Address 图 5-18. 分区 2 配置：FCoE 卸载 4.
5– 适配器预引导配置 配置分区 PCI Device ID （PCI 设备 ID） PCI Address （PCI 地址） 图 5-19. 分区 3 配置：iSCSI 卸载 5. 要配置剩余的以太网分区，包括以前的分区 （如果尚未启用卸载），请打开 分区 2 或更大分区 （请参阅 图 5-20）页面。 NIC Mode (Enabled or Disabled) （NIC 模式 （已启用或已禁用））。 禁用时，分区将被隐藏，这样如果检测到少于最大分区 （或 PCI PF） 数量，OS 不会显示该分区。 PCI Device ID （PCI 设备 ID） PCI Address （PCI 地址） MAC Address （MAC 地址） Virtual MAC Address （虚拟 MAC 地址） 图 5-20. 分区 4 配置 对 VMware ESXi 6.5 和 ESXi 6.7 的分区 如果运行 VMware ESXi 6.5 或 ESXi 6.
5– 适配器预引导配置 配置分区 如果系统上已安装驱动程序，将启用存储分区 （通过将其中一个 NIC 分区转换为存 储）。 分区 2 变更为 FCoE。 保存配置并再次重新引导系统。 需要重新安装驱动程序，因为存储功能可能会保留 vmnicX 枚举而不是 vmhbaX， 如在系统上发出以下命令时所示： # esxcfg-scsidevs -a vmnic4 qedf link-up fc.2000000e1ed6fa2a:2001000e1ed6fa2a (0000:19:00.2) QLogic Corp. QLogic FastLinQ QL41xxx Series 10/25 GbE Controller (FCoE) vmhba0 lsi_mr3 link-n/a sas.51866da071fa9100 (0000:18:00.0) Avago (LSI) PERC H330 Mini vmnic10 qedf link-up fc.2000000e1ef249f8:2001000e1ef249f8 (0000:d8:00.2) QLogic Corp.
6 从 SAN 引导配置 SAN 引导支持在引导盘位于连接至 SAN 的存储环境中部署无磁盘服务器。服务器 （启动器）使用 Marvell 聚合网络适配器 (CNA) 主机总线适配器 (HBA) 通过 SAN 与存储设备 （目标）通信。 要启用 FCoE 卸载模式，请位于 https://www.marvell.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 iSCSI 开箱即用和内建支持 表 6-1 列出操作系统的内建和开箱即用从 SAN 的 iSCSI 引导 (BFS) 支持。 表 6-1. iSCSI 开箱即用和内建从 SAN 引导支持 开箱即用 内建 SW iSCSI BFS 支持 硬件卸载 iSCSI BFS 支持 SW iSCSI BFS 支持 硬件卸载 iSCSI BFS 支持 Windows 2012a 是 是 否 否 Windows 2012 R2a 是 是 否 否 Windows 2016b 是 是 是 否 Windows 2019 是 是 是 是 RHEL 7.5 是 是 是 是 RHEL 7.6 是 是 是 是 RHEL 8.0 是 是 是 是 SLES 12 SP3 是 是 是 是 SLES 15/15 SP1 是 是 是 是 vSphere ESXi 6.5 U3c 是 否 是 否 vSphere ESXi 6.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 iSCSI 硬件 （通过 Marvell FastLinQ 卸载 iSCSI 驱动程序的卸载路径）。此选项可 使用 Boot Mode （引导模式）设置。 iSCSI 硬件安装说明从第 69 页上 “ 启用 NPAR 和 iSCSI HBA” 开始。 对于 VMware ESXi 操作系统，只支持 iSCSI 软件方法。 本节中的 iSCSI 预引导信息包括： 将 BIOS 引导模式设置为 UEFI 启用 NPAR 和 iSCSI HBA 选择 iSCSI UEFI 引导协议 配置存储目标 配置 iSCSI 引导选项 配置 DHCP 服务器以支持 iSCSI 引导 将 BIOS 引导模式设置为 UEFI 要配置引导模式： 1. 重新启动系统。 2. 访问 System BIOS （系统 BIOS）菜单。 3.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 图 6-1.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 启用 NPAR 和 iSCSI HBA 要启用 NPAR 和 iSCSI HBA： 1. 在 System Setup （系统设置）、 Device Settings （设备设置）中，选择 QLogic 设备 （图 6-2）。有关访问 PCI 设备配置菜单，请参阅 OEM 用户指 南。 图 6-2. 系统设置：设备设置 2. 启用 NPAR。 配置存储目标 配置存储目标随目标供应商而异。有关配置存储目标的信息，请参阅供应商提供的 说明文件。 要配置存储目标： 1. 2.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 选择 iSCSI UEFI 引导协议 在选择首选的引导模式之前，确保 Device Level Configuration （设备级配置） 菜单设置为 Enable NPAR （启用 NPAR），并且 NIC Partitioning Configuration （NIC 分区配置）菜单设置为 Enable iSCSI HBA （启用 iSCSI HBA）。 Boot Mode （引导模式）选项在适配器的 NIC Configuration （iSCSI 配置） （图 6-3）下列出，该设置为端口特定的。有关访问 UEFI HII 下设备级配置菜单的 说明，请参阅 OEM 用户手册。 图 6-3.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 1. 在 NIC 配置页面 （图 6-4）上，为 Boot Protocol （引导协议）选项选择 UEFI iSCSI HBA （需要 NPAR 模式）。 图 6-4.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 要使用静态配置来配置 iSCSI 引导参数： 1. 在设备 HII 的 Main Configuration Page （主要配置页面）中，选择 iSCSI Configuration （iSCSI 配置）（图 6-5），然后按 ENTER 键。 图 6-5. 系统设置：iSCSI 配置 2. 在 iSCSI Configuration （iSCSI 配置）页面上，选择 iSCSI General Parameters （iSCSI 常规参数）（图 6-6），然后按 ENTER 键。 图 6-6.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 3.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 表 6-2.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 5. 选择 iSCSI Initiator Parameters （iSCSI 启动器参数）（图 6-8），然后按 ENTER 键。 图 6-8. 系统设置：选择 iSCSI 启动器参数 6.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 注 要在项目前加星号 (*)，请注意以下事项： 标签将基于 iSCSI General Parameters （iSCSI 常规参数）页面 （第 73 页上 图 6-7）上设置的 IP 版本更改为 IPv6 或 IPv4 （默认 值）。 仔细输入 IP 地址。对 IP 地址不会检查是否有重复段、错误段或网 络分配错误。 图 6-9. 系统设置：iSCSI 启动器参数 7.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 8. 选择 iSCSI First Target Parameters （iSCSI 第一目标参数）（图 6-10）， 然后按 ENTER 键。 图 6-10. 系统设置：选择 iSCSI 第一目标参数 9. 在 iSCSI First Target Parameters （iSCSI 第一目标参数）页面上，将 iSCSI 目标的 Connect （连接）选项设置为 Enabled （已启用）。 10.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 图 6-11. 系统设置：iSCSI 第一目标参数 11.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 12. 如果要配置第二个 iSCSI 目标设备，选择 iSCSI Second Target Parameters （iSCSI 第二目标参数）（图 6-12），然后如同在步骤 10 中的 操作一样输入参数值。如果无法连接第一个目标，则使用第二个目标。否则 继续步骤 13。 图 6-12. 系统设置：iSCSI 第二目标参数 13. 按 ESC 键一次，再次按下可退出。 14.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 图 6-13. 系统设置：保存 iSCSI 更改 15.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 注 使用 DHCP 服务器时， DNS 服务器条目将被 DHCP 服务器提供的值覆盖。 即使本地提供的值有效并且 DHCP 服务器不提供 DNS 服务器信息，仍会发 生这种覆盖。当 DHCP 服务器不提供 DNS 服务器信息时，主 DNS 服务器 值和辅助 DNS 服务器值均设为 0.0.0.0。当 Windows OS 获得控制权时， Microsoft iSCSI 启动器将检索 iSCSI 启动器参数并静态配置相应的注册表。 这将覆盖任何配置的参数。由于 DHCP 守护进程在 Windows 环境中作为一 个用户进程运行，当堆栈在 iSCSI 引导环境中启动之前，所有 TCP/IP 参数 都必须静态配置。 如果使用 DHCP 选项 17，则目标信息由 DHCP 服务器提供，且启动器 iSCSI 名 称从 Initiator Parameters （启动器参数）窗口的编程值进行检索。如果未选择任 何值，控制器默认名称为： iqn.1995-05.com.qlogic.<11.22.33.44.55.66>.iscsiboot 字符串 11.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 图 6-14. 系统设置：iSCSI 常规参数 启用 CHAP 身份验证 确保目标上启用 CHAP 身份验证。 要启用 CHAP 身份验证： 1. 转至 iSCSI General Parameters （iSCSI 常规参数）页面。 2. 将 CHAP Authentication （CHAP 身份验证）设置为 Enabled （已启用）。 3. 在 Initiator Parameters （启动器参数）窗口中，键入以下值： CHAP ID （最多 255 个字符） CHAP Secret （CHAP 机密）（如果身份验证需要；长度必须为 12 到 16 个字符） 4. 按 ESC 键返回到 iSCSI Boot Configuration （iSCSI 引导配置）页面。 5. 在 iSCSI Boot configuration （iSCSI 引导配置）菜单上，选择 iSCSI First Target Parameters （iSCSI 第一目标参数）。 6.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 CHAP Secret （CHAP 机密）（如果是双向 CHAP，可选填；长度必 须为 12 到 16 个字符或更长） 7. 按 ESC 键返回到 iSCSI Boot Configuration （iSCSI 引导配置）菜单。 8.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 表 6-3. DHCP 选项 17 参数定义 ( 续 ) 参数 定义 要在 iSCSI 目标上使用的逻辑单元号。 LUN 的值必须以十六进制 格式表示。 ID 为 64 的 LUN 在 DHCP 服务器上的选项 17 参数内 必须配置为 40。 IQN 或 EUI 格式的目标名称。有关 IQN 和 EUI 格式的详细信息， 请参阅 RFC 3720。 IQN 名称示例： iqn.1995-05.com.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 配置 DHCP 服务器 配置 DHCP 服务器以支持选项 16、 17 或 43。 注 DHCPv6 选项 16 和选项 17 的格式在 RFC 3315 中全面定义。 如果您使用选项 43，还必须配置选项 60。选项 60 的值必须匹配 DHCP Vendor ID （DHCP 供应商 ID）值 QLGC ISAN，如 iSCSI Boot Configuration （iSCSI 引导配置）页面的 iSCSI General Parameters （iSCSI 常规参数）中所示。 为 IPv6 配置 DHCP iSCSI 引导 DHCPv6 服务器可提供多个选项，包括无状态或有状态 IP 配置，以及 DHCPv6 客 户端的信息。对于 iSCSI 引导， Marvell FastLinQ 适配器支持以下 DHCP 配置： DHCPv6 选项 16，供应商类别选项 DHCPv6 选项 17，供应商特定信息 注 DHCPv6 标准根路径选项尚不可用。 Marvell 建议对动态 iSCSI 引导 IPv6 支 持使用选项 16
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 表 6-5 列出 DHCP 选项 17 子选项。 表 6-5.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 3. 选择 VLAN ID 以输入和设置 vLAN 值，如图 6-15 中所示。 图 6-15.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 准备工作 在 Windows 机器上开始配置从 SAN 的 iSCSI 引导之前，请注意以下事项： 仅使用 NParEP 模式的 NPAR 支持 iSCSI 引导。在配置 iSCSI 引导之前： 1. 访问 Device Level Configuration （设备级配置）页面。 2. 将 Virtualization Mode （虚拟化模式）设置为 Npar (NPAR)。 3. 将 NParEP Mode （NParEP 模式）设置为 Enabled （已启用）。 服务器引导模式必须为 UEFI。 旧版 BIOS 中不支持 41xxx 系列适配器上的 iSCSI 引导。 Marvell 建议禁用集成式 RAID 控制器。 选择首选的 iSCSI 引导模式 要选择 Windows 上的 iSCSI 引导模式： 1.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 Virtual LAN ID （虚拟 LAN ID）：（可选）您可以将网络上的 iSCSI 流 量隔离在第 2 层 vLAN 中，以与常规流量隔离开来。要隔离流量，请设 置此值，让适配器上的 iSCSI 接口成为第 2 层 vLAN 的成员。 配置 iSCSI 启动器 要在 Windows 上设置 iSCSI 启动器参数： 1. 从主要配置页面选择 iSCSI Configuration （iSCSI 配置），然后选择 iSCSI Initiator Parameters （iSCSI 启动器参数）。 2.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 配置 iSCSI 目标 您可以设置 iSCSI 第一目标、第二目标或同时设置两者。 要在 Windows 上设置 iSCSI 目标参数： 1. 从主要配置页面选择 iSCSI Configuration （iSCSI 配置），然后选择 iSCSI First Target Parameters （iSCSI 第一目标参数）。 2. 在 iSCSI First Target Parameters （iSCSI 第一目标参数）页面上，将 iSCSI 目标的 Connect （连接）选项设置为 Enabled （已启用）。 3.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 上述命令的输出如图 6-16 所示，表示在预引导级别已成功检测到 iSCSI LUN。 图 6-16. 使用 UEFI Shell （第 2 版）检测 iSCSI LUN 2. 在新检测到的 iSCSI LUN 中，选择安装来源，如使用 WDS 服务器、集成式 Dell 远程访问控制器 (iDRAC) 的安装 .ISO 或使用 CD/DVD。 3. 在 Windows 设置窗口 （图 6-17）中，选择要在其中安装驱动程序的驱动器 名称。 图 6-17.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 4. 在虚拟介质中安装驱动程序，以注入最新的 Marvell 驱动程序： a. 单击 Load driver （加载驱动程序），然后单击 Browse （浏览）（参 见图 6-18）。 图 6-18. Windows 设置：选择要安装的驱动程序 b. 导航到驱动程序的位置，并选择 qevbd 驱动程序。 c. 选择要在其中安装驱动程序的适配器，然后单击 Next （下一步）继 续。 5. 重复步骤 4 以加载 qeios 驱动程序 （Marvell L4 iSCSI 驱动程序）。 6. 在注入 qevbd 和 qeios 驱动程序之后，单击 Next （下一步）开始在 iSCSI LUN 上安装。然后按照屏幕说明进行操作。 服务器在安装过程的一部分中将会多次重新引导，然后将从 SAN LUN 的 iSCSI 引导进行引导。 7.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 从 RHEL 7.5 及更高版本的 SAN 配置 iSCSI 引导 要安装 RHEL 7.5 及更高版本： 1. iSCSI 目标已在 UEFI 中连接时，从 RHEL 7.x 安装介质引导。 Install Red Hat Enterprise Linux 7.x Test this media & install Red Hat Enterprise 7.x Troubleshooting --> Use the UP and DOWN keys to change the selection Press 'e' to edit the selected item or 'c' for a command prompt 2. 要安装开箱即用驱动程序，请按 E 键。否则，继续步骤 6。 3. 选择内核行，然后按 E 键。 4. 发出以下命令，然后按 ENTER。 inst.dd modprobe.blacklist=qed,qede,qedr,qedi,qedf 安装过程将提示您安装开箱即用的驱动程序。 5.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 13. 如下所示编辑 /etc/default/grub 文件： a. 找到双引号中的字符串，如以下示例所示。命令行是具体参考，有助于 找到该字符串。 GRUB_CMDLINE_LINUX="iscsi_firmware" b. 命令行可能包含保持不变的其他参数。只更改 iscsi_firmware 字符串， 如下所示： GRUB_CMDLINE_LINUX="rd.iscsi.firmware selinux=0" 14. 发出以下命令，创建新的 grub.cfg 文件： # grub2-mkconfig -o /boot/efi/EFI/redhat/grub.cfg 15. 发出 dracut -f 命令重建虚拟内存盘，然后重新引导。 注 当在多路径 I/O (MPIO) 配置和单路径处于活动状态的 Linux 中安装 iSCSI·BFS 时，请在多路径 .
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 从 SLES 12 SP3 及更高版本的 SAN 配置 iSCSI 引导 要安装 SLES 12 SP3 及更高版本： 1. 从 iSCSI 目标已预配置并且在 UEFI 中连接的 SLES 12 SP3 安装介质引导。 2. 在安装程序命令参数中添加 dud=1 参数，以更新最新的驱动程序包。需要 驱动程序更新磁盘，因为必要的 iSCSI 驱动程序未内建。 注 仅适用于 SLES 12 SP3：如果服务器配置用于多功能模式 (NPAR)，则 在此步骤中必须提供以下附加参数： dud=1 brokenmodules=qed,qedi,qedf,qede withiscsi=1 [BOOT_IMAGE=/boot/x86_64/loader/linux dud=1 brokenmodules=qed,qedi,qedf,qede withiscsi=1] 3.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 使用软件启动器从 SAN 引导： 用 Dell OEM 解决方案使用软件启动器从 SAN 引导： 注 [[ 上述步骤是必需的，因为 DUD 包含 qedi，而后者绑定至 iSCSI PF。 绑定后，由于传输驱动程序未知，因此 Open-iSCSI 基础架构失败。 1. 访问 Dell EMC 系统 BIOS 设置。 2. 配置启动器和目标条目。有关更多信息，请参阅 Dell BIOS 用户指南。 3. 在安装开始时，通过 DUD 选项传递以下引导参数： 对于 RHEL 6.x、 7.x 及更早版本： rd.iscsi.ibft dd 较旧分发版的 RHEL 无需单独的选项。 对于 SLES 11 SP4 和 SLES 12 SP1/SP2： ip=ibft dud=1 对于 FastLinQ DUD 包 （例如，在 RHEL 7 中）： fastlinq-8.18.10.0-dd-rhel7u3-3.10.0_514.el7-x86_64.iso 其中 RHEL 7.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 注 要在安装时保留内建 RPM 的原始内容，必须使用 -ivh 选项 （而非 -Uvh 选项），然后使用 --force 选项。 2. 编辑 /etc/init.d/iscsid 文件，添加以下命令，然后保存文件： modprobe -q qedi 例如： echo -n $"Starting $prog: " modprobe -q iscsi_tcp modprobe -q ib_iser modprobe -q cxgb3i modprobe -q cxgb4i modprobe -q bnx2i modprobe -q be2iscsi modprobe -q qedi daemon iscsiuio 3. 打开 /boot/efi/EFI/redhat/grub.conf 文件，进行以下更改并保存该文 件： 删除 ifname=eth5:14:02:ec:ce:dc:6d 删除 ip=ibft 添加 selinux=0 例如： kernel /vmlinuz-2.6.32-696.el6.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 4. 发出以下命令，以建立 initramfs 文件： # dracut -f 5. 重新引导服务器，然后打开 UEFI HII。 6. 在 HII 中，禁用 iSCSI 从 BIOS 引导，然后对适配器启用 iSCSI HBA 或引 导，如下所示： 7. a. 选择适配器端口，然后选择 Device Level Configuration （设备级配 置）。 b. 在 Device Level Configuration （设备级配置）页面上，为 Virtualization Mode （虚拟化模式）选择 NPAR。 c. 打开 NIC Partitioning Configuration （NIC 分区配置）页面，将 iSCSI Offload Mode （iSCSI 卸载模式）设置为 Enabled （已启用）。 （iSCSI HBA 支持在双端口适配器的分区 3 上和四端口适配器的分区 2 上。） d.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 3. 如下所示编辑 /etc/sysconfig/kernel 文件： a. 找到以 INITRD_MODULES 开头的行。此行看起来类似如下，但可能包 含不同的参数： INITRD_MODULES="ata_piix ata_generic" 或者 INITRD_MODULES="ahci" b. 在现有行末 （引号内）添加 qedi 以编辑该行。例如： INITRD_MODULES="ata_piix ata_generic qedi" 或者 INITRD_MODULES="ahci qedi" c. 4. 保存文件。 编辑 /etc/modprobe.d/unsupported-modules 文件，将 allow_unsupported_modules 的值更改为 1，然后保存该文件： allow_unsupported_modules 1 5. 找到并删除以下文件： 6. /etc/init.d/boot.d/K01boot.open-iscsi /etc/init.d/boot.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 e. 9. 打开 iSCSI Configuration （iSCSI 配置）页面并配置 iSCSI 设置。 保存配置并重新引导服务器。 现在，OS 可通过卸载接口引导。 对 SLES 12 SP1/SP2 迁移到卸载 iSCSI 要对 SLES 12 SP1/SP2 从软件 iSCSI 安装迁移到卸载 iSCSI： 1. 引导到 iSCSI 非卸载 / 从 SAN 操作系统引导的 L2。发出以下命令来安装 Open-iSCSI 和 iscsiuio RPM： # rpm -ivh qlgc-open-iscsi-2.0_873.111.sles12p2-3.x86_64.rpm --force # rpm -ivh iscsiuio-2.11.5.3-2.sles12sp2.x86_64.rpm --force 注 要在安装时保留内建 RPM 的原始内容，必须使用 -ivh 选项 （而非 -Uvh 选项），然后使用 --force 选项。 2.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 7. 8. 创建原文件 grub.cfg 的备份。该文件位于以下位置： 传统引导：/boot/grub2/grub.cfg UEFI 引导：SLES 的 /boot/efi/EFI/sles/grub.cfg 发出以下命令，创建新的 grub.cfg 文件： # grub2-mkconfig -o 9. 将旧 grub.cfg 文件与新 grub.cfg 文件进行比较，以验证更改。 10. 将原始 grub.cfg 文件替换为新 grub.cfg 文件。 11. 通过发出以下命令建立 initramfs 文件： # dracut -f 12. 重新引导服务器，然后打开 UEFI HII。 13. 在 UEFI HII 中，禁用 iSCSI 从 BIOS 引导，然后对适配器启用 iSCSI HBA 或引导，如下所示： 14. a. 选择适配器端口，然后选择 Device Level Configuration （设备级配 置）。 b.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 Linux 多路径注意事项 Linux 操作系统上的 iSCSI 从 SAN 引导安装目前仅支持单路径配置。要启用多路 径配置，请使用 L2 或 L4 路径以单一路径执行安装。在服务器引导到安装的操作 系统后，执行必要的配置以启用多路径 I/O (MPIO)。 请参阅本节中适当的步骤，以从 L2 迁移到 L4，并为您的 OS 配置 MPIO： 对 RHEL 6.9/6.10 迁移并配置 MPIO 到卸载的界面 对 SLES 11 SP4 迁移并配置 MPIO 到卸载的界面 对 SLES 12 SP1/SP2 迁移并配置 MPIO 到卸载的界面 对 RHEL 6.9/6.10 迁移并配置 MPIO 到卸载的界面 要对 RHEL 6.9/6.10 从 L2 迁移到 L4 并配置 MPIO 引导 OS 到卸载的界面： 1. 在适配器的双端口上配置 L2 BFS 的 iSCSI 引导设置。引导只通过一个端口 登录，但会为两个端口创建 iSCSI 引导固件表 (iBFT) 界面。 2.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 9. 在引导到 OS 后，设置多路径守护进程 multipathd.conf： # mpathconf --enable --with_multipathd y # mpathconf –enable 10. 启动多路径服务： # service multipathd start 11. 重建支持多路径的 initramfs。 # dracut --force --add multipath --include /etc/multipath 12. 重新引导服务器并通过多路径引导到 OS。 注 \ 为使 /etc/multipath.conf 文件中的任何其他更改生效，必须重建 initrd 映像并重新引导服务器。 对 SLES 11 SP4 迁移并配置 MPIO 到卸载的界面 要对 SLES 11 SP4 从 L2 迁移到 L4 并配置 MPIO 引导 OS 到卸载的界面： 1.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 4. 启动多路径服务，如下所示： # /etc/init.d/boot.multipath start # /etc/init.d/multipathd start 5. 运行 multipath –v2 –d 以在干运行时显示多路径配置。 6. 查找 /etc/multipath.conf 下的 multipath.conf 文件。 注 \ 如果该文件不存在，则从 /usr/share/doc/packages/multipath-tools 文件夹复制 multipath.conf： cp /usr/share/doc/packages/multipath-tools/multipath. conf.defaults /etc/multipath.conf 7. 编辑 multipath.conf 以启用默认部分。 8. 重建 initrd 映像以包含 MPIO 支持： # mkinitrd –f multipath 9. 重新引导服务器并通过多路径支持引导 OS。 注 \ 为使 /etc/multipath.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 5. 通过发出以下命令更新 Open-iSCSI 工具： # rpm -ivh qlgc-open-iscsi-2.0_873.111.sles12sp1-3.x86_64.rpm --force # rpm -ivh iscsiuio-2.11.5.5-6.sles12sp1.x86_64.rpm --force 6. 将 rd.iscsi.ibft 参数更改为 rd.iscsi.firmware，编辑 /etc/default/grub 文件，然后保存该文件。 7. 发出以下命令： # grub2-mkconfig -o /boot/efi/EFI/suse/grub.cfg 8. 要加载多路径模块，请发出以下命令： # modprobe dm_multipath 9. 要启用多路径守护进程，请发出以下命令： # systemctl start multipathd.service # systemctl enable multipathd.service # systemctl start multipathd.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 在 VMware 上配置 iSCSI 从 SAN 引导 由于 VMware 本身不支持 iSCSI 从 SAN 卸载引导，因此您必须通过软件在预引导 中配置 BFS，然后在 OS 驱动程序加载时过渡到卸载。有关更多信息，请参阅第 69 页上 “ 启用 NPAR 和 iSCSI HBA”。 在 VMware ESXi 中， iSCSI BFS 配置步骤包括： 设置 UEFI 主配置 为 iSCSI 引导 (L2) 配置系统 BIOS 映射 OS 安装的 CD 或 DVD 设置 UEFI 主配置 在 VMware 上配置 iSCSI 从 SAN 引导： 1. 将 41xxx 系列适配器插入 Dell 14G 服务器。例如，将 PCIE 和 LOM （四端 口或双端口）插入 R740 服务器。 2. 在 HII 中，转到 System Setup （系统设置），选择 Device Settings （设备 设置），然后选择要配置的集成式 NIC 端口。单击 Finish （完成）。 3.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 c. 为 UEFI Driver Debug Level （UEFI 驱动程序调试级别）选择 10。 图 6-19. 集成式 NIC：VMware 的设备级配置 7. 进入 Main Configuration Page （主要配置页面），然后选择 NIC Partitioning Configuration （NIC 分区配置）。 8. 在 NIC Partitioning Configuration （NIC 分区配置）页面上，选择 Partition 1 Configuration （分区 1 配置）。 9. 完成 Partition 1 Configuration （分区 1 配置）页面，如下所示： a. 为 Link Speed （链路速度）选择 Auto Neg （自动协商）、 10Gbps 或 1Gbps。 b. 确保链路可以运行。 c. 为 Boot Protocol （引导协议）选择 None （无）。 d.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 图 6-20. 集成式 NIC：VMware 的分区 2 配置 为 iSCSI 引导 (L2) 配置系统 BIOS 要在 VMware 上配置系统 BIOS： 1. 在 System BIOS Settings （系统 BIOS 设置）页面上，单击 Boot Settings （引导设置）。 2. 如图 6-21 所示完成 Boot Settings （引导设置）页面。 图 6-21. 集成式 NIC：系统 BIOS， VMware 的引导设置 3.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 4. 5. 6. 在 Network Settings （网络设置）页面的 UEFI iSCSI Settings （UEFI iSCSI 设置）下： a. 为 iSCSI Device1 （iSCSI 设备 1）选择 Enabled （已启用）。 b. 选择 UEFI Boot Settings （UEFI 引导设置）。 在 iSCSI Device1 （iSCSI 设备 1）页面上： a. 为 Connection 1 （连接 1）选择 Enabled （已启用）。 b. 选择 Connection 1 Settings （连接 1 设置）。 在 Connection 1 Settings （连接 1 设置）页面 （参见图 6-22）上： a. 对于 Interface （接口），选择要在其上测试 iSCSI 引导固件表 (IBFT) 从 SAN 引导的适配器端口。 b. 对于 Protocol （协议），选择 Ipv4 或 IPv6。 c.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 7. 完成目标详细信息，并且为 Authentication Type （身份验证类型）选择 CHAP （以设置 CHAP 详细信息）或 None （无）（默认值）。图 6-23 显示 一个示例。 图 6-23. 集成式 NIC：系统 BIOS， VMware 的连接 1 设置 （目标） 8. 保存所有配置更改，然后重新引导服务器。 9. 在系统启动时，按 F11 键引导引导管理器。 10. 在引导管理器的 Boot Menu （引导菜单）、 Select UEFI Boot Option （选择 UEFI 引导选项）下，选择 Embedded SATA Port AHCI Controller （嵌入式 SATA 端口 AHCI 控制器）。 映射 OS 安装的 CD 或 DVD 要映射 CD 或 DVD： 1. 使用 ESXi-Customizer 创建自定义的 ISO 映像，并插入最新的驱动程序包或 VIB。 2. 将 ISO 映射到服务器虚拟控制台的虚拟介质。 3. 在虚拟光盘上，加载 ISO 文件。 4.
6– 从 SAN 引导配置 从 SAN 的 iSCSI 引导 5. 在 Select a Disk To Install Or Upgrade （选择要安装或升级的磁盘）窗口的 Storage Device （存储设备）下，选择 3PARdata W 磁盘，然后按 ENTER 键。图 6-24 显示一个示例。 图 6-24. VMware iSCSI BFS：选择要安装的磁盘 6. 在远程 iSCSI LUN 上启动 ESXi OS 的安装。 7. 在 ESXi OS 安装成功完成后，系统将引导到 OS，如图 6-25 所示。 图 6-25.
6– 从 SAN 引导配置 从 SAN 的 FCoE 引导 从 SAN 的 FCoE 引导 Marvell 41xxx 系列适配器 支持 FCoE 引导以使操作系统网络引导到无磁盘系统。 FCoE 引导允许 Windows、Linux 或 VMware 操作系统通过 FCoE 支持网络从位于 远程的光纤通道或 FCoE 目标计算机引导。您可以打开 NIC Configuration （NIC 配置）菜单并将 Boot Protocol （引导协议）选项设置为 FCoE，以设置 FCoE 选 项 （使用 Marvell 卸载 FCoE 驱动程序的卸载路径）。 本节提供有关从 SAN 的 FCoE 引导的以下配置信息： FCoE 开箱即用和内建支持 FCoE 预引导配置 在 Windows 上配置从 SAN 的 FCoE 引导 在 Linux 上配置从 SAN 的 FCoE 引导 在 VMware 上配置 SAN 的 FCoE 引导 FCoE 开箱即用和内建支持 表 6-6 列出操作系统的内建和开箱即用从 SAN 的 FCoE 引导 (BFS) 支持。 表 6-6.
6– 从 SAN 引导配置 从 SAN 的 FCoE 引导 FCoE 预引导配置 本节介绍 Windows、 Linux 和 ESXi 操作系统的安装和引导步骤。要准备系统 BIOS，请修改系统引导顺序并指定 BIOS 引导协议 （如果需要）。 注 ESXi 5.
6– 从 SAN 引导配置 从 SAN 的 FCoE 引导 配置适配器 UEFI 引导模式 要将引导模式配置为 FCOE： 1. 重新启动系统。 2. 按 OEM 热键进入 System Setup （系统设置）（图 6-26）。这也称为 UEFI HII。 图 6-26.
6– 从 SAN 引导配置 从 SAN 的 FCoE 引导 3. 在 Device Settings （设备设置）页面上，选择 Marvell FastLinQ 适配器 （图 6-27）。 图 6-27.
6– 从 SAN 引导配置 从 SAN 的 FCoE 引导 4. 在 Main Configuration Page （主要配置页面）上，选择 NIC Configuration （NIC 配置）（图 6-28），然后按 ENTER 键。 图 6-28. 系统设置：NIC 配置 5.
6– 从 SAN 引导配置 从 SAN 的 FCoE 引导 图 6-29. 系统设置：FCoE 模式已启用 要配置 FCoE 引导参数： 1. 在设备 UEFI HII 的 Main Configuration Page （主要配置页面）上，选择 FCoE Configuration （FCoE 配置），然后按 ENTER 键。 2. 在 FCoE Configuration （FCoE 配置）页面上，选择 FCoE General Parameters （FCoE 常规参数），然后按 ENTER 键。 3.
6– 从 SAN 引导配置 从 SAN 的 FCoE 引导 图 6-30. 系统设置：FCoE 常规参数 4. 返回 FCoE Configuration （FCoE 配置）页面。 5. 按 ESC 键，然后选择 FCoE Target Parameters （FCoE 目标参数）。 6. 按 ENTER 键。 7. 在 FCoE General Parameters Menu （FCoE 常规参数菜单）中，启用到首 选 FCoE 目标的 Connect （连接）。 8.
6– 从 SAN 引导配置 从 SAN 的 FCoE 引导 图 6-31. 系统设置：FCoE 常规参数 在 Windows 上配置从 SAN 的 FCoE 引导 Windows 版从 SAN 的 FCoE 引导信息包括： Windows Server 2012 R2 和 2016 FCoE 引导安装 在 Windows 上配置 FCoE Windows 上的 FCoE 故障转储 将适配器驱动程序注入 （滑流至） Windows 映像文件中 Windows Server 2012 R2 和 2016 FCoE 引导安装 对于 Windows Server 2012R2/2016 从 SAN 引导安装， Marvell 要求使用 “ 滑流 ” DVD 或 ISO 映像，同时注入最新的 Marvell 驱动程序。请参阅 第 120 页上 “ 将适 配器驱动程序注入 （滑流至） Windows 映像文件中 ”。 以下步骤准备在 FCoE 模式下安装和引导的映像。 要设置 Windows Server 2012R2/2016 FCoE 引导： 1.
6– 从 SAN 引导配置 从 SAN 的 FCoE 引导 4. 配置 FCoE 目标以允许从远程设备连接。确保目标有足够磁盘空间安装新的 OS。 5. 配置 UEFI HII 以在所需的适配器端口上设置 FCoE 引导类型、正确的启动器 和 FCoE 引导的目标参数。 6. 保存设置并重新引导系统。远程系统应连接至 FCoE 目标，然后从 DVD-ROM 设备引导。 7. 从 DVD 引导并开始安装。 8. 请按照屏幕说明进行操作。 在显示可用于安装的磁盘列表的窗口上，应会看到 FCoE 目标磁盘。此目标 是通过 FCoE 引导协议连接的磁盘，位于远程 FCoE 目标中。 9. 要继续 Windows Server 2012R2/2016 安装，请选择 Next （下一步），然后 按照屏幕说明进行操作。作为安装过程的一部分，服务器将进行多次重新引 导。 10.
6– 从 SAN 引导配置 从 SAN 的 FCoE 引导 4. 遵循 Microsoft 的 “ 向脱机的 Windows 图像添加和删除驱动程序 ” 文章，并 注入在 b 部分步骤 2 上提取的 OOB 驱动程序。请参阅 https://docs.microsoft.
6– 从 SAN 引导配置 从 SAN 的 FCoE 引导 在 VMware 上配置 SAN 的 FCoE 引导 对于 VMware ESXi 6.5/6.7 从 SAN 引导安装， Marvell 要求您使用注入最新 Marvell 聚合网络适配器驱动程序包而创建的自定义的 ESXi ISO 映像。本节涵盖 VMware FCoE 从 SAN 引导的以下步骤。 将 ( 滑溜至 ) ESXi 适配器驱动程序注入到映像文件 安装自定义的 ESXi ISO 将 ( 滑溜至 ) ESXi 适配器驱动程序注入到映像文件 此步骤以 ESXi-Customizer 工具 v2.7.2 为例，但您可以使用任何 ESXi 自定义程 序。 要将适配器驱动程序注入 ESXi 映像文件中： 1. 下载 ESXi-Customizer v2.7.2 或更高版本。 2. 转到 ESXi customizer 目录。 3. 发出 ESXi-Customizer.cmd 命令。 4. 在 ESXi-Customizer 对话框中，单击 Browse （浏览）完成以下步骤。 a.
6– 从 SAN 引导配置 从 SAN 的 FCoE 引导 图 6-32 显示一个示例。 图 6-32. ESXi-Customizer 对话框 5. 刻录包含位于步骤 4c 指定的工作目录中的自定义的 ISO 版本的 DVD。 6. 使用新的 DVD 安装 ESXi OS。 安装自定义的 ESXi ISO 1. 将最新的 Marvell FCoE 引导映像加载到适配器 NVRAM 中。 2. 配置 FCOE 目标以允许有效地连接远程计算机。确保目标有足够的可用磁盘 空间安装新的 OS。 3. 配置 UEFI HII 以在所需的适配器端口上设置 FCOE 引导类型、正确的启动 器和 FCOE 引导的目标参数。 4. 保存设置并重新引导系统。 启动器应连接至 FCOE 目标，然后从 DVD-ROM 设备引导系统。 5. 从 DVD 引导并开始安装。 6.
6– 从 SAN 引导配置 从 SAN 的 FCoE 引导 在显示可用于安装的磁盘列表的窗口上， FCOE 目标磁盘应该可见，因为注 入的聚合网络适配器驱动程序包在自定义的 ESXi ISO 中。图 6-33 显示一个 示例。 图 6-33. 选择要安装的 VMware 磁盘 7. 选择 ESXi 可在其中安装的 LUN，然后按 ENTER 键。 8. 在下一个窗口上，单击 Next （下一步），然后按照屏幕上的说明操作。 9. 当安装完成时，重新引导服务器并弹出 DVD。 10. 在服务器引导时，按 F9 键访问 One-Time Boot Menu （一次性引导菜 单），然后选择 Boot media to QLogic adapter port （引导介质到 Qlogic 适配器端口）。 11.
6– 从 SAN 引导配置 从 SAN 的 FCoE 引导 图 6-34 提供了两个示例。 图 6-34.
7 RoCE 配置 本章介绍 41xxx 系列适配器、以太网交换机以及 Windows、Linux 或 VVMware 主 机上基于聚合以太网的 RDMA （RoCE v1 和 v2）配置，包括以下内容： 支持的操作系统和 OFED 第 127 页上 “ 计划 RoCE” 第 128 页上 “ 准备适配器 ” 第 128 页上 “ 准备以太网交换机 ” 第 132 页上 “ 在 Windows Server 的适配器上配置 RoCE” 第 149 页上 “ 在 Linux 的适配器上配置 RoCE” 第 163 页上 “ 在 VMware ESX 的适配器上配置 RoCE” 第 169 页上 “ 配置 DCQCN” 注 某些 RoCE 功能在当前版本中可能并未完全启用。 支持的操作系统和 OFED 表 7-1 显示 RoCE v1、RoCE v2、iWARP 和 OpenFabrics 企业分布（OFED）的 操作系统支持。 Windows 或 VMware ESXi 不支持 OFED。 表 7-1.
7–RoCE 配置 计划 RoCE 表 7-1. RoCE v1、 RoCE v2、 iWARP 、 iSER 和 OFED 的 OS 支持 ( 续 ) 内建 OFED-4.17-1 GA RHEL 7.7 RoCE v1、RoCE v2、iWARP、iSER 否 RHEL 8.0 RoCE v1、RoCE v2、iWARP、iSER 否 RHEL 8.1 RoCE v1、RoCE v2、iWARP、iSER 否 SLES 12 SP4 RoCE v1、RoCE v2、iWARP、iSER RoCE v1、 RoCE v2、 iWARP SLES 15 SP0 RoCE v1、RoCE v2、iWARP、iSER RoCE v1、 RoCE v2、 iWARP SLES 15 SP1 RoCE v1、RoCE v2、iWARP、iSER 否 CentOS 7.6 RoCE v1、RoCE v2、iWARP、iSER RoCE v1、 RoCE v2、 iWARP VMware ESXi 6.
7–RoCE 配置 准备适配器 准备适配器 按照以下步骤操作以启用 DCBX，并使用 HII 管理应用程序指定 RoCE 优先级。有 关 HII 应用程序的信息，请参阅第 5 章 适配器预引导配置。 准备适配器： 1. 在 Main Configuration Page （主要配置页面）上，选择 Data Center Bridging (DCB) Settings （数据中心桥接 (DCB) 设置），然后单击 Finish （完成）。 2. 在 Data Center Bridging (DCB) Settings （数据中心桥接 (DCB) 设置）窗口 中，单击 DCBX Protocol（DCBX 协议）选项。41xxx 系列适配器同时支持 CEE 和 IEEE 协议。此值应该符合 DCB 交换机上的相应值。在本示例中， 选择 CEE 或 Dynamic （动态）。 3.
7–RoCE 配置 准备以太网交换机 2. 执行以下步骤配置相关服务质量 (QoS) 类映射，并设置 RoCE 优先级 (cos) 以匹配适配器 (5)： switch(config)# class-map type qos class-roce switch(config)# match cos 5 3. 执行以下步骤配置排队类映射： switch(config)# class-map type queuing class-roce switch(config)# match qos-group 3 4. 执行以下步骤配置网络 QoS 类映射： switch(config)# class-map type network-qos class-roce switch(config)# match qos-group 3 5.
7–RoCE 配置 准备以太网交换机 为 RoCE 配置 Dell Z9100 以太网交换机 为 RoCE 配置 Dell Z9100 以太网交换机涉及为 RoCE 配置 DCB 映射、配置基于优先级的 流控制 (PFC) 和增强的传输选择 (ETS)、验证 DCB 映射、将 DCB 映射应用至端口、验证 端口上的 PFC 和 ETS、指定 DCB 协议，以及为交换机端口分配 VLAN ID。 注 有关配置 Dell Z9100 交换机端口以便按 25 Gbps 速率连接 41xxx 系列 适配器的说明，请参见第 294 页上 “Dell Z9100 交换机配置 ”。 要配置 Dell 交换机： 1. 创建 DCB 映射。 Dell# configure Dell(conf)# dcb-map roce Dell(conf-dcbmap-roce)# 2.
7–RoCE 配置 准备以太网交换机 6.
7–RoCE 配置 在 Windows Server 的适配器上配置 RoCE 66 Input TLV pkts, 99 Output TLV pkts, 0 Error pkts, 0 Pause Tx pkts, 0 Pause Rx pkts 66 Input Appln Priority TLV pkts, 99 Output Appln Priority TLV pkts, 0 Error Appln Priority TLV Pkts 7. 配置 DCBX 协议 （本例中为 CEE）。 Dell(conf)# interface twentyFiveGigE 1/8/1 Dell(conf-if-tf-1/8/1)# protocol lldp Dell(conf-if-tf-1/8/1-lldp)# dcbx version cee 8.
7–RoCE 配置 在 Windows Server 的适配器上配置 RoCE 表 7-2. RoCE 的高级属性 ( 续 ) 属性 值或说明 Network Direct Mtu Size （Network Direct Mtu 大小） network direct MTU 大小必须小于巨型数据包大小。 Quality of Service （相关服务质量） 配置 RoCE v1/v2 时，始终选择 Enabled （已启用）允 许 Windows DCB-QoS 服务控制和监测 DCB。有关更多 信息，请参阅第 257 页上 “ 通过在适配器上禁用 DCBX 配置 QoS” 和第 261 页上 “ 通过在适配器上启用 DCBX 配置 QoS”。 NetworkDirect Technology （NetworkDirect 技术） RoCE 或 RoCE v2。 VLAN ID 将任何 vLAN ID 分配给接口。该值必须与交换机上分配 的值相同。 图 7-1 显示配置属性值的示例。 图 7-1.
7–RoCE 配置 在 Windows Server 的适配器上配置 RoCE 2. 使用 Windows PowerShell，验证适配器上已启用 RDMA。 Get-NetAdapterRdma 命令列出支持 RDMA 的适配器 - 两个端口同时启用。 注 如果通过 Hyper-V 配置 RoCE，请勿将 vLAN ID 分配给物理接口。 PS C:\Users\Administrator> Get-NetAdapterRdma Name ----- 3. ------ InterfaceDescription ----------- -------------- Enabled SLOT 4 3 Port 1 QLogic FastLinQ QL41262... True SLOT 4 3 Port 2 QLogic FastLinQ QL41262...
7–RoCE 配置 在 Windows Server 的适配器上配置 RoCE 查看 RDMA 计数器 以下步骤也适用于 iWARP。 为了查看 RoCE 的 RDMA 计数器： 1. 启动性能监测器。 2. 打开 Add Counters （添加计数器）对话框。图 7-2 显示一个示例。 图 7-2.
7–RoCE 配置 在 Windows Server 的适配器上配置 RoCE 注 如果 Marvell RDMA 计数器没有列在 Performance Monitor （性能监视 器） Add Counters （添加计数器）对话框中，请通过从驱动程序位置 发出以下命令手动添加： Lodctr /M:qend.man 3. 选择以下计数器类型之一： 4.
7–RoCE 配置 在 Windows Server 的适配器上配置 RoCE 图 7-3 显示了 计数器监测输出的三个示例。 图 7-3. 性能监视：41xxx 系列适配器计数器 表 7-3 提供错误计数器的有关详细信息。 表 7-3.
7–RoCE 配置 在 Windows Server 的适配器上配置 RoCE 表 7-3.
7–RoCE 配置 在 Windows Server 的适配器上配置 RoCE 表 7-3.
7–RoCE 配置 在 Windows Server 的适配器上配置 RoCE 为 SR-IOV VF 设备 (VF RDMA) 配置 RoCE 以下章节介绍如何为 SR-IOV VF 设备 （也称作 VF RDMA）配置 RoCE。同时也 提供相关信息和限制。 配置说明 要配置 VF RDMA： 1. 安装 VF RDMA 功能组件 （驱动程序、固件、多引导映像 (MBI)）。 2. 为 VF RDMA 配置 QoS。 需 QoS 配置来配置 RDMA 的优先级流控制 (PFC)。如第 256 页上 “ 为 RoCE 配置 QoS” 中所述，在主机上配置 QoS。（QoS 配置必须在主机完 成，而不是在 VM 中进行。） 3. 为 VF RDMA 配置 Windows Hyper-V： a. 在 HII 以及 Windows Device Manager （Windows 设备管理器）中的 Advanced （高级）选项卡上启用 SR-IOV。 b. 打开主机上的 Windows Hyper-V Manager （Windows Hyper-V 管理 器）。 c.
7–RoCE 配置 在 Windows Server 的适配器上配置 RoCE d. 选择 New Virtual Network switch （新虚拟网络交换机），并选择 External （外部）类型。 图 7-4 显示一个示例。 图 7-4.
7–RoCE 配置 在 Windows Server 的适配器上配置 RoCE e. 单击 External network （外部网络）按钮，然后选择相应适配器。单 击 Enable single-root I/O virtualization （启用单根 I/O 虚拟化） (SR-IOV)。 图 7-5 显示一个示例。 图 7-5.
7–RoCE 配置 在 Windows Server 的适配器上配置 RoCE f. 创建 VM 并打开 VM 设置。 图 7-6 显示一个示例。 图 7-6. VM 设置 g. 选择 Add Hardware （添加硬件），然后选择 Network Adapter （网 络适配器）分配虚拟网络适配器 (VMNIC) 至 VM。 h.
7–RoCE 配置 在 Windows Server 的适配器上配置 RoCE i. 启用网络适配器的 VLAN。 图 7-7 显示一个示例。 图 7-7.
7–RoCE 配置 在 Windows Server 的适配器上配置 RoCE j. 扩展网络适配器设置。在 Single-root I/O virtualization （单根 I/O 虚拟 化）下，选择 Enable SR-IOV （启用 SR-IOV）启用 VMNIC 的 SR-IOV 功能。 图 7-8 显示一个示例。 图 7-8. 启用网络适配器的 SR-IOV 4.
7–RoCE 配置 在 Windows Server 的适配器上配置 RoCE 5. 通过引导 VM 和使用 Marvell CD 上的 Windows Super Installer （Windows 超级安装程序）安装最新驱动程序以升级 VM 中的 Marvell 驱动程序。 图 7-9 显示一个示例。 图 7-9.
7–RoCE 配置 在 Windows Server 的适配器上配置 RoCE 6. 启用与 VM 内部的 VF 关联的 Microsoft 网络设备上的 RMDA。 图 7-10 显示一个示例。 图 7-10. 在 VMNIC 上启用 RDMA 7. 启动 VM RMDA 流量： a. 连接服务器消息块 (SMB) 驱动器，运行 RoCE 流量并验证结果。 b.
7–RoCE 配置 在 Windows Server 的适配器上配置 RoCE c. 验证 RDMA 流量正在运行。 图 7-11 提供一个示例。 图 7-11.
7–RoCE 配置 在 Linux 的适配器上配置 RoCE 在部分以前的服务器平台上，可能无法枚举 VF 设备中的 NIC PCI 的功能之一 (PF)。 此限制是由于需新增 PCI 基本地址寄存器 （BAR）以支持 VF RDMA，这意味着 OS/BIOS 无法为每一 VF 分配所需的 BAR。 为了在一个 VM 中支持最多数量的 QP，假设仅向 VM 分配一个 VF，需约 8GB 的 RAM。如果向 VM 分配的 RAM 少于 8GB，由于内存不足和内存配置失败，可能会 导致活动连接数量急剧减少。 在 Linux 的适配器上配置 RoCE 本节介绍 RHEL 和 SLES 的 RoCE 配置步骤。本节还介绍如何验证 RoCE 配置， 并提供有关在 vLAN 接口使用组 ID (GID) 的一些指南。 RHEL 的 RoCE 配置 SLES 的 RoCE 配置 验证 Linux 上的 RoCE 配置 vLAN 接口和 GID 索引值 Linux 的 RoCE v2 配置 为 SR-IOV VF 设备 (VF RDMA) 配置 RoCE RH
7–RoCE 配置 在 Linux 的适配器上配置 RoCE 注 在安装过程中，如果您已经选择了前面提到的软件包，则不需要重新安 装它们。内建 OFED 和支持软件包可能因操作系统版本而异。 3. 如第 14 页上 “ 安装包含 RDMA 的 Linux 驱动程序 ” 中所述，安装新 Linux 驱 动程序。 SLES 的 RoCE 配置 要在 SLES 主机的适配器上配置 RoCE，必须在 SLES 主机上安装并配置 OFED。 要为 SLES 安装内建 OFED： 1. 在安装或升级操作系统时，选择 InfiniBand 支持软件包。 2. (SLES 12.x) 从相应的 SLES SDK 套件映像安装以下 RPM： libibverbs-devel-x.x.x.x86_64.rpm （libqedr 安装所需） perftest-x.x.x.x86_64.rpm （带宽和延迟应用程序所需） 3.
7–RoCE 配置 在 Linux 的适配器上配置 RoCE 验证 Linux 上的 RoCE 配置 安装 OFED 后，安装 Linux 驱动程序，然后加载 RoCE 驱动程序，验证在所有 Linux 操作系统上是否检测到 RoCE 设备。 要在 Linux 上验证 RoCE 配置： 1. 使用 service/systemctl 命令停止防火墙表。 2. 仅对于 RHEL：如果已安装 RDMA 服务 (yum install rdma)，请验证 RDMA 服务已启动。 注 对于 RHEL 7.x 和 SLES 12 SPx 及更高版本， RDMA 服务会在重新引 导后自行启动。 在 RHEL 或 CentOS 上：使用 service rdma 状态命令启动服务： 如果 RDMA 尚未启动，请发出以下命令： # service rdma start 如果 RDMA 尚未启动，则发出以下备选命令之一： # /etc/init.d/rdma start 或者 # systemctl start rdma.service 3.
7–RoCE 配置 在 Linux 的适配器上配置 RoCE 6. 发出 ibv_devinfo 命令。对于每个 PCI 功能，您应该会看到一个单独的 hca_id，如下例中所示： root@captain:~# ibv_devinfo hca_id: qedr0 transport: fw_ver: node_guid: sys_image_guid: vendor_id: vendor_part_id: hw_ver: phys_port_cnt: port: 1 state: max_mtu: active_mtu: sm_lid: port_lid: port_lmc: link_layer: 7. InfiniBand (0) 8.3.9.
7–RoCE 配置 在 Linux 的适配器上配置 RoCE 客户端 Ping： root@lambodar:~# ibv_rc_pingpong -d qedr0 -g 0 192.168.10.165 local address: LID 0x0000, QPN 0xff0000, PSN 0x934d28, GID fe80::20e:1eff:fe50:c570 remote address: LID 0x0000, QPN 0xff0000, PSN 0xb3e07e, GID fe80::20e:1eff:fe50:c7c0 8192000 bytes in 0.02 seconds = 4211.28 Mbit/sec 1000 iters in 0.02 seconds = 15.
7–RoCE 配置 在 Linux 的适配器上配置 RoCE 2. SLES 12 SP4 及更高版本 RHEL 7.6, 7.7 和 8.0 执行以下操作配置 RoCE v2： a. 识别 RoCE v2 的 GID 索引。 b. 配置服务器和客户端的路由地址。 c.
7–RoCE 配置 在 Linux 的适配器上配置 RoCE # cat /sys/class/infiniband/qedr0/ports/1/gids/1 fe80:0000:0000:0000:020e:1eff:fec4:1b20 选项 2： 使用 FastLinQ 源文件包的脚本。 #/../fastlinq-8.x.x.x/add-ons/roce/show_gids.sh DEV PORT INDEX GID IPv4 VER DEV --- ---- ----- --- ------------ --- --- v1 p4p1 qedr0 1 0 fe80:0000:0000:0000:020e:1eff:fec4:1b20 qedr0 1 1 fe80:0000:0000:0000:020e:1eff:fec4:1b20 v2 p4p1 qedr0 1 2 0000:0000:0000:0000:0000:ffff:1e01:010a 30.1.1.
7–RoCE 配置 在 Linux 的适配器上配置 RoCE 验证 RoCE v2 在同一子网上运行并使用 RoCE v2 GID 索引。 Server# ib_send_bw -d qedr0 -F -x 1 Client# ib_send_bw -d qedr0 -F -x 1 192.168.100.3 注 如果通过交换机 PFC 配置运行，请对通过同一子网的 RoCE v1 或 v2 使用 vLAN GID。 通过不同子网验证 RoCE v2 注 您必须首先配置交换机和服务器的路由设置。通过 HII、 UEFI 用户界面或其 中一个 Marvell 管理公用程序在适配器上设置 RoCE 优先级和 DCBX 模式。 通过不同子网验证 RoCE v2： 1. 使用 DCBX-PFC 配置设置服务器和客户端的路由配置。 系统设置： 服务器 VLAN IP：192.168.100.3 和网关：192.168.100.1 客户端 VLAN IP：192.168.101.3 和网关：192.168.101.
7–RoCE 配置 在 Linux 的适配器上配置 RoCE 如果您使用 PFC 配置和 L3 路由，则在使用不同子网的 vLAN 上运行 RoCE v2 流量，并使用 RoCE v2 vLAN GID 索引。 Server# ib_send_bw -d qedr0 -F -x 5 Client# ib_send_bw -d qedr0 -F -x 5 192.168.100.3 服务器交换机设置： 图 7-12.
7–RoCE 配置 在 Linux 的适配器上配置 RoCE 客户端交换机设置： 图 7-13. 交换机设置，客户端 为 RDMA_CM 应用程序配置 RoCE v1 或 v2 设置 使用以下 FastLinQ 源文件包的脚本配置 RoCE: # ./show_rdma_cm_roce_ver.sh qedr0 is configured to IB/RoCE v1 qedr1 is configured to IB/RoCE v1 # ./config_rdma_cm_roce_ver.sh v2 configured rdma_cm for qedr0 to RoCE v2 configured rdma_cm for qedr1 to RoCE v2 服务器设置： 图 7-14.
7–RoCE 配置 在 Linux 的适配器上配置 RoCE 客户端设置： 图 7-15. 配置 RDMA_CM 应用程序：客户端 为 SR-IOV VF 设备 (VF RDMA) 配置 RoCE 以下章节介绍如何在 Linux 上为 SR-IOV VF 设备 （也称作 VF RDMA）配置 RoCE。同时也提供相关信息和限制。 表 7-4 列出了支持的 Linux 操作系统组合。 表 7-4. 支持 VF RDMA 的 Linux 操作系统 来宾账户 OS RHEL 7.6 RHEL 7.7 RHEL 8.0 SLES12 SP4 SLES15 SP0 SLES15 SP1 是 是 是 是 是 是 RHEL 7.7 是 是 是 是 是 是 RHEL 8.
7–RoCE 配置 在 Linux 的适配器上配置 RoCE 枚举 L2 和 RDMA 的 VF 枚举 VF 有两种方法： 用户定义的 VF MAC 分配 动态或随机的 VF MAC 分配 用户定义的 VF MAC 分配 定义 VF MAC 分配时，默认 VF 枚举方法没有变化。创建 VF 数量后，分配静态 MAC 地址。 要创建用户定义的 VF MAC 分配： 1.
7–RoCE 配置 在 Linux 的适配器上配置 RoCE qedr_vf0 3e3344fffe556677 qedr_vf1 3e3344fffe556689 动态或随机的 VF MAC 分配 要动态分配 VF MAC： # modprobe -r qedr # modprobe -v qed vf_mac_origin=3 [ 使用此模块参数进行动态 MAC 分配 ] # modprobe -v qede # echo 2 > /sys/class/net/p6p1/device/sriov_numvfs # modprobe qedr (This is an optional, mostly qedr driver loads itself) # ip link show|grep vf vf 0 MAC ba:1a:ad:08:89:00, tx rate 25000 (Mbps), max_tx_rate 25000Mbps, spoof checking off, link-state auto vf 1 MAC 96:40:61:49:cd:68, tx rate 25000 (M
7–RoCE 配置 在 Linux 的适配器上配置 RoCE 要查看 L2 和 RDMA 的可用 VF： L2 : # ip link show RDMA: # ibv_devices 四端口适配器 每个 PF 最多支持 RDMA 20 个 VF ；直到 48 个 Vf，此时 RDMA 有 20 个 VF。当 超过 28 个 VF 时，该数值将被总 VF 数减去 (48)。 例如，在 4x10G 中： Echo 20 > PF0 （L2+RDMA 的 VF=20+20） Echo 28 > PF0 （L2+RDMA 的 VF=28+20） 当超过 28 个 VF 时，该数值将被 VF 总数减去。例如： echo 29 > PF0 （48-29=RDMA 的 19 个 VF ； L2 的 29 个 VF + RDMA 的 19 个 VF） echo 48 > PF0 （48-48=RDMA 的 0 个 VF ；所有 48 个 VF 只能用于 L2） 限制 VF RDMA 具有以下限制： 不支持 iWARP 不支持 NPAR 不支持跨操作系统；例如， Linux 虚拟机监控程序不
7–RoCE 配置 在 VMware ESX 的适配器上配置 RoCE 在 VMware ESX 的适配器上配置 RoCE 本节提供以下 RoCE 配置的步骤和信息： 配置 RDMA 接口 配置 MTU RoCE 模式和统计信息 配置半虚拟化 RDMA 设备 (PVRDMA) 注 向 RDMA 速度映射以太网速度并不总是准确，因为 RoCE 驱动程序可指定 的值与 Infiniband® 对应。 例如，如果在操作速度为 1Gbps 的以太网接口上配置 RoCE，此时 RDMA 的速度显示为 2.5Gbps。在 ESXi 提供的头文件中没有其它合适的值可用于 RoCE 驱动程序显示 1Gbps 的速度。 配置 RDMA 接口 配置 RDMA 接口： 1. 安装 Marvell NIC 和 RoCE 驱动程序。 2. 使用模块参数，通过发出以下命令从 NIC 驱动程序启用 RoCE 功能： esxcfg-module -s 'enable_roce=1' qedentv 如需应用更改，重新加载 NIC 驱动程序或重新引导系统。 3.
7–RoCE 配置 在 VMware ESX 的适配器上配置 RoCE 5. 如需创建新虚拟交换机，请发出以下命令： esxcli network vswitch standard add -v 例如： # esxcli network vswitch standard add -v roce_vs 此操作创建了一个名为 roce_vs 的新虚拟交换机。 6. 如需连接 Marvell NIC 端口至 vSwitch，请发出以下命令： # esxcli network vswitch standard uplink add -u -v 例如： # esxcli network vswitch standard uplink add -u vmnic0 -v roce_vs 7.
7–RoCE 配置 在 VMware ESX 的适配器上配置 RoCE 例如： # esxcfg-vswitch -m 4000 roce_vs # esxcli rdma device list Name Driver State MTU ------- ------- ------ vmrdma0 qedrntv Active 2048 25 Gbps vmnic0 QLogic FastLinQ QL45xxx RDMA Interface vmrdma1 qedrntv Active 1024 25 Gbps vmnic1 QLogic FastLinQ QL45xxx RDMA Interface ---- Speed Paired Uplink ------- ------------- Description ------------------------------- RoCE 模式和统计信息 对于 RoCE 模式， ESXi 要求 RoCE v1 和 v2 的共存支持。队列对创建期间确定需 使用的 RoCE 模式。在注册和初始化期间可
7–RoCE 配置 在 VMware ESX 的适配器上配置 RoCE Shared receive queues allocated: 0 Shared receive queue events: 0 Protection domains allocated: 1 Memory regions allocated: 3 Address handles allocated: 0 Memory windows allocated: 0 配置半虚拟化 RDMA 设备 (PVRDMA) 请参阅 VMware 文档 （例如， https://kb.vmware.com/articleview?docid=2147694）查看通过 vCenter 接口配置 PVRDMA 的详细信息。以下说明仅供参考。 使用 vCenter 接口配置 PVRDMA： 1. 按照以下方式创建和配置新分布式虚拟交换机： a. 在 VMware vSphere® Web 客户端，右键单击 Navigator （导航）窗口 左侧窗格中的 RoCE 节点。 b.
7–RoCE 配置 在 VMware ESX 的适配器上配置 RoCE 2. 3. 执行以下步骤配置分布式虚拟交换机： a. 在 VMware vSphere Web 客户端，扩展 Navigator （导航）窗口左侧 窗格中的 RoCE 节点。 b. 右键单击 RoCE-VDS，然后单击 Add and Manage Hosts （添加和管 理主机）。 c. 在 Add and Manage Hosts （添加和管理主机）下，进行以下配置： Assign uplinks。从可用上行链路列表中选择。 Manage VMkernel network adapters。接受默认，然后单击 Next （下一步）。 Migrate VM networking。分配在 步骤 1 中创建的端口组。 分配 PVRDMA 的 vmknic 用于 ESX 主机： a. 右键单击主机，然后单击 Settings （设置）。 b.
7–RoCE 配置 在 VMware ESX 的适配器上配置 RoCE 4. 设置 PVRDMA 防火墙规则： a. 右键单击主机，然后单击 Settings （设置）。 b. 在 Settings （设置）页面上，扩展 System （系统）字节，然后单击 Security Profile （安全配置文件）。 c. 在 Firewall Summary （防火墙摘要）页面上，单击 Edit （编辑）。 d. 在 Edit Security Profile （编辑安全配置文件）对话框的 Name （名 称）下，下拉选择 pvrdma 复选框，然后选择 Set Firewall （设置防 火墙）复选框。 图 7-18 显示一个示例。 图 7-18. 设置防火墙规则 5. 执行以下步骤设置 PVRDMA 的 VM： a. 安装以下支持的来宾账户 OS： RHEL 7.5, 7.6 和 8.0 b. 安装 OFED4.17-1。 c. 编译并安装 PVRDMA 来宾账户驱动程序和库。 d. 执行以下步骤添加一个新的 PVRDMA 网络适配器至 VM： e.
7–RoCE 配置 配置 DCQCN 配置 DCQCN 数据中心量化拥塞通知 (DCQCN) 为确定 RoCE 接收器如何通知传输器它们之间的 交换机已提供一则显式拥塞通知 （通知点），以及传输器如何对此类通知作出反应 （反应点）的功能。 本节提供以下有关 DCQCN 的配置信息： DCQCN 术语 DCQCN 概览 DCB 相关的参数 RDMA 流量上的全局设置 配置 DSCP-PFC 启用 DCQCN 配置 CNP DCQCN 算法参数 MAC 统计信息 脚本示例 限制 DCQCN 术语 以下术语描述 DCQCN 配置： ToS （服务类型）为 IPv4 标头字段中的单字节。 ToS 包含：两个 ECN 最低有效位 (LSB) 和六个差分服务代码点 (DSCP) 最高有效位 (MSB)。 IPv6 流量级等同于 IPv4 ToS。 ECN （显式拥塞通知）是交换机添加一则即将拥塞的指示到对外输出流量的机制。 CNP （拥塞通知数据包）是通知点用于指示来自交换机的 ECN 回到反应点 的数据包。
7–RoCE 配置 配置 DCQCN Traffic classes （流量类），也称作优先级组，是可具有有损或无损属性的 vLAN 优 先级组 （或者如使用 DSCP-PFC 时，则为 DSCP 值）。通常， 0 用于默认有损流量 类，3 用于 FCoE 流量类，4 用于 iSCSI-TLV 流量类。如果您尝试在同时支持 FCoE 或 iSCSI-TLV 流量的网络再次使用这些数字，您可能会遇到 DCB 错误匹配问题。 Marvell 建议您对 RoCE 相关的流量类使用 1–2 或 5–7 中的数字。 ETS （增强的转换服务）是每一流量级的最大网宽分配。 DCQCN 概览 有些网络协议 （例如 RoCE）要求无丢包。 PFC 是一种在 L2 网络中实现无丢包 的机制，而 DSCP-PFC 是在不同 L2 网络中实现无丢包的机制。但 PFC 在以下方 面存在不足： 当激活时， PFC 完全停止了端口上指定优先级的流量，而不是降低传输速率。 即使存在导致拥塞的特定连接子集，指定优先级的所有流量也会受影响。 PFC 为一种单跃点机制。也就是说，如果接收者遇到拥塞并通过
7–RoCE 配置 配置 DCQCN 控制 vLAN 优先级的另一种方法是使用 rdma_glob_vlan_pri 节点。这种方法 影响设置值后创建的 QP。例如，如需为随后创建的 QP 设置 vLAN 优先级数字为 5，请发出以下命令： ./debugfs.sh -n eth0 -t rdma_glob_vlan_pri 5 在 RDMA 流量上设置 ECN 使用 rdma_glob_ecn 节点启用指定 RoCE 优先级的 ECN。例如，如需使用优 先级 5 启用 RoCE 流量的 ECN，请发出以下命令： ./debugfs.sh -n eth0 -t rdma_glob_ecn 1 通常在启用 DCQCN 后需要此命令。 在 RDMA 流量上设置 DSCP 使用 rdma_glob_dscp 节点控制 DSCP。例如，如需使用优先级 5 设置 RoCE 流量上的 DSCP，请发出以下命令： ./debugfs.
7–RoCE 配置 配置 DCQCN DCQCN 算法参数 表 7-5 列出 DCQCN 的算法参数。 表 7-5. DCQCN 算法参数 参数 描述和值 dcqcn_cnp_send_timeout 各 CNP 之间的发送时间的最小差异。单位为微秒。 值的范围为 50..500000。 dcqcn_cnp_dscp 用于 CNP 的 DSCP 值。值的范围为 0..63。 dcqcn_cnp_vlan_priority 用于 CNP 的 vLAN 优先级。值的范围为 0..
7–RoCE 配置 配置 DCQCN 脚本示例 以下示例可用作脚本： # probe the driver with both reaction point and notification point enabled # with cnp dscp set to 10 and cnp vlan priority set to 6 modprobe qed dcqcn_enable=1 dcqcn_notification_point=1 dcqcn_reaction_point=1 dcqcn_cnp_dscp=10 dcqcn_cnp_vlan_priority=6 modprobe qede # dscp-pfc configuration (associating dscp values to priorities) # This example is using two DCBX traffic class priorities to better demonstrate DCQCN in operation debugfs.
8 iWARP 配置 互联网广域 RDMA 协议 (iWARP) 是一种实现 RDMA 的计算机联网协议，用于通 过 IP 网络进行有效的数据传输。 iWARP 设计用于多种环境，包括 LAN、存储网 络、数据中心网络和 WAN。 本章提供以下内容的说明： 为 iWARP 准备适配器 第 175 页上 “ 在 Windows 上配置 iWARP” 第 179 页上 “ 在 Linux 上配置 iWARP” 注 某些 iWARP 功能在当前版本中可能并未完全启用。有关详细信息，请参阅 附录 D 功能约束。 为 iWARP 准备适配器 本节提供有关使用 HII 预引导适配器 iWARP 配置的说明。有关预引导适配器配置 的更多信息，请参阅 第 5 章 适配器预引导配置。 在默认模式下通过 HII 配置 iWARP: 1. 访问服务器的 BIOS System Setup （BIOS 系统设置），然后单击 Device Settings （设备设置）。 2. 在 Device Settings （设备设置）页面上，选择用于 25G 41xxx 系列适配器 的端口。 3.
8–iWARP 配置 在 Windows 上配置 iWARP c. 单击 Back （后退）。 5. 在 Main Configuration Page （主要配置页面）上，单击 Finish （完成）。 6. 在 Warning - Saving Changes （警告 - 保存更改）消息框中，单击 Yes （是）保存配置。 7. 在 Success - Saving Changes （成功 - 保存更改）消息框中，单击 OK （确 定）。 8. 重复步骤 2 至步骤 7 配置其他端口的 NIC 和 iWARP。 9. 要完成两个端口的适配器准备： a. 在 Device Settings （设备设置）页面上，单击 Finish （完成）。 b. 在主菜单上，单击 Finish （完成）。 c.
8–iWARP 配置 在 Windows 上配置 iWARP 2. 使用 Windows PowerShell，验证 RDMA 是否已启用。 Get-NetAdapterRdma 命令输出 （图 8-1）显示支持 RDMA 的适配器。 图 8-1. Windows PowerShell 命令：Get-NetAdapterRdma 3. 使用 Windows PowerShell，验证 NetworkDirect 是否已启用。 Get-NetOffloadGlobalSetting 命令输出 ( 图 8-2) 将 NetworkDirect 显 示为 Enabled （已启用）。 图 8-2. Windows PowerShell 命令：Get-NetOffloadGlobalSetting 要验证 iWARP 流量： 1. 映射 SMB 驱动器，然后运行 iWARP 流量。 2. 启动性能监视器 (Perfmon)。 3.
8–iWARP 配置 在 Windows 上配置 iWARP 图 8-3 显示一个示例。 图 8-3.
8–iWARP 配置 在 Windows 上配置 iWARP 如果 iWARP 流量正在运行，计数器将显示为如图 8-4 示例中所示。 图 8-4. Perfmon：验证 iWARP 流量 注 ? 有关如何在 Windows 中查看 Marvell RDMA 计数器的更多信息，请参 阅 第 135 页上 “ 查看 RDMA 计数器 ”。 4. 要验证 SMB 连接： a. 在命令提示符处，请如下发出 net use 命令： C:\Users\Administrator> net use New connections will be remembered. Status Local Remote Network --------------------------------------------------------OK F: \\192.168.10.10\Share1 Microsoft Windows Network The command completed successfully. b.
8–iWARP 配置 在 Linux 上配置 iWARP Kernel 60 Listener [fe80::e11d:9ab5:a47d:4f0a%56]:445 NA Kernel 60 Listener 192.168.11.20:445 Kernel 60 Listener [fe80::71ea:bdd2:ae41:b95f%60]:445 NA 0 Kernel 60 Listener 192.168.11.20:16159 192.168.11.
8–iWARP 配置 在 Linux 上配置 iWARP RDMA 协议 (p) 值如下： 0— 接受默认值 (RoCE) 1— 无 RDMA 2—RoCE 3—iWARP 例如，要将 04:00.0 所给端口上的接口从 RoCE 更改为 iWARP，请发出以下 命令： # modprobe -v qed rdma_protocol_map=04:00.0-3 3. 发出以下命令加载 RDMA 驱动程序： # modprobe -v qedr 以下示例显示在多个 NPAR 接口上将 RDMA 协议更改为 iWARP 的命令条目： # modprobe qed rdma_protocol_map=04:00.1-3,04:00.3-3,04:00.5-3, 04:00.7-3,04:01.1-3,04:01.3-3,04:01.5-3,04:01.
8–iWARP 配置 在 Linux 上配置 iWARP fw_ver: 8.14.7.
8–iWARP 配置 在 Linux 上配置 iWARP 2. 在一个客户端上，发出以下命令 （在此示例中使用第二个端口）： [root@localhost ~]# ib_send_bw -d qedr1 -F -R 192.168.11.3 ---------------------------------------------------------------------------Send BW Test Dual-port : OFF Device Number of qps : 1 Transport type : IW Connection type : RC Using SRQ TX depth : 128 CQ Moderation : 100 Mtu : 1024[B] Link type : Ethernet GID index : 0 : qedr1 : OFF Max inline data : 0[B] rdma_cm QPs : ON Data ex.
8–iWARP 配置 在 Linux 上配置 iWARP 2. 在 /etc/exports 文件中，对您必须使用服务器上 NFS-RDMA 导出的目 录，创建以下条目： /tmp/nfs-server *(rw,fsid=0,async,insecure,no_root_squash) 确保对您导出的每个目录使用不同的文件系统标识 (FSID)。 3. 请如下加载 svcrdma 模块： # modprobe svcrdma 4. 加载服务如下： 对于 SLES，启用并启动 NFS 服务器别名： # systemctl enable|start|status nfsserver 对于 RHEL，启用并启动 NFS 服务器和服务： # systemctl enable|start|status nfs 5. 请如下在此文件中包括默认 RDMA 端口 20049： # echo rdma 20049 > /proc/fs/nfsd/portlist 6.
8–iWARP 配置 在 Linux 上配置 iWARP 对于 NFS 版本 4： # mount -t nfs4 -o rdma,port=20049 192.168.2.4:/tmp/nfs-server /tmp/nfs-client 注 NFSoRDMA 的默认端口为 20049。但是，与 NFS 客户端对齐的任何 其他端口也将起工作。 4.
9 iSER 配置 本章提供为 Linux （RHEL 和 SLES）和 VMware ESXi 6.7 配置 RDMA 的 iSCSI 扩展 (iSER) 的步骤，包括： 准备工作 第 186 页上 “ 为 RHEL 配置 iSER” 第 189 页上 “ 为 SLES 12 及更高版本配置 iSER” 第 190 页上 “ 在 RHEL 和 SLES 上通过 iWARP 使用 iSER” 第 192 页上 “ 优化 Linux 性能 ” 第 193 页上 “ 在 ESXi 6.7 上配置 iSER” 准备工作 在准备配置 iSER 时，请考虑以下事项： 仅在以下操作系统的内建 OFED 中支持 iSER： RHEL 8.x RHEL 7.6 及更高版本 SLES 12 SP4 及更高版本 SLES 15 SP0 及更高版本 VMware ESXi 6.
9–iSER 配置 为 RHEL 配置 iSER 为 RHEL 配置 iSER 要为 RHEL 配置 iSER： 1. 如第 149 页上 “RHEL 的 RoCE 配置 ” 中所述，安装内建 OFED。 注 iSER 不支持非内建 OFED，因为 ib_isert 模块在非内建 OFED 3.18-2 GA/3.18-3 GA 版本中不可用。内建 ib_isert 模块不能与任何非内建 OFED 版本一起使用。 2. 如第 10 页上 “ 移除 Linux 驱动程序 ” 中所述，卸载任何现有 FastLinQ 驱动 程序。 3. 如第 14 页上 “ 安装包含 RDMA 的 Linux 驱动程序 ” 中所述，安装最新 FastLinQ 驱动程序和 libqedr 软件包。 4. 如下所示加载 RDMA 服务； systemctl start rdma modprobe qedr modprobe ib_iser modprobe ib_isert 5.
9–iSER 配置 为 RHEL 配置 iSER 图 9-1 显示了成功 RDMA ping 操作的示例。 图 9-1. RDMA Ping 操作成功 8. 可以使用 Linux TCM-LIO 目标来测试 iSER。其设置与任何 iSCSI 目标相 同，但要在适用门户上发出命令 enable_iser Boolean=true。门户实例在 图 9-2 中标识为 iser。 图 9-2. iSER 门户实例 9. 使用 yum install iscsi-initiator-utils 命令安装 Linux iSCSI 启动器 公用程序。 a. 要查找 iSER 目标，请发出 iscsiadm 命令。例如： iscsiadm -m discovery -t st -p 192.168.100.
9–iSER 配置 为 RHEL 配置 iSER b. 要将传输模式更改为 iSER，请发出 iscsiadm 命令。例如： iscsiadm -m node -T iqn.2015-06.test.target1 -o update -n iface.transport_name -v iser c. 要连接到或登录到 iSER 目标，请发出 iscsiadm 命令。例如： iscsiadm -m node -l -p 192.168.100.99:3260 -T iqn.2015-06.test.target1 d. 确认目标连接中的 Iface Transport 为 iser，如图 9-3 中所示。发 出 iscsiadm 命令；例如： iscsiadm -m session -P2 图 9-3. Iface 传输确认 e. 要检查新 iSCSI 设备，如图 9-4 中所示，发出 lsscsi 命令。 图 9-4.
9–iSER 配置 为 SLES 12 及更高版本配置 iSER 为 SLES 12 及更高版本配置 iSER 由于 targetcli 没有在 SLES 12 及更高版本上内建，您必须完成以下步骤。 要为 SLES 12 及更高版本配置 iSER： 1. 安装 targetcli。 对于 SLES 12： 从 ISO 映像 （x86_64 和 noarch 位置）定位、复制并安装以下 RPM： lio-utils-4.1-14.6.x86_64.rpm python-configobj-4.7.2-18.10.noarch.rpm python-PrettyTable-0.7.2-8.5.noarch.rpm python-configshell-1.5-1.44.noarch.rpm python-pyparsing-2.0.1-4.10.noarch.rpm python-netifaces-0.8-6.55.x86_64.rpm python-rtslib-2.2-6.6.noarch.rpm python-urwid-1.1.1-6.144.x86_64.rpm targetcli-2.1-3.
9–iSER 配置 在 RHEL 和 SLES 上通过 iWARP 使用 iSER 5. 启动 targetcli 公用程序，然后在 iSER 目标系统上配置您的目标。 注 RHEL 和 SLES 中的 targetcli 版本是不同的。请务必使用合适的后备存 储配置您的目标： RHEL 使用 ramdisk SLES 使用 rd_mcp 在 RHEL 和 SLES 上通过 iWARP 使用 iSER 配置与 RoCE 类似的 iSER 启动器和目标以与 iWARP 一起使用。您可以使用不同 的方法创建 Linux-IO (LIO™) 目标；本节中列出了一种方法。在 SLES 12 和 RHEL 7.x 中的 targetcli 配置可能会由于版本不同而存在一些差异。 要为 LIO 配置目标： 1. 使用 targetcli 公用程序创建 LIO 目标。发出以下命令： # targetcli targetcli shell version 2.1.fb41 Copyright 2011-2013 by Datera, Inc and others.
9–iSER 配置 在 RHEL 和 SLES 上通过 iWARP 使用 iSER 图 9-5 显示 LIO 的目标配置。 图 9-5. LIO 目标配置 要为 iWARP 配置启动器： 1. 要使用端口 3261 查找 iSER LIO 目标，请如下发出 iscsiadm 命令： # iscsiadm -m discovery -t st -p 192.168.21.4:3261 -I iser 192.168.21.4:3261,1 iqn.2017-04.com.org.iserport1.target1 2. 将传输模式更改为 iser，如下所示： # iscsiadm -m node -o update -T iqn.2017-04.com.org.iserport1.target1 -n iface.transport_name -v iser 3. 使用端口 3261 登录到目标： # iscsiadm -m node -l -p 192.168.21.4:3261 -T iqn.2017-04.com.org.iserport1.
9–iSER 配置 优化 Linux 性能 优化 Linux 性能 考虑本节中介绍的以下 Linux 性能配置增强。 将 CPU 配置为最高性能模式 配置内核 sysctl 设置 配置 IRQ 关联设置 配置块设备暂存 将 CPU 配置为最高性能模式 使用以下脚本将 CPU scaling governor 配置为 performance，从而将所有 CPU 设 置为最高性能模式： for CPUFREQ in /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor; do [ -f $CPUFREQ ] || continue; echo -n performance > $CPUFREQ; done 通过发出以下命令，验证所有 CPU 核心是否设置为最高性能模式： cat /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor 配置内核 sysctl 设置 按如下所示设定内核 sysctl 设置： sysctl -w net.ipv4.
9–iSER 配置 在 ESXi 6.
9–iSER 配置 在 ESXi 6.7 上配置 iSER vmk0 Management Network 64 IPv6 fe80::e2db:55ff:fe0c:5f94 e0:db:55:0c:5f:94 1500 65535 true STATIC, PREFERRED defaultTcpipStack 配置 iSER 目标，从而实现与 iSER 启动器的通信。 为 ESXi 6.7 配置 iSER 为 ESXi 6.7 配置 iSER 的步骤： 1. 通过发出以下命令添加 iSER 设备： esxcli rdma iser add esxcli iscsi adapter list Adapter Driver State UID Description ------- ------ ------- ------------- ------------------------------------- vmhba64 iser unbound iscsi.
9–iSER 配置 在 ESXi 6.7 上配置 iSER esxcli iscsi networkportal add -A vmhba67 -n vmk1 esxcli iscsi networkportal list esxcli iscsi adapter get -A vmhba65 vmhba65 Name: iqn.1998-01.com.vmware:localhost.punelab.qlogic.com qlogic.org qlogic.com mv.qlogic.
9–iSER 配置 在 ESXi 6.7 上配置 iSER Console Device: /vmfs/devices/cdrom/mpx.vmhba0:C0:T4:L0 Devfs Path: /vmfs/devices/cdrom/mpx.vmhba0:C0:T4:L0 Vendor: TSSTcorp SCSI Level: 5 Model: DVD-ROM SN-108BB Revis: D150 Is Pseudo: false Status: on Is RDM Capable: false Is Removable: true Is Local: true Is SSD: false Other Names: vml.0005000000766d686261303a343a30 VAAI Status: unsupported naa.6001405e81ae36b771c418b89c85dae0 Device Type: Direct-Access Size: 512 MB Display Name: LIO-ORG iSCSI Disk (naa.
10 iSCSI 配置 本章提供以下 iSCSI 配置信息： iSCSI 引导 第 197 页上 “Windows Server 中的 iSCSI 卸载 ” 第 206 页上 “Linux 环境中的 iSCSI 卸载 ” 注 某些 iSCSI 功能在当前版本中可能并未完全启用。有关详细信息，请参阅 附 录 D 功能约束。 要启用 iSCSI 卸载模式，请参阅位于 https://www.marvell.
10–iSCSI 配置 Windows Server 中的 iSCSI 卸载 通过适当的 iSCSI 卸载许可，可配置具有 iSCSI 功能的 41xxx 系列适配器，以便 从主机处理器卸载 iSCSI 处理。以下各节介绍如何使系统能够充分利用 Marvell 的 iSCSI 卸载功能： 安装 Marvell 驱动程序 安装 Microsoft iSCSI 启动器 配置 Microsoft 启动器以使用 Marvell 的 iSCSI 卸载 iSCSI 卸载常见问题 Windows Server 2012 R2、 2016 和 2019 iSCSI 引导安装 iSCSI 故障转储 安装 Marvell 驱动程序 如第 17 页上 “ 安装 Windows 驱动程序软件 ” 中所述，安装 Windows 驱动程序。 安装 Microsoft iSCSI 启动器 启动 Microsoft iSCSI 启动器小程序。初次启动时，系统会提示自动服务启动。确 认要启动的小程序的选择。 配置 Microsoft 启动器以使用 Marvell 的 iSCSI 卸载 在为
10–iSCSI 配置 Windows Server 中的 iSCSI 卸载 图 10-1. iSCSI 启动器属性，配置页面 c. 在 iSCSI Initiator Name （iSCSI 启动器名称）对话框中，键入新的启 动器 IQN 名称，然后单击 OK （确定）。（图 10-2） 图 10-2.
10–iSCSI 配置 Windows Server 中的 iSCSI 卸载 3. 在 iSCSI Initiator Properties （iSCSI 启动器属性）上，单击 Discovery （查 找）选项卡。 4. 在 Discovery （查找）页面 （图 10-3）的 Target portals （目标门户）下， 单击 Discover Portal （查找门户）。 图 10-3. iSCSI 启动器 - 查找目标门户 5. 在 Discover Target Portal （查找目标门户）对话框 （图 10-4）中： a. 在 IP address or DNS name （IP 地址或 DNS 名称）框中，键入目标 的 IP 地址。 b.
10–iSCSI 配置 Windows Server 中的 iSCSI 卸载 图 10-4. 目标门户 IP 地址 6. 在 Advanced Settings （高级设置）对话框 （图 10-5）中，填写 Connect using （连接方式）下的以下各项： a. 对于 Local adapter（本地适配器），选择 QLogic Adapter （QLogic < 名称或型号 > 适配器）。 b. 对于 Initiator IP （启动器 IP），选择适配器 IP 地址。 c.
10–iSCSI 配置 Windows Server 中的 iSCSI 卸载 图 10-5. 选择启动器 IP 地址 7.
10–iSCSI 配置 Windows Server 中的 iSCSI 卸载 8. 单击 Targets （目标）选项卡，然后在 Targets （目标）页面 （图 10-6） 上，单击 Connect （连接）。 图 10-6.
10–iSCSI 配置 Windows Server 中的 iSCSI 卸载 9. 在 Connect To Target （连接到目标）对话框 （图 10-7）上，单击 Advanced （高级）。 图 10-7. 连接到目标对话框 10. 在 Local Adapter （本地适配器）对话框中，选择 QLogic Adapter （QLogic < 名称或型号 > 适配器），然后单击 OK （确定）。 11. 再次单击 OK （确定）关闭 Microsoft 启动器。 12. 要格式化 iSCSI 分区，请使用磁盘管理器。 注 组合功能的一些限制包括： 组合不支持 iSCSI 适配器。 组合不支持位于引导路径中的 NDIS 适配器。 组合支持不位于 iSCSI 引导路径中的 NDIS 适配器，但仅用于与交 换机无关的 NIC 组类型。 与交换机有关的组合 （IEEE 802.3ad LACP 和通用 / 静态链路聚合 （链路聚合）不能使用与交换机不相关的分区虚拟适配器。 IEEE 标 准要求与交换机相关的组合 （IEEE 802.
10–iSCSI 配置 Windows Server 中的 iSCSI 卸载 iSCSI 卸载常见问题 关于 iSCSI 卸载的一些常见问题包括： 问题： 如何为 iSCSI 卸载分配 IP 地址？ 答案： 使用 QConvergeConsole GUI 中的 Configurations （配置）页面。 问题： 创建到目标的连接时应使用哪些工具？ 答案： 使用 Microsoft iSCSI 软件启动器 （版本 2.
10–iSCSI 配置 Linux 环境中的 iSCSI 卸载 8. 请按照屏幕说明进行操作。 在显示可用于安装的磁盘列表的窗口中，应看到 iSCSI 目标磁盘。此目标是 位于远程 iSCSI 目标中且通过 iSCSI 引导协议连接的磁盘。 9. 要继续 Windows Server 2012 R2/2016 安装，请单击 Next （下一步），然 后按照屏幕说明进行操作。作为安装过程的一部分，服务器将进行多次重新 引导。 10. 您应该在服务器引导至 OS 后，运行驱动程序安装程序以完成 Marvell 驱动 程序和应用程序安装。 iSCSI 故障转储 41xxx 系列适配器 的非卸载和卸载 iSCSI 引导均支持故障转储功能。配置 iSCSI 故障转储生成无需任何额外的配置。 Linux 环境中的 iSCSI 卸载 Marvell FastLinQ 41xxx iSCSI 软件包含一个名为 qedi.ko (qedi) 的内核模块。 qedi 模块依赖于 Linux 内核的其他部分来实现特定功能： qed.
10–iSCSI 配置 Linux 环境中的 iSCSI 卸载 与 bnx2i 的差异 Marvell FastLinQ 41xxx 系列适配器 (iSCSI) 的驱动程序 qedi 与以前 Marvell 8400 系列适配器的 Marvell iSCSI 卸载驱动程序 bnx2i 之间存在一些重要的差异。其中 一些差异包括： qedi 直接绑定至 CNA 公开的 PCI 功能。 qedi 不会位于 net_device 的顶部。 qedi 不依赖于网络驱动程序 （例如 bnx2x 和 cnic）。 qedi 不依赖于 cnic，但依赖于 qed。 qedi 使用 iscsi_boot_sysfs.ko 负责导出 sysfs 中的引导信息，而从 SAN 的 bnx2i 引导依赖于 iscsi_ibft.ko 模块导出引导信息。 配置 qedi.ko qedi 驱动程序自动绑定至 CNA 公开的 iSCSI 功能，且通过 Open-iSCSI 工具进行 目标发现和绑定。此功能和操作与 bnx2i 驱动程序类似。 要加载 qedi.
10–iSCSI 配置 Linux 环境中的 iSCSI 卸载 2. 要验证是否正确检测到 iSCSI 接口，请发出以下命令。在本示例中，检测到 的两个 iSCSI CNA 设备具有 SCSI 主机编号 4 和 5。 # dmesg | grep qedi [0000:00:00.0]:[qedi_init:3696]: QLogic iSCSI Offload Driver v8.15.6.0. .... [0000:42:00.4]:[__qedi_probe:3563]:59: QLogic FastLinQ iSCSI Module qedi 8.15.6.0, FW 8.15.3.0 .... [0000:42:00.4]:[qedi_link_update:928]:59: Link Up event. .... [0000:42:00.5]:[__qedi_probe:3563]:60: QLogic FastLinQ iSCSI Module qedi 8.15.6.0, FW 8.15.3.0 .... [0000:42:00.
10–iSCSI 配置 Linux 环境中的 iSCSI 卸载 6. 使用在 步骤 5 获取的 IQN 登录到 iSCSI 目标。要启动登录过程，请发出以 下命令 （其中命令中最后一个字符为小写字母 “L”）： #iscsiadm -m node -p 192.168.25.100 -T iqn.2003-04.com.sanblaze:virtualun.virtualun.target-0000007 -l Logging in to [iface: qedi.00:0e:1e:c4:e1:6c, target:iqn.2003-04.com.sanblaze:virtualun.virtualun.target-05000007, portal:192.168.25.100,3260] (multiple) Login to [iface: qedi.00:0e:1e:c4:e1:6c, target:iqn.200304.com.sanblaze:virtualun.virtualun.target-05000007, portal:192.168.25.
11 FCoE 配置 本章提供以下以太网光纤信道 (FCoE) 配置信息： 第 210 页上 “ 配置 Linux FCoE 卸载 ” 注 所有 41xxx 系列适配器都支持 FCoE 卸载。某些 FCoE 功能在当前版本中可 能并未完全启用。有关详细信息，请参阅 附录 D 功能约束。 要启用 iSCSI 卸载模式，请参阅位于 https://www.marvell.com/documents/5aa5otcbkr0im3ynera3/ 的 Application Note, Enabling Storage Offloads on Dell and Marvell FastLinQ 41000 Series Adapters。 有关从 SAN 的 FCoE 引导信息，请参阅第 6 章 从 SAN 引导配置。 配置 Linux FCoE 卸载 Marvell FastLinQ 41xxx 系列适配器 FCoE 软件包含一个名为 qedf.ko (qedf) 的内 核模块。 qedf 模块依赖于 Linux 内核的其他部分来实现特定功能： qed.
11–FCoE 配置 配置 Linux FCoE 卸载 本节提供有关 Linux 中 FCoE 卸载的以下信息： qedf 与 bnx2fc 之间的差异 配置 qedf.
11–FCoE 配置 配置 Linux FCoE 卸载 在 Linux 中验证 FCoE 设备 按照以下步骤操作，验证在安装和加载 qedf 内核模块后是否正确检测到 FCoE 设 备。 要在 Linux 中验证 FCoE 设备： 1. 检查 lsmod，验证是否已加载 qedf 和关联的内核模块： # lsmod | grep qedf 69632 1 qedf libfc 143360 2 qedf,libfcoe scsi_transport_fc 65536 2 qedf,libfc qed 806912 1 qedf scsi_mod 262144 14 sg,hpsa,qedf,scsi_dh_alua,scsi_dh_rdac,dm_multipath, scsi_transport_fc,scsi_transport_sas,libfc,scsi_transport_iscsi,scsi_dh_emc, libata,sd_mod,sr_mod 2.
11–FCoE 配置 配置 Linux FCoE 卸载 # lsblk -S NAME HCTL TYPE VENDOR MODEL REV TRAN sdb 5:0:0:0 disk SANBlaze VLUN P2T1L0 V7.3 fc sdc 5:0:0:1 disk SANBlaze VLUN P2T1L1 V7.3 fc sdd 5:0:0:2 disk SANBlaze VLUN P2T1L2 V7.3 fc sde 5:0:0:3 disk SANBlaze VLUN P2T1L3 V7.3 fc sdf 5:0:0:4 disk SANBlaze VLUN P2T1L4 V7.3 fc sdg 5:0:0:5 disk SANBlaze VLUN P2T1L5 V7.3 fc sdh 5:0:0:6 disk SANBlaze VLUN P2T1L6 V7.3 fc sdi 5:0:0:7 disk SANBlaze VLUN P2T1L7 V7.
12 SR-IOV 配置 单根输入 / 输出虚拟化 (SR-IOV) 是一种 PCI SIG 规格，使单个 PCI Express (PCIe) 设备能够显示为多个单独的物理 PCIe 设备。 SR-IOV 允许隔离 PCIe 资源 以实现性能、互操作性和可管理性。 注 某些 SR-IOV 功能在当前版本中可能并未完全启用。 本章提供以下内容的说明： 在 Windows 上配置 SR-IOV 第 221 页上 “ 在 Linux 上配置 SR-IOV” 第 228 页上 “ 在 VMware 上配置 SR-IOV” 在 Windows 上配置 SR-IOV 要在 Windows 上配置 SR-IOV： 1. 访问服务器 BIOS System Setup （BIOS 系统设置），然后单击 System BIOS Settings （系统 BIOS 设置）。 2. 在 System BIOS Settings （系统 BIOS 设置）页面上，单击 Integrated Devices （集成式设备）。 3.
12–SR-IOV 配置 在 Windows 上配置 SR-IOV 图 12-1. SR-IOV 的系统设置：集成式设备 4. 在所选适配器的 Main Configuration Page （主要配置页面）上，单击 Device Level Configuration （设备级配置）。 5. 在 Main Configuration Page - Device Level Configuration （主要配置页面 设备级配置）（图 12-2）上： a. 如果您使用的是 NPAR 模式，请将 Virtualization Mode （虚拟化模 式）设置为 SR-IOV 或 NPAR+SR-IOV。 b. 单击 Back （后退）。 图 12-2. SR-IOV 的系统设置：设备级配置 6. 在 Main Configuration Page （主要配置页面）上，单击 Finish （完成）。 7.
12–SR-IOV 配置 在 Windows 上配置 SR-IOV 8. 在 Success - Saving Changes （成功 - 保存更改）消息框中，单击 OK （确 定）。 9. 要在微型端口适配器上启用 SR-IOV： a. 访问设备管理器。 b. 打开微型端口适配器属性，然后单击 Advanced （高级）选项卡。 c. 在 Advanced （高级）属性页面 （图 12-3）的 Property （属性）下， 选择 SR-IOV，然后将值设置为 Enabled （已启用）。 d. 单击 OK （确定）。 图 12-3. 适配器属性，高级：启用 SR-IOV 10. 要使用 SR-IOV 创建虚拟机交换机 (vSwitch)( 第 217 页上 图 12-4）： a. 启动 Hyper-V 管理器。 b. 选择 Virtual Switch Manager （虚拟交换机管理器）。 c. 在 Name （名称）框中，键入虚拟交换机的名称。 d.
12–SR-IOV 配置 在 Windows 上配置 SR-IOV 注 请确保在创建 vSwitch 时启用 SR-IOV。创建 vSwitch 后此选项 不可用。 图 12-4. 虚拟交换机管理器：启用 SR-IOV f.
12–SR-IOV 配置 在 Windows 上配置 SR-IOV 11. 要获取虚拟机交换机功能，请发出以下 Windows PowerShell 命令： PS C:\Users\Administrator> Get-VMSwitch -Name SR-IOV_vSwitch | fl Get-VMSwitch 命令的输出将包括以下 SR-IOV 功能： 12. IovVirtualFunctionCount : 80 IovVirtualFunctionsInUse : 1 要创建虚拟机 (VM) 并导出 VM 中的虚拟功能 (VF)： a. 创建一个虚拟机。 b. 将 VMNetworkadapter 添加到虚拟机。 c. 将虚拟交换机分配给 VMNetworkadapter。 d.
12–SR-IOV 配置 在 Windows 上配置 SR-IOV 图 12-5. VM 的设置：启用 SR-IOV 13.
12–SR-IOV 配置 在 Windows 上配置 SR-IOV 安装驱动程序后，适配器在 VM 中列出。图 12-6 显示一个示例。 图 12-6. 设备管理器：带 QLogic 适配器的 VM 14. 要查看 SR-IOV VF 详细信息，请发出以下 Windows PowerShell 命令： PS C:\Users\Administrator> Get-NetadapterSriovVf 图 12-7 显示示例输出。 图 12-7.
12–SR-IOV 配置 在 Linux 上配置 SR-IOV 在 Linux 上配置 SR-IOV 要在 Linux 上配置 SR-IOV： 1. 访问服务器 BIOS System Setup （BIOS 系统设置），然后单击 System BIOS Settings （系统 BIOS 设置）。 2. 在 System BIOS Settings （系统 BIOS 设置）页面上，单击 Integrated Devices （集成式设备）。 3. 在 System Integrated Devices （系统集成式设备）页面 （请参阅第 215 页 上 图 12-1）上： a. 将 SR-IOV Global Enable （SR-IOV 全局启用）选项设置为 Enabled （已启用）。 b. 单击 Back （后退）。 4. 在 System BIOS Settings （系统 BIOS 设置）页面上，单击 Processor Settings （处理器设置）。 5. 在 Processor Settings （处理器设置）（图 12-8）页面上： a.
12–SR-IOV 配置 在 Linux 上配置 SR-IOV 图 12-8. 系统设置：SR-IOV 的处理器设置 6. 在 System Setup （系统设置）页面上，选择 Device Settings （设备设 置）。 7. 在 Device Settings （设备设置）页面中，为 Marvell 适配器选择 Port 1 （端 口 1）。 8. 在 Device Level Configuration （设备级配置）页面 （图 12-9）上： a. 将 Virtualization Mode （虚拟化模式）设置为 SR-IOV。 b. 单击 Back （后退）。 图 12-9.
12–SR-IOV 配置 在 Linux 上配置 SR-IOV 9. 在 Main Configuration Page （主要配置页面）上，单击 Finish （完成）， 保存设置，然后重新引导系统。 10. 要启用并验证虚拟化： a. 打开 grub.conf 文件并配置 iommu 参数，如图 12-10 中所示。（有 关详细信息，请参阅 第 227 页上 “ 启用以基于 UEFI 的 Linux OS 安装 中 SR-IOV 的 IOMMU”。） 对于基于英特尔的系统，请添加 intel_iommu=on。 对于基于 AMD 的系统，请添加 amd_iommu=on。 图 12-10. 为 SR-IOV 编辑 grub.conf 文件 b. 保存 grub.conf 文件，然后重新引导系统。 c. 要验证更改是否已生效，请发出以下命令： dmesg | grep -i iommu 应显示成功的输入 - 输出内存管理单元 (IOMMU) 命令输出，例如； Intel-IOMMU: enabled d.
12–SR-IOV 配置 在 Linux 上配置 SR-IOV 11. 对于特定端口，将启用 VF 数量。 a. 请发出以下命令启用，例如在 PCI 实例 04:00.0 （总线 4，设备 0，功 能 0）上启用 8 个 VF： [root@ah-rh68 ~]# echo 8 > /sys/devices/pci0000:00/0000:00:02.0/0000:04:00.0/ sriov_numvfs b. 查看命令输出 ( 图 12-11) 以确认通过 7 在总线 4，设备 2 （0000:00:02.0 参数），功能 0 中已创建有实际 VF。请注意 PF （在此 示例中 ID 为 8070) 上的实际设备 ID 与 VF （在此示例中 ID 为 8090） 上的不同。 图 12-11. sriov_numvfs 的命令输出 12.
12–SR-IOV 配置 在 Linux 上配置 SR-IOV 图 12-12 显示示例输出。 图 12-12. ip link show 命令的命令输出 13. 分配并验证 MAC 地址： a. 要将 MAC 地址分配给 VF，请发出以下命令： ip link set vf mac b.
12–SR-IOV 配置 在 Linux 上配置 SR-IOV 14. 关闭 VM 的电源并连接 VF。（某些 OS 支持热插拔 VF 到 VM。） a. 在 Virtual Machine （虚拟机）对话框 （图 12-13）中，单击 Add Hardware （添加硬件）。 图 12-13. RHEL68 虚拟机 b. 在 Add New Virtual Hardware （添加新虚拟硬件）对话框 （图 12-14） 的左侧窗格中，单击 PCI Host Device （PCI 主机设备）。 c. 在右侧窗格中，选择一个主机设备。 d.
12–SR-IOV 配置 在 Linux 上配置 SR-IOV 图 12-14. 添加新虚拟硬件 15. 打开 VM 的电源，然后发出以下命令： check lspci -vv|grep -I ether 16. 为 VM 中检测到的适配器安装驱动程序。为主机 OS 使用可从供应商处获得 的最新驱动程序 （请勿使用内建驱动程序）。主机和 VM 上必须安装相同的 驱动程序版本。 17. 根据需要，在 VM 中添加更多 VF。 启用以基于 UEFI 的 Linux OS 安装中 SR-IOV 的 IOMMU 请对 Linux OS 执行正确的步骤。 注 对于 AMD 系统，替换 intel_iommu=on 为 amd_iommu=on。 要在 RHEL 6.x 上启用 SR-IOV 的 IOMMU： 在 /boot/efi/EFI/redhat/grub.conf 文件中，定位内核行，并附加 intel_iommu=on 引导参数。 要在 RHEL 7.x 及其更高版本上启用 SR-IOV 的 IOMMU： 1.
12–SR-IOV 配置 在 VMware 上配置 SR-IOV 要在 SLES 12.x 上启用 SR-IOV 的 IOMMU： 1. 在 /etc/default/grub 文件中，定位 GRUB_CMDLINE_LINUX_DEFAULT， 然后附加 intel_iommu=on 引导参数。 2. 要升级 grub 配置文件，请发出以下命令： grub2-mkconfig -o /boot/grub2/grub.cfg 要在 SLES 15.x 及其更高版本上启用 SR-IOV 的 IOMMU： 1. 在 /etc/default/grub 文件中，定位 GRUB_CMDLINE_LINUX_DEFAULT， 然后附加 intel_iommu=on 引导参数。 2. 要升级 grub 配置文件，请发出以下命令： grub2-mkconfig -o /boot/efi/EFI/sles/grub.cfg 在 VMware 上配置 SR-IOV 要在 VMware 上配置 SR-IOV： 1.
12–SR-IOV 配置 在 VMware 上配置 SR-IOV 8. 保存配置设置并重新引导系统。 9. 要启用每一端口 VF 所需数量 （在此示例中，双端口适配器的每一端口数量 为 16），请发出以下命令： "esxcfg-module -s "max_vfs=16,16" qedentv" 注 41xxx 系列适配器 的每一以太网功能必须有其各自条目。 10. 重新引导主机。 11. 要验证模块级别的更改是否已完成，请发出以下命令： "esxcfg-module -g qedentv" [root@localhost:~] esxcfg-module -g qedentv qedentv enabled = 1 options = 'max_vfs=16,16' 12. 要验证是否创建了实际 VF，请发出 lspci 命令如下： [root@localhost:~] lspci | grep -i QLogic | grep -i 'ethernet\|network' | more 0000:05:00.0 Network controller: QLogic Corp.
12–SR-IOV 配置 在 VMware 上配置 SR-IOV 0000:05:0e.3 Network controller: QLogic Corp. QLogic FastLinQ QL41xxx Series 10/25 GbE Controller (SR-IOV VF) [PF_0.5.1_VF_3] . . . 0000:05:0f.6 Network controller: QLogic Corp. QLogic FastLinQ QL41xxx Series 10/25 GbE Controller (SR-IOV VF) [PF_0.5.1_VF_14] 0000:05:0f.7 Network controller: QLogic Corp. QLogic FastLinQ QL41xxx Series 10/25 GbE Controller (SR-IOV VF) [PF_0.5.1_VF_15] 13. 14. 请执行以下操作将 VF 连接到 VM： a. 关闭 VM 的电源并连接 VF。（某些 OS 支持热插拔 VF 到 VM。） b.
12–SR-IOV 配置 在 VMware 上配置 SR-IOV 图 12-15. VMware 主机编辑设置 15. 要验证每个端口的 VF，请如下发出 esxcli 命令： [root@localhost:~] esxcli network sriovnic vf list -n vmnic6 VF ID Active PCI Address Owner World ID ----- ------ ----------- -------------- 0 true 005:02.0 60591 1 true 005:02.
12–SR-IOV 配置 在 VMware 上配置 SR-IOV 2 false 005:02.2 - 3 false 005:02.3 - 4 false 005:02.4 - 5 false 005:02.5 - 6 false 005:02.6 - 7 false 005:02.7 - 8 false 005:03.0 - 9 false 005:03.1 - 10 false 005:03.2 - 11 false 005:03.3 - 12 false 005:03.4 - 13 false 005:03.5 - 14 false 005:03.6 - 15 false 005:03.7 - 16. 为 VM 中检测到的适配器安装 Marvell 驱动程序。为主机 OS 使用可从供应 商处获得的最新驱动程序 （请勿使用内建驱动程序）。主机和 VM 上必须安 装相同的驱动程序版本。 17.
13 使用 RDMA 的 NVMe-oF 配置 结构上的非易失性存储器表示 (NVMe-oF) 允许使用到 PCIe 的备用通路，以扩展 NVMe 主机设备和 NVMe 存储驱动器或子系统可以连接的距离。NVMe-oF 定义了 一个通用体系结构，它支持一系列存储网络结构，用于存储网络结构之上的 NVMe 块存储协议。该体系结构包括在存储系统中启用前端接口，扩展到大量 NVMe 设备，以及在数据中心内延长 NVMe 设备和 NVMe 子系统可访问的距离。 本章介绍的 NVMe-oF 配置步骤和选项适用于基于以太网的 RDMA 协议，包括 RoCE 和 iWARP。包含 RDMA 的 NVMe-oF 的开发由 NVMe 组织的技术小组定 义。 本章演示如何在针对简单的网络上配置 NVMe-oF。示例网络 包括以下内容： 两台服务器：启动器服务器和目标服务器。目标服务器配备 PCIe SSD 驱动器。 操作系统：RHEL 7.6 及更高版本， RHEL 8.x 及更高版本， SLES 15.
13– 使用 RDMA 的 NVMe-oF 配置 图 13-1 图示了示例网络。 41xxx 系列适配器 41xxx 系列适配器 图 13-1.
13– 使用 RDMA 的 NVMe-oF 配置 在两台服务器上安装设备驱动程序 在两台服务器上安装设备驱动程序 安装操作系统 (SLES 12 SP3) 后，请在两台服务器上安装设备驱动程序。要将内 核升级到最新的 Linux 上游内核，请转至： https://www.kernel.org/pub/linux/kernel/v4.x/ 1. 按照 README 中的所有安装说明安装并加载最新的 FastLinQ 驱动程序 （qed、 qede、 libqedr/qedr）。 2. （可选）如果您升级了 OS 内核，则必须重新安装并加载最新的驱动程序， 如下所示： a. 按照 README 中的所有安装说明安装最新的 FastLinQ 固件 b.
13– 使用 RDMA 的 NVMe-oF 配置 配置目标服务器 3. 启用并启动 RDMA 服务，如下所示： # systemctl enable rdma.service # systemctl start rdma.service 忽略 RDMA Service Failed 错误。qedr 所需的所有 OFED 模块已经加载。 配置目标服务器 重新引导过程后配置目标服务器。服务器运行后，不重新引导无法更改配置。如果 您在使用启动脚本来配置目标服务器，请考虑根据需要暂停脚本 （使用 wait 命 令或类似的命令），以确保每个命令在执行下一个命令之前完成。 配置目标服务： 1. 加载目标模块。每次服务器重新引导后发出以下命令： # modprobe qedr # modprobe nvmet; modprobe nvmet-rdma # lsmod | grep nvme ( 确认模块已加载 ) 2. 使用由 指示的名称创建目标子系统 NVMe 限定名 称 (NQN)。使用 NVMe-oF 规范；例如 nqn.-.org.
13– 使用 RDMA 的 NVMe-oF 配置 配置启动器服务器 表 13-1. 目标参数 ( 续 ) 命令 说明 # echo 1 > namespaces/1/enable 启用命名空间。 # mkdir /sys/kernel/config/nvmet/ ports/1 创建 NVMe 端口 1。 # cd /sys/kernel/config/nvmet/ports/1 # echo 1.1.1.1 > addr_traddr 设置相同的 IP 地址。例如， 1.1.1.1 是 41xxx 系列 适配器的目标端口的 IP 地址。 # echo rdma > addr_trtype 设置传输类型 RDMA。 # echo 4420 > addr_trsvcid 设置 RDMA 端口号。 NVMe-oF 的套接字端口号通 常为 4420。但是，如果在整个配置中始终使用端 口号，则可以使用任何端口号。 # echo ipv4 > addr_adrfam 设置 IP 地址类型。 5.
13– 使用 RDMA 的 NVMe-oF 配置 配置启动器服务器 2. 下载、编译并安装 nvme-cli 启动器公用程序。在第一次配置时发出这些命 令 — 每次重新引导后不需要发出这些命令。 # git clone https://github.com/linux-nvme/nvme-cli.git # cd nvme-cli # make && make install 3. 验证安装版本如下： # nvme version 4. 按照以下方式发现 NVMe-oF 目标： # nvme discover -t rdma -a 1.1.1.1 -s 1023 记下已发现目标 ( 图 13-2) 的子系统 NQN (subnqn) 用于步骤 5。 图 13-2. 子系统 NQN 5. 使用 NQN 连接到发现的 NVMe-oF 目标 （nvme-qlogic-tgt1）。每次服务 器重新引导后发出以下命令。例如： # nvme connect -t rdma -n nvme-qlogic-tgt1 -a 1.1.1.1 -s 1023 6.
13– 使用 RDMA 的 NVMe-oF 配置 预处理目标服务器 图 13-3 显示一个示例。 图 13-3. 确认 NVMe-oF 连接 预处理目标服务器 开箱即用的 NVMe 目标服务器显示的性能高于预期。在运行基准测试之前，需要 预填充或预处理目标服务器。 要预处理目标服务器： 1. 使用供应商特定工具安全擦除目标服务器 （类似于格式化）。此测试示例使 用 Intel NVMe SSD 设备，该设备需要以下链接提供的 Intel 数据中心工具： https://downloadcenter.intel.com/download/23931/Intel-Solid-State-DriveData-Center-Tool 2.
13– 使用 RDMA 的 NVMe-oF 配置 测试 NVMe-oF 设备 # yum install fio 图 13-4. FIO 公用程序安装 2. 运行 FIO 公用程序来测量启动器 NVMe-oF 设备的延迟。发出以下命令： # fio --filename=/dev/nvme0n1 --direct=1 --time_based --rw=randread --refill_buffers --norandommap --randrepeat=0 --ioengine=libaio --bs=4k --iodepth=1 --numjobs=1 --runtime=60 --group_reporting --name=temp.out FIO 报告两种延迟类型：提交和完成。提交延迟 (slat) 测量应用程序到内核 的延迟。完成延迟 (clat) 测量端到端的内核延迟。业界公认的方法是在第 99.00 范围内读取 clat 百分位数。 在本示例中，启动器设备 NVMe-oF 的延迟为 30µsec。 3.
13– 使用 RDMA 的 NVMe-oF 配置 优化性能 优化性能 要优化启动器服务器和目标服务器的性能： 1. 配置以下系统 BIOS 设置： 2. Power Profiles ='Max Performance' 或等价对象 ALL C-States = Disabled （已禁用） Hyperthreading = Disabled （已禁用） 通过编辑 grub 文件 (/etc/default/grub) 配置 Linux 内核参数。 a. 将参数添加到行 GRUB_CMDLINE_LINUX 的结尾： GRUB_CMDLINE_LINUX="nosoftlockup intel_idle.max_cstate=0 processor.max_cstate=1 mce=ignore_ce idle=poll" b. 保存 grub 文件。 c. 重建 grub 文件。 要为旧版 BIOS 引导重建 grub 文件，请发出以下命令： # grub2-mkconfig -o /boot/grub2/grub.
13– 使用 RDMA 的 NVMe-oF 配置 优化性能 .IRQ 关联 (multi_rss-affin.
13– 使用 RDMA 的 NVMe-oF 配置 优化性能 CPU 频率 (cpufreq.sh) 以下脚本设置 CPU 频率。 #Usage "./nameofscript.sh" grep -E '^model name|^cpu MHz' /proc/cpuinfo cat /sys/devices/system/cpu/cpu0/cpufreq/scaling_governor for CPUFREQ in /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor; do [ -f $CPUFREQ ] || continue; echo -n performance > $CPUFREQ; done cat /sys/devices/system/cpu/cpu0/cpufreq/scaling_governor 要配置网络或内存设置： sysctl -w net.ipv4.tcp_mem="16777216 16777216 16777216" sysctl -w net.ipv4.
14 VXLAN 配置 本章提供以下内容的说明： 在 Linux 上配置 VXLAN 第 246 页上 “ 在 VMware 中配置 VXLAN” 第 247 页上 “ 在 Windows Server 2016 中配置 VXLAN” 在 Linux 上配置 VXLAN 要在 Linux 上配置 VXLAN： 1. 下载、提取并配置 openvswitch （开放虚拟交换机， OVS）原始码。 a. 从以下地址下载正确的 openvswitch 版本： http://www.openvswitch.org/download/ b. 通过导航至下载 openvswitch 版本的目录，并发出以下命令来提取原始 码： ./configure; make; make install （编译） c.
14–VXLAN 配置 在 Linux 上配置 VXLAN 2. 创建桥接。 a. 要配置主机 1，请发出以下命令： ovs-vsctl add-br br0 ovs-vsctl add-br br1 ovs-vsctl add-port br0 eth0 ifconfig eth0 0 && ifconfig br0 192.168.1.10 netmask 255.255.255.0 route add default gw 192.168.1.1 br0 ifconfig br1 10.1.2.10 netmask 255.255.255.0 ovs-vsctl add-port br1 vx1 -- set interface vx1 type=vxlan options:remote_ip=192.168.1.11 （对等机 IP 地址） b.
14–VXLAN 配置 在 VMware 中配置 VXLAN 4. 配置桥接作为 VM 的直通，然后检查 VM 与对等机之间的连接。 a. 通过虚拟交换机管理器创建 VM。 b. 由于没有选项可通过虚拟交换机管理器连接桥接 br1，请执行以下操 作更改 xml 文件： 发出以下命令： command: virsh edit vm1 添加以下代码： c.
14–VXLAN 配置 在 Windows Server 2016 中配置 VXLAN https://pubs.vmware.com/nsx-63/topic/com.vmware.nsx.troubleshooting.doc/GUI D-EA1DB524-DD2E-4157-956E-F36BDD20CDB2.html https://communities.vmware.com/api/core/v3/attachments/124957/data 在 Windows Server 2016 中配置 VXLAN Windows Server 2016 中的 VXLAN 配置包括： 在适配器上启用 VXLAN 卸载 部署软件定义网络 (SDN) 在适配器上启用 VXLAN 卸载 要在适配器上启用 VXLAN 卸载： 1. 打开微型端口属性，然后单击 Advanced （高级）选项卡。 2.
14–VXLAN 配置 在 Windows Server 2016 中配置 VXLAN 部署软件定义网络 (SDN) 要利用虚拟机上的 VXLAN 封装任务卸载，必须部署使用 Microsoft 网络控制器的 软件定义网络 (SDN) 堆栈。 有关更多详细信息，请参阅有关软件定义网络的以下 Microsoft TechNet 链接： https://technet.microsoft.
15 Windows Server 2016 本章提供有关 Windows Server 2016 的以下信息： 使用 Hyper-V 配置 RoCE 接口 第 255 页上 “Switch Embedded Teaming 上的 RoCE” 第 256 页上 “ 为 RoCE 配置 QoS” 第 265 页上 “ 配置 VMMQ” 第 269 页上 “ 配置 Storage Spaces Direct” 使用 Hyper-V 配置 RoCE 接口 在 Windows Server 2016 中，使用网络直接内核提供商接口 (NDKPI) 模式 2 的 Hyper-V 主机虚拟网络适配器 （主机虚拟 NIC）支持 RDMA。 注 Hyper-V 上的 RoCE 需要 DCBX。要配置 DCBX： 通过 HII 配置 （请参阅第 128 页上 “ 准备适配器 ”）。 使用 QoS 配置 （请参阅第 256 页上 “ 为 RoCE 配置 QoS”）。 本节中的 RoCE 配置步骤包括： 创建带 RDMA NIC 的 Hyper-V 虚拟交换机 将
15–Windows Server 2016 使用 Hyper-V 配置 RoCE 接口 创建带 RDMA NIC 的 Hyper-V 虚拟交换机 按照本节中的步骤操作以创建 Hyper-V 虚拟交换机，然后在主机 VNIC 中启用 RDMA。 要创建带 RDMA 虚拟 NIC 的 Hyper-V 虚拟交换机： 1. 在所有物理接口上，将 NetworkDirect Functionality （网络直接功能）参 数的值设为 Enabled （已启用）。 2. 启动 Hyper-V 管理器。 3. 单击 Virtual Switch Manager （虚拟交换机管理器）（请参阅图 15-1）。 图 15-1. 在主机虚拟 NIC 中启用 RDMA 4. 创建一个虚拟交换机。 5.
15–Windows Server 2016 使用 Hyper-V 配置 RoCE 接口 3. 在 Advanced （高级）页面 （图 15-2）上： a. 在 Property （属性）下，选择 Network Direct (RDMA)。 b. 在 Value （值）下，选择 Enabled （启用）。 c. 单击 OK （确定）。 图 15-2. Hyper-V 虚拟以太网适配器属性 4. 要通过 PowerShell 启用 RDMA，请发出以下 Windows PowerShell 命令： PS C:\Users\Administrator> Enable-NetAdapterRdma "vEthernet (New Virtual Switch)" PS C:\Users\Administrator> 将 vLAN ID 添加到主机虚拟 NIC 要将 vLAN ID 添加到主机虚拟 NIC： 1. 要查找主机虚拟 NIC 名称，请发出以下 Windows PowerShell 命令： PS C:\Users\Administrator> Get-VMNetworkAdapte
15–Windows Server 2016 使用 Hyper-V 配置 RoCE 接口 图 15-3 显示命令输出。 图 15-3. Windows PowerShell 命令：Get-VMNetworkAdapter 2. 要设置主机虚拟 NIC 的 vLAN ID，请发出以下 Windows PowerShell 命令： PS C:\Users\Administrator> Set-VMNetworkAdaptervlan -VMNetworkAdapterName "New Virtual Switch" -VlanId 5 -Access -ManagementOS 注 请注意关于将 vLAN ID 添加到主机虚拟 NIC 的以下事项： 必须为主机虚拟 NIC 分配一个 vLAN ID。必须为交换机上端口分配 相同的 vLAN ID。 将主机虚拟 NIC 用于 RoCE 时，确保 vLAN ID 没有分配给物理接 口。 如果创建多个主机虚拟 NIC，可以为每个主机虚拟 NIC 分配不同的 vLAN。 验证 RoCE 是否启用 要验证 RoCE 是否启用： 发出以下 Win
15–Windows Server 2016 使用 Hyper-V 配置 RoCE 接口 添加主机虚拟 NIC （虚拟端口） 要添加主机虚拟 NIC： 1. 要添加主机虚拟 NIC，请发出以下命令： Add-VMNetworkAdapter -SwitchName "New Virtual Switch" -Name SMB - ManagementOS 2. 在主机虚拟 NIC 上启用 RDMA，如第 250 页上 “ 要在主机虚拟 NIC 中启用 RDMA：” 中所示。 3. 要将 vLAN ID 分配给虚拟端口，请发出以下命令： Set-VMNetworkAdapterVlan -VMNetworkAdapterName SMB -VlanId 5 -Access -ManagementOS 映射 SMB 驱动器和运行 RoCE 流量 要映射 SMB 驱动器和运行 RoCE 流量： 1. 启动性能监视器 (Perfmon)。 2. 填写 Add Counters （添加计数器）对话框 （图 15-5）如下： a.
15–Windows Server 2016 使用 Hyper-V 配置 RoCE 接口 图 15-5. 添加计数器对话框 如果 RoCE 流量正在运行，计数器将显示为如图 15-6 中所示。 图 15-6.
15–Windows Server 2016 Switch Embedded Teaming 上的 RoCE Switch Embedded Teaming 上的 RoCE Switch Embedded Teaming (SET) 是 Microsoft 的备选 NIC 组合解决方案，可在 Windows Server 2016 Technical Preview 中包括 Hyper-V 和软件定义网络 (SDN) 堆栈的环境中使用。 SET 将受限的 NIC 组合功能集成到 Hyper-V 虚拟交换机中。 使用 SET 将一到八个物理以太网络适配器分组为一个或多个基于软件的虚拟网络 适配器。如果网络适配器发生故障，这些适配器可提供快速性能和容错。 SET 成 员网络适配器必须均安装在同一物理 Hyper-V 主机中方可放在一个组中。 本节中包括以下 SET 上的 RoCE 步骤： 创建带 SET 和 RDMA 虚拟 NIC 的 Hyper-V 虚拟交换机 在 SET 上启用 RDMA 在 SET 上分配 vLAN ID 在 SET 上运行 RDMA 流量 创建带 SET
15–Windows Server 2016 为 RoCE 配置 QoS 图 15-8 显示命令输出。 图 15-8. Windows PowerShell 命令：Get-NetAdapter 2. 要在 SET 上启用 RDMA，请发出以下 Windows PowerShell 命令： PS C:\Users\Administrator> Enable-NetAdapterRdma "vEthernet (SET)" 在 SET 上分配 vLAN ID 要在 SET 上分配 vLAN ID： 要在 SET 上分配 vLAN ID，请发出以下 Windows PowerShell 命令： PS C:\Users\Administrator> Set-VMNetworkAdapterVlan -VMNetworkAdapterName "SET" -VlanId 5 -Access -ManagementOS 注 请注意将 vLAN ID 添加到主机虚拟 NIC 时的以下事项： 将主机虚拟 NIC 用于 RoCE 时，确保 vLAN ID 没有分配给物理接口。 如果创建多个主机虚拟 NI
15–Windows Server 2016 为 RoCE 配置 QoS 通过在适配器上禁用 DCBX 配置 QoS 通过在适配器上禁用 DCBX 配置 QoS 之前，必须完成所有使用中系统的所有配 置。基于优先级的流控制 (PFC)、增强的转换服务 (ETS) 和流量类配置在交换机 和服务器上必须相同。 要通过禁用 DCBX 配置 QoS： 1. 在适配器上禁用 DCBX。 2. 使用 HII，将 RoCE Priority （RoCE 优先级）设置为 0。 3. 要在主机中安装 DCB 角色，请发出以下 Windows PowerShell 命令： PS C:\Users\Administrators> Install-WindowsFeature Data-Center-Bridging 4. 要将 DCBX Willing （DCBX 愿意）模式设置为 False （假），请发出以下 Windows PowerShell 命令： PS C:\Users\Administrators> set-NetQosDcbxSetting -Willing 0 5.
15–Windows Server 2016 为 RoCE 配置 QoS 图 15-9. 高级属性：启用 QoS 6. 请如下所示将 vLAN ID 分配给接口： a. 打开微型端口属性，然后单击 Advanced （高级）选项卡。 b. 在适配器属性的 Advanced （高级）页面 （图 15-10）的 Property （属性）下，选择 VLAN ID，然后设置值。 c.
15–Windows Server 2016 为 RoCE 配置 QoS 图 15-10. 高级属性：设置 VLAN ID 7. 要基于特定优先级为 RoCE 启用 PFC，请发出以下命令： PS C:\Users\Administrators> Enable-NetQoSFlowControl -Priority 5 注 如果通过 Hyper-V 配置 RoCE，请勿将 vLAN ID 分配给物理接口。 8. 要基于任何其他优先级禁用优先级流控制，请发出以下命令： PS C:\Users\Administrator> Disable-NetQosFlowControl 0,1,2,3,4,6,7 PS C:\Users\Administrator> Get-NetQosFlowControl Priority Enabled PolicySet IfIndex IfAlias -------- ------- --------- ------- ------- 0 False Global 1 False Global 2 False Global 3 Fals
15–Windows Server 2016 为 RoCE 配置 QoS 5 True Global 6 False Global 7 False Global 9. 要为每种类型的流量配置 QoS 和分配相关的优先级，请发出以下命令 （其 中，优先级 5 标记用于 RoCE 而优先级 0 标记用于 TCP）： PS C:\Users\Administrators> New-NetQosPolicy "SMB" -NetDirectPortMatchCondition 445 -PriorityValue8021Action 5 -PolicyStore ActiveStore PS C:\Users\Administrators> New-NetQosPolicy "TCP" -IPProtocolMatchCondition TCP -PriorityValue8021Action 0 -Policystore ActiveStore PS C:\Users\Administrator> Get-NetQosPolicy -PolicyStore activestore Name
15–Windows Server 2016 为 RoCE 配置 QoS Name Algorithm Bandwidth(%) Priority ---- --------- ------------ -------- PolicySet --------- [Default] ETS 20 1-4,6-7 Global RDMA class ETS 50 5 Global TCP class ETS 30 0 Global 11. IfIndex IfAlias ------- ------- 要查看之前配置的网络适配器 QoS，请发出以下 Windows PowerShell 命 令： PS C:\Users\Administrator> Get-NetAdapterQos Name : SLOT 4 Port 1 Enabled : True Capabilities : Hardware Current -------- ------- MacSecBypass : NotSupported NotSupported DcbxS
15–Windows Server 2016 为 RoCE 配置 QoS 注 如果交换机无法指定 RoCE 流量，您可能需要将 RoCE Priority （RoCE 优先级）设为交换机使用的值。 Arista® 交换机可以，但有些其 他的交换机不行。 3. 要在主机中安装 DCB 角色，请发出以下 Windows PowerShell 命令： PS C:\Users\Administrators> Install-WindowsFeature Data-Center-Bridging 注 对于此配置，将 DCBX Protocol （DCBX 协议）设置为 CEE。 4. 要将 DCBX Willing （DCBX 愿意）模式设置为 True （真），请发出以下命 令： PS C:\Users\Administrators> set-NetQosDcbxSetting -Willing 1 5. 请如下在微型端口属性中启用 QoS： a.
15–Windows Server 2016 为 RoCE 配置 QoS 图 15-11. 高级属性：启用 QoS 6. 请如下将 vLAN ID 分配给接口 （PFC 需要）： a. 打开微型端口属性，然后单击 Advanced （高级）选项卡。 b. 在适配器属性的 Advanced （高级）页面 （图 15-12）的 Property （属性）下，选择 VLAN ID，然后设置值。 c.
15–Windows Server 2016 为 RoCE 配置 QoS 图 15-12. 高级属性：设置 VLAN ID 7. 要配置交换机，请发出以下 Windows PowerShell 命令： PS C:\Users\Administrators> Get-NetAdapterQoS Name : Ethernet 5 Enabled : True Capabilities : Hardware Current -------- ------- MacSecBypass : NotSupported NotSupported DcbxSupport : CEE NumTCs(Max/ETS/PFC) : 4/4/4 OperationalTrafficClasses OperationalFlowControl : TC TSA Bandwidth Priorities -- --- --------- ---------- 0 ETS 5% 0-4,6-7 1 ETS 95% 5 CEE 4/4/4 : Priority 5 Enabled
15–Windows Server 2016 配置 VMMQ OperationalClassifications : Protocol Port/Type Priority -------- --------- -------- NetDirect 445 RemoteTrafficClasses 5 : TC TSA Bandwidth Priorities -- --- --------- ---------- 0 ETS 5% 0-4,6-7 1 ETS 95% 5 RemoteFlowControl : Priority 5 Enabled RemoteClassifications : Protocol Port/Type Priority -------- --------- -------- NetDirect 445 5 注 上例为适配器端口连接到 Arista 7060X 交换机时采用。在此示例中，交换 机 PFC 启用为优先级 5。 RoCE App TLV 已定义。两个流量类定义为 TC0 和 TC1，其中 TC1 定义用于 RoCE
15–Windows Server 2016 配置 VMMQ 在适配器上启用 VMMQ 要在适配器上启用 VMMQ： 1. 打开微型端口属性，然后单击 Advanced （高级）选项卡。 2. 在适配器属性的 Advanced （高级）页面 （图 15-13）的 Property （属性） 下，选择 Virtual Switch RSS （虚拟交换机 RSS），然后将值设置为 Enabled （已启用）。 3. 单击 OK （确定）。 图 15-13. 高级属性：启用虚拟交换机 RSS 创建带或不带 SR-IOV 的虚拟机交换机 要创建带或不带 SR-IOV 的虚拟机交换机： 1. 启动 Hyper-V 管理器。 2. 选择 Virtual Switch Manager （虚拟交换机管理器）（请参阅图 15-14）。 3. 在 Name （名称）框中，键入虚拟交换机的名称。 4. 在 Connection type （连接类型）下： a. 单击 External network （外部网络）。 b.
15–Windows Server 2016 配置 VMMQ 图 15-14. 虚拟交换机管理器 5. 单击 OK （确定）。 在虚拟机交换机上启用 VMMQ 要在虚拟机交换机上启用 VMMQ： 发出以下 Windows PowerShell 命令： PS C:\Users\Administrators> Set-VMSwitch -name q1 -defaultqueuevmmqenabled $true -defaultqueuevmmqqueuepairs 4 267 AH0054602-05 M
15–Windows Server 2016 配置 VMMQ 获取虚拟机交换机功能 要获取虚拟机交换机功能： 发出以下 Windows PowerShell 命令： PS C:\Users\Administrator> Get-VMSwitch -Name ql | fl 图 15-15 显示示例输出。 图 15-15. Windows PowerShell 命令：Get-VMSwitch 创建 VM 并在 VM 中的 VMNetworkAdapters 上启用 VM 要创建虚拟机 (VM) 并在 VM 的 VMNetworkadapter 中启用 VMMQ： 1. 创建 VM。 2. 将 VMNetworkadapter 添加到 VM。 3. 将虚拟交换机分配给 VMNetworkadapter。 4. 要在 VM 上启用 VMMQ，请发出以下 Windows PowerShell 命令： PS C:\Users\Administrators> set-vmnetworkadapter -vmname vm1 -VMNetworkAdapterName "network adap
15–Windows Server 2016 配置 Storage Spaces Direct 在管理 NIC 上启用和禁用 VMMQ 要在管理 NIC 上启用或禁用 VMMQ： 要在管理 NIC 上启用 VMMQ，请发出以下命令： PS C:\Users\Administrator> Set-VMNetworkAdapter –ManagementOS –vmmqEnabled $true 要在管理 NIC 上禁用 VMMQ，请发出以下命令： PS C:\Users\Administrator> Set-VMNetworkAdapter –ManagementOS –vmmqEnabled $false VMMQ 也适用于多播优先打开最短路径 (MOSPF)。 监测流量统计信息 要监测虚拟机中的虚拟功能流量，请发出以下 Windows PowerShell 命令： PS C:\Users\Administrator> Get-NetAdapterStatistics | fl 注 Marvell 支持使用 Windows Server 2016 和 Windows Server 201
15–Windows Server 2016 配置 Storage Spaces Direct 配置硬件 图 15-16 显示硬件配置的示例。 图 15-16. 示例硬件配置 注 本示例中使用的磁盘为 4 × 400G NVMe™ 和 12 × 200G SSD 磁盘。 部署超聚合系统 本节包括使用 Windows Server 2016 安装和配置超聚合系统组件的简介。部署超 聚合系统的操作可以分为以下三个高级阶段： 部署操作系统 配置网络 配置 Storage Spaces Direct 部署操作系统 要部署操作系统： 1. 安装操作系统。 2.
15–Windows Server 2016 配置 Storage Spaces Direct 3. 安装以下功能： 4. 故障转移 群集 数据中心桥接 (DCB) 将节点连接到域并添加域帐户。 配置网络 要部署 Storage Spaces Direct， Hyper-V 交换机必须部署为带有启用 RDMA 的主 机虚拟 NIC。 注 以下步骤假设有四个 RDMA NIC 端口。 要在每个服务器上配置网络： 1. 请如下配置物理网络交换机： a. 将所有适配器 NIC 连接到交换机端口。 注 如果测试适配器有多个 NIC 端口，您必须将两个端口连接到同一 交换机。 b.
15–Windows Server 2016 配置 Storage Spaces Direct 2. 启用 Network Quality of Service （网络服务质量）。 注 网络服务质量用于确保软件定义的存储系统有足够的带宽在节点之间通 信，以确保弹性和性能。要在适配器上配置 QoS，请参阅第 256 页上 “ 为 RoCE 配置 QoS”。 3. 请如下创建带 Switch Embedded Teaming (SET) 和 RDMA 虚拟 NIC 的 Hyper-V 虚拟交换机： a. 要标识网络适配器，请发出以下命令： Get-NetAdapter | FT Name,InterfaceDescription,Status,LinkSpeed b. 要创建连接到所有物理网络适配器的虚拟交换机，然后启用 SET， 请发出以下命令： New-VMSwitch -Name SETswitch -NetAdapterName "","","","" –EnableEmbeddedTeaming $true c.
15–Windows Server 2016 配置 Storage Spaces Direct e. 要验证 vLAN ID 是否已设置，请发出以下命令： Get-VMNetworkAdapterVlan -ManagementOS f. 要禁用和启用每个主机虚拟 NIC 适配器以使 vLAN 处于活动状态，请 发出以下命令： Disable-NetAdapter "vEthernet (SMB_1)" Enable-NetAdapter "vEthernet (SMB_1)" Disable-NetAdapter "vEthernet (SMB_2)" Enable-NetAdapter "vEthernet (SMB_2)" g. 要在主机虚拟 NIC 适配器上启用 RDMA，请发出以下命令： Enable-NetAdapterRdma "SMB1","SMB2" h.
15–Windows Server 2016 配置 Storage Spaces Direct 步骤 2. 创建群集 创建步骤 1. 运行群集验证工具中具有四个节点的群集 （群集创建已验证）。 要创建群集，请发出以下 Windows PowerShell 命令。 New-Cluster -Name -Node -NoStorage –NoStorage 参数是必需的。如果未包括该参数，磁盘将自动添加到群集，您必须 移除磁盘，然后才能启用 Storage Spaces Direct。否则，磁盘将不包括在 Storage Spaces Direct 存储池中。 步骤 3. 配置群集见证 您应该配置群集的见证，以使该四节点系统能够承受两个节点发生故障或脱机。对 于这些系统，您可配置文件共享见证或云见证。 有关详细信息，请访问： https://docs.microsoft.
15–Windows Server 2016 配置 Storage Spaces Direct Get-PhysicalDisk | Reset-PhysicalDisk -ErrorAction SilentlyContinue Get-Disk |? Number -ne $null |? IsBoot -ne $true |? IsSystem -ne $true |? PartitionStyle -ne RAW |% { $_ | Set-Disk -isoffline:$false $_ | Set-Disk -isreadonly:$false $_ | Clear-Disk -RemoveData -RemoveOEM -Confirm:$false $_ | Set-Disk -isreadonly:$true $_ | Set-Disk -isoffline:$true } Get-Disk |? Number -ne $null |? IsBoot -ne $true |? IsSystem -ne $true |? PartitionStyle -eq RAW | Group -No
15–Windows Server 2016 配置 Storage Spaces Direct 步骤 7. 创建或部署虚拟机 您可以在超聚合 S2D 群集的节点上部署虚拟机。将虚拟机的文件存储在系统的 Cluster Shared Volume (CSV) 名称空间 （例如， c:\ClusterStorage\Volume1）中，与故障转移群集上的群集虚拟机类似。 276 AH0054602-05 M
16 Windows Server 2019 本章提供有关 Windows Server 2019 的以下信息： Hyper-V 的 RSSv2 第 278 页上 “Windows Server 2019 行为 ” 第 279 页上 “ 新适配器属性 ” Hyper-V 的 RSSv2 在 Windows Server 2019 中， Microsoft 增加了对包含 Hyper-V （每个 vPort 的 RSSv2）的接收方缩放第 2 版 (RSSv2) 的支持。 RSSv2 说明 与 RSSv1 相比， RSSv2 可减少 CPU 负载测量与间接表更新之间的时间。此功能 可防止高流量情况下速度变慢。 RSSv2 可以跨多个处理器动态传播接收队列，响 应速度远远高于 RSSv1。有关更多信息，请访问以下网页： https://docs.microsoft.
16–Windows Server 2019 Windows Server 2019 行为 已知事件日志错误 在常见操作下， RSSv2 的动态算法可能会启动与驱动程序不兼容的间接表更新， 并返回适当的状态代码。在这种情况下，会出现事件日志错误，即使不存在功能操 作问题也一样。图 16-1 显示一个示例。 图 16-1.
16–Windows Server 2019 新适配器属性 新适配器属性 以下章节介绍 Windows Server 2019 中新增的用户可配置属性： 每个 VPort 的最大队列对数 (L2) Network Direct 技术 虚拟化资源 VMQ 和 VMMQ 默认加速 单一 VPort 池 每个 VPort 的最大队列对数 (L2) 如 VMMQ 默认启用中所述， Windows 2019 （和 Windows 2016）新增了用户可 配置参数 Max Queue Pairs (L2) per VPort （每个 VPort 的最大队列对数 (L2)）。 此参数允许定义可分配到以下项目的最大队列对数量，以增强对资源分发的控制： VPort- 默认 VPort PF 非默认 VPort (VMQ/VMMQ) SR-IOV 非默认 VPort (VF)1 Max Queue Pairs (L2) per VPort （每个 VPort 的最大队列对数 (L2)）参数的默 认值设为 Auto （自动），为以下值之一： 默认 vPort 的最
16–Windows Server 2019 新适配器属性 虚拟化资源 表 16-1 列出了 Windows 2019 中用于 Dell 41xxx 系列适配器的最大虚拟化资源 数。 表 16-1.
16–Windows Server 2019 新适配器属性 VMQ 和 VMMQ 默认加速 表 16-2 列出了 Windows Server 2019 中用于 Dell 41xxx 系列适配器的 VMQ 和 VMMQ 默认值及其他值。 表 16-2.
16–Windows Server 2019 新适配器属性 PF 非默认 VPort： 对于主机： Set-VMNetworkAdapter -ManagementOS -VmmqEnabled:1 -VmmqQueuePairs: 对于 VM： Set-VMNetworkAdapter -VMName -VmmqEnabled:1 -VmmqQueuePairs: VF 非默认 VPort： Set-VMNetworkAdapter -VMName -IovWeight:100 -IovQueuePairsRequested: 注 为 VF 分配的默认 QP 数 (IovQueuePairsRequested) 仍为 1。 要将大量队列对应用到任何 vPort： 队列对数量必须小于或等于系统上 CPU 核心的总数。 队列对数量必须小于或等于 Max Queue Pairs (L2) Per VPort（每个 VPort 的最大队 列对数 (L2)）的值。有关更多信息，请参阅
17 故障排除 本章提供了以下故障排除信息： 故障排除核查表 第 284 页上 “ 验证是否已加载最新驱动程序 ” 第 285 页上 “ 测试网络连接 ” 第 286 页上 “ 使用 Hyper-V 的 Microsoft 虚拟化 ” 第 286 页上 “Linux 特定问题 ” 第 286 页上 “ 其他问题 ” 第 286 页上 “ 收集调试数据 ” 故障排除核查表 小心 在打开服务器机箱以添加或拆卸适配器之前，请先查阅第 5 页上 “ 安全预防 措施 ”。 以下核查表提供了一些建议的操作，以解决在系统中安装或运行 41xxx 系列适配 器时可能遇到的问题。 检查所有电缆和连接。验证网络适配器和交换机上的电缆正确连接。 对照第 6 页上 “ 安装适配器 ” 验证适配器安装。确保适配器正确插入插槽中。检查是否 有特定的硬件问题，如插卡组件或 PCI 边缘连接器明显损坏。 验证配置设置，如果与其他设备冲突，则进行更改。 验证服务器在使用最新的 BIOS。 尝试将适配器插入另一插槽。如果在新位置没有问题，则系统中的原
17– 故障排除 验证是否已加载最新驱动程序 从该系统卸下所有其他适配器，然后再次运行测试。如果适配器通过测试，则其他 适配器可能导致了争用。 验证是否已加载最新驱动程序 确保已为您的 Windows、 Linux 或 VMware 系统加载最新驱动程序。 验证 Windows 中的驱动程序 请参阅设备管理器，查看有关适配器、链路状态和网络连接的重要信息。 验证 Linux 中的驱动程序 要验证 qed.ko 驱动程序是否已正确加载，请发出以下命令： # lsmod | grep -i 如果驱动程序已加载，此命令的输出将显示驱动程序大小 （以字节为单位）。以下 示例显示为 qed 模块加载的驱动程序： # lsmod | grep -i qed qed qede 199238 1 1417947 0 如果加载新的驱动程序后重新引导，可以发出以下命令验证当前加载的驱动程序版 本是否正确： modinfo qede 也可以发出以下命令： [root@test1]# ethtool -i eth2 driver: qede version: 8.4.7.
17– 故障排除 测试网络连接 验证 VMware 中的驱动程序 要验证 VMware ESXi 驱动程序已加载，请发出以下命令： # esxcli software vib list 测试网络连接 本节提供在 Windows 和 Linux 环境中测试网络连接的步骤。 注 在使用强制链路速度时，验证适配器和交换机均被强制为同一速度。 测试 Windows 的网络连接 使用 ping 命令测试网络连接。 要确定网络连接是否工作： 1. 单击 Start （开始），然后单击 Run （运行）。 2. 在 Open （打开）框中，键入 cmd，然后单击 OK （确定）。 3. 要查看被测试的网络连接，发出以下命令： ipconfig /all 4. 发出以下命令，然后按 ENTER。 ping 显示的 ping 统计信息指示网络连接是否在工作。 测试 Linux 的网络连接 要验证以太网接口正常工作并运行： 1. 要检查以太网接口的状态，请发出 ifconfig 命令。 2.
17– 故障排除 使用 Hyper-V 的 Microsoft 虚拟化 2. 按 ENTER 键。 显示的 ping 统计信息指示网络连接是否在工作。 使用操作系统 GUI 工具或 ethtool 命令 ethtool –s ethX speed SSSS 可以将适 配器链路速度强制为 10 Gbps 或 25 Gbps。 使用 Hyper-V 的 Microsoft 虚拟化 Microsoft 虚拟化是适用于 Windows Server 2012 R2 的虚拟机监控程序虚拟化系 统。有关 Hyper-V 的更多信息，请访问： https://technet.microsoft.com/en-us/library/Dn282278.
A 适配器 LED 表 A-1 列出适配器端口链路和活动状态的 LED 指示灯。 表 A-1.
B 电缆和光学模块 本附录提供有关支持的电缆和光学模块的以下信息： 支持的规格 第 289 页上 “ 测试的电缆和光学模块 ” 第 293 页上 “ 测试的交换机 ” 支持的规格 41xxx 系列适配器支持符合 SFF8024 的各种电缆和光学模块。具体的外形规格符 合性如下： SFP： SFF8472 （用于内存映射） SFF8419 或 SFF8431 （低速信号和电源） 光学模块电气输入 / 输出、有源铜缆 (ACC) 和有源光缆 (AOC)： 10G—SFF8431 限制接口 25G—IEEE 802.
B– 电缆和光学模块 测试的电缆和光学模块 测试的电缆和光学模块 Marvell 不保证满足符合性要求的每个电缆或光学模块均可与 41xxx 系列适配器一 起使用。 Marvell 已测试表 B-1 中列出的部件并提供此列表方便您使用。 表 B-1.
B– 电缆和光学模块 测试的电缆和光学模块 表 B-1.
B– 电缆和光学模块 测试的电缆和光学模块 表 B-1.
B– 电缆和光学模块 测试的电缆和光学模块 表 B-1.
B– 电缆和光学模块 测试的交换机 测试的交换机 表 B-2 列出已经通过与 41xxx 系列适配器互操作性测试的交换机。此列表基于产 品发布时可用的交换机，且随着新交换机进入市场或停产，将随时间变化。 表 B-2.
C Dell Z9100 交换机配置 41xxx 系列适配器支持与 Dell Z9100 以太网交换机连接。但是，在标准化自动协 商过程之前，必须将交换机明确地配置为按 25 Gbps 速率连接到适配器。 要配置 Dell Z9100 交换机端口以便按 25 Gbps 速率连接 41xxx 系列适配器： 1. 在您的管理工作站与交换机之间建立串行端口连接。 2. 打开命令行会话，然后如下登录到交换机： Login: admin Password: admin 3. 启用交换机端口的配置： Dell> enable Password: xxxxxx Dell# config 4.
C–Dell Z9100 交换机配置 5. 验证端口的运行速率是否为 25 Gbps： Dell# Dell#show running-config | grep "port 5" stack-unit 1 port 5 portmode quad speed 25G 6. 要在交换机端口 5 上禁用自动协商，请按照以下步骤操作： a. 标识交换机端口接口 （模块 1，端口 5，接口 1），并确认自动协商状 态： Dell(conf)#interface tw 1/5/1 Dell(conf-if-tf-1/5/1)#intf-type cr4 ? autoneg b. Enable autoneg 禁用自动协商： Dell(conf-if-tf-1/5/1)#no intf-type cr4 autoneg c.
D 功能约束 本附录提供有关当前版本中实施的功能约束的信息。 未来的版本中可能会删除这些功能共存约束。到时，您应该可以使用功能组合， 而无需超出启用功能通常所需的任何额外的配置步骤。 NPAR 模式下不支持同一端口上共存的 FCoE 和 iSCSI 在 NPAR 模式下，设备不支持在同一端口上配置 FCoE 卸载和 iSCSI 卸载。在 NPAR 模式下，第二个物理功能 (PF) 上 支持 FCoE 卸载，第三个 PF 上支持 iSCSI 下载。在单一 Ethernet PF DEFAULT Mode （以太网 PF 默认模式）下， 设备支持在同一端口上配置 FCoE 卸载和 iSCSI 卸载。并非所有设备都支持 FCoE 卸载和 iSCSI 卸载。 使用 HII 或 Marvell 管理工具在一个端口上配置具有 iSCSI 或 FCoE 个性设置的 PF 后，禁止通过这些管理工具在另一个 PF 上配置存储协议。 由于存储个性设置默认已禁用，因此只有使用 HII 或 Marvell 管理工具配置的个性 设置才能写入 NVRAM 配置中。移除此限制后，用户在 NPAR 模式下可在同一端 口上配置其他 PF
E 修订历史 文档修订历史 修订版 A， 2017 年 4 月 28 日 修订版 B， 2017 年 8 月 24 日 修订版 C， 2017 年 10 月 1 日 修订版 D， 2018 年 1 月 24 日 修订版 E， 2018 年 3 月 15 日 修订版 F， 2018 年 4 月 19 日 修订版 G， 2018 年 5 月 22 日 修订版 H， 2018 年 8 月 23 日 修订版 J， 2019 年 1 月 23 日 修订版 K， 2019 年 7 月 2 日 修订版 L， 2019 年 7 月 3 日 修订版 M， 2019 年 10 月 16 日 更改 受影响的章节 将以下适配器添加到 Marvell 产品列表中： QL41164HFRJ-DE, QL41164HFRJ-DE, QL41164HFCU-DE, QL41232HMKR-DE, QL41262HMKR-DE, QL41232HFCU-DE, QL41232HLCU-DE, QL41132HFRJ-DE, QL41132HLRJ-DE, QL41132HQRJ-DE, QL41232HQCU-DE, QL41132H
E– 修订历史 在第二段后面的项目符号中，添加了进一步描述 Dell iSCSI HW 和 SW 安装的文本。 第 66 页上 “iSCSI 预引导配置 ” 将该部分移动至更靠近其他相关部分。 第 69 页上 “ 配置存储目标 ” 在第一段中，将第一句更正为 “ 引导模式选项列 第 70 页上 “ 选择 iSCSI UEFI 引导协议 ” 在 NIC 配置下 ……” 添加了设置 UEFI iSCSI HBA 的说明。 删除了 “ 配置 iSCSI 启动参数 ” 和 “ 配置基本 BIOS 引导模式 ” 部分。 第 65 页上 “ 从 SAN 引导配置 ” 添加了 Application Note, Enabling Storage Offloads on Dell and Marvell FastLinQ 41000 Series Adapters 的参考资料。 第 36 页上 “FCoE 支持 ”, 第 36 页上 “iSCSI 支持 ”, 第 53 页上 “ 配置 FCoE 引导 ”, 第 55 页上 “ 配置 iSCSI 引导 ”, 第 65 页上 “ 从 SAN 引导配置 ”, 第
E– 修订历史 将 步骤 4 部分 b 更改为 “ 将 RDMA 协议支持设 第 174 页上 “ 为 iWARP 准备适配器 ” 置为 RoCE/iWARP 或 iWARP。 ” 删除对 附录 C 的引用；添加了配置信息。 第 130 页上 “ 为 RoCE 配置 Dell Z9100 以太网交 换机 ” 支持内建 OFED 的操作系统更新列表。 第 185 页上 “ 准备工作 ” 删除了 “SLES 12 SP3 和 OFED 4.
词汇表 传输控制协议 请参阅 TCP。 非易失性随机存取存储器 请参阅 NVRAM。 传输控制协议 / 互联网协议 服务质量 请参阅 QoS。 请参阅 TCP/IP。 高级配置和电源接口 请参阅 ACPI。 串行化器 / 并行化器 请参阅 SerDes。 大量发送卸载 请参阅 LSO。 互联网广域 RDMA 协议 带宽 以特定传输速率可传输的数据量的度量。 1Gbps 或 2Gbps 光纤信道端口可传输或接 收的标称速率为 1 或 2Gbps，具体视所连 接的设备而定。这分别对应于实际带宽值 106MB 和 212MB。 互联网小型计算机系统接口 请参阅 iSCSI。 请参阅 iWARP。 互联网协议 请参阅 IP。 基本地址寄存器 请参阅 BAR。 单根输入 / 输出虚拟化 请参阅 SR-IOV。 基本输入输出系统 请参阅 BIOS。 第二层 指多层通信模型开放系统互连 (OSI) 的数 据链路层。数据链路层的功能是跨网络中 的物理链路移动数据，其中交换机使用目 标 MAC 地址在第二层级别重定向数据消息 以确定消息目标。 基于聚合以太网的 RDMA 请参阅 RoCE。 节能以
用户指南 — 聚合网络适配器 41xxx Series 巨型帧 在高性能网络中使用以提高长距离性能的 大型 IP 帧。对于千兆位以太网，巨型帧通 常意味着 9,000 字节，但可指超出 IP MTU （在以太网上为 1,500 字节）的任意大小。 适配器端口 适配器板上的端口。 可扩展固件接口 请参阅 EFI。 数据中心桥接交换 请参阅 DCBX。 类型长度值 请参阅 TLV。 统一可扩展固件接口 请参阅 UEFI。 链路层发现协议 请参阅 LLDP。 网络接口卡 请参阅 NIC。 目标 SCSI 会话的存储设备端点。启动器从目标 请求数据。目标通常为磁盘驱动器、磁带 驱动器或其他媒体设备。通常， SCSI 外围 设备是目标，但某些情况下，适配器也可 能是目标。目标可包含许多 LUN。 文件传输协议 请参阅 FTP。 数据中心桥接 请参阅 DCB。 消息信号中断 请参阅 MSI， MSI-X。 小型计算机系统接口 请参阅 SCSI。 目标是响应启动器 （主机系统）请求的设 备。外围设备是目标，但对于某些命令 （例如， SCSI COPY 命令）来说，外围设 备可充当启动器。 虚拟机
用户指南 — 聚合网络适配器 41xxx Series BAR 远程直接内存访问 请参阅 RDMA。 基本地址寄存器。用于保留设备所使用的 内存地址，或端口地址的偏移。通常，内 存地址 BAR 必须位于物理 RAM 中，而 I/O 空间 BAR 可以驻留在任意内存地址 （即使超出物理内存范围）。 增强的传输选择 请参阅 ETS。 最大传输单元 请参阅 MTU。 BIOS 基本输入输出系统。通常位于 Flash PROM 中，用于充当硬件和操作系统间接 口的程序 （或公用程序），并且允许在启 动时从适配器引导。 质询 - 握手身份验证协议 请参阅 CHAP。 聚合网络适配器 Marvell 聚合网络适配器在使用两种新技术 的单一 I/O 适配器上支持数据网络 (TCP/IP) 和存储网络 ( 光纤信道 ) 流量：增 强型以太网和以太网光纤信道 (FCoE)。 CHAP 质询 - 握手身份验证协议 (CHAP) 用于远程 登录，通常发生在客户端与服务器或 Web 浏览器与 Web 服务器之间。质询 / 响应是 一种安全机制，用于验证人员或过程的身 份而不泄露两个实体共享的密码。也称为 三方握手。
用户指南 — 聚合网络适配器 41xxx Series eCore FTP OS 与硬件和固件之间的层。它是设备特定 的，与 OS 无关。 eCore 代码需要 OS 服 务 （例如，进行内存分配、 PCI 配置空间 访问等）时，它会调用在 OS 特定层中实 施的抽象 OS 功能。 eCore 流可能通过硬 件驱动 （例如，通过中断）或通过驱动程 序的 OS 特定部分驱动 （例如，加载和卸 载 load 和 unload）。 文件传输协议。一种标准网络协议，用于 将文件通过基于 TCP 的网络 （如互联网） 从一台主机传送到另一台主机。进行带外 固件上传 （比带内固件上传速度更快）时 需使用 FTP。 HBA 请参阅 主机总线适配器。 HII EEE 人机界面基础设施。此规范 （UEFI 2.
用户指南 — 聚合网络适配器 41xxx Series iWARP MTU 互联网广域 RDMA 协议。一种实现 RDMA 的网络协议，用于通过 IP 网络进行有效的 数据传输。 iWARP 设计用于多种环境，包 括 LAN、存储网络、数据中心网络和 WAN。 最大传输单元。是指指定通信层协议可以 传输的最大数据包 （IP 数据报）大小 （以 字节为单位）。 NIC 网络接口卡。安装以启用专用网络连接的 计算机卡。 LLDP 供应商中立的第 2 层协议，允许网络设备 在本地网络上公布其身份和功能。该协议 取代了专有协议，如思科发现协议、极端 发现协议和 Nortel 发现协议 （也称为 SONMP）。 NIC 分区 请参阅 NPAR。 NPAR 使用 LLDP 收集的信息存储在设备中，可 以使用 SNMP 查询。通过抓取主机并查询 该数据库，可以发现启用 LLDP 的网络的 拓扑。 NIC 分区。将一个 NIC 端口分成多个物理 功能或分区，每个均有用户可配置的带宽 和个性设置 （接口类型）。个性设置包括 NIC、 FCoE 和 iSCSI。 LSO NVRAM 大量发送卸载。 LSO
用户指南 — 聚合网络适配器 41xxx Series SR-IOV QoS 单根输入 / 输出虚拟化。一种 PCI SIG 的 规格，使单个 PCIe 设备能够显示为多个单 独的物理 PCIe 设备。 SR-IOV 允许隔离 PCIe 资源以实现性能、互操作性和可管理 性。 服务质量。在通过虚拟端口传输数据时， 此方法用于通过设置优先级和分配带宽来 预防瓶颈和确保业务连续性。 PF 物理功能。 TCP RDMA 传输控制协议。一组通过互联网协议发送 数据包中数据的规则。 远程直接内存访问。此功能允许一个节点 通过网络直接写入另一个节点的内存 （使 用地址和大小语义）。此功能是 VI 网络的 一项重要功能。 TCP/IP 传输控制协议 / 互联网协议。互联网的基本 通信语言。 RISC 精简指令集计算机。一种计算机微处理器， 它执行较少类型的计算机指令，从而以更 高的速度运行。 TLV 类型长度值。可编码为协议内元素的可选 信息。类型和长度字段为固定大小 （通常 1-4 字节），而值字段为可变大小。这些字 段用法如下： 类型 - 表示此部分消息所代表字段类型 的数字代码。 长度
用户指南 — 聚合网络适配器 41xxx Series VI 虚拟接口。用于跨光纤信道和其他通信协 议进行远程直接内存访问的方案。用于群 集和消息传递。 vLAN 虚拟逻辑区域网络 (LAN)。具有一组通用 要求的主机组，如同连接到同一线路一样 通信，无论其物理位置如何。尽管 vLAN 具有与物理 LAN 相同的属性，但它允许终 端站组合在一起，即使其不在同一 LAN 网 段上。 vLAN 可通过软件重新配置网络，而 不是物理搬动设备 VM 虚拟机。机器 （计算机）的软件实现，如 同真实机器一样执行程序。 vPort 虚拟端口。与一个或多个虚拟服务器关联 的端口号或服务名称。虚拟端口号应是客 户端程序预期连接的同一个 TCP 或 UDP 端口号。 LAN 唤醒 请参阅 WoL。 WoL LAN 唤醒。一种以太网计算机联网标准， 允许通过发送的网络消息远程开启或唤醒 计算机，这些消息通常由在网络中另一台 计算机上执行的简单程序发送。 306 AH0054602-05 M
Contact Information Marvell 科技集团 http://www.marvell.com Marvell.
