用户手册 NetXtreme-E Broadcom® NetXreme-C 和 NetXtreme-E 用户手册 NetXtreme-E-UG100 2018 年 2 月 26 日
修订历史 修订版 日期 修改说明 NetXtreme-E-UG100 2018 年 2 月 26 日 20.6 初始发行。 © 2018 Broadcom 出品。保留所有权利。 Broadcom®、脉冲徽标、Connecting everything®、Avago Technologies 和 A 徽标是 Broadcom 和/或其附属 公司在美国、其它某些国家（地区）和/或欧盟的商标。“Broadcom”一词是指 Broadcom Limited 和/或其子公 司。有关详细信息，请访问 www.broadcom.
NetXtreme-E 用户手册 目录 目录 法规和安全许可 .............................................................................................................................................. 7 法规 ......................................................................................................................................................... 7 安全 ......................................................................................................................................................... 7 电磁兼容性 (EMC) ....
NetXtreme-E 用户手册 目录 安装硬件 ....................................................................................................................................................... 26 安全预防措施......................................................................................................................................... 26 系统要求 ................................................................................................................................................ 26 硬件要求..........................
NetXtreme-E 用户手册 目录 iSCSI 配置...................................................................................................................................... 38 Comprehensive Configuration Management......................................................................................... 39 设备硬件配置.................................................................................................................................. 39 MBA 配置菜单 ................................................................
NetXtreme-E 用户手册 目录 NPAR – 配置和使用案例示例 ....................................................................................................................... 62 功能和要求 ............................................................................................................................................ 62 限制 ....................................................................................................................................................... 62 配置 .......................................
NetXtreme-E 用户手册 法规和安全许可 法规和安全许可 以下各节详细介绍 NetXtreme-E 网卡所遵循的法规、安全性、电磁兼容性 (EMC) 和静电抗扰性 (ESD) 标准。 法规 表 1：法规许可 项目 适用标准 许可 / 认证 CE/欧盟 EN 62368-1:2014 CB 报告和证书 UL/美国 IEC 62368-1 ed. 2 CB 报告和证书 CSA/加拿大 CSA 22.
NetXtreme-E 用户手册 法规和安全许可 电磁兼容性 (EMC) 表 3：电磁兼容性 标准 / 国家或地区 认证类型 合规 CE/欧盟 EN 55032:2012/AC:2013 B 类 EN 55024:2010 EN 61000-3-2:2014 EN 61000-3-3:2013 CE 报告和 CE DoC FCC/美国 CFR47，第 15 部分 B 类 FCC/IC DoC 和 EMC 报告 （参照 FCC 和 IC 标准） IC/加拿大 ICES-003 B 类 FCC/IC DoC 和报告（参照 FCC 和 IC 标准） ACA/澳大利亚、新西兰 AS/NZS CISPR 22:2009 +A1:2010 / AS/NZS CISPR 32:2015 ACA 证书 BSMI/台湾 CNS13438 B 类 BSMI 证书 BSMI/台湾 CNS15663 BSMI 证书 MIC/S.
NetXtreme-E 用户手册 功能描述 功能描述 Dell 支持 10GBase-T、10G SFP+ 和 25G SFP28 网卡 (NIC)。表 5 中描述了这些 NIC。 表 5：功能描述 网卡 描述 BCM957402A4020DLPC/BCM957402A4020DC/BCM957412A4120D/BCM957412M4120D 速度 PCI-E 双端口 10 Gbps 以太网 接口 SFP+ 支持 10 Gbps 设备 Broadcom BCM57402/BCM57412 10 Gbps MAC 控制器，集成了双通道 10 Gbps SFI 收发器。 NDIS 名称 Broadcom NetXtreme E 系列双端口 10Gb SFP+ 以太网 PCIe 适配器 UEFI 名称 Broadcom 双 10Gb SFP+ 以太网 第 3 代 x8a BCM57404A4041DLPC/BCM57404A4041DC/BCM957414A4141D/BCM957414M4140D 速度 PCI-E 双端口 25 Gbps 或 10 Gbps 以太网 接口
NetXtreme-E 用户手册 功能描述 图 1：BCM957402A4020DC、BCM957412A4120D 网卡 2018 年 2 月 26 日 • NetXtreme-E-UG100 第 10 页
NetXtreme-E 用户手册 功能描述 图 2：BCM957404A4041DLPC、BCM957414A4141D 网卡 2018 年 2 月 26 日 • NetXtreme-E-UG100 第 11 页
NetXtreme-E 用户手册 功能描述 图 3：BCM957406A4060DLPC、BCM957416A4160D 网卡 图 4：BCM957414M4140D 网络子卡 (rNDC) 2018 年 2 月 26 日 • NetXtreme-E-UG100 第 12 页
NetXtreme-E 用户手册 功能描述 图 5：BCM957412M4120D 网络子卡 (rNDC) 图 6：BCM957416M4160 网络子卡 (rNDC) 2018 年 2 月 26 日 • NetXtreme-E-UG100 第 13 页
NetXtreme-E 用户手册 网络链路和活动指示 网络链路和活动指示 BCM957402AXXXX/BCM957412AXXXX SFP+ 端口有两个 LED，用来指示通讯活动和链路速度。通过支架上的开孔可以看到这些 LED，如图 7 中所 示。LED 功能在表 6 中介绍。 图 7：BCM957402AXXXX/BCM957412AXXXX 活动和链路 LED 位置 端口 1 SFP + 盒 端口 1 活动 LED 端口 1 链路 LED 端口 2 SFP + 盒 端口 2 活动 LED 端口 2 链路 LED 表 6：BCM957402AXXXX/BCM957412AXXXX 活动和链路 LED 位置 LED 类型 颜色 / 行为 注释 活动 熄灭 无活动 绿色闪烁 通讯流活动 熄灭 绿色 无链路 链路速度为 10 Gbps 链路 2018 年 2 月 26 日 • NetXtreme-E-UG100 第 14 页
NetXtreme-E 用户手册 网络链路和活动指示 BCM957404AXXXX/BCM957414AXXXX SFP28 端口有两个 LED，用来指示通讯活动和链路速度。通过支架上的开孔可以看到这些 LED，如图 8 中所 示。LED 功能在表 7 中介绍。 图 8：BCM957404AXXXX/BCM957414AXXXX 活动和链路 LED 位置 端口 1 SFP28 盒 端口 1 活动 LED 端口 1 链路 LED 端口 2 SFP28 盒 端口 2 活动 LED 端口 2 链路 LED 表 7：BCM957404AXXXX/BCM957414AXXXX 活动和链路 LED 位置 LED 类型 颜色 / 行为 注释 活动 熄灭 无活动 绿色闪烁 通讯流活动 熄灭 无链路 绿色 链路速度为 25 Gbps 黄色 链路速度为 10 Gbps 链路 2018 年 2 月 26 日 • NetXtreme-E-UG100 第 15 页
NetXtreme-E 用户手册 网络链路和活动指示 BCM957406AXXXX/BCM957416AXXXX RJ-45 端口有两个 LED，用来指示通讯活动和链路速度。通过支架上的开孔可以看到这些 LED，如图 9 中所 示。LED 功能在表 8 中介绍。 图 9：BCM957406AXXXX/BCM957416AXXXX 活动和链路 LED 位置 表 8：BCM957406AXXXX/BCM957416AXXXX 活动和链路 LED 位置 LED 类型 颜色 / 行为 便笺 活动 熄灭 无活动 绿色闪烁 通讯流活动 熄灭 绿色 无链路 链路速度为 10 Gbps 琥珀色 链路速度为 1 Gbps 链路 2018 年 2 月 26 日 • NetXtreme-E-UG100 第 16 页
NetXtreme-E 用户手册 网络链路和活动指示 BCM957414M4140D SFP28 端口有两个 LED，用来指示通讯活动和链路速度。通过支架上的开孔可以看到这些 LED，如图 10 中所示。 图 10：BCM957414M4140D 网络子卡 (rNDC) 活动和链路 LED 位置 表 9：BCM957414M4140D 网络子卡 (rNDC) 活动和链路 LED 位置 LED 类型 颜色 / 行为 便笺 活动 熄灭 无活动 绿色闪烁 通讯流活动 熄灭 无链路 绿色 链路速度为 25 Gbps 黄色 链路速度为 10 Gbps 链路 2018 年 2 月 26 日 • NetXtreme-E-UG100 第 17 页
NetXtreme-E 用户手册 网络链路和活动指示 BCM957412M4120D 此 rNDC 具有 SFP+ 和 RJ-45 端口，每个端口都有两个 LED，用来指示通讯活动和链路速度。LED 如图 11 中 所示。 图 11：BCM957412M4120D 网络子卡 (rNDC) 活动和链路 LED 位置 表 10：BCM957412M4120D 网络子卡 (rNDC) 活动和 链路 LED 位置 SFP+ 端口 1 和 2 LED 类型 颜色 / 行为 便笺 活动 熄灭 无活动 绿色闪烁 通讯流活动 熄灭 无链路 绿色 链路速度为 10 Gbps 链路 表 11：1000BaseT 端口 3 和 4 LED 类型 颜色 / 行为 便笺 活动 熄灭 无活动 绿色闪烁 通讯流活动 熄灭 无链路 绿色 链路速度为 1 Gbps 琥珀色 链路速度为 10/100 Gbps 链路 2018 年 2 月 26 日 • NetXtreme-E-UG100 第 18 页
NetXtreme-E 用户手册 网络链路和活动指示 BCM957416M4160 此 rNDC 具有 10GBaseT 和 1000BaseT RJ-45 端口，每个端口都有两个 LED，用来指示通讯活动和链路速 度。LED 如图 12 中所示。 图 12：BCM957416M4160 网络子卡 (rNDC) 活动和链路 LED 位置 表 12：BCM957416M4160 网络子卡 (rNDC) 活动和 链路 LED 位置 10GBaseT 端口 1 和 2 LED 类型 颜色 / 行为 便笺 活动 熄灭 无活动 绿色闪烁 通讯流活动 熄灭 无链路 绿色 链路速度为 10 Gbps 琥珀色 链路速度为 1 Gbps 链路 2018 年 2 月 26 日 • NetXtreme-E-UG100 第 19 页
NetXtreme-E 用户手册 特性 特性 参阅以下各节，了解设备特性。 软件和硬件特性 表 13 提供主机接口特性列表。 表 13：主机接口特性 特性 详情 主机接口 PCIe v3.0（第 3 代：8 GT/s；第 2 代：5 GT/s； 第 1 代：2.
NetXtreme-E 用户手册 特性 表 13：主机接口特性（待续） 特性 详情 Jumbo 帧 支持。 iSCSI 引导 支持。 NIC 分区 (NPAR) 支持每端口最多 8 个物理功能 (PF)，或每芯片最多 16 个 PF。该选项可配置于 NVRAM。 融合以太网上的 RDMA (RoCE) BCM5741X 支持 Windows、Linux 和 VMware 环境 下的 RoCE v1/v2。 数据中心桥接 (DCB) BCM5741X 支持 DCBX（IEEE 和 CEE 规范）、 PFC 和 AVB。 NCSI（网络控制器边带接口） 支持。 Wake on LAN (WOL) 带 10GBase-T、SFP+ 和 SFP28 接口的 rNDC 上受 支持。 PXE 引导 支持。 UEFI 引导 支持。 流控制（暂停） 自动协商 802.
NetXtreme-E 用户手册 特性 VXLAN IETF RFC 7348 中定义的虚拟可扩展局域网 (VXLAN) 用来应对容纳多租户的虚拟化数据中心内的重叠网络的需 要。VXLAN 是 3 层网络上的 2 层重叠或隧道技术方案。只有相同 VXLAN 段内的 VM 才能相互通信。 NVGRE/GRE/IP-in-IP/Geneve IETF RFC 7637 中定义的使用 GRE 的网络虚拟化 (NVGRE) 类似于 VXLAN。 无状态卸载 RSS 接收端伸缩 (RSS) 使用一种 Toeplitz 算法，该算法在接收的帧上使用 4 元组匹配，并将其转发到确定性 CPU 进 行帧处理。这实现了流线化的帧处理并且平衡 CPU 利用率。使用一个间接表，将流映射到一个 CPU。 对称 RSS 允许给定 TCP 或 UDP 流的数据包映射到同一接收队列。 TPA Transparent Packet Aggregation (TPA) 是一个技法，对于接收的帧，相同 4 元组匹配的帧聚集在一起，然后指 示给网络堆栈。TPA 上下文中的每个条目都由以下 4 元组标识：源 IP、目的 IP、源 TCP
NetXtreme-E 用户手册 特性 STT 帧包含 STT 帧标头和承载数据。STT 帧的承载数据是未标记的以太网帧。STT 帧标头和封装的承载数据被 视为 TCP 承载数据和类似 TCP 的标头。为传送的每个 STT 段创建 IP 标头（IPv4 或 IPv6）和以太网标头。 对操作系统的多队列支持 NDIS VMQ NDIS 虚拟机队列 (VMQ) 是受 Microsoft 支持的一个特性，用来提高 Hyper-V 网络性能。VMQ 特性支持基于目 的地 MAC 地址的数据包分类，在不同的完成队列上返回收到的数据包。此数据包分类与 DMA 数据包直接进入 虚拟机内存的能力相结合，允许跨多个处理器伸缩虚拟机。 参阅第 34 页上的“Windows 驱动程序高级属性和事件日志消息” ，了解有关 VMQ 的信息。 VMWare NetQueue VMware NetQueue 是与 Microsoft 的 NDIS VMQ 特性类似的特性。NetQueue 特性支持基于目的地 MAC 地址 和 VLAN 的数据包分类，在不同的 NetQueue 上返回收到的数据包。此数据包分类与 DMA 数据包直接
NetXtreme-E 用户手册 特性 网络分区 (NPAR) 网络分区 (NPAR) 功能允许单个物理网络接口的端口在系统中实现多个网络设备的功能。当 NPAR 模式已启用 时，NetXtreme-E 设备被枚举为多个 PCIe 物理功能 (PF)。在初始开机时会为每个 PF 或“分区”分配一个单独的 PCIe 功能 ID。原始的 PCIe 定义允许为每台设备定义 8 个 PF。对于具有替换工艺路线-ID (ARI) 功能的系统， Broadcom NetXtreme-E 适配器支持每台设备最多 16 个 PF。每个分区都被分配一个单独的配置空间、BAR 地址和 MAC 地址，以使其可以独立操作。与任何其他物理接口一样，分区支持直接分配给 VM、VLAN 等。 注： 在系统设置 > 设备设置 > [Broadcom 5741x 设备] > 设备级配置页面，用户可以启用 NParEP 以 允许 NXE 适配器支持每台设备最多 16 个 PF。对于 2 端口设备，表示每个端口最多 8 个 PF。 融合以太网上的 RDMA - RoCE 融合以太网上的远程直接内存访问 (RDMA) (RoCE) 是 BCM
NetXtreme-E 用户手册 特性 NPAR、SR-IOV 和 RoCE 表 15 提供了 NPAR、SR-IOV 和 RoCE 支持的功能组合。 表 15：NPAR、SR-IOV 和 RoCE SW 功能 便笺 NPAR 最多 8 个或 16 个 PF SR-IOV 最多 128 个 VF（每芯片合计） 基于 PF 的 RoCE 最多 4 个 PF 基于 VF 的 RoCE VF 连接到已启用 RoCE 的 PF 时有效 主机操作系统 Linux、Windows、ESXi（不支持 vRDMA） 客户机操作系统 Linux 和 Windows DCB 每端口最多 2 个 COS，带非共享保留内存 NPAR、SR-IOV 和 DPDK 表 16 提供了 NPAR、SR-IOV 和 DPDK 支持的功能组合。 表 16：NPAR、SR-IOV 和 DPDK SW 功能 便笺 NPAR 最多 8 个或 16 个 PF SR-IOV 最多 128 个 VF（每芯片合计） DPDK 仅支持作为 VF 主机操作系统 Linux 客户机操作系统 DPDK (
NetXtreme-E 用户手册 安装硬件 安装硬件 安全预防措施 注意！ 适配器安装在致命高压系统中。在卸下系统机盖之前，请仔细阅读以下预防措施以保护自己并 避免损坏系统组件： • 从手上和手腕取下所有金属物体或珠宝。 • 确保只使用绝缘或不导电工具。 • 接触内部组件之前，请验证系统电源已关闭并已拔下插头。 • 在无静电环境中安装或卸下适配器。强烈建议您使用正确接地的腕带或其它个人防静电设备与防 静电垫。 系统要求 在安装 Broadcom NetXtreme-E 以太网适配器之前，请验证系统符合对操作系统列出的要求。 硬件要求 参阅下面列出的硬件要求： • 符合操作系统要求的 Dell 13G 系统。 • 支持 NetXtreme-E 以太网卡的 Dell 13G 系统。 • 带 rNDC 封装的 NIC 适配器有一个未使用的 PCI-E 第 3 代 x8 插槽或一个未使用的 PCIe 第 3 代 rNDC 插槽。 • 4 GB 或更大内存（推荐 32 GB 或更大内存，以利于虚拟化应用和标称网络吞吐性能）。 预安装检查表 在安装 NetXtreme-E 设备之前，
NetXtreme-E 用户手册 安装硬件 安装适配器 下面说明适用于在大多数服务器中安装 Broadcom NetXtreme-E 以太网适配器（外插 NIC）。参阅随服务器提 供的手册，了解有关在此特定服务器上执行这些任务的详细信息。 1. 在安装适配器之前，查阅第 26 页上的“安全预防措施” 和“预安装检查表”。确保系统电源已关闭并已从电源 插座上断开，并且已执行了适当的电接地步骤。 2. 打开系统机箱并选择空闲的 PCI Express 第 3 代 x8 插槽。 3. 从插槽中取出封盖板。 4. 将适配器的连接器边缘与系统中的连接器插槽对齐。 5. 使用适配器夹或螺丝固定适配器。 6.
NetXtreme-E 用户手册 安装硬件 表 17：支持的电缆和模块（待续） 光纤模块 Dell 部件号 适配器 描述 FTLF8536P4BNL-FC HHHHC BCM57402X、 85C 扩展温度范围 BCM57404X、 10 Gbps SFP+ 收发器 BCM57412X、BCM57414X FTLX8574D3BCL-FC WTRD1 或 PLRXPLSCS43811 BCM57402X、 10 Gbps-SR SFP+ 收发器 BCM57404X、 BCM57412X、BCM57414X 注： 1. 符合 IEEE 标准的直连电缆 (DAC) 可以连接到适配器。 2.
NetXtreme-E 用户手册 软件包和安装 软件包和安装 参阅以下各节，了解有关软件包和安装的信息。 支持的操作系统 表 18 提供支持的操作系统列表。 表 18：支持的操作系统列表 操作系统品类 分发版 Windows Windows 2012 R2 或更高 Linux Redhat 6.9、Redhat 7.1 或更高 SLES 11 SP 4、SLES 12 SP 2 或更高 VMware ESXi 6.0 U3 或更高 安装驱动程序 参阅以下各节，了解驱动程序安装。 Windows Dell DUP Broadcom NetXtreme E 系列控制器驱动程序可以使用驱动程序 DUP 进行安装。该安装程序以 x64 可执行文件 格式提供。 GUI 安装 当文件执行时，会出现对话框，要求用户输入。该安装程序支持仅驱动程序选项。 静默安装 可执行文件可以使用下面所示的命令静默地执行。 示例： Network_Driver_.
NetXtreme-E 用户手册 软件包和安装 提取文件后，使用设备管理器 (devmgmt.msc) 通过“升级驱动程序”功能执行 INF 安装。打开设备管理器，选择 所需的 NIC，右键单击并选择升级驱动程序来进行更新。 Linux Linux 驱动程序以 RPM、KMP 和源代码格式提供。要使用 Linux 从源代码生成设备驱动程序，请参考以下示例： 1. 以根用户身份登录到 Linux 系统。 2. scp 或 cp 驱动程序 tar ball 到 Linux 系统上。典型的示例为： cp /var/run/media/usb/bnxt_en‐.tar.gz /root/ 3. 执行以下命令： tar –zxvf /root/bnxt_en‐.tar.gz 4. 执行以下命令： cd bnxt_en‐ 5.
NetXtreme-E 用户手册 软件包和安装 Linux Ethtool 命令 注：在表 19 中，ethX 应替换为实际接口名称。 表 19：Linux Ethtool 命令 命令 描述 ethtool -s ethX speed 25000 autoneg off 设置速度。如果链路在一个端口上启动，驱动程序不会 允许其他端口设置为不相容的速度。 ethtool -i ethX 输出包括 Package 版本、NIC BIOS 版本（引导代码）。 ethtool -k ethX 显示卸载特性。 ethtool -K ethX tso off 关闭 TSO。 ethtool -K ethX gro off lro off 关闭 GRO / LRO。 ethtool -g ethX 显示环大小。 ethtool -G ethX rx N 设置环大小。 ethtool -S ethX 获得统计信息。 ethtool -l ethX 显示环的数量。 ethtool -L ethX rx 0 tx 0 combined M 设置环的数量。 ethtool -C e
NetXtreme-E 用户手册 软件包和安装 表 19：Linux Ethtool 命令（待续） 命令 描述 ip link set ethX vf 0 state enable 设置 VF 0 的 VF 链路状态。 ip link set ethX vf 0 vlan 100 使用 VLAN ID 100 设置 VF 0。 VMware ESX 驱动程序以 VMware 标准 VIB 格式提供。 1. 要安装 Ethernet 和 RDMA 驱动程序，请使用以下命令： $ esxcli software vib install ‐‐no‐sig‐check ‐v ‐.vib $ esxcli software vib install ‐‐no‐sig‐check ‐v ‐.vib 2.
NetXtreme-E 用户手册 软件包和安装 固件更新 NIC 固件可以使用下列方法之一进行更新： • 系统处于操作系统已引导状态时使用 Dell Update Package (DUP)。此方法只适用于 Windows 和 Linux 操 作系统。 • 使用 Dell iDRAC – Lifecycle Controller。无论是什么操作系统，均可使用此方法。如果系统在运行 VMware，请使用 Lifecycle Controller 升级固件。 参阅产品支持页，网址是 http://www.dell.com/support Dell Update Package 参阅以下各节，使用 Dell Update Package (DUP)： Windows Broadcom NetXtreme-E 系列控制器固件可以使用 Dell DUP 包进行升级。可执行文件以标准 Windows x64 可执 行文件格式提供。双击该文件予以执行。 DUP 包可从 http://support.dell.
NetXtreme-E 用户手册 Windows 驱动程序高级属性和事件日志消息 Windows 驱动程序高级属性和事件日志消息 驱动程序高级属性 表 21 中显示了 Windows 驱动程序高级属性。 .
NetXtreme-E 用户手册 Windows 驱动程序高级属性和事件日志消息 表 21：Windows 驱动程序高级属性（待续） 驱动程序键 参数 描述 TCP/UDP checksum offload IPV6 启用 TX/RX、启用 TX 或启用 RX 默认启用 RX 和 TX。 或禁用 offload。 发送缓冲区（0 = 自动） 50 的增量。 默认自动。 虚拟机队列 VLAN ID 启用或禁用。 默认启用。 用户可配置的数字。 默认 0。 事件日志消息 表 22 提供了由 Windows NDIS 驱动程序记录到事件日志中的事件日志消息。 表 22：Windows 事件日志消息 消息 ID 注释 0x0001 内存分配失败。 0x0002 检测到链路断开。 0x0003 检测到链路连通。 0x0009 链路 1000 满载。 0x000A 链路 2500 满载。 0x000b 初始化成功。 0x000c 微型端口复位。 0x000d 初始化失败。 0x000E 链路 10Gb 成功。 0x000F 驱动程序层绑定失败。
NetXtreme-E 用户手册 Windows 驱动程序高级属性和事件日志消息 表 23：事件日志消息（待续） 0x0021 设备的 RDMA 固件与该驱动程序不兼容。 0x0022 门铃 BAR 对于 RDMA 来说太小。 0x0023 设备重置后 RDMA 重启失败。 0x0024 系统启动后 RDMA 重启失败 0x0025 RDMA 启动失败。资源不足。 0x0026 固件中未启用 RDMA。 0x0027 启动失败，未设置 MAC 地址。 0x0028 检测到发送失速。现在开始禁用发送流控制。 2018 年 2 月 26 日 • NetXtreme-E-UG100 第 36 页
NetXtreme-E 用户手册 组合 组合 Windows 安装在 Dell 平台上的 Broadcom NetXtreme-E 设备可以使用 Microsoft 组合解决方案参与 NIC 组合功能。 参阅以下链接中描述的 Microsoft 公共文档： https://www.microsoft.com/en-us/download/details.aspx?id=40319 Microsoft LBFO 是可以在 Windows 操作系统中使用的原生组合驱动程序。该组合驱动程序还提供 VLAN 标记功能。 Linux Linux bonding 用于 Linux 下的组合。该概念是加载 bonding 驱动程序并向绑定中添加组员，该绑定将对通讯流 量进行负载平衡。 使用下列步骤设置 Linux bonding： 1. 执行以下命令： modprobe bonding mode=”balance‐alb”。这会创建一个绑定接口。 2. 向绑定接口中添加绑定客户端。下面显示一个示例： ifenslave bond0 ethX; ifenslave bond0 ethY 3.
NetXtreme-E 用户手册 系统级配置 系统级配置 参阅以下各节，了解有关系统级 NIC 配置的信息。 UEFI HII 菜单 可以使用 HII（人机界面）菜单配置 Broadcom NetXtreme-E 系列控制器，进行预启动、iscsi 和 SR-IOV 等高级 配置。 要配置这些设置，请在系统引导过程中选择 F2 -> System Setup（系统设置） -> Device Settings（设备设置）。 选择所需的网络适配器，查看和更改配置。 主配置页面 此页面显示适配器和以太网设备的当前网络链路状态、PCI-E Bus:Device:Function、MAC 地址。 10GBaseT 卡允许用户启用或禁用节能以太网 (EEE)。 固件图像属性 主配置页面 -> 固件映像属性显示系列版本，包括控制器 BIOS、Multi Boot Agent (MBA)、UEFI、iSCSI 的版本 号和 Comprehensive Configuration Management (CCM) 版本号。 设备级别配置 主配置页面 -> 设备级配置允许用户启用 SR-IOV 模式、每个物理功能的虚
NetXtreme-E 用户手册 系统级配置 Comprehensive Configuration Management 预引导配置可使用 Comprehensive Configuration Management (CCM) 菜单选项进行配置。在系统 BIOS POST 过程中，将会显示 Broadcom 标志消息，并提供通过 Control-S 菜单更改参数的选项。当按下 Control-S 时，设 备列表将会包含系统中找到的所有 Broadcom 网络适配器。选择所需的 NIC 进行配置。 设备硬件配置 使用此节可以配置的参数与 HII 菜单“设备级配置”相同。 MBA 配置菜单 使用此节可以配置的参数与 HII 菜单“NIC 配置”相同。 iSCSI 引导主菜单 使用此节可以配置的参数与 HII 菜单“iSCSI 配置”相同。 2018 年 2 月 26 日 • NetXtreme-E-UG100 第 39 页
NetXtreme-E 用户手册 系统级配置 自动协商配置 注：在一个端口由多个 PCI 功能共享的 NPAR（NIC 分区）设备中，端口速度是预先配置的，不能由 驱动程序更改。 Broadcom NetXtreme-E 控制器支持以下自动协商功能： • 链路速度自动协商 • 暂停/流控制自动协商 • FEC – 前向纠错自动协商 注：对于链路速度自动协商，在使用 SFP+、SFP28 连接器时，可以使用支持自动协商的 DAC 或多 模光纤收发器。确保链路伙伴端口已设置为匹配自动协商协议。例如，如果本地 Broadcom 端口已设 置为 IEEE 802.3by 自动协商协议，则链路伙伴必须支持自动协商且必须设置为 IEEE 802.
系统级配置 NetXtreme-E 用户手册 表 24：支持的 Link Speed 设置组合 Port 2 Link Setting Port1 Link Speed Setting Forced 1G Forced 10G Forced 25G Forced 1G Forced 10G Forced 25G AN Enabled AN Enabled {1G} {10G} AN Enabled {25G} AN Enabled {1/ 10G} AN Enabled {1/ 25G} AN Enabled {10/ 25G} AN Enabled {1/10/ 25G} P1: no AN P1: no AN P1: no AN P1: no AN P1: no AN P1: no AN P1: no AN P1: no AN P1: no AN P1: no AN P2: no AN P2: no AN P2: no AN P2: {1G} P2: AN {10G} P2: AN {25G} P2: AN {1/10G} P2: AN {1/25G
系统级配置 NetXtreme-E 用户手册 • {链路速度} - 预期链路速度 • 自动协商 {链路速度} - 需要受支持的自动协商链路速度。 预期的链路速度基于表 25 中显示的本地和链路伙伴设置。 表 25：预期的链路速度 Link Partner Speed Settings Local Speed Settings Forced Forced 1G 10G Forced 25G AN AN Enabled Enabled {10G} {1G} AN Enabled {25G} AN Enabled {1/10G} AN Enabled {1/ AN Enabled AN Enabled 25G} {10/25G} {1/10/25G} Forced 1G 1G No link No link No link No link No link No link No link No link No link Forced 10G No link 10G No link No link No link No link No link No l
NetXtreme-E 用户手册 系统级配置 操作链路速度 此选项配置预启动（MBA 和 UEFI）驱动程序（Linux、ESX）、操作系统驱动程序和固件使用的链路速度。 此设置将被操作系统当前状态下的驱动程序设置覆盖。Windows 驱动程序 (bnxtnd_.sys) 使用驱动程序 .inf 文件 中的 linkspeed 设置。 固件链路速度 此选项配置的链路速度在设备处于 D3 中时供固件使用。 自动协商协议 这是受支持的自动协商协议，在与链路伙伴协商链路速度时使用。此选项必须与链路伙伴端口中的自动协商协 议设置相匹配。Broadcom NetXtreme-E NIC 支持以下自动协商协议：IEEE 802.3by、25G/50G 联盟和 25G/ 50G BAM。默认情况下，此选项设置为 IEEE 802.
NetXtreme-E 用户手册 系统级配置 以下是受支持的所需速度。 • 0x020 – 1000baseT Full • 0x1000 – 10000baseT Full • 0x80000000 – 25000baseCR Full ethtool -A eth0 autoneg on|off 使用此命令启用/禁用“暂停帧”自动协商。 ethtool -a eth0 使用此命令显示当前流控制自动协商设置。 ESXi 驱动程序设置 注：对于 10GBase-T NetXtreme-E 网络适配器，必须启用自动协商。在 10GBase-T 适配器上使用强 制速度将导致 esxcli 命令失败。 注：VMWare ESX6.0 不支持 25G 速度。这此情况下，使用第二实用程序 (BNXTNETCLI) 设置 25G 速度。ESX6.
NetXtreme-E 用户手册 系统级配置 FEC 自动协商 要启用/禁用链路 FEC 自动协商，可在系统 BIOS HII 菜单或 CCM 中启用以下选项： • 系统 BIOS -> 设备设置 -> NetXtreme-E NIC -> 设备级配置 在协商交换过程中，FEC 自动协商使用两个参数：FEC capable 和 FEC request。 如果 NIC 将其作为 FEC 自动协商功能播发，则 FEC 设置由 Switch 驱动。随后，即可与启用 FEC 的交换机或 禁用 FEC 的交换机连通。 示例： – switch – capable=1, request = 1 then, the link is a FEC link. – switch – capable= N/A, request= 0 = then the FEC is disabled.
NetXtreme-E 用户手册 系统级配置 表 27：适用于 BCM5741X 的 FEC 支持配置 链路伙伴 FEC 设置 Force Speed Base-R FEC CL74 Force Speed RS-FEC CL91/ CL108 AN（无） An AN（无，Base-R， （无，Base-R） RS） Force No FEC 链路无 FEC 无链路 无链路 无链路 无链路 无链路 Force Speed Base-R FEC CL74 无链路 Base-R FEC CL74 无链路 无链路 无链路 无链路 强制 RS-FEC CL91/CL108 无链路 无链路 RS-FEC CL91/ CL108 无链路 无链路 无链路 AN（无） 无链路 无链路 无链路 链路无 FEC Base-R FEC CL74 RS-FEC CL91/CL108 AN（无， Base-R） 无链路 无链路 无链路 Base-R FEC CL74 Base-R FEC CL74 RS-FEC CL91/CL108 AN（无， 无链路 B
NetXtreme-E 用户手册 系统级配置 表 28：介质类型与速度之间的链路训练关系 链路伙伴链路训练设置 Force Speed Link Training Disabled Force Speed Link Training Enabled AN（自动链路训练） Force Speed DAC (SFP+/SFP28/ QSFP28) 链路无链路训练 链路有链路训练 链路有链路训练 Force Speed optical (Transceiver/AOC) 链路无链路训练 链路无链路训练 无 AN DAC (SFP+SFP28/QSFP28) 无链路 无链路 链路有链路训练 本地和介质电缆类型 介质自动检测 由于 SerDes 不支持并行检测，所以，固件实施了一种用于增强链路检测的方法，称为介质自动检测。此功能 受 CCM/HII 控制，如图 13 所示。 启用介质自动检测时，链路策略在状态机之后（参见图 13）与链路伙伴建立链路。此行为取决于介质类型。 对于 DAC 电缆而言，该方法回归其他强制模式，并且在链路连通时停止。 注： 以 25G 或 10GbE 速率
NetXtreme-E 用户手册 系统级配置 表 29 和表 30 显示了启用介质自动检测的链路结果。 表 29：适用于 BCM5730X 和 BCM5740X 的介质自动检测 链路伙伴链路训练设置 链路伙伴设置 介质自动检测 速度 FEC 10G 无 FEC 链路 链路支持 Base-R Base-R 无链路 链路支持 Base-R 无 FEC 链路 链路 Base-R 无链路 链路支持 Base-R 禁用 链路 链路 自动 FEC 链路 链路支持 Base-R Base-R 链路支持 Base-R 链路支持 Base-R 25G AN 无 FEC Base-R FEC 表 30：适用于 BCM5741X 的介质自动检测 链路伙伴链路训练设置 链路伙伴设置 速度 FEC 10G 无 FEC 25G AN 介质自动检测 Base-R FEC RS-FEC 链路 链路支持 Base-R 无链路 Base-R 无链路 链路支持 Base-R 无链路 RS 无链路 无链路 链路支持 RS-FEC 无 FEC 链路
NetXtreme-E 用户手册 ISCSI 引导 ISCSI 引导 Broadcom NetXtreme-E 以太网适配器支持 iSCSI 引导，从而实现无盘系统的操作系统网络引导。iSCSI 引导允 许 Windows、Linux 或 VMware 操作系统通过标准 IP 网络从位于远程的 iSCSI 目标计算机引导。 适用于 iSCSI 引导的支持的操作系统 Broadcom NetXtreme-E Gigabit 以太网适配器支持以下操作系统上的 iSCSI 引导： • Windows Server 2012 及更高版本 64 位 • • Linux RHEL 7.1 及更高版本，SLES11 SP4 或更高版本 VMware 6.
NetXtreme-E 用户手册 ISCSI 引导 配置 iSCSI 引导参数 配置 Broadcom iSCSI 引导软件以获得静态或动态配置。有关“常规参数”菜单上提供的配置选项的信息，请参阅 表 31。表 31 列出了适用于 IPv4 和 IPv6 的参数。指出了特定于 IPv4 或 IPv6 的参数。 表 31：配置选项 选项 描述 通过 DHCP 配置 TCP/IP 参数 该选项特定于 IPv4。控制 iSCSI 引导主机软件是使用 DHCP 获得 IP 地 址信息（启用）还是使用静态 IP 配置（禁用）。 IP 自动配置 该选项特定于 IPv6。控制显示并使用了 DHCPv6（启用）时，iSCSI 引 导主机软件是否配置无状态链接本地地址和/或有状态地址。Router Solicit 数据包在每次重试间，每隔 4 秒最多发送 3 次。或使用静态 IP 配 置（禁用）。 通过 DHCP 配置 iSCSI 参数 控制 iSCSI 引导主机软件是使用 DHCP 获得其 iSCSI 目标参数（启用） 还是通过静态配置（禁用）。通过 iSCSI 启动程序参数配置屏幕输入静 态信息。 C
NetXtreme-E 用户手册 ISCSI 引导 iSCSI 引导配置 有两种配置 iSCSI 引导的方法： • 静态 iSCSI 引导配置。 • 动态 iSCSI 引导配置。 静态 iSCSI 引导配置 在静态配置中，必须为系统的 IP 地址、系统的启动程序 IQN 和在第 49 页上的“配置 iSCSI 目标” 中获得的目标 参数输入数据。要了解关于配置选项的信息，请参见第 50页上的 表 31。 使用静态配置来配置 iSCSI 引导参数： 1.
NetXtreme-E 用户手册 ISCSI 引导 6. 从主菜单中，选择第一个目标参数。 注：对于初始设置，不支持配置第二个目标。 7. 从第一个目标参数屏幕中，启用连接，以连接到 iSCSI 目标。使用配置 iSCSI 目标时使用的值为以下各项输 入值： • IP 地址 • TCP 端口 • 引导 LUN • iSCSI 名称 8. 选择 Esc 返回到主菜单。 9. 选择 Esc 并选择退出并保存配置。 10.
NetXtreme-E 用户手册 ISCSI 引导 使用动态配置来配置 iSCSI 引导参数： 1. 从常规参数菜单屏幕中，设置以下参数： • 通过 DHCP 配置 TCP/IP 参数 – 启用。（对于 IPv4。） • IP 自动配置 – 启用。（对于 IPv6、non-offload。） • 通过 DHCP 配置 iSCSI 参数 – 启用 • CHAP 身份验证 – 禁用 • DHCP 供应商 ID – BRCM ISAN • 链路连通延迟时间 – 0 • 使用 TCP 时间戳 – 启用（对于 Dell/EMC AX100i 等目标，有必要启用“使用 TCP 时间戳”） • 目标为第一个 HDD – 禁用 • LUN 忙时重试次数 – 0 • IP 版本 – IPv6。（对于 IPv6、non-offload。） 2. 选择 Esc 返回到主菜单。 注： 启动程序参数和第一个目标参数屏幕上的信息均将忽略，不需要清除。 3. 选择退出并保存配置。 启用 CHAP 身份验证 确保在目标上启用了 CHAP 身份验证。 启用 CHAP 身份验证： 1.
NetXtreme-E 用户手册 ISCSI 引导 配置 DHCP 服务器以支持 iSCSI 引导 DHCP 服务器是可选组件，只有动态 iSCSI 引导配置设置才需要它（请参见第 52 页上的“动态 iSCSI 引导 配置” ）。 配置 DHCP 服务器以支持 iSCSI 引导对于 IPv4 和 IPv6 是不同的。参阅以下各节： IPv4 的 DHCP iSCSI 引导配置 DHCP 协议包括许多为 DHCP 客户端提供配置信息的选项。对于 iSCSI 引导，Broadcom 适配器支持以下 DHCP 配置： DHCP 选项 17，根路径 选项 17 用于将 iSCSI 目标信息传递给 iSCSI 客户端。IETC RFC 4173 中定义的根路径的格式为： iscsi:"":"":"":"":" 参数在表 32 中定义。 表 32：DHCP 选项 17 参数定义 参数 定义 "iscsi:" 字符串。 iSCSI 目标的 IP 地址或 FQDN ":" 分隔符。
NetXtreme-E 用户手册 ISCSI 引导 表 33：DHCP 选项 43 子选项定义 子选项 定义 201 采用标准根路径格式的第一条 iSCSI 目标信息 iscsi:"":"":"":"":" 203 iSCSI 启动程序 IQN 与 DHCP 选项 17 相比，使用 DHCP 选项 43 需要更多配置，但它提供更丰富的环境和更多配置选项。 Broadcom 建议客户在执行动态 iSCSI 引导配置时使用 DHCP 选项 43。 配置 DHCP 服务器 配置 DHCP 服务器以支持选项 17 或选项 43。 注：如果使用选项 43，则配置选项 60。选项 60 的值应该与 DHCP 供应商 ID 值匹配。DHCP 供应商 ID 值为 BRCM ISAN，如 iSCSI 引导配置菜单的常规参数中所示。 IPv6 的 DHCP iSCSI 引导配置 DHCPv6 服务器可提供多个选项，包括无状态或有状态 IP 配置以及向 DHCPv6 客户端发送信息。对于 iSCSI 引导，Broadcom
NetXtreme-E 用户手册 VXLAN：配置和使用案例示例 表 34：DHCP 选项 17 子选项定义 子选项 定义 201 采用标准根路径格式的第一条 iSCSI 目标信息 "iscsi:"[]":"":"": "":"" 203 iSCSI 启动程序 IQN 注：在表 34 中，方括号 [ ] 是 IPv6 地址所必需的。 选项 17 的内容应为 <2-byte Option Number 201|202|203> <2-byte length> 。 配置 DHCP 服务器 配置 DHCP 服务器以支持选项 16 和选项 17。 注：DHCPv6 选项 16 和选项 17 的格式在 RFC 3315 中进行了完整的定义。 VXLAN：配置和使用案例示例 VXLAN 封装允许驻留在一台服务器上的多个 3 层主机发送和接收帧，封装到与安装在同一服务器上的 NIC 卡关 联的单个 IP 地址上。 此示例讨论两台 RHEL 服务器之间的基本 VxLan 连通性。每台服务器都启用了一个物
NetXtreme-E 用户手册 SR-IOV：配置和使用案例示例 表 36：VXLAN 命令和配置示例 系统 1 系统 2 PxPy: ifconfig PxPy 1.1.1.4/24 PxPy: ifconfig PxPy 1.1.1.2/24 ip link add vxlan10 type vxlan id 10 group 239.0.0.10 dev PxPy dstport 4789 ip link add vxlan10 type vxlan id 10 group 239.0.0.10 dev PxPy dstport 4789 ip addr add 192.168.1.5/24 broadcast 192.168.1.255 dev vxlan10 ip addr add 192.168.1.10/24 broadcast 192.168.1.255 dev vxlan10 ip link set vxlan10 up ip link set vxlan10 up ip –d link show vxlan10 Ping 192.168.1.
NetXtreme-E 用户手册 SR-IOV：配置和使用案例示例 注：使用 netxtreme‐bnxt_en.tar.gz，在 SRIOV VF 上安装 bnxt_re 和 bnxt_en 以获取 RDMA 功能。 6. 通过核心参数启用虚拟功能： a. 安装驱动程序后，lspci 便会显示系统中存在 NetXtreme-E NIC。激活虚拟功能需要提供总线、 设备和功能。 b. 要激活虚拟功能，请输入如下所示的命令： echo X >/sys/bus/pci/device/0000\:Bus\:Dev.Function/sriov_numvfs 注：确保 PF 接口已设置。只有设置 PF 后，才能创建 VF。X 是将要导出到操作系统的虚拟功能数量。 典型的示例为： echo 4 > /sys/bus/pci/devices/0000\:04\:00.0/sriov_numvfs 7. 检查 PCI-E 虚拟功能： a.
NetXtreme-E 用户手册 SR-IOV：配置和使用案例示例 c. 设置每个物理功能的虚拟功能数。 d. 设置每个虚拟功能的 MSI-X 矢量数和物理功能 MSI-X 矢量的最大数量。如果虚拟功能耗尽资源，则使用 CCM 平衡每个虚拟机的 MSI-X 矢量数。 2. 在 BIOS 中启用虚拟化： a. 在系统引导过程中，进入系统 BIOS -> 处理器设置 -> 虚拟化技术，将其设置为已启用。 b. 在系统引导过程中，进入系统 BIOS -> 集成设备 -> SR-IOV Global，将其设置为已启用。 3. 为您的 Windows 2012 R2 或 Windows 2016 操作系统安装最新的 KB 更新。 4. 安装合适的虚拟化 (Hyper-V) 选项。了解关于设置 Hyper-V、虚拟交换机和虚拟机的更多详细要求和步骤， 请访问 Microsoft.com： https://technet.microsoft.
NetXtreme-E 用户手册 SR-IOV：配置和使用案例示例 3. 在 ESXi 上按以下步骤安装 Bnxtnet 驱动程序： a. 在 /var/log/vmware 中复制 -.vib 文件。 $ cd /var/log/vmware。 $ esxcli software vib install ‐‐no‐sig‐check ‐v ‐.vib。 b. 重启计算机。 c. 验证驱动程序是否正确安装： $ esxcli software vib list | grep bnxtnet 4. 安装 Broadcom 提供的 BNXTNETCLI (esxcli bnxtnet) 实用程序，以设置/查看 esxcli 中原本不支持的杂项驱 动程序参数，例如将链路速度设置为 25G，显示驱动程序/固件芯片信息，显示 NIC 配置（NPAR、 SRIOV）。有关详细信息，请参阅 bnxtnet 驱动程序的 README.txt 文件。 要安装此实用程序： a.
NetXtreme-E 用户手册 SR-IOV：配置和使用案例示例 要启用一个或多个 VF，驱动程序使用模块参数“max_vfs”为 PF 启用所需数量的 VF。例如，要在 PF1 上启 用 4 个 VF： esxcfg‐module ‐s 'max_vfs=4' bnxtnet（需要重启） 要在一组 PF 上启用 VF，请使用以下所示格式的命令。例如，要在 PF 0 上启用 4 个 VF，在 PF 2 上启用 2 个 VF： esxcfg‐module ‐s 'max_vfs=4,2' bnxtnet（需要重启） 在 PF 启用过程中，每个受支持的 PF 上所需的 VF 将按顺序启用。请参阅 VMware 文档，了解如何将 VF 映 射到 VM 的相关信息： https://pubs.vmware.com/vsphere-60/index.jsp#com.vmware.vsphere.networking.doc/GUID-EE03DC6F32CA-42EF-98FC-12FDE06C0BE0.html https://pubs.vmware.com/vsphere-60/index.
NetXtreme-E 用户手册 NPAR – 配置和使用案例示例 NPAR – 配置和使用案例示例 功能和要求 • 与 OS/BIOS 无关 - 分区在操作系统中如同“真实的”网络接口，所以无须特殊的 BIOS 或 OS 支持， 如 SR-IOV。 • 额外的 NIC，无须其他交换机端口、布线、PCIe 扩展槽。 • 通信量调整功能 - 可以控制每个分区的带宽分配，以便根据需要进行限制或保留。 • 可用于交换机不相关方式 - 交换机不需要任何特殊配置，也不需要知道 NPAR 的启用状态。 • 可与 RoCE 和 SR-IOV 配合使用。 • 支持无状态卸载，如 LSO、TPA、RSS/TSS 和 RoCE（每端口仅 2 个 PF）。 • 替代路由 ID 支持每个物理设备超过 8 个功能。 注：在 Dell UEFI HII 菜单 -> 主配置 -> 设备级配置页面中，用户可以启用 NParEP，以允许 NXE 适配器在具有 ARI 功能的系统中支持每设备最多 16 个 PF。对于 2 端口设备，表示每个端口最多 8 个 PF。 限制 • 必须中止共享设置以避免争用。例如：速
NetXtreme-E 用户手册 NPAR – 配置和使用案例示例 NPAR 已启用，与 SR-IOV 组合使用。对于某些具有 ARI 功能的 OEM 系统，NParEP 按钮可用于明确允许 BCM5741X 支持最多 16 个分区。从“单功能”模式切换到“多功能”模式需要重新枚举设备，所以在系统重启 之前，修改不会生效。 2. 启用 NPAR 后，在每个物理端口相关的主 NIC 配置菜单中，“NIC 分区主配置菜单”选项可用。 3.
NetXtreme-E 用户手册 NPAR – 配置和使用案例示例 4.
NetXtreme-E 用户手册 NPAR – 配置和使用案例示例 降低 NIC 内存消耗注意事项 由于此 NIC 支持较快的链路速度，因此接收缓冲区的默认数量更大。当链路速度较快时，在给定的时间间隔内 到达的数据包更多，如果主机系统在处理接收中断情况时有延迟，那么只要所有可用接收缓冲区都在使用， NIC 将必须丢失数据包。 选择接收缓冲区默认值时要使其在典型配置下工作良好。但是，如果系统中有多个 NIC、多个 NIC 上已启用 NPAR 或只有少量 RAM，则您可参阅设备管理器代码 12 的“黄色叹号”了解 NIC 相关信息。代码 12 表示：由于 没有足够资源，驱动程序加载失败。在此情况下，资源是特定类型的内核内存，被称为非分页内存池 (NPP) 内存。 如果您得到代码 12 或因为其他原因想降低 NIC 消耗的 NPP 内存量： • 减少 RSS 队列的数量，从默认的 8 降至 4 或 2。每个 RSS 队列都被分配一组自己的接收缓冲区，所以减 少 RSS 队列的数量将减少所分配的 NPP 内存。减少 RSS 队列的数量可能会影响性能，因为参与处理该 NIC 的接收数据包的内核数量变少。应该监控每
NetXtreme-E 用户手册 RoCE - 配置和使用案例示例 RoCE - 配置和使用案例示例 本节将提供 RoCE 的配置和使用案例示例。 要为 PF 或 VF 启用 RoCE，用户必须在 BIOS 的 HII 菜单中启用 RDMA 选择，然后 RDMA 选项才可在主机或 客户机操作系统中生效。 要在单功能模式下启用 RDMA（如果虚拟模式为无或 SR-IOV）： 1. 在系统引导期间，访问系统设置 -> 设备设置 -> NetXtreme-E NIC -> 主配置页面，然后将 NIC+ RMDA 模式设置为已启用。 在虚拟模式为 NPAR 或 NPAR+SR-IOV 的情况下启用 RDMA： 1.
NetXtreme-E 用户手册 RoCE - 配置和使用案例示例 要编译 bnxt_re： $make • 需要安装外部 OFED 的发行版有： SLES11SP4 请访问以下链接，参阅 OFED 发行说明并安装 OFED，然后再编译 bnxt_re 驱动程序。 http://downloads.openfabrics.org/downloads/OFED/release_notes/OFED_3.18-2_release_notes 要编译 bnxt_re： $export OFED_VERSION=OFED‐3.18‐2 $make 安装 要在 Linux 中安装 RoCE： 1. 使用支持 RoCE 的固件程序包，将 NIC NVRAM 从软件发行版 20.06.04.01 或更新版本进行升级。 2. 在操作系统中，解压缩、构建并安装 BCM5741X Linux L2 和 RoCE 驱动程序。 a. # tar ‐xzf netxtreme‐bnxt_en‐1.7.9.tar.gz b. # cd netxtreme‐bnxt_en‐bnxt_re c.
NetXtreme-E 用户手册 RoCE - 配置和使用案例示例 为防止加载不匹配的 bnxt_en 和 bnxt_re 组合，需要如下操作： • 如果已使用带 bnxt_en DUD 或内核模块 RPM 的 PXEboot 将 RedHat/CentOS 7.2 操作系统安装到目标系统 中，请删除 /lib/modules/$(uname ‐r)/extra/bnxt_en/bnxt_en.ko 中的 bnxt_en.ko 文件或编辑 /etc/ depmod.d/. • 用 Bnxt_en.conf 进行覆写，以使用更新的版本。用户还可以使用 rpm -e kmod-bnxt_en 命令清除当前的 BCM5741X Linux 内核驱动程序。RHEL 7.3/SLES 12 Sp2 内置 bnxt_en 驱动程序（v1.7.
NetXtreme-E 用户手册 RoCE - 配置和使用案例示例 客户机端： • 启用：Set-SmbClientConfiguration -EnableMultiChannel $true • 禁用：Set-SmbClientConfiguration -EnableMultiChannel $false 注：默认情况下，该驱动程序为每个 IP 地址的每个网络共享最多设置两个 RDMA 连接（在唯一子 网上）。用户可以通过为正在进行测试的同一物理端口添加多个 IP 地址（每个都有不同的子网）， 以此增加 RDMA 连接的数量。可以使用创建的唯一 IP 地址创建多个网络共享并将其映射到每个链路 伙伴。 例如： 在服务器 1 上，为 网络端口 1 创建以下 IP 地址。 172.1.10.1 172.2.10.2 172.3.10.3 在同一服务器 1 上，创建 3 个共享。 Share1 Share2 Share3 在网络链路伙伴上， 连接到 \\172.1.10.1\share1 连接到 \\172.2.10.2\share2 连接到 \\172.3.10.3\share3 等等 用户模式 可以运
NetXtreme-E 用户手册 RoCE - 配置和使用案例示例 VMware ESX 限制 支持 RoCE 的当前版本驱动程序需要 ESXi-6.5.0 GA 版本 4564106 或更高版本。 BNXT RoCE 驱动程序要求 必须将 BNXTNET L2 驱动程序与 disable_roce=0 模块参数一同安装，然后才能安装驱动程序。 要设置模块参数，请运行以下命令： esxcfg‐module ‐s "disable_roce=0" bnxtnet 请使用 ESX6.5 L2 驱动程序版本 20.6.9.0（支持 RoCE 的 L2 驱动器）或更高版本。 安装 要安装 RoCE 驱动程序： 1. 使用以下命令在 /var/log/vmware 中复制 ‐.vib 文件： $ cd /var/log/vmware $ esxcli software vib install ‐‐no‐sig‐check ‐v ‐.vib 2. 重启计算机。 3.
NetXtreme-E 用户手册 RoCE - 配置和使用案例示例 配置 Paravirtualized RDMA 网络适配器 请参阅下方 vmware 连接，了解有关设置和使用 Paravirtualized RDMA (PVRDMA) 网络适配器的更多信息。 https://pubs.vmware.com/vsphere-65/index.jsp#com.vmware.vsphere.networking.doc/GUID-4A5EBD44FB1E-4A83-BB47-BBC65181E1C2.html 为 PVRDMA 配置虚拟中心 要为 PVRDMA 配置虚拟中心： 1. 创建 DVS（PVRDMA 需要分布式虚拟交换机） 2. 将主机添加到 DVS。 为 ESX 主机上的 PVRDMA 标记 vmknic 要为 PVRDMA 标记 vmknic 以在 ESX 主机上使用： 1. 选择主机，然后右键单击设置切换到管理选项卡的设置页面。 2. 在设置页面中，展开系统，然后单击高级系统设置，以显示“高级系统设置”密钥对及其摘要。 3.
NetXtreme-E 用户手册 RoCE - 配置和使用案例示例 在 Linux 客户机操作系统上配置 VM 注：用户必须安装适当的开发工具（包括 git），然后才能继续执行下方配置步骤。 1. 使用以下命令下载 PVRDMA 驱动程序和库： git clone git://git.openfabrics.org/~aditr/pvrdma_driver.git git clone git://git.openfabrics.org/~aditr/libpvrdma.git 2. 编译并安装 PVRDMA 客户机驱动程序和库。 3. 要安装该驱动程序，请在驱动程序目录中执行 make && sudo insmod pvrdma.ko。 必须先加载已配对的 vmxnet3 驱动程序，然后再加载该驱动程序。 已安装的 RDMA 内核模块可能与 PVRDMA 驱动程序不兼容。如果不兼容，请移除当前安装，然后 重启。然后按安装说明进行操作。请阅读驱动程序目录中的 README 了解有关不同 RDMA 堆栈的更 多信息。 4. 要安装库，请在库目录中执行 ./autogen.sh && .
NetXtreme-E 用户手册 DCBX - 数据中心桥接 DCBX - 数据中心桥接 Broadcom NetXtreme-E 控制器支持 IEEE802.1Qaz DCBX 及更旧的 CEE DCBX 规格。通过将本地配置的设置 与链路对等端交换获取 DCB 配置。由于链路的两端可能配置不同，因此 DCBX 使用“愿意”的概念指示链路的哪 一端准备好接受另一端的参数。这在 DCBX 协议的 ETS 配置和 PFC TLV 中使用一位指示，这一位不用于 ETS 建议和应用程序优先级 TLV。默认情况下，NetXtreme-E NIC 处于“愿意”模式，而链路伙伴网络交换机处于“不 愿意”模式。这将确保交换机上的相同 DCBX 设置延伸到整个网络。 用户可以将 NetXtreme-E NIC 手动设置为“不愿意”模式，并从主机端执行各种 PFC、严格优先级、ETS、APP 配置。请参阅驱动程序的 readme.
NetXtreme-E 用户手册 DCBX - 数据中心桥接 DCBX 模式 = 启用（仅 IEEE） 此选项允许用户启用/禁用指定规格的 DCBX。IEEE 只表示已选中 IEEE802.1Qaz DCBX。 Windows 驱动程序设置： 在 UEFI HII 菜单中启用指定选项以设置固件级别设置后，在 Windows 驱动程序高级属性中执行以下选择。 打开 Windows 设备管理器 -> Broadcom NetXtreme E 系列适配器 -> 高级属性 ->“高级”选项卡 服务质量 = 已启用 优先级和 VLAN = 优先级和 VLAN 已启用 VLAN = 设置所需 VLAN ID 要在 Windows PowerShell 中验证 DCB 相关命令，请安装相应的 DCB Windows 功能。 1. 在任务栏中，右键单击 Windows PowerShell 图标，然后单击以管理员身份运行。Windows PowerShell 以提升模式打开。 2.
NetXtreme-E 用户手册 DCBX - 数据中心桥接 使用以下命令显示创建的通信量类别： C:\> Get‐NetQoSTrafficClass 名称 算法 带宽（百分比） 优先级 ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐ [默认] ETS 70 SMB 类别 ETS 30 0‐3，5‐7 4 使用以下命令修改通信量类别： PS C:\> Set‐NetQoSTrafficClass ‐Name "SMB class" ‐BandwidthPercentage 40 PS C:\> get‐NetQosTrafficClass 名称 算法 带宽（百分比） 优先级 ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐ [默认] ETS 60 0‐3，5‐7 SMB 类别 ETS 40 4 使用以下命令移除通信量类别： PS C:\> Remove‐NetQosTrafficClass ‐Name "SMB class" PS C:\> Get‐NetQosTrafficClass 名称 算法 带宽（百
NetXtreme-E 用户手册 DCBX - 数据中心桥接 注：上述命令为 SMB 创建新策略。-SMB 是随附的过滤器，与 TCP 端口 445 匹配（为 SMB 保留）。 如果数据包被发送到 TCP 端口 445，将被操作系统标记为 802.1p 值 4，然后才能传递到网络微型端口 驱动程序。 除 -SMB 外的其他默认过滤器包括：-iSCSI（匹配 TCP 端口 3260）、-NFS （匹配 TCP 端口 2049）、 -LiveMigration（匹配 TCP 端口 6600）、-FCOE（匹配 EtherType 0x8906）和 -NetworkDirect。 NetworkDirect 是我们在网络适配器的任何 RDMA 实施的顶层创建的抽象层。-NetworkDirect 必须后 跟 Network Direct 端口。 除默认过滤器外，用户可以按应用程序的可执行文件名称对通信进行分类（如方第一个示例），或者 按 IP 地址、端口或协议分类。 使用以下命令根据源/目的地址创建 QoS 策略： PS C:\> New‐NetQosPolicy "Network Management" ‐I
NetXtreme-E 用户手册 常见问题 使用以下命令移除 QoS 策略： PS C:\> Remove‐NetQosPolicy ‐Name "Network Management" 常见问题 • 是否支持 25G 速度下的 AutoNeg？ 是。请参阅 第 40 页上的“自动协商配置” 了解更多详细信息。 • 如何将 SFP28 电缆连接到 QSFP 端口？ 有从 QSFP 到 4 个 SFP28 端口的分支电缆。 • 什么是兼容端口速度？ 对于 BCM57404AXXXX/BCM57414 双端口设备，每个端口的端口速度必须与另一端口的端口速度 兼容。10 Gbps 和 25 Gbps 链路速度不兼容。如果一个端口设置为 10 Gbps，则另一个端口不能设置为 25 Gbps。如果用户尝试设置不兼容的端口速度，则第二个要启用的端口将无法链接。请参阅 第 40 页上的 “自动协商配置” 了解更多详细信息。 • 我能对 25 Gbps 端口上的 PXE 连接使用 10 Gbps 吗？ 目前仅支持 25 Gbps PXE 速度。不建议在 25 Gbps 适配器上使用 10 Gbps PX
