사용 설명서 NetXtreme-E Broadcom® NetXreme-C 및 NetXtreme-E 사용 설명서 NetXtreme-E-UG100 2018년 2월 26일
개정 기록 개정 날짜 변경사항 설명 NetXtreme-E-UG100 2018년 2월 26일 최초 릴리스: 20.6. © 2018 by Broadcom. All rights reserved. Broadcom®, Pulse 로고, Connecting everything®, Avago Technologies 및 A 로고는 미국, 특정 국가 및/ 또는 EU에서 Broadcom 및/또는 계열사의 상표입니다. “Broadcom” 용어는 Broadcom Limited 및/또는 자회사를 나타냅니다. 자세한 내용은 www.broadcom.com 을 방문하십시오. Broadcom은 신뢰도, 기능, 디자인 등 관련 품질을 높이기 위해 사전 통보 없이 제품을 비롯한 본 사용 설명서의 내용을 변경할 수 있습니다. Broadcom이 제공하는 정보는 정확성과 신뢰성이 있는 것으로 간주됩 니다.
NetXtreme-E 사용 설명서 목차 목차 규정 및 안전 승인............................................................................................................................................ 7 규정 ......................................................................................................................................................... 7 안전 ......................................................................................................................................................... 7 전자기 호환성(EMC) .
NetXtreme-E 사용 설명서 목차 하드웨어 설치 ............................................................................................................................................... 26 안전 주의 사항....................................................................................................................................... 26 시스템 요구 사항 ................................................................................................................................... 26 하드웨어 요구 사항 ..............................
NetXtreme-E 사용 설명서 목차 iSCSI 구성...................................................................................................................................... 38 CCM(Comprehensive Configuration Management) .............................................................................. 39 장치 하드웨어 구성 ........................................................................................................................ 39 MBA 구성 메뉴 .......................................................................
NetXtreme-E 사용 설명서 목차 VMWare SRIOV 사례 ............................................................................................................................ 59 NPAR – 구성 및 사용 사례 예제.................................................................................................................... 62 기능 및 요구 사항 .................................................................................................................................. 62 제한 사항 .....................................................
NetXtreme-E 사용 설명서 규정 및 안전 승인 규정 및 안전 승인 다음 섹션에서는 NetXtreme-E 네트워크 인터페이스 카드에 대한 규정, 안전, 전자기 호환성(EMC) 및 정전기 방전(ESD) 표준 준수에 대해 자세히 설명합니다. 규정 표 1: 규정 승인 항목 해당하는 표준 승인/인증서 CE/유럽 연합 EN 62368-1:2014 CB 보고서 및 인증서 UL/미국 IEC 62368-1 ed. 2 CB 보고서 및 인증서 CSA/캐나다 CSA 22.2 No.
NetXtreme-E 사용 설명서 규정 및 안전 승인 전자기 호환성(EMC) 표 3: 전자기 호환성 표준/국가 인증 유형 규정 준수 CE/유럽 연합 EN 55032:2012/AC:2013 Class B EN 55024:2010 EN 61000-3-2:2014 EN 61000-3-3:2013 CE 보고서 및 CE DoC FCC/미국 CFR47, Part 15 Class B FCC/IC DoC 및 EMC 보고서 참조 FCC 및 IC 표준 IC/캐나다 ICES-003 Class B FCC/IC DoC 및 보고서 참조 FCC 및 IC 표준 ACA/오스트레일리아, 뉴질랜드 AS/NZS CISPR 22:2009 +A1:2010 / AS/NZS CISPR 32:2015 ACA 인증서 BSMI/대만 CNS13438 Class B BSMI 인증서 BSMI/대만 CNS15663 BSMI 인증서 MIC/S.
NetXtreme-E 사용 설명서 기능 설명 기능 설명 Dell은 10GBase-T, 10G SFP+ 및 25G SFP28 네트워크 인터페이스 카드(NIC)를 지원합니다. 이러한 NIC에 대한 설명은 표 5에 있습니다. 표 5: 기능 설명 네트워크 인터페이스 카드 설명 BCM957402A4020DLPC/BCM957402A4020DC/BCM957412A4120D/BCM957412M4120D 속도 PCI-E 듀얼 포트 10 Gbps Ethernet Gen 3 x8a 인터페이스 SFP+(10 Gbps의 경우) 장치 이중 채널 10 Gbps SFI 트랜시버가 통합된 Broadcom BCM57402/BCM57412 10 Gbps MAC 컨트롤러.
NetXtreme-E 사용 설명서 기능 설명 그림 1: BCM957402A4020DC, BCM957412A4120D 네트워크 인터페이스 카드 2018년 2월 26일 • NetXtreme-E-UG100 페이지 10
NetXtreme-E 사용 설명서 기능 설명 그림 2: BCM957404A4041DLPC, BCM957414A4141D 네트워크 인터페이스 카드 2018년 2월 26일 • NetXtreme-E-UG100 페이지 11
NetXtreme-E 사용 설명서 기능 설명 그림 3: BCM957406A4060DLPC, BCM957416A4160D 네트워크 인터페이스 카드 그림 4: BCM957414M4140D Network Daughter Card(rNDC) 2018년 2월 26일 • NetXtreme-E-UG100 페이지 12
NetXtreme-E 사용 설명서 기능 설명 그림 5: BCM957412M4120D Network Daughter Card(rNDC) 그림 6: BCM957416M4160 Network Daughter Card(rNDC) 2018년 2월 26일 • NetXtreme-E-UG100 페이지 13
NetXtreme-E 사용 설명서 네트워크 링크 및 활동 표시 네트워크 링크 및 활동 표시 BCM957402AXXXX/BCM957412AXXXX SFP+ 포트에는 트래픽 활동 및 Linkspeed를 나타내는 두 개의 LED가 있습니다. LED는 그림 7에 표시된 것처럼 브래킷의 배기판을 통해 확인할 수 있습니다. LED 기능에 대한 설명은 표 6에 있습니다.
NetXtreme-E 사용 설명서 네트워크 링크 및 활동 표시 BCM957404AXXXX/BCM957414AXXXX SFP28 포트에는 트래픽 활동 및 Linkspeed를 나타내는 두 개의 LED가 있습니다. LED는 그림 8에 표시된 것처럼 브래킷의 배기판을 통해 확인할 수 있습니다. LED 기능에 대한 설명은 표 7에 있습니다.
NetXtreme-E 사용 설명서 네트워크 링크 및 활동 표시 BCM957406AXXXX/BCM957416AXXXX RJ-45 포트에는 트래픽 활동 및 Linkspeed를 나타내는 두 개의 LED가 있습니다. LED는 그림 9에 표시된 것처럼 브래킷의 배기판을 통해 확인할 수 있습니다. LED 기능에 대한 설명은 표 8에 있습니다.
NetXtreme-E 사용 설명서 네트워크 링크 및 활동 표시 BCM957414M4140D SFP28 포트에는 트래픽 활동 및 Linkspeed를 나타내는 두 개의 LED가 있습니다. LED는 그림 10에 표시된 것처럼 브래킷의 배기판을 통해 확인할 수 있습니다.
NetXtreme-E 사용 설명서 네트워크 링크 및 활동 표시 BCM957412M4120D 이 rNDC에는 SFP+ 및 RJ-45 포트가 있으며 각 포트에는 트래픽 활동 및 Linkspeed를 나타내는 두 개의 LED가 있습니다. LED는 그림 11에 표시된 것처럼 확인할 수 있습니다.
NetXtreme-E 사용 설명서 네트워크 링크 및 활동 표시 BCM957416M4160 이 rNDC에는 10GBaseT 및 1000BaseT RJ-45 포트가 있으며 각 포트에는 트래픽 활동 및 Linkspeed를 나타 내는 두 개의 LED가 있습니다. LED는 그림 12에 표시된 것처럼 확인할 수 있습니다.
NetXtreme-E 사용 설명서 특징 특징 장치 기능에 대해서는 다음 섹션을 참조하십시오. 소프트웨어 및 하드웨어 기능 표 13에서는 호스트 인터페이스 기능 목록을 제공합니다. 표 13: 호스트 인터페이스 기능 기능 데이터 호스트 인터페이스 PCIe v3.0(Gen 3: 8GT/s; Gen 2: 5GT/s; Gen 1: 2.
NetXtreme-E 사용 설명서 특징 표 13: 호스트 인터페이스 기능 (계속) 기능 데이터 iSCSI 부트 지원 NIC 분할(NPAR) 포트당 최대 8개의 PF(물리적 기능) 또는 실리콘당 최대 16개의 PF를 지원합니다. 이 옵션은 NVRAM에서 구성할 수 있습니다. RoCE(RDMA over Converge Ethernet) BCM5741X는 Windows, Linux 및 VMware용 RoCE v1/v2 를 지원합니다. DCB(Data Center Bridging) BCM5741X는 DCBX(IEEE 및 CEE 사양), PFC 및 AVB를 지원합니다. NCSI(Network Controller Sideband Interface) 지원 WOL(Wake on LAN) 10GBase-T, SFP+ 및 SFP28 인터페이스가 포함된 rNDC에서 지원됩니다. PXE 부팅 지원 UEFI 부팅 지원 Flow Control(Pause) 지원 자동 협상 지원 802.
NetXtreme-E 사용 설명서 특징 VXLAN IETF RFC 7348에 정의된 VXLAN(Virtual eXtensible Local Area Network)은 여러 테넌트를 수용하는 가상화된 데이터 센터 내에서 오버레이 네트워크의 필요성을 해결하는 데 사용됩니다. VXLAN은 계층 3 네트워크를 통한 계층 2 오버레이 또는 터널링 체계입니다. 동일한 VXLAN 세그먼트 내의 VM만 서로 통신할 수 있습니다. NVGRE/GRE/IP-in-IP/Geneve IETF RFC 7637에 정의된 NVGRE(Network Virtualization using GRE)는 VXLAN과 유사합니다. Stateless Offload RSS RSS(Receive Side Scaling)는 수신된 프레임에 대해 4 튜플 일치를 사용하고 프레임 처리를 위해 결정적 CPU 로 전달하는 Toeplitz 알고리즘을 사용합니다. 이를 통해 프레임 처리를 간소화하고 CPU 사용량의 균형을 조정 할 수 있습니다.
NetXtreme-E 사용 설명서 특징 Stateless Transport Tunnel Offload STT(Stateless Transport Tunnel Offload)는 가상화된 데이터 센터에서 오버레이 네트워크를 지원하는 터널 캡슐화입니다. STT는 TCP 유사 헤더와 함께 IP 기반 캡슐화를 사용합니다. 터널과 연관된 TCP 연결 상태는 없으며 이런 이유로 STT는 상태 비저장입니다. OVS(Open Virtual Switch)는 STT를 사용합니다. STT 프레임에는 STT프레임 헤더와 페이로드가 있습니다. STT 프레임의 페이로드는 태그가 지정되지 않은 Ethernet 프레임입니다. STT 프레임 헤더 및 캡슐화된 페이로드는 TCP 페이로드 및 TCP 유사 헤더로 처리됩니 다. 전송되는 각 STT 세그먼트마다 IP 헤더(IPv4 또는 IPv6) 및 Ethernet 헤더가 생성됩니다.
NetXtreme-E 사용 설명서 특징 SR-IOV는 IOMMU 기능을 통해 변환 테이블을 사용하여 PCI-E 가상 주소를 물리적 주소로 변환합니다. PF(물리적 기능) 및 VF(가상 기능)의 수는 UEFI HII 메뉴, CCM 및 NVRAM 구성을 통해 관리됩니다. SRIOV 는 NPAR 모드와 결합하여 지원할 수 있습니다. 네트워크 분할(NPAR) 네트워크 분할(NPAR) 기능을 사용하면 단일 물리적 네트워크 인터페이스 포트가 시스템에 여러 네트워크 장치 기능으로 나타나도록 할 수 있습니다. NPAR 모드가 활성화되면 NetXtreme-E 장치가 여러 PCIE PF(물리적 기 능)로 열거됩니다. 각 PF 또는 “파티션”에는 처음 전원을 켰을 때 별도의 PCIe 기능 ID가 할당됩니다. 원본 PCIe 정의에서는 장치당 8개의 PF가 허용됩니다. ARI(Alternate Routing ID) 지원 시스템의 경우 Broadcom NetXtreme-E 어댑터는 장치당 최대 16개의 PF를 지원합니다.
NetXtreme-E 사용 설명서 특징 지원되는 조합 다음 섹션에서는 이 장치에서 지원되는 기능 조합을 설명합니다. NPAR, SR-IOV 및 RoCE 표 15에서는 NPAR, SR-IOV 및 RoCE의 지원되는 기능 조합을 제공합니다. 표 15: NPAR, SR-IOV 및 RoCE SW 기능 메모 NPAR 최대 8개의 PF 또는 16개의 PF SR-IOV 최대 128개의 VF(칩당 합계) PF에서 RoCE 최대 4개의 PF VF에서 RoCE RoCE가 활성화된 PF에 연결된 VF에 대해 유효함 호스트 OS Linux, Windows, ESXi(novRDMA 지원 안 함) 게스트 OS Linux 및 Windows DCB 포트당 최대 2개의 COS(공유되지 않은 예약 메모리 포함) NPAR, SR-IOV 및 DPDK 표 16에서는 NPAR, SR-IOV 및 DPDK의 지원되는 기능 조합을 제공합니다.
NetXtreme-E 사용 설명서 하드웨어 설치 하드웨어 설치 안전 주의 사항 주의! 어댑터가 전압이 흐르는 시스템에 설치되어 있으면 위험할 수 있습니다. 사용자를 보호하고 시스템 구성 요소의 손상을 방지하려면 시스템 커버를 제거하기 전에 다음 주의 사항을 준수하십시오. • 손과 손목에서 금속 물체나 귀금속을 제거합니다. • 절연체나 비전도성 도구만 사용하도록 합니다. • 내부 부품을 만지기 전에 컴퓨터 전원이 꺼져 있고 플러그가 뽑혀 있는지 확인합니다. • 어댑터를 설치하거나 제거할 때 정전기가 없어야 합니다. 올바르게 접지된 손목 스트랩이나 기타 개인용 정전기 방지 장치 및 정전기 방지 매트를 사용하는 것이 좋습니다. 시스템 요구 사항 Broadcom NetXtreme-E Ethernet 어댑터를 설치하기 전에 시스템이 운영 체제에 대해 나와 있는 요구 사항을 충족하는지 확인하십시오. 하드웨어 요구 사항 다음 하드웨어 요구 사항 목록을 참조하십시오.
NetXtreme-E 사용 설명서 하드웨어 설치 어댑터 설치 대부분의 서버에 Broadcom NetXtreme-E Ethernet 어댑터(애드 인 NIC)를 설치할 때 다음과 같은 지침이 적용됩니다. 특정 서버에서 해당 작업 수행에 대한 자세한 내용은 서버와 함께 제공된 설명서를 참조하십시오. 1. 어댑터를 설치하기 전에 “안전 주의 사항” (26페이지) 및 “사전 설치 검사 목록”을 참조하십시오. 시스 템 전원이 꺼져 있고 전원 콘센트에서 플러그가 뽑혀 있으며 전기 접지 절차가 올바르게 수행되었는지 확인합니다. 2. 시스템 케이스를 열고 비어 있는 PCI Express Gen 3 x8 슬롯을 선택합니다. 3. 슬롯에서 빈 커버 플레이트를 제거합니다. 4. 어댑터 커넥터 가장자리를 시스템의 커넥터 슬롯과 맞춥니다. 5. 어댑터를 어댑터 클립이나 나사로 고정합니다. 6. 시스템 케이스를 완전히 닫고 개인용 정전기 방지 장치를 모두 떼어냅니다.
NetXtreme-E 사용 설명서 하드웨어 설치 표 17: 지원되는 케이블 및 모듈(계속) 광학 모듈 Dell 부품 번호 FTLX8574D3BCL-FC WTRD1 또는 PLRXPLSCS43811 어댑터 설명 BCM57402X, BCM57404X, 10 Gbps-SR SFP+ 트랜시버 BCM57412X, BCM57414X 참고: 1. IEEE 표준을 준수하는 DAC(직접 연결 케이블)를 어댑터에 연결할 수 있습니다. 2. BCM957414M4140D에는 Dell 부품 HHHHC 및 N8TDR이 필요합니다. 구리 BCM957406AXXXX, BCM957416AXXXX 및 BCM957416XXXX 어댑터에는 시스템을 CAT 6E Ethernet 구리선 세그먼트에 연결하는 데 사용되는 2개의 RJ-45 커넥터가 있습니다.
NetXtreme-E 사용 설명서 소프트웨어 패키지 및 설치 소프트웨어 패키지 및 설치 소프트웨어 패키지 및 설치에 대한 자세한 내용은 다음 섹션을 참조하십시오. 지원 운영 체제 표 18에서는 지원되는 운영 체제 목록을 제공합니다. 표 18: 지원되는 운영 체제 목록 OS 버전 배포 Windows Windows 2012 R2 이상 Linux Redhat 6.9, Redhat 7.1 이상 SLES 11 SP 4, SLES 12 SP 2 이상 VMWare ESXi 6.0 U3 이상 드라이버 설치 드라이버 설치에 대해서는 다음 섹션을 참조하십시오. Windows Dell DUP 드라이버 DUP를 사용하여 Broadcom NetXtremeE-Series 컨트롤러 드라이버를 설치할 수 있습니다. 설치 프로그램은 x64 실행 파일 형식으로 제공됩니다. GUI 설치 파일을 실행하면 사용자 입력을 요청하는 대화 상자가 나타납니다. 설치 프로그램은 드라이버 전용 옵션을 지원합니다.
NetXtreme-E 사용 설명서 소프트웨어 패키지 및 설치 파일이 추출되면 장치 관리자(devmgmt.msc)를 사용하여 “드라이버 업그레이드” 기능을 통해 INF 설치가 실행됩니다. 장치 관리자를 열고 원하는 NIC를 선택하여 마우스 오른쪽 단추를 클릭한 후 드라이버 업그레이 드를 선택하여 업데이트합니다 Linux Linux 드라이버는 RPM, KMP 및 소스 코드 형식으로 제공됩니다. Linux를 사용하여 소스 코드에서 장치 드라 이버를 구축하려면 다음 예제를 참조하십시오. 1. 루트 사용자로 Linux 시스템에 로그온합니다. 2. 드라이버 tar ball에 대한 scp 또는 cp 명령을 Linux 시스템에 실행합니다. 일반적인 예는 다음과 같습니다. cp /var/run/media/usb/bnxt_en-.tar.gz /root/ 3. 다음 명령을 실행합니다. tar –zxvf /root/bnxt_en-.tar.gz 4. 다음 명령을 실행합니다.
NetXtreme-E 사용 설명서 소프트웨어 패키지 및 설치 Linux Ethtool 명령 참고: 표 19에서 ethX는 실제 인터페이스 이름으로 대체해야 합니다. 표 19: Linux Ethtool 명령 명령 설명 ethtool -s ethX speed 25000 autoneg off 속도를 설정합니다. 한 포트에서 링크가 작동하는 경우 드라이버에 서 다른 포트를 상충되는 속도로 설정할 수 없습니다. ethtool -i ethX 출력에는 패키지 버전, NIC BIOS 버전(부트 코드)이 포함됩니다. ethtool -k ethX 오프로드 기능을 표시합니다. ethtool -K ethX tso off TSO를 끕니다. ethtool -K ethX gro off lro off GRO/LRO를 끕니다. ethtool -g ethX 링 크기를 표시합니다. ethtool -G ethX rx N 링 크기를 설정합니다. ethtool -S ethX 통계를 가져옵니다.
NetXtreme-E 사용 설명서 소프트웨어 패키지 및 설치 표 19: Linux Ethtool 명령(계속) 명령 설명 ip link set ethX vf 0 mac 00:12:34:56:78:9a VF MAC 주소를 설정합니다. ip link set ethX vf 0 state enable VF 0의 VF 링크 상태를 설정합니다. ip link set ethX vf 0 vlan 100 VLAN ID 100을 사용하여 VF 0을 설정합니다. VMware ESX 드라이버는 VMware 표준 VIB 형식으로 제공됩니다. 1. Ethernet 및 RDMA 드라이버를 설치하려면 다음 명령을 실행합니다. $ esxcli software vib install --no-sig-check -v -.vib $ esxcli software vib install --no-sig-check -v -.vib 2.
NetXtreme-E 사용 설명서 소프트웨어 패키지 및 설치 펌웨어 업데이트 다음 방법 중 하나를 사용하여 NIC 펌웨어를 업데이트할 수 있습니다. • 시스템이 OS 부팅 상태인 경우에 DUP(Dell 업데이트 패키지)를 사용합니다. 이 방법은 Windows 및 Linux 운영 체제에만 적용됩니다. • Dell iDRAC – 라이프사이클 컨트롤러를 사용합니다. 이 방법은 운영 체제에 관계없이 사용할 수 있습니다. 시스템에서 VMware를 실행하고 있는 경우 라이프사이클 컨트롤러를 사용하여 펌웨어를 업그레이드하십 시오. 제품 지원 페이지(http://www.dell.com/support)를 참조하십시오. Dell 업데이트 패키지 다음 섹션에서 DUP(Dell 업데이트 패키지) 사용 방법을 참조하십시오. Windows Broadcom NetXtreme E-Series 컨트롤러 펌웨어는 Dell DUP 패키지를 사용하여 업그레이드할 수 있습니다.
NetXtreme-E 사용 설명서 Windows 드라이버 고급 속성 및 이벤트 로그 메시지 Windows 드라이버 고급 속성 및 이벤트 로그 메시지 드라이버 고급 속성 표 21에 Windows 드라이버 고급 속성이 나와 있습니다. 표 21: Windows 드라이버 고급 속성 드라이버 키 매개 변수 설명 캡슐화된 작업 오프로드 사용 또는 사용 안 함 NVGRE 캡슐화된 작업 오프로드를 구성하는 데 사용됩니다. 에너지 효율적인 Ethernet 사용 또는 사용 안 함 EEE는 구리 포트에 대해 사용되 고, SFP+ 또는 SFP28 포트에 대 해 사용되지 않습니다. 이 기능은 BCM957406A4060 어댑터에서만 사용할 수 있습니다. Flow Control TX 또는 RX 또는 TX/RX 사용 RX나 TX 또는 양쪽 모두에서 Flow Control을 구성합니다. 인터럽트 완화 사용 또는 사용 안 함 기본값: 사용.
NetXtreme-E 사용 설명서 Windows 드라이버 고급 속성 및 이벤트 로그 메시지 표 21: Windows 드라이버 고급 속성(계속) 드라이버 키 매개 변수 설명 SR-IOV 사용 또는 사용 안 함 기본값: 사용. 이 매개 변수는 HW 에서 구성된 SR-IOV 및 BIOS에서 구성된 SR-IOV 설정과 함께 작동 합니다.
NetXtreme-E 사용 설명서 Windows 드라이버 고급 속성 및 이벤트 로그 메시지 표 23: 이벤트 로깅 메시지(계속) 0x0018 펌웨어가 알 수 없는 상태입니다. 0x0019 Optics 모듈은 지원되지 않습니다. 0x001A 포트 1과 포트 2 간 호환되지 않는 속도를 선택했습니 다. 보고된 Linkspeed는 올바르며 속도 및 이중 설정 이 일치하지 않을 수 있습니다. 0x001B 포트 1과 포트 2 간 호환되지 않는 속도를 선택했습니 다. Link 구성이 잘못되었습니다. 0x001C 네트워크 컨트롤러를 25Gb 전이중 링크에 대해 구성했 습니다. 0x0020 RDMA 지원 초기화에 실패했습니다. 0x0021 장치의 RDMA 펌웨어가 이 드라이버와 호환되지 않습 니다. 0x0022 Doorbell BAR 크기가 RDMA에 너무 작습니다. 0x0023 장치 재설정에 실패하면 RDMA를 다시 시작합니다.
NetXtreme-E 사용 설명서 팀 구성 팀 구성 Windows Dell 플랫폼에 설치된 Broadcom NetXtreme-E 장치는 Microsoft 팀 구성 솔루션을 사용하여 NIC 팀 구성 기능 에 참여할 수 있습니다. 다음 링크에 설명되어 있는 Microsoft 공개 설명서를 참조하십시오 https://www.microsoft.com/en-us/download/details.aspx?id=40319 Microsoft LBFO는 Windows OS에 사용할 수 있는 기본 팀 구성 드라이버입니다. 팀 구성 드라이버는 또한 VLAN 태그 기능도 제공합니다. Linux Linux 본딩은 Linux에서 팀 구성에 사용됩니다. 개념은 본딩 드라이버를 로드하여 팀 멤버를 본드에 추가하여 트래픽 부하를 분산하는 것입니다. 다음 단계에 따라 Linux 본딩을 설정하십시오. 1. 다음 명령을 실행합니다. modprobe bonding mode=”balance-alb”.
NetXtreme-E 사용 설명서 시스템 수준 구성 시스템 수준 구성 시스템 수준 NIC 구성에 대한 자세한 내용은 다음 섹션을 참조하십시오. UEFI HII 메뉴 Broadcom NetXtreme E-Series 컨트롤러는 HII(휴먼 인터페이스) 메뉴를 사용하여 사전 부팅, iscsi 및 고급 구성(예: SR-IOV)을 구성할 수 있습니다. 설정을 구성하려면 시스템 부팅 중에 F2 -> 시스템 설치 -> 장치 설정을 선택합니다. 구성을 보고 변경하려는 네트워크 어댑터를 선택합니다. 기본 구성 페이지 이 페이지에는 현재 네트워크 링크 상태, PCI-E Bus:Device:Function, 어댑터의 MAC 주소 및 Ethernet 장치 가 표시됩니다. 사용자는 10GBaseT 카드를 통해 EEE(에너지 효율적인 Ethernet)를 사용하거나 사용하지 않도록 설정할 수 있습니다.
NetXtreme-E 사용 설명서 시스템 수준 구성 CCM(Comprehensive Configuration Management) 사전 부팅 구성은 CCM(Comprehensive Configuration Management) 메뉴 옵션을 사용하여 구성할 수 있습니 다. 시스템 BIOS POST 중에는 Control-S 메뉴를 통해 매개 변수를 변경할 수 있는 옵션과 함께 Broadcom 배 너 메시지가 표시됩니다. Control-S를 누르면 시스템에서 발견된 모든 Broadcom 네트워크 어댑터로 장치 목록이 채워집니다. 구성을 위해 원하는 NIC를 선택합니다. 장치 하드웨어 구성 이 섹션에서 구성할 수 있는 매개 변수는 HII 메뉴 “장치 수준 구성”과 동일합니다. MBA 구성 메뉴 이 섹션에서 구성할 수 있는 매개 변수는 HII 메뉴 “NIC 구성”과 동일합니다. iSCSI 부트 주 메뉴 이 섹션에서 구성할 수 있는 매개 변수는 HII 메뉴 “iSCSI 구성”과 동일합니다.
NetXtreme-E 사용 설명서 시스템 수준 구성 자동 협상 구성 참고: 여러 PCI 기능에서 하나의 포트를 공유하는 NPAR(NIC 분할) 장치의 경우 포트 속도가 사전에 구성되어 있기 때문에 드라이버로 변경할 수 없습니다. Broadcom NetXtreme-E 컨트롤러는 다음과 같은 자동 협상 기능을 지원합니다. • Linkspeed 자동 협상 • Pause/Flow Control 자동 협상 • FEC – Forward Error Correction 자동 협상 참고: Linkspeed AN의 경우 SFP+ 및 SFP28 커넥터를 사용하면 DAC 또는 다중 모드 광학 트랜시버 에서 AN을 지원할 수 있습니다. 링크 파트너 포트가 일치하는 자동 협상 프로토콜로 설정되었는지 확인합니다. 예를 들어, 로컬 Broadcom 포트가 IEEE 802.3by AN 프로토콜로 설정된 경우 링크 파트 너는 AN을 지원해야 하며 IEEE 802.3by AN 프로토콜로 설정해야 합니다.
시스템 수준 구성 NetXtreme-E 사용 설명서 표 24: 지원되는 Linkspeed 설정 조합 Port 2 Link Setting Port1 Link Speed Setting Forced 1G Forced 10G Forced 25G Forced 1G Forced 10G Forced 25G AN Enabled AN Enabled {1G} {10G} AN Enabled {25G} AN Enabled {1/ 10G} AN Enabled {1/ 25G} AN Enabled {10/ 25G} AN Enabled {1/10/ 25G} P1: no AN P1: no AN P1: no AN P1: no AN P1: no AN P1: no AN P1: no AN P1: no AN P1: no AN P1: no AN P2: no AN P2: no AN P2: no AN P2: {1G} P2: AN {10G} P2: AN {25G} P2: AN {1/10G} P2:
시스템 수준 구성 NetXtreme-E 사용 설명서 • {Linkspeed} – 예상 Linkspeed • AN{Linkspeed} – 보급된 지원되는 자동 협상 Linkspeed 로컬 및 링크 파트너 설정을 기반으로 하는 예상 Linkspeed는 표 25에 나와 있습니다.
NetXtreme-E 사용 설명서 시스템 수준 구성 작동 Linkspeed 이 옵션은 사전 부팅(MBA 및 UEFI) 드라이버(Linux, ESX), OS 드라이버 및 펌웨어에서 사용하는 Linkspeed를 구성합니다. 이 설정은 OS 현재 상태에서 드라이버 설정에 의해 무시됩니다. Windows 드라이버 (bnxtnd_.sys)는 드라이버 .inf 파일의 Linkspeed 설정을 사용합니다. 펌웨어 Linkspeed 이 옵션은 장치가 D3일 때 펌웨어에서 사용되는 Linkspeed를 구성합니다. 자동 협상 프로토콜 링크 파트너와 Linkspeed를 협상하는 데 사용하도록 지원되는 자동 협상 프로토콜입니다. 이 옵션은 링크 파트너 포트의 AN 프로토콜 설정과 일치해야 합니다. Broadcom NetXtreme-E NIC는 다음과 같은 자동 협상 프로토콜을 지원합니다. IEEE 802.3by, 25G/50G 컨소시엄 및 25G/50G BAM 기본적으로 이 옵션은 IEEE 802.
NetXtreme-E 사용 설명서 시스템 수준 구성 다음은 지원되는 보급 속도입니다. • 0x020 – 1000baseT Full • 0x1000 – 10000baseT Full • 0x80000000 – 25000baseCR Full ethtool -A eth0 autoneg on|off 이 명령을 사용하여 Pause 프레임 자동 협상을 활성화/비활성화합니다. ethtool -a eth0 이 명령을 사용하여 현재 Flow Control 자동 협상 설정을 표시합니다. ESXi 드라이버 설정 참고: 10GBase-T NetXtreme-E 네트워크 어댑터의 경우 자동 협상을 활성화해야 합니다. 10GBase-T 어댑터에서 강제 속도를 사용하면 esxcli 명령에 실패하게 됩니다. 참고: VMWare는 ESX6.0에서 25G 속도를 지원하지 않습니다. 이 경우 두 번째 유틸리티 (BNXTNETCLI)를 사용하여 25G 속도를 설정합니다. ESX6.0U2에서는 25G 속도를 지원하지 않습니다.
NetXtreme-E 사용 설명서 시스템 수준 구성 FEC 자동 협상 링크 FEC 자동 협상을 활성화/비활성화하려면 시스템 BIOS HII 메뉴 또는 CCM에서 다음 옵션을 활성화하면 됩니다. • 시스템 BIOS->장치 설정->NetXtreme-E NIC->장치 수준 구성 FEC 자동 협상은 협상 교환 중에 두 개의 매개 변수를 사용합니다. FEC 지원 및 FEC 요청. NIC에서 이를 FEC 자동 협상 지원으로 보급하는 경우 FEC 설정은 스위치에 의해 결정됩니다. 그런 다음 FEC 를 활성화하는 스위치 또는 FEC를 비활성화하는 스위치와 연결할 수 있습니다. – switch – capable=1, request = 1 then, the link is a FEC link. – switch – capable= N/A, request= 0 = then the FEC is disabled. NetXtreme-E Ethernet 컨트롤러의 경우 Base-R FEC(CL74)만 지원됩니다.
NetXtreme-E 사용 설명서 시스템 수준 구성 표 27: BCM5741X에 대해 지원되는 FEC 구성 링크 파트너 FEC 설정 Force Force Speed Speed No Base-R FEC 로컬 FEC 설정 FEC CL74 강제 속도 RSFEC CL91/ CL108 AN(없음) An(없음, BaseR) AN(없음, Base-R, RS) 강제 FEC 없음 링크 포함/ FEC 없음 링크 없음 링크 없음 링크 없음 링크 없음 링크 없음 Force Speed Base-R FEC CL74 링크 없음 Base-R FEC CL74 링크 없음 링크 없음 링크 없음 링크 없음 강제 RS-FEC CL91/CL108 링크 없음 링크 없음 RS-FEC CL91/ CL108 링크 없음 링크 없음 링크 없음 AN(없음) 링크 없음 링크 없음 링크 없음 링크 포함/ FEC 없음 Base-R FEC CL74 RS-FEC CL91/CL108 AN(없음, Base-R
NetXtreme-E 사용 설명서 시스템 수준 구성 표 28: 미디어 유형 및 속도 간의 미디어 교육 관계 링크 파트너 링크 교육 설정 Force Speed Link Training Disabled 로컬 및 미디어 케이블 유형 Force Speed Link Training Enabled AN(자동 링크 교육) 강제 속도 DAC(SFP+/SFP28/QSFP28) 링크(링크 교육 제외) 링크(링크 교육 포함) 링크(링크 교육 포함) 강제 속도 광학(트랜시버/AOC) 링크(링크 교육 제외) 링크(링크 교육 제외) N/A AN DAC(SFP+SFP28/QSFP28) 링크 없음 링크 없음 링크(링크 교육 포함) 미디어 자동 감지 SerDes에서는 병렬 감지가 지원되지 않으므로 펌웨어는 미디어 자동 감지라는 링크 감지 기능을 향상시키는 방법을 구현했습니다. 이 기능은 그림 13에 표시된 것처럼 CCM/HII에 의해 제어됩니다.
NetXtreme-E 사용 설명서 시스템 수준 구성 표 29 및 표 30에서는 미디어 자동 감지 기능이 활성화된 상태에서 링크 결과를 표시합니다.
NetXtreme-E 사용 설명서 ISCSI 부트 ISCSI 부트 Broadcom NetXtreme-E Ethernet 어댑터는 디스크 없는 시스템에서 운영 체제의 네트워크 부팅이 가능하도록 iSCSI 부트를 지원합니다. iSCSI 부트를 사용하면 원격 위치에 있는 iSCSI 대상 시스템에서 표준 IP 네트워크를 통해 Windows, Linux 또는 VMware 운영 체제를 부팅할 수 있습니다. iSCSI 부트가 지원되는 운영 체제 Broadcom NetXtreme-E Gigabit Ethernet 어댑터는 다음 운영 체제에서 iSCSI 부트를 지원합니다. • Windows Server 2012 이상 64비트 • • Linux RHEL 7.1 이상, SLES11 SP4 이상 VMware 6.0 U2 iSCSI 부트 설정 iSCSI 부트 설정에 대한 자세한 내용은 다음 섹션을 참조하십시오.
NetXtreme-E 사용 설명서 ISCSI 부트 iSCSI 부트 매개 변수 구성 Broadcom iSCSI 부트 소프트웨어를 정적 또는 동적 구성으로 구성합니다. 일반 매개 변수 메뉴에서 사용 가능 한 구성 옵션은 표 31을 참조하십시오. 표 31에는 IPv4 및 IPv6 모두의 매개 변수가 나와 있습니다. IPv4 또는 IPv6 전용 매개 변수는 따로 표시되어 있습니다. 표 31: 구성 옵션 옵션 설명 DHCP를 통한 TCP/IP 매개 변수 이 옵션은 IPv4 전용입니다. iSCSI 부트 호스트 소프트웨어가 DHCP (사용)를 통해 IP 주소 정보를 획득할지 또는 정적 IP 구성(사용 안 함)을 사용할지 여부를 제어합니다. IP 자동 구성 이 옵션은 IPv6 전용입니다. DHCPv6이 있고 사용되는(활성화된) 경 우 iSCSI 부트 호스트 소프트웨어가 상태 비저장 링크 로컬 주소 및/또 는 상태 저장 주소를 구성할지 여부를 제어합니다.
NetXtreme-E 사용 설명서 ISCSI 부트 2. PXE 배너에서 CTRL+S를 선택합니다. MBA 구성 메뉴가 표시됩니다. 3. MBA 구성 메뉴에서 위쪽 화살표 또는 아래쪽 화살표를 사용하여 부트 프로토콜 옵션으로 이동합니다. 왼쪽 화살표 또는 오른쪽 화살표를 사용하여 iSCSI의 부르 프로토콜 옵션을 변경합니다. 4. 주 메뉴에서 iSCSI 부트 구성을 선택합니다. iSCSI 부트 구성 iSCSI 부트를 구성하는 방법에는 두 가지가 있습니다. • 정적 SCSI 부트 구성 • 동적 iSCSI 부트 구성 정적 iSCSI 부트 구성 정적 구성에서는 “iSCSI 대상 구성” (49페이지)에서 얻은 시스템 IP 주소, 시스템 초기자 IQN 및 대상 매개 변수 데이터를 입력해야 합니다. 구성 옵션에 대한 자세한 내용은 표 31(50페이지)을 참조하십시오. 정적 구성을 사용하여 iSCSI 부트 매개 변수를 구성하려면 다음을 수행합니다. 1. 일반 매개 변수 메뉴에서 다음을 설정합니다.
NetXtreme-E 사용 설명서 ISCSI 부트 5. ESC 키를 선택하여 주 메뉴로 돌아갑니다. 6. 주 메뉴에서 첫 번째 대상 매개 변수를 선택합니다. 참고: 초기 설치 시 두 번째 대상 구성은 지원되지 않습니다. 7. 첫 번째 대상 매개 변수 화면에서 연결을 활성화하여 iSCSI 대상에 연결합니다. iSCSI 대상을 구성할 때 사용한 값을 사용하여 다음 값을 입력합니다. • IP 주소 • TCP 포트 • 부팅 LUN • iSCSI 이름 8. ESC 키를 선택하여 주 메뉴로 돌아갑니다. 9. ESC 키를 선택하고 구성 저장 후 종료를 선택합니다. 10. F4 키를 눌러 MBA 구성을 저장합니다. 동적 iSCSI 부트 구성 동적 구성에서는 DHCP 서버에서 제공한 시스템 IP 주소와 대상/초기자 정보를 지정하기만 하면 됩니다 (“DHCP 서버가 iSCSI 부트를 지원하도록 구성” (54페이지)의 IPv4 및 IPv6 구성 참조).
NetXtreme-E 사용 설명서 ISCSI 부트 동적 구성을 사용하여 iSCSI 부트 매개 변수를 구성하려면 다음을 수행합니다. 1. 일반 매개 변수 메뉴 화면에서 다음 매개 변수를 설정합니다. • DHCP를 통한 TCP/IP 매개 변수 – 사용 (IPv4용) • IP 자동 구성 – 사용 (IPv6용, 비Offload) • DHCP를 통한 iSCSI 매개 변수 – 사용 • CHAP 인증 – 사용 안 함 • DHCP 공급업체 ID – BRCM ISAN • 링크 연결 지연 시간 – 0 • TCP 타임스탬프 사용 – 사용(Dell/Dell/EMC AX100i와 같은 일부 대상의 경우 TCP 타임스탬프 사용을 활성화해야 함) • 대상을 첫 번째 HDD로 – 사용 안 함 • LUN 사용 중 재시도 횟수 – 0 • IP 버전 – IPv6 (IPv6용, 비Offload) 2. ESC 키를 선택하여 주 메뉴로 돌아갑니다.
NetXtreme-E 사용 설명서 ISCSI 부트 DHCP 서버가 iSCSI 부트를 지원하도록 구성 DHCP 서버는 옵션 구성 요소이며 동적 iSCSI 부트 구성 설정을 수행할 경우에만 필요합니다(“동적 iSCSI 부트 구성” (52페이지) 참조). DHCP 서버가 iSCSI 부트를 지원하도록 구성하는 방법은 IPv4와 IPv6에서 서로 다릅니다. 다음 섹션을 참조하 십시오. IPv4에 대한 DHCP iSCSI 부트 구성 DHCP 프로토콜에는 DHCP 클라이언트에 구성 정보를 제공하는 다양한 옵션이 포함되어 있습니다 iSCSI 부트 의 경우, Broadcom 어댑터는 다음과 같은 DHCP 구성을 지원합니다. DHCP 옵션 17, 루트 경로 옵션 17은 iSCSI 클라이언트에 iSCSI 대상 정보를 전달하는 데 사용됩니다. IETC RFC에 정의된 루트 경로의 형식은 다음과 같습니다.
NetXtreme-E 사용 설명서 ISCSI 부트 하위 옵션은 아래와 같습니다. 표 33: DHCP 옵션 43 하위 옵션 정의 하위 옵션 정의 201 표준 루트 경로 형식의 첫 번째 iSCSI 대상 정보 iscsi:"":"":"":"":" 203 iSCSI 초기자 IQN DHCP 옵션 43을 사용하려면 DHCP 옵션 17보다 많은 구성이 필요하지만, 이 옵션은 풍부한 환경과 여러 구성 옵션을 제공합니다. 동적 iSCSI 부트 구성을 수행할 때는 DHCP 옵션 43을 사용하는 것이 좋습니다. DHCP 서버 구성 옵션 17 또는 옵션 43을 지원하도록 DHCP 서버를 구성합니다. 참고: 옵션 43을 사용하는 경우 옵션 60을 구성합니다. 옵션 60의 값은 DHCP 공급업체 ID 값과 일치해야 합니다. DHCP 공급업체 ID 값은 iSCSI 부트 구성 메뉴의 일반 매개 변수에 표시된 BRCM ISAN입니다.
NetXtreme-E 사용 설명서 VXLAN: 구성 및 사용 사례 예제 표 34: DHCP 옵션 17 하위 옵션 정의 하위 옵션 정의 201 표준 루트 경로 형식의 첫 번째 iSCSI 대상 정보 "iscsi:"[]":"":"": "":"" 203 iSCSI 초기자 IQN 참고: 표 34에서 대괄호 [ ]는 IPv6 주소에 필요합니다. 옵션 17의 내용은 <2-byte Option Number 201|202|203> <2-byte length> 여야 합니다. DHCP 서버 구성 옵션 16 또는 옵션 17을 지원하도록 DHCP 서버를 구성합니다. 참고: DHCPv6 옵션 16 및 옵션 17의 형식은 RFC 3315에 완전히 정의되어 있습니다.
NetXtreme-E 사용 설명서 SR-IOV: 구성 및 사용 사례 예제 표 36: VXLAN 명령 및 구성 예제 시스템 1 시스템 2 PxPy: ifconfig PxPy 1.1.1.4/24 PxPy: ifconfig PxPy 1.1.1.2/24 ip link add vxlan10 type vxlan id 10 group 239.0.0.10 dev PxPy dstport 4789 ip link add vxlan10 type vxlan id 10 group 239.0.0.10 dev PxPy dstport 4789 ip addr add 192.168.1.5/24 broadcast 192.168.1.255 dev vxlan10 ip addr add 192.168.1.10/24 broadcast 192.168.1.255 dev vxlan10 ip link set vxlan10 up ip link set vxlan10 up ip –d link show vxlan10 Ping 192.168.
NetXtreme-E 사용 설명서 SR-IOV: 구성 및 사용 사례 예제 참고: RDMA 기능의 경우 netxtreme-bnxt_en.tar.gz를 사용하여 SRIOV VF에 bnxt_re 및 bnxt_en을 모두 설치합니다. 6. 커널 매개 변수를 통해 가상 기능을 활성화합니다. a. 드라이버가 설치된 경우 lspci를 사용하면 시스템에 NetXtreme-E NIC가 표시됩니다. 가상 기능을 활성화하려면 버스, 장치 및 기능이 필요합니다. b. 가상 기능을 활성화하려면 아래 표시된 명령을 입력합니다. echo X >/sys/bus/pci/device/0000\:Bus\:Dev.Function/sriov_numvfs 참고: PF 인터페이스가 작동하는지 확인합니다. VF는 PF가 작동하는 경우에만 생성됩니다. X는 OS로 내보낸 VF의 수입니다. 일반적인 예제는 다음과 같습니다. echo 4 > /sys/bus/pci/devices/0000\:04\:00.
NetXtreme-E 사용 설명서 SR-IOV: 구성 및 사용 사례 예제 c. 물리적 기능당 가상 기능 수를 설정합니다. d. VF당 MSI-X 벡터 수를 설정하고 물리적 기능 MSI-X 벡터의 최대 수를 설정합니다. VF 리소스가 부족한 경우 CCM을 사용하여 VM당 MSI-X 벡터 수를 조정합니다. 2. BIOS에서 가상화를 활성화합니다. a. 시스템 부팅 중에 시스템 BIOS -> 프로세서 설정 -> 가상화 기술로 이동하여 사용으로 설정합니다. b. 시스템 부팅 중에 시스템 BIOS -> 통합 장치 -> SR-IOV 전역으로 이동하여 사용으로 설정합니다. 3. 사용 중인 Windows 2012 R2 또는 Windows 2016 OS의 최신 KB 업데이트를 설치합니다. 4. 적절한 가상화(Hyper-V) 옵션을 설치합니다. Hyper-V, 가상 스위치 및 가상 컴퓨터 설정에 대한 자세한 요구 사항 및 단계를 확인하려면 Microsoft.com을 방문하십시오. https://technet.
NetXtreme-E 사용 설명서 SR-IOV: 구성 및 사용 사례 예제 2. BIOS에서 가상화를 활성화합니다. a. 시스템 부팅 중에 시스템 BIOS -> 프로세서 설정 -> 가상화 기술로 이동하여 사용으로 설정합니다. b. 시스템 부팅 중에 시스템 BIOS -> 통합 장치 -> SR-IOV 전역으로 이동하여 사용으로 설정합니다. 3. ESXi의 경우 다음 단계를 사용하여 Bnxtnet 드라이버를 설치합니다. a. /var/log/vmware에 -.vib 파일을 복사합니다. $ cd /var/log/vmware. $ esxcli software vib install --no-sig-check -v -.vib. b. 컴퓨터를 재부팅합니다. c. 드라이버가 올바르게 설치되었는지 확인합니다. $ esxcli software vib list | grep bnxtnet 4.
NetXtreme-E 사용 설명서 SR-IOV: 구성 및 사용 사례 예제 5. SRIOV VF 활성화: PF만 자동으로 활성화됩니다. PF가 SR-IOV를 지원하는 경우 PF(vmknicX)는 아래 표시된 명령 출력의 일부입니다. esxcli network sriovnic list 하나 이상의 VF를 활성화하기 위해 드라이버는 모듈 매개 변수 “max_vfs”를 사용하여 원하는 PF VF 수를 활성화합니다. 예를 들어, PF1에서 4개의 VF를 활성화하려면 다음을 수행합니다. esxcfg-module -s 'max_vfs=4' bnxtnet(재부팅해야 함) PF 집합에서 VF를 활성화하려면 아래 표시된 명령 형식을 사용합니다. 예를 들어, PF 0에서 4개의 VF를 그리고 PF 2에서 2개의 VF를 활성화하려면 다음을 수행합니다. esxcfg-module -s 'max_vfs=4,2' bnxtnet(재부팅해야 함) 지원되는 각 PF의 필수 VF는 PF를 다시 활성화하는 순서로 활성화됩니다.
NetXtreme-E 사용 설명서 NPAR – 구성 및 사용 사례 예제 NPAR – 구성 및 사용 사례 예제 기능 및 요구 사항 • OS/BIOS Agnostic – 파티션은 운영 체제에 “실제” 네트워크 인터페이스로 표시되기 때문에 SR-IOV와 같은 특별한 BIOS 또는 OS 지원은 필요하지 않습니다. • 추가 스위치 포트, 케이블, PCIe 확장 슬롯이 필요 없는 추가 NIC입니다. • 트래픽 성형 – 제한 또는 예약을 위해 필요한 경우 파티션당 대역폭 할당을 제어할 수 있습니다. • 스위치 독립형 방식 사용 가능 – 스위치에는 NPAR 활성화를 위한 특별한 구성이나 지식이 필요하지 않습니다. • RoCE 및 SR-IOV와 함께 사용할 수 있습니다. • LSO, TPA, RSS/TSS 및 RoCE(포트당 2개의 PF만)와 같은 Stateless Offload를 지원합니다. • ARI(Alternate Routing ID)는 물리적 장치당 8개 이상의 기능을 지원합니다.
NetXtreme-E 사용 설명서 NPAR – 구성 및 사용 사례 예제 NPAR은 SR-IOV와 함께 활성화됩니다. 일부 ARI 지원 OEM 시스템에서는 NParEP 버튼을 사용하여 BCM5741X가 최대 16개의 파티션을 지원하도록 명시적으로 설정할 수 있습니다. 단일 기능 모드에서 다기능 모드로 전환하면 장치를 다시 열거해야 하기 때문에 변경 사항을 적용하려면 시스템을 재부팅해야 합니다. 2. NPAR이 활성화되면 각 물리적 포트와 연결된 주 NIC 구성 메뉴에서 NIC 분할 주 구성 메뉴 옵션을 사용할 수 있습니다. 3. 사용자는 NIC 분할 구성 메뉴(아래 참조)를 통해 선택한 물리적 포트에서 할당해야 하는 파티션 수를 선택 할 수 있습니다. 각 BCM5741X NIC는 ARI 지원 서버에서 최대 16개의 파티션을 지원할 수 있습니다. 기본 적으로 물리적 포트당 8개의 파티션을 위해 듀얼 포트 어댑터가 구성됩니다. 이 메뉴에서 각 파티션의 구성 옵션에도 액세스할 수 있습니다.
NetXtreme-E 사용 설명서 NPAR – 구성 및 사용 사례 예제 4. NIC 분할 구성 매개 변수를 설정합니다(표 37(64페이지) 참조). 표 37: NPAR 매개 변수 매개 변수 설명 유효한 옵션 BW 예약 이 파티션에 예약되어야 하는 사용 가능한 총 대역폭 비율입니다. 0은 모든 파티션 사이에 동일한 대역폭을 분배함을 나타냅니다. 값 0-100 BW 제한 이 파티션에 사용 가능한 최대 대역폭 비율이 허용됩니다. 값 0-100 BW 예약 유효 BW 예약 설정에서 켜기/끄기 스위치의 역할을 합니다. True/False BW 제한 유효 BW 제한 설정에서 켜기/끄기 스위치의 역할을 합니다. True/False RDMA 지원 이 파티션에 대한 RDMA 지원에서 켜기/끄기 스위치의 역할을 합니 활성화됨/비활성 다. 물리적 포트당 2개의 파티션만 RDMA를 지원할 수 있습니다.
NetXtreme-E 사용 설명서 NPAR – 구성 및 사용 사례 예제 NIC 메모리 사용 감소에 대한 참고 사항 이 NIC에서 더 빠른 Linkspeed를 지원하기 때문에 기본 수신 버퍼 수가 늘어납니다. Linkspeed가 빨라지면 지정된 시간 간격 내에 더 많은 패킷이 도착할 수 있으며 수신 인터럽트를 처리하는 동안 호스트 시스템이 지연되는 경우 NIC는 패킷을 드롭해야 합니다(사용 가능한 모든 수신 버퍼가 사용 중인 경우). 일반 구성에서 제대로 작동하는 기본 수신 버퍼 값이 선택됩니다. 하지만 시스템에 많은 NIC가 있는 경우 여러 NIC에서 NPAR을 활성화거나 RAM 용량이 아주 적은 경우 일부 NIC의 장치 관리자에 코드 12 “노란색 느낌표” 가 표시될 수 있습니다. 코드 12는 리소스가 부족하여 드라이버가 로드에 실패했음을 나타냅니다. 이런 경우 해당 리소스는 NPP(Non-Paged Pool) 메모리라고 하는 특정 유형의 커널 메모리입니다.
NetXtreme-E 사용 설명서 RoCE – 구성 및 사용 사례 예제 RoCE – 구성 및 사용 사례 예제 이 섹션에서는 RoCE 구성 및 사용 사례 예제를 제공합니다. PF 또는 VF에 대해 RoCE를 활성화하려면 사용자는 호스트 또는 게스트 OS에 RDMA 옵션을 적용하기 전에 BIOS의 HII 메뉴에서 RDMA 선택을 활성화해야 합니다. 단일 기능 모드에서 RDMA를 활성화하려면 다음을 수행합니다(가상화 모드가 없음 또는 SR-IOV인 경우). 1. 시스템 부팅 중에 시스템 설정 -> 장치 설정 -> NetXtreme-E NIC -> 기본 구성 페이지에 액세스하여 NIC+ RMDA 모드를 사용으로 설정합니다. 가상화 모드가 NPAR 또는 NPAR+SR-IOV인 경우 RDMA를 활성화하려면 다음을 수행합니다. 1.
NetXtreme-E 사용 설명서 RoCE – 구성 및 사용 사례 예제 bnxt_re를 컴파일하려면 다음을 수행합니다. $make • 외부 OFED를 설치해야 하는 배포판: SLES11SP4 다음 링크에서 OFED 릴리스 노트를 참조하여 bnxt_re 드라이버를 컴파일하기 전에 OFED를 설치하십시오. http://downloads.openfabrics.org/downloads/OFED/release_notes/OFED_3.18-2_release_notes bnxt_re를 컴파일하려면 다음을 수행합니다. $export OFED_VERSION=OFED-3.18-2 $make 설치 Linux에 RoCE를 설치하려면 다음을 수행합니다. 1. 소프트웨어 릴리스 20.06.04.01 이상에서 RoCE 지원 펌웨어 패키지를 사용하여 NIC NVRAM을 업그레이 드합니다. 2. OS에서 BCM5741X Linux L2 및 RoCE 드라이버의 압축을 풀고 구축한 다음 설치합니다. a.
NetXtreme-E 사용 설명서 RoCE – 구성 및 사용 사례 예제 일치하지 않는 bnxt_en 및 bnxt_re 조합이 로드되지 않도록 하려면 다음을 수행해야 합니다. • 대상 시스템에 bnxt_en DUD 또는 커널 모듈 RPM이 포함된 PXEboot를 사용하여 RedHat/CentOS 7.2 OS 를 설치한 경우 /lib/modules/$(uname -r)/extra/bnxt_en/bnxt_en.ko에 있는 bnxt_en.ko 파일을 삭제하거나 / etc/depmod.d/를 편집합니다. • bnxt_en.conf를 무시하여 업데이트된 버전을 사용합니다. 사용자는 rpm -e kmod-bnxt_en 명령을 사용 하여 현재 BCM5741X Linux 커널 드라이버를 지울 수도 있습니다. RHEL 7.3/SLES 12 Sp2에는 bnxt_en 기본 드라이버가 있습니다(v1.7.x 이전).
NetXtreme-E 사용 설명서 RoCE – 구성 및 사용 사례 예제 클라이언트 쪽: • 활성화: Set-SmbClientConfiguration -EnableMultiChannel $true • 비활성화: Set-SmbClientConfiguration -EnableMultiChannel $false 참고: 기본적으로 드라이버는 각 네트워크 공유에 대해 IP 주소당 2개의 RDMA 연결을 설정합니다 (고유 서브넷에). 사용자는 테스트 시 동일한 물리적 포트에 대해 여러 IP 주소(서브넷은 각기 다름) 를 추가하여 RDMA 연결 수를 늘릴 수 있습니다. 여러 네트워크 공유를 생성한 다음 생성된 고유 IP 주소를 사용하여 각 링크 파트너로 매핑할 수 있습니다. 예: Server 1에서 Network Port1에 대해 다음과 같은 IP 주소를 생성합니다. 172.1.10.1 172.2.10.2 172.3.10.3 동일한 Server 1에서 3개의 공유를 생성합니다.
NetXtreme-E 사용 설명서 RoCE – 구성 및 사용 사례 예제 VMware ESX 제한 사항 RoCE 지원 드라이버의 최신 버전을 사용하려면 ESXi-6.5.0 GA 빌드 4564106 이상이 필요합니다. BNXT RoCE 드라이버 요구 사항 드라이버를 설치하려면 disable_roce=0 모듈 매개 변수로 BNXTNET L2 드라이버를 설치해야 합니다. 모듈 매개 변수를 설정하려면 다음 명령을 실행합니다. esxcfg-module -s "disable_roce=0" bnxtnet ESX6.5 L2 드라이버 버전 20.6.9.0(RoCE 지원 L2 드라이버) 이상을 사용하십시오. 설치 RoCE 드라이버를 설치하려면 다음을 수행합니다. 1. 다음 명령을 사용하여 -.vib 파일을 /var/log/vmware에 복사합니다.
NetXtreme-E 사용 설명서 RoCE – 구성 및 사용 사례 예제 반가상화된 RDMA 네트워크 어댑터 구성 반가상화된 RDMA(PVRDMA) 네트워크 어댑터 설정 및 사용에 대한 자세한 내용은 아래 vmware 링크를 참조하 십시오. https://pubs.vmware.com/vsphere-65/index.jsp#com.vmware.vsphere.networking.doc/GUID-4A5EBD44FB1E-4A83-BB47-BBC65181E1C2.html PVRDMA용 Virtual Center 구성 PVRDMA용 Virtual Center를 구성하려면 다음을 수행합니다. 1. DVS(PVRDMA용 Distributed Virtual Switch 필요) 생성 2. DVS에 호스트를 추가합니다. ESX 호스트에 있는 PVRDMA에 vmknic 태그 지정 ESX 호스트에서 사용하기 위해 PVRDMA에 vmknic 태그를 지정하려면 다음을 수행합니다. 1.
NetXtreme-E 사용 설명서 RoCE – 구성 및 사용 사례 예제 Linux 게스트 OS에서 VM 구성 참고: 아래 구성 단계를 계속 진행하려면 사용자는 git를 포함한 적절한 개발 도구를 설치해야 합니다. 1. 다음 명령을 사용하여 PVRDMA 드라이버 및 라이브러리를 다운로드합니다. git clone git://git.openfabrics.org/~aditr/pvrdma_driver.git git clone git://git.openfabrics.org/~aditr/libpvrdma.git 2. PVRDMA 게스트 드라이버 및 라이브러리를 컴파일하여 설치합니다. 3. 드라이버를 설치하려면 드라이버 디렉터리에서 make && sudo insmod pvrdma.ko를 실행합니다. 이 드라이버는 쌍으로 연결한 vmxnet3 드라이버를 로드한 후에 로드해야 합니다. 설치된 RDMA 커널 모듈이 PVRDMA 드라이버와 호환되지 않을 수 있습니다. 그런 경우 현재 설치를 제거하고 다시 시작합니다.
DCBX – Data Center Bridging NetXtreme-E 사용 설명서 DCBX – Data Center Bridging Broadcom NetXtreme-E 컨트롤러는 IEEE802.1Qaz DCBX뿐만 아니라 이전 CEE DCBX 사양도 지원합니다. DCB 구성은 로컬에서 구성한 설정을 링크 피어와 교환하여 얻습니다. 링크의 양 끝이 서로 다르게 구성되어 있을 수 있기 때문에 DCBX는 'willing' 개념을 사용하여 링크의 어느 쪽 끝이 다른 쪽 끝의 매개 변수를 허용할 준비가 되었는지 나타냅니다. 이는 ETS 구성 및 PFC TLV에서 단일 비트를 사용하는 DCBX 프로토콜로 표시되며 이 비트는 ETS 권장 사항 및 응용 프로그램 우선 순위 TLV에서는 사용되지 않습니다. 기본적으로 NetXtreme-E NIC는 'willing' 모드인 반면 링크 파트너 네트워크 스위치는 'non-willing' 모드입니다.
NetXtreme-E 사용 설명서 DCBX – Data Center Bridging DCBX 모드 = 활성화(IEEE만 해당) 이 옵션을 통해 사용자는 표시된 사양이 포함된 DCBX를 활성화/비활성화할 수 있습니다. IEEE만 해당은 IEEE802.1Qaz DCBX가 선택되었음을 나타냅니다. Windows 드라이버 설정: UEFI HII 메뉴에서 표시된 옵션을 활성화하여 펌웨어 수준 설정을 설정한 후에는 Windows 드라이버 고급 속성 에서 다음 섹션을 수행합니다. Windows 장치 관리자 -> Broadcom NetXtreme E Series 어댑터 -> 고급 속성 -> 고급 탭 열기 Quality of Service = 사용 우선 순위 및 VLAN = 우선 순위 및 VLAN 사용 VLAN = 원하는 VLAN id 설정 Windows PowerShell에서 DCB 관련 명령을 실행하려면 적절한 DCB Windows 기능을 설치합니다. 1.
NetXtreme-E 사용 설명서 DCBX – Data Center Bridging 생성된 트래픽 클래스를 표시할 때는 다음을 사용합니다. C:\> Get-NetQoSTrafficClass Name Algorithm Bandwidth(%) Priority --------------------------[Default] ETS 70 0-3,5-7 SMB class ETS 30 4 트래픽 클래스를 수정할 때는 다음을 사용합니다. PS C:\> Set-NetQoSTrafficClass -Name "SMB class" -BandwidthPercentage 40 PS C:\> get-NetQosTrafficClass Name Algorithm Bandwidth(%) Priority -----------------------------------------------------------------[Default] ETS 60 0-3,5-7 SMB class ETS 40 4 트래픽 클래스를 제거할 때는 다음
NetXtreme-E 사용 설명서 DCBX – Data Center Bridging 참고: 위 명령은 새 SMB 정책을 생성합니다. –SMB는 TCP 포트 445(SMB에 예약됨)와 일치하는 기본 필터입니다. TCP 포트 445로 패킷을 전송하면 해당 패킷을 네트워크 미니포트 드라이버로 전달하기 전에 운영 체제에서 802.1p 값 4의 태그를 지정합니다. –SMB 외에 다른 기본 필터로는 –iSCSI(TCP 포트 3260에 해당), -NFS(TCP 포트 2049에 해당), –LiveMigration(TCP 포트 6600에 해당), -FCOE(EtherType 0x8906에 해당) 및 –NetworkDirect가 있습니다. NetworkDirect는 네트워크 어댑터에서 RDMA 구현 외에 생성한 추상적인 계층입니다. –NetworkDirect는 Network Direct 포트 다음에 와야 합니다.
NetXtreme-E 사용 설명서 FAQ 다음을 사용하여 QoS 정책을 제거합니다. PS C:\> Remove-NetQosPolicy -Name "Network Management" FAQ • 25G 속도의 AutoNeg를 지원합니까? 예를 클릭합니다. 자세한 내용은 “자동 협상 구성” (40페이지)을 참조하십시오. • SFP28 케이블을 QSFP 포트에 연결하려면 어떻게 해야 합니까? QSFP에서 4xSFP28 포트로 연결되는 브레이크아웃 케이블을 사용할 수 있습니다. • 적절한 포트 속도는 어느 정도입니까? BCM57404AXXXX/BCM57414 듀얼 포트 장치에서 각 포트의 포트 속도는 다른 포트의 포트 속도와 호환되 어야 합니다. 10 Gbps 및 25 Gbps는 호환되는 속도가 아닙니다. 한 포트를 10 Gbps로 설정하면 다른 포 트는 25 Gbps로 설정할 수 없습니다. 사용자가 호환되지 않는 포트 속도 설정을 시도하면 활성화되어야 할 두 번째 포트가 연결되지 않습니다.
