Kullanım Kılavuzu NetXtreme-E Broadcom® NetXreme-C ve NetXtreme-E KULLANIM KILAVUZU NetXtreme-E-UG100 26 Şubat 2018
Düzeltme Geçmişi Düzeltme Tarihi Değişiklik Açıklaması NetXtreme-E-UG100 26.02.2018 20.6 için ilk sürüm. © 2018 Broadcom. Tüm hakları saklıdır. Broadcom®, nabız logosu, Connecting everything®, Avago Technologies ve A logosu, Broadcom ve/veya iştiraklerinin ABD, diğer belirli ülkeler ve/veya AB'de ticari markalarıdır. “Broadcom” terimi, Broadcom Limited ve/veya bağlı kuruluşlarını ifade eder. Daha fazla bilgi için www.broadcom.com adresini ziyaret edin.
NetXtreme-E Kullanım Kılavuzu İçindekiler İçindekiler Yönetmelik ve Güvenlik Onayları................................................................................................................ 7 Yönetmelik Bilgileri .................................................................................................................................. 7 Güvenlik ..................................................................................................................................................
NetXtreme-E Kullanım Kılavuzu İçindekiler Donanımın Kurulumu ................................................................................................................................. 26 Güvenlik Önlemleri ................................................................................................................................ 26 Sistem Gereksinimleri ...........................................................................................................................
NetXtreme-E Kullanım Kılavuzu İçindekiler iSCSI Yapılandırması..................................................................................................................... 38 Kapsamlı Yapılandırma Yönetimi .......................................................................................................... 39 Cihaz Donanımı Yapılandırması .................................................................................................... 39 MBA Yapılandırma Menüsü ............................
NetXtreme-E Kullanım Kılavuzu İçindekiler NPAR – Yapılandırma ve Kullanım Durumu Örneği ................................................................................ 62 Özellikler ve Gereklilikler ....................................................................................................................... 62 Sınırlamalar ........................................................................................................................................... 62 Yapılandırma ..................
NetXtreme-E Kullanım Kılavuzu Yönetmelik ve Güvenlik Onayları Yönetmelik ve Güvenlik Onayları Aşağıdaki bölümlerde NetXtreme-E Ağ Arabirimi Kartı için Yönetmelik Bilgileri, Güvenlik, Elektromanyetik Uyumluluk (EMC) ve Elektrostatik Boşalma (ESD) standartlarıyla uyumluluk konuları ayrıntılı olarak ele alınmaktadır. Yönetmelik Bilgileri Tablo 1: Yönetmelik Onayları Öğe Geçerli Standart Onay/Sertifika CE/Avrupa Birliği EN 62368-1:2014 CB raporu ve sertifikası UL/ABD IEC 62368-1 ed.
NetXtreme-E Kullanım Kılavuzu Yönetmelik ve Güvenlik Onayları Elektromanyetik Uyumluluk (EMC) Tablo 3: Elektromanyetik Uyumluluk Standart / Ülke Sertifika Türü Uyumluluk CE / AB EN 55032:2012/AC:2013 B Sınıfı EN 55024:2010 EN 61000-3-2:2014 EN 61000-3-3:2013 CE raporu ve CE DoC FCC / ABD CFR47, Bölüm 15 B Sınıfı FCC/IC DoC ve EMC rapor referanslama FCC ve IC standartları IC / Kanada ICES-003 B Sınıfı FCC/IC DoC ve rapor referanslama FCC ve IC standartları ACA / Avustralya, Yeni Zelanda AS/NZS
NetXtreme-E Kullanım Kılavuzu İşlev Açıklaması İşlev Açıklaması Dell; 10GBase-T, 10G SFP+ ve 25G SFP28 Ağ Arabirimi Kartlarını (NIC) destekler. Bu NIC'ler Tablo 5 bölümünde açıklanmaktadır. Tablo 5: İşlev Açıklaması Ağ Arabirimi Kartı Açıklama BCM957402A4020DLPC/BCM957402A4020DC/BCM957412A4120D/BCM957412M4120D Hız Çift Bağlantı Noktalı 10 Gbps Ethernet PCI-E 3.
NetXtreme-E Kullanım Kılavuzu İşlev Açıklaması Şekil 1: BCM957402A4020DC, BCM957412A4120D Ağ Arabirimi Kartı 26 Şubat 2018 • NetXtreme-E-UG100 Sayfa 10
NetXtreme-E Kullanım Kılavuzu İşlev Açıklaması Şekil 2: BCM957404A4041DLPC, BCM957414A4141D Ağ Arabirimi Kartı 26 Şubat 2018 • NetXtreme-E-UG100 Sayfa 11
NetXtreme-E Kullanım Kılavuzu İşlev Açıklaması Şekil 3: BCM957406A4060DLPC, BCM957416A4160D Ağ Arabirimi Kartı Şekil 4: BCM957414M4140D Ağ Yardımcı Kartı (rNDC) 26 Şubat 2018 • NetXtreme-E-UG100 Sayfa 12
NetXtreme-E Kullanım Kılavuzu İşlev Açıklaması Şekil 5: BCM957412M4120D Ağ Yardımcı Kartı (rNDC) Şekil 6: BCM957416M4160 Ağ Yardımcı Kartı (rNDC) 26 Şubat 2018 • NetXtreme-E-UG100 Sayfa 13
NetXtreme-E Kullanım Kılavuzu Ağ Bağlantısı ve Etkinlik Gösterimi Ağ Bağlantısı ve Etkinlik Gösterimi BCM957402AXXXX/BCM957412AXXXX SFP+ bağlantı noktası, trafik etkinliklerini ve bağlantı hızını gösteren iki LED'e sahiptir. LED'ler, Şekil 7 bölümünde gösterildiği gibi braketin üzerindeki bölmeden görülür. LED işlevi, Tablo 6 bölümünde açıklanmaktadır.
NetXtreme-E Kullanım Kılavuzu Ağ Bağlantısı ve Etkinlik Gösterimi BCM957404AXXXX/BCM957414AXXXX SFP28 bağlantı noktası, trafik etkinliklerini ve bağlantı hızını gösteren iki LED'e sahiptir. LED'ler, Şekil 8 bölümünde gösterildiği gibi braketin üzerindeki bölmeden görülür. LED işlevi, Tablo 7 bölümünde açıklanmaktadır.
NetXtreme-E Kullanım Kılavuzu Ağ Bağlantısı ve Etkinlik Gösterimi BCM957406AXXXX/BCM957416AXXXX RJ-45 bağlantı noktası, trafik etkinliklerini ve bağlantı hızını gösteren iki LED'e sahiptir. LED'ler, Şekil 9 bölümünde gösterildiği gibi braketin üzerindeki bölmeden görülür. LED işlevi, Tablo 8 bölümünde açıklanmaktadır.
NetXtreme-E Kullanım Kılavuzu Ağ Bağlantısı ve Etkinlik Gösterimi BCM957414M4140D SFP28 bağlantı noktası, trafik etkinliklerini ve bağlantı hızını gösteren iki LED'e sahiptir. LED'ler, Şekil 10 bölümünde gösterildiği gibi braketin üzerindeki bölmeden görülür.
NetXtreme-E Kullanım Kılavuzu Ağ Bağlantısı ve Etkinlik Gösterimi BCM957412M4120D Bu rNDC, her birinde trafik etkinliklerini ve bağlantı hızını göstermek için iki LED bulunan SFP+ ve RJ-45 bağlantı noktalarına sahiptir. LED'ler Şekil 11 bölümünde gösterildiği şekilde görülür.
NetXtreme-E Kullanım Kılavuzu Ağ Bağlantısı ve Etkinlik Gösterimi BCM957416M4160 Bu rNDC, her birinde trafik etkinliklerini ve bağlantı hızını göstermek için iki LED bulunan 10GBaseT ve 1000BaseT RJ-45 bağlantı noktalarına sahiptir. LED'ler Şekil 12 bölümünde gösterildiği şekilde görülür.
NetXtreme-E Kullanım Kılavuzu Özellikler Özellikler Cihaz özellikleri için aşağıdaki bölümlere bakın. Yazılım ve Donanım Özellikleri Tablo 13 bölümünde ana bilgisayar arabirimi özelliklerinin listesi sunulmaktadır. Tablo 13: Ana Bilgisayar Arabirimi Özellikleri Özellik Ayrıntılar Ana Bilgisayar Arabirimi PCIe v3.0 (3. Nesil: 8 GT/s; 2. Nesil: 5 GT/s; 1. Nesil: 2,5 GT/s). PCIe hattı sayısı PCI-E Uç bağlayıcı: x8. Önemli Ürün Verileri (VPD) Desteklenir.
NetXtreme-E Kullanım Kılavuzu Özellikler Tablo 13: Ana Bilgisayar Arabirimi Özellikleri (Devam) Özellik Ayrıntılar Jumbo Çerçeveleri Desteklenir. iSCSI önyüklemesi Desteklenir. NIC Bölümlendirme (NPAR) Bağlantı noktası başına sekiz adede kadar Fiziksel İşlevi (PF) veya silikon başına 16 adede kadar PF'yi destekler. Bu seçenek NVRAM'de yapılandırılabilir. Yakınsanmış Ethernet üzerinden RDMA (RoCE) BCM5741X Windows, Linux ve VMware için RoCE v1/v2'yi destekler.
NetXtreme-E Kullanım Kılavuzu Özellikler Tablo 14: Sanallaştırma Özellikleri (Devam) Özellik Ayrıntılar IP içinde IP algılamalı durum bilgisiz boşaltmalar (IP/UDP/TCP sağlama toplamı boşaltmaları Desteklenir. SR-IOV v1.0 Konuk İşletim Sistemleri (GOS) için cihaz başına 128 Sanal İşlev (VFs). VF başına MSI-X vektörü 16'ya ayarlanır. MSI-X vektörü bağlantı noktası Bağlantı noktası varsayılan değeri başına 74 (iki bağlantı noktalı yapılandırma). VF başına 16 ve HII ile CCM'de yapılandırılabilir.
NetXtreme-E Kullanım Kılavuzu Özellikler Üstbilgi-Yük Bölme Üstbilgi-yük bölme, yazılım TCP/IP yığınının, ayrı arabelleklere bölünmüş üstbilgi ve yük verilerine sahip TCP/IP paketlerini almasına olanak tanıyan bir özelliktir. Bu özellik desteği, hem Windows hem de Linux ortamlarında mevcuttur. Üstbilgi-yük bölmenin olası avantajları aşağıda verilmiştir: • Üstbilgi-yük bölme, paket üstbilgilerinin ana bilgisayar CPU önbelleklerine kompakt ve etkili biçimde alınmasına olanak tanır.
NetXtreme-E Kullanım Kılavuzu Özellikler VMWare NetQueue VMware NetQueue, Microsoft’un NDIS VMQ özelliğine benzer bir özelliktir. NetQueue özelliği, farklı NetQueue sıralarında alınan paketleri geri göndermek için hedef MAC adresine ve VLAN'a dayalı paket sınıflandırmayı destekler. DMA paketlerini doğrudan bir sanal makinenin belleğine gönderme olanağıyla birleştirilen bu paket sınıflandırma, sanal makinelerin birden fazla işlemci genelinde ölçeklendirilmesine olanak tanır.
NetXtreme-E Kullanım Kılavuzu Özellikler Yakınsanmış Ethernet üzerinden RDMA – RoCE Yakınsanmış Ethernet üzerinden Uzaktan Doğrudan Bellek Erişimi (RDMA) (RoCE), BCM5741X için bir Ethernet ağı üzerinden RDMA işlevine olanak sağlayan bir eksiksiz donanım boşaltma özelliğidir. RoCE işlevi, kullanıcı modu ve kernel modu uygulamasında kullanılabilir. RoCE Fiziksel İşlevleri (PF) ve SRIOV Sanal İşlevleri (VF) tekli işlev modunda ve çoklu işlev modunda (NIC Ayrım modu) mevcuttur.
NetXtreme-E Kullanım Kılavuzu Donanımın Kurulumu NPAR, SR-IOV ve DPDK Tablo 16 NPAR, SR-IOV ve DPDK için desteklenen özellik kombinasyonlarını içerir. Tablo 16: NPAR, SR-IOV ve DPDK SW Özelliği Notlar NPAR 8 PF'ye ya da 16 PF'ye kadar SR-IOV 128 VF'ye kadar (çip başına toplam) DPDK Yalnızca VF olarak desteklenir Sunucu İşletim Sistemi Linux Konuk İşletim Sistemi DPDK (Linux) Desteklenmeyen Kombinasyonlar NPAR, SR-IOV, RoCE ve DPDK kombinasyonu desteklenmez.
NetXtreme-E Kullanım Kılavuzu Donanımın Kurulumu Donanım Gereksinimleri Donanım gereksinimleri için aşağıdaki listeye bakın: • İşletim sistemi gereksinimlerini karşılayan Dell 13G sistemleri. • NetXtreme-E Ethernet kartlarını destekleyen Dell 13G sistemleri. • rNDC form faktörlü bir NIC Bağdaştırıcısı için bir açık PCI-E 3. Nesil x8 yuva veya bir açık PCIe 3. Nesil rNDC yuvası. • 4 GB veya üzeri bellek (sanallaştırma uygulamaları ve nominal ağ verimi performansı için 32 GB veya üzeri önerilir).
NetXtreme-E Kullanım Kılavuzu Donanımın Kurulumu Ağ Kablolarını Bağlama Dell Ethernet anahtarları, en fazla 100 Gbps hızı destekleyen SFP+/SFP28/QSFP28 bağlantı noktalarıyla ürün haline getirilir. Bu 100 Gbps bağlantı noktaları, 4 x 25 Gbps SFP28 bağlantı noktalarına bölünebilir. QSFP bağlantı noktaları, 4 x 25G SFP28 breakout kablolar kullanılarak SFP28 bağlantı noktalarına bağlanabilir.
NetXtreme-E Kullanım Kılavuzu Yazılım Paketleri ve Kurulum Yazılım Paketleri ve Kurulum Yazılım paketleri ve kurulumla ilgili bilgi için aşağıdaki bölümlere bakın. Desteklenen İşletim Sistemleri Tablo 18 bölümünde desteklenen işletim sistemlerinin listesi verilmiştir. Tablo 18: Desteklenen İşletim Sistemleri Listesi OS Flavor Dağıtım Windows Windows 2012 R2 veya üzeri Linux Redhat 6.9, Redhat 7.1 veya üzeri SLES 11 SP 4, SLES 12 SP 2 veya üzeri VMWare ESXi 6.
NetXtreme-E Kullanım Kılavuzu Yazılım Paketleri ve Kurulum Dosyalar çıkarıldıktan sonra INF kurulumu, Cihaz Yöneticisi (devmgmt.msc) kullanılarak “yükseltme sürücüsü” işlevi yoluyla çalıştırılır. Cihaz Yöneticisini açın, istediğiniz NIC bileşenini seçin, güncellemek için sağ tıklayıp yükseltme sürücüsünü seçin. Linux Linux sürücüleri RPM, KMP ve güvenli kod biçiminde sunulmaktadır. Linux kullanarak kaynak koddan cihaz sürücüsü oluşturmak için aşağıdaki örneğe bakın: 1.
NetXtreme-E Kullanım Kılavuzu Yazılım Paketleri ve Kurulum Linux Ethtool Komutları Not: ethX, Tablo 19 bölümünde gerçek arabirim adıyla değiştirilmelidir. Tablo 19: Linux Ethtool Komutları Komut Açıklama ethtool -s ethX speed 25000 autoneg off Hızı ayarla. Tek bağlantı noktası üzerinden gerçekleştirilen bağlantılarda sürücü, diğer bağlantı noktasının uyumsuz bir hıza ayarlanmasına izin vermez. ethtool -i ethX Çıktı; Paket sürümünü, NIC BIOS sürümünü (önyükleme kodu) içerir.
NetXtreme-E Kullanım Kılavuzu Yazılım Paketleri ve Kurulum Tablo 19: Linux Ethtool Komutları (Devam) Komut Açıklama sysctl -w net.core.busy_read=50 Bu, cihazın alma halkasını meşgul okuma süresini 50 usecs olarak ayarlar. Veri almayı bekleyen yuva uygulamaları için bu yöntemin kullanılması, daha yüksek CPU kullanımı ile gecikme süresini genellikle 2 veya 3 usec azaltır. echo 4 > /sys/bus/pci/devices/0000:82:00.0/ sriov_numvfs SR-IOV'yi veri yolu 82'de dört VF, Cihaz 0 ve İşlev 0 ile etkinleştir.
NetXtreme-E Kullanım Kılavuzu Yazılım Paketleri ve Kurulum Tablo 20: VMware Komutları (Devam) Komut Açıklama esxcli network nic down –n vmnicX vmnicX'i devre dışı bırak. esxcli network nic up –n vmnic6 vmnicX'i etkinleştir. bnxtnetcli –s –n vmnic6 –S “25000” Bağlantı hızını ayarla. Daha eski ESX sürümlerinde 25G hız testini desteklemek için Bnxtnetcli gerekir.
NetXtreme-E Kullanım Kılavuzu Windows Sürücü Gelişmiş Özellikleri ve Olay Günlüğü Mesajları Windows Sürücü Gelişmiş Özellikleri ve Olay Günlüğü Mesajları Sürücü Gelişmiş Özellikleri Windows sürücü gelişmiş özellikleri, Tablo 21 bölümünde gösterilmektedir. Tablo 21: Windows Sürücü Gelişmiş Özellikleri Sürücü Anahtarı Parametreler Açıklama Kapsüllenmiş Görev Boşaltması Etkinleştir veya Devre Dışı Bırak NVGRE kapsüllenmiş görev boşaltmasını yapılandırmak için kullanılır.
NetXtreme-E Kullanım Kılavuzu Windows Sürücü Gelişmiş Özellikleri ve Olay Günlüğü Mesajları Tablo 21: Windows Sürücü Gelişmiş Özellikleri (Devam) Sürücü Anahtarı Parametreler Açıklama RSS yük dengeleme profili NUMA ölçeklendirme statik, En yakın işlemci, En yakın işlemci statik, koruyucu ölçeklendirme, NUMA ölçeklendirme. Varsayılan olarak NUMA ölçeklendirme statik seçeneği belirlenmiştir. Hız ve Dupleks 1 Gbps veya 10 Gbps ya da 10 Gbps Bakır bağlantı noktaları, 25 Gbps veya Otomatik Anlaşma.
NetXtreme-E Kullanım Kılavuzu Windows Sürücü Gelişmiş Özellikleri ve Olay Günlüğü Mesajları Tablo 22: Windows Olay Günlüğü Mesajları (Devam) Mesaj Kimliği Açıklama 0x0013 Varsayılan Sıra başlatma başarısız. 0x0014 Ürün yazılımı sürümü uyumsuz. 0x0015 Tek kesme. Tablo 23: Olay Günlüğü Mesajları 0x0016 Bellenim ayrılan sürede yanıt vermedi. 0x0017 Bellenim arıza durumu verdi. 0x0018 Bellenim bilinmeyen durumda. 0x0019 Optik Modülü desteklenmiyor.
NetXtreme-E Kullanım Kılavuzu Ekip Oluşturma Ekip Oluşturma Windows Dell platformlarına takılan Broadcom NetXtreme-E cihazları, Microsoft ekip oluşturma çözümünü kullanarak NIC ekibi oluşturma işlevine katılabilir. Aşağıdaki bağlantıda sunulan Microsoft ortak belgesine bakın: https://www.microsoft.com/en-us/download/details.aspx?id=40319 Microsoft LBFO, Windows işletim sisteminde kullanılabilen bir yerel ekip oluşturma sürücüsüdür. Ekip oluşturma sürücüsü, VLAN etiketleme özellikleri de sunar.
NetXtreme-E Kullanım Kılavuzu Sistem Düzeyinde Yapılandırma Sistem Düzeyinde Yapılandırma Sistem düzeyinde NIC yapılandırmasıyla ilgili bilgi için aşağıdaki bölümlere bakın. UEFI HII Menüsü Broadcom NetXtreme-E serisi denetleyiciler, HII (İnsan Arabirimi) menüsü kullanılarak önyükleme öncesi, iscsi ve SR-IOV gibi gelişmiş yapılandırma seçenekleri için yapılandırılabilir. Ayarları yapılandırmak için sistem önyükleme sırasında F2 -> Sistem Kurulumu -> Cihaz Ayarları'nı seçin.
NetXtreme-E Kullanım Kılavuzu Sistem Düzeyinde Yapılandırma Ayrıntılı yapılandırma bilgileri için “iSCSI Önyüklemesi” sayfa 49 bölümüne bakın. Kapsamlı Yapılandırma Yönetimi Önyükleme yapılandırması, Kapsamlı Yapılandırma Yönetimi (CCM) menü seçeneği kullanılarak yapılandırılabilir. Sistem BIOS POST sırasında, Broadcom başlık mesajı görüntülenir ve parametreleri Control-S menüsü yoluyla değiştirme seçeneği sunulur.
NetXtreme-E Kullanım Kılavuzu Sistem Düzeyinde Yapılandırma Otomatik Anlaşma Yapılandırması Not: Bir bağlantı noktasının birden fazla PCI işlevi tarafından paylaşıldığı NPAR (NIC bölümlendirme) cihazlarında, bağlantı noktası hızı önceden yapılandırılmıştır ve sürücü tarafından değiştirilemez.
Sistem Düzeyinde Yapılandırma NetXtreme-E Kullanım Kılavuzu Tablo 24: Desteklenen Bağlantı Hızı Kombinasyonu Ayarları Port 2 Link Setting Port1 Link Speed Setting Forced 1G Forced 10G Forced 25G Forced 1G Forced 10G Forced 25G AN Enabled AN Enabled {1G} {10G} AN Enabled {25G} AN Enabled {1/ 10G} AN Enabled {1/ 25G} AN Enabled {10/ 25G} AN Enabled {1/10/ 25G} P1: no AN P1: no AN P1: no AN P1: no AN P1: no AN P1: no AN P1: no AN P1: no AN P1: no AN P1: no AN P2: no AN P2: no AN P2: no A
Sistem Düzeyinde Yapılandırma NetXtreme-E Kullanım Kılavuzu • {bağlantı hızı} – beklenen bağlantı hızı • AN {bağlantı hızları} – ilan edilen desteklenen otomatik anlaşma bağlantı hızları. Yerel ayarlara ve bağlantı ortağı ayarlarına dayalı olarak beklenen bağlantı hızları şurada gösterilmiştir: Tablo 25.
NetXtreme-E Kullanım Kılavuzu Sistem Düzeyinde Yapılandırma Operasyonel Bağlantı Hızı Bu seçenek, önyükleme (MBA ve UEFI) sürücüleri (Linux, ESX), işletim sistemi sürücüsü ve ürün yazılımı tarafından kullanılan bağlantı hızını yapılandırır. Bu ayar, işletim sistemi mevcut durumunda sürücü ayarı tarafından geçersiz kılınır. Windows sürücüsü (bnxtnd_.sys), driver .inf dosyasındaki bağlantı hızı ayarlarını kullanır.
NetXtreme-E Kullanım Kılavuzu Sistem Düzeyinde Yapılandırma Desteklenen ilan edilen hızlar aşağıda verilmiştir. • 0x020 – 1000baseT Full • 0x1000 – 10000baseT Full • 0x80000000 – 25000baseCR Full ethtool -A eth0 autoneg on|off Bu komutu, Duraklatma çerçevesi otomatik anlaşmayı etkinleştirmek/devre dışı bırakmak için kullanın. ethtool -a eth0 Bu komutu, mevcut akış kontrolü otomatik anlaşma ayarını görüntülemek için kullanın.
NetXtreme-E Kullanım Kılavuzu Sistem Düzeyinde Yapılandırma FEC Otomatik Anlaşma Bağlantı FEC otomatik anlaşmasını etkinleştirmek / devre dışı bırakmak için sistem BIOS HII menüsünden ya da CCM'den şu seçenekler etkinleştirilebilir: • Sistem BIOS->Cihaz Ayarları->NetXtreme-E NIC->Cihaz Düzeyinde Yapılandırma FEC otomatik anlaşma, anlaşma alışverişi sırasında iki parametre kullanır: FEC kapasiteli ve FEC isteği.
NetXtreme-E Kullanım Kılavuzu Sistem Düzeyinde Yapılandırma Tablo 27: BCM5741X için Desteklenen FEC Yapılandırmaları Bağlantı Ortağı FEC Ayarı Force Speed No FEC Force Speed Base-R FEC CL74 Force Speed RS-FEC CL91/ CL108 AN (Yok) An (Yok, Base-R) AN (Yok, Base-R, RS) FEC olmadan bağlantı Bağlantı yok Bağlantı yok Bağlantı yok Bağlantı yok Bağlantı yok Force Speed Bağlantı Base-R FEC yok CL74 Base-R FEC CL74 Bağlantı yok Bağlantı yok Bağlantı yok Bağlantı yok Zorlamalı RS- Bağlantı FEC CL9
NetXtreme-E Kullanım Kılavuzu Sistem Düzeyinde Yapılandırma Tablo 28: Ortam Türü ve Hız Arasındaki Bağlantı Eğitimi İlişkisi Bağlantı Ortağı Bağlantı Eğitimi Ayarı Yerel ve Ortam Kablosu Türü Force Speed Link Training Devre Dışı Force Speed Link Training Etkin AN (Otomatik Bağlantı Eğitimi) Force Speed DAC (SFP+/SFP28/ QSFP28) Bağlantı Eğitimi olmadan bağlantı Bağlantı Eğitimi ile bağlantı Bağlantı Eğitimi ile bağlantı Force Speed optik (Alıcı-Verici / AOC) Bağlantı Eğitimi olmadan bağlantı Bağl
NetXtreme-E Kullanım Kılavuzu Sistem Düzeyinde Yapılandırma Tablo 29 ve Tablo 30, Otomatik Ortam Algılama özelliği etkinleştirilmiş olan bağlantı sonuçlarını gösterir.
NetXtreme-E Kullanım Kılavuzu iSCSI Önyüklemesi iSCSI Önyüklemesi Broadcom NetXtreme-E Ethernet bağdaştırıcıları, disksiz sistemlere işletim sistemi ağ önyüklemesini etkinleştirmek için iSCSI önyüklemesini destekler. iSCSI önyüklemesi, bir Windows, Linux veya VMware işletim sisteminin standart bir IP ağı üzerinde bulunan uzak iSCSI hedef makinesinden önyüklenmesine olanak tanır.
NetXtreme-E Kullanım Kılavuzu iSCSI Önyüklemesi iSCSI Önyükleme Parametrelerini Yapılandırma Statik veya dinamik yapılandırma için Broadcom iSCSI önyükleme yazılımını yapılandırın. Genel Parametreler menüsünde mevcut olan yapılandırma seçenekleri için Tablo 31 bölümüne bakın. Tablo 31 bölümünde, IPv4 ve IPv6 parametreleri listelenmiştir. IPv4 veya IPv6'ya özgü parametreler not edilmiştir. Tablo 31: Yapılandırma Seçenekleri Seçenek Açıklama DHCP yoluyla TCP/IP parametreleri Bu seçenek IPv4'e özgüdür.
NetXtreme-E Kullanım Kılavuzu iSCSI Önyüklemesi 2. PXE başlığından CTRL+S'yi seçin. MBA Yapılandırma Menüsü görüntülenir. 3. Önyükleme Protokolü seçeneğine geçmek için MBA Yapılandırma Menüsünden, YUKARI OK veya AŞAĞI OK tuşunu kullanın. iSCSI için Önyükleme Protokolü seçeneğini değiştirmek için SOL OK veya SAĞ OK tuşunu kullanın. 4. Ana Menü'den iSCSI Önyükleme Yapılandırması'nı seçin.
NetXtreme-E Kullanım Kılavuzu iSCSI Önyüklemesi Not: IP adresini girin. IP adreslerinde yinelenenleri veya yanlış kesim/ağ atamasını denetlemek için gerçekleştirilen bir hata kontrolü bulunmamaktadır. 5. Ana menüye dönmek için ESC'yi seçin. 6. Ana menüden, 1. Hedef Parametreleri'ni seçin. Not: İlk kurulum için ikinci bir hedefin yapılandırılması desteklenmez. 7. iSCSI hedefine bağlanmak için 1. Hedef Parametreleri ekranından Bağlan seçeneğini etkinleştirin.
NetXtreme-E Kullanım Kılavuzu iSCSI Önyüklemesi iqn.1995-05.com.broadcom.<11.22.33.44.55.66>.iscsiboot Buradaki 11.22.33.44.55.66 dizesi, denetleyicinin MAC adresine karşılık gelir. • DHCP Seçenek 43 (yalnızca IPv4) kullanılırsa Başlatıcı Parametreleri, 1. Hedef Parametreleri veya 2. Hedef Parametreleri ekranlarındaki tüm ayarlar yoksayılır ve silinmesi gerekmez. Dinamik bir yapılandırma kullanarak iSCSI önyükleme parametrelerini yapılandırmak için: 1.
NetXtreme-E Kullanım Kılavuzu iSCSI Önyüklemesi 6. Ana menüye dönmek için ESC'yi seçin. 7. ESC'yi seçin ve ardından Çıkış'ı ve Yapılandırmayı Kaydet'i seçin. iSCSI Önyükleme Desteği için DHCP Sunucusunu Yapılandırma DHCP sunucusu isteğe bağlı bir bileşendir ve yalnızca iSCSI Önyükleme yapılandırması kurulumu için gereklidir (“Dinamik iSCSI Önyükleme Yapılandırması” sayfa 52 bölümüne bakın). iSCSI önyükleme desteği için DHCP sunucusunun yapılandırılması, IPv4 ve IPv6'dan farklıdır.
NetXtreme-E Kullanım Kılavuzu iSCSI Önyüklemesi Not: DHCP Seçenek 43, yalnızca IPv4 protokolünde desteklenir. Alt seçenekler aşağıda listelenmiştir.
NetXtreme-E Kullanım Kılavuzu VXLAN: Yapılandırma ve Kullanım Durumu Örnekleri Alt seçenekler Tablo 34, sayfa 56 bölümünde listelenmiştir. Tablo 34: DHCP Seçenek 17 Alt Seçeneği Tanımı Alt Seçenek Tanım 201 Standart kök yolu biçimdeki ilk iSCSI hedef bilgisi "iscsi:"[]":"":"": "":"" 203 iSCSI başlatıcı IQN'si Not: Tablo 34 bölümünde, IPv6 adresleri için köşeli ayraç [ ] gerekir.
NetXtreme-E Kullanım Kılavuzu SR-IOV: Yapılandırma ve Kullanım Durumu Örnekleri Tablo 36: VXLAN Komut ve Yapılandırma Örnekleri Sistem 1 Sistem 2 PxPy: ifconfig PxPy 1.1.1.4/24 PxPy: ifconfig PxPy 1.1.1.2/24 ip link add vxlan10 type vxlan id 10 group 239.0.0.10 dev PxPy dstport 4789 ip link add vxlan10 type vxlan id 10 group 239.0.0.10 dev PxPy dstport 4789 ip addr add 192.168.1.5/24 broadcast 192.168.1.255 dev vxlan10 ip addr add 192.168.1.10/24 broadcast 192.168.1.
NetXtreme-E Kullanım Kılavuzu SR-IOV: Yapılandırma ve Kullanım Durumu Örnekleri 5. bnxt_en sürücüsünü yükleyin: a. bnxt_en sürücüsünü işletim sistemine kopyalayın ve make; make install; modprobe bnxt_en komutunu çalıştırın. Not: SRIOV VF'lerde RDMA işlevi için hem bnxt_re hem de bnxt_en yüklemek üzere netxtremebnxt_en.tar.gz kullanın. 6. Kernel parametreleri yoluyla Sanal İşlevleri etkinleştirin: a. Sürücü yüklendikten sonra, lspci sistemde mevcut olan NetXtreme-E NIC'leri görüntüler.
NetXtreme-E Kullanım Kılavuzu SR-IOV: Yapılandırma ve Kullanım Durumu Örnekleri Windows Durumu 1. NIC kartlarında SR-IOV'yi etkinleştirin: a. NIC kartındaki SR-IOV, HII menüsü kullanılarak etkinleştirilebilir. Sistem önyükleme sırasında sistem BIOS -> Cihaz Ayarları -> NetXtreme-E NIC -> Cihaz Düzeyinde Yapılandırma bölümüne erişin. b. Sanallaştırma modunu SR-IOV olarak ayarlayın. c. Fiziksel işlev başına sanal işlev sayısını ayarlayın. d.
NetXtreme-E Kullanım Kılavuzu SR-IOV: Yapılandırma ve Kullanım Durumu Örnekleri VMWare SRIOV Durumu 1. NIC kartlarında SR-IOV'yi etkinleştirin: a. NIC kartındaki SR-IOV, HII menüsü kullanılarak etkinleştirilebilir. Sistem önyükleme sırasında sistem BIOS -> Cihaz Ayarları -> NetXtreme-E NIC -> Cihaz Düzeyinde Yapılandırma bölümüne erişin. b. Sanallaştırma modunu SR-IOV olarak ayarlayın. c. Fiziksel işlev başına sanal işlev sayısını ayarlayın. d.
NetXtreme-E Kullanım Kılavuzu SR-IOV: Yapılandırma ve Kullanım Durumu Örnekleri e. Bağlantı durumlarını göster $ esxcli bnxtnet link get -n vmnic6 f. Sürücü/bellenim/çip bilgilerini göster $ esxcli bnxtnet drvinfo get -n vmnic4 g. NIC bilgilerini göster (ör. BDF; NPAR, SRIOV yapılandırması) $ esxcli bnxtnet nic get -n vmnic4 5. SRIOV VF'leri Etkinleştirme: Yalnızca PF'ler otomatik olarak etkinleştirilir. Bir PF, SR-IOV'yi destekliyorsa PF(vmknicX) aşağıda gösterilen komut çıktısının bir parçasıdır.
NetXtreme-E Kullanım Kılavuzu NPAR – Yapılandırma ve Kullanım Durumu Örneği NPAR – Yapılandırma ve Kullanım Durumu Örneği Özellikler ve Gereklilikler • İşletim Sistemi/BIOS Agnostik – Ayrımlar işletim sistemine “gerçek” ağ arabirimleri olarak sunulduğu için SR-IOV'de olduğu gibi özel BIOS ya da işletim sistemi desteği gerekli değildir. • Ek anahtar bağlantı noktaları, kablolar, PCIe genişletme yuvaları gerektirmeden ek NIC'ler.
NetXtreme-E Kullanım Kılavuzu NPAR – Yapılandırma ve Kullanım Durumu Örneği NPAR, SR-IOV ile birlikte etkinleştirilir. Bazı ARI kapasiteli OEM sistemlerinde BCM5741X'in 16 adede kadar ayrıma açıkça izin vermesi için NParEP düğmesi bulunur. Tekli İşlev modunda Çoklu İşlev moduna geçerken cihazın yeniden numaralandırılması gerekir, bu nedenle sistem yeniden başlatılana kadar değişiklikler uygulanmaz. 2.
NetXtreme-E Kullanım Kılavuzu NPAR – Yapılandırma ve Kullanım Durumu Örneği 4. NIC Ayrımı Yapılandırma parametrelerini ayarlama (bkz. Tablo 37, sayfa 64). Tablo 37: NPAR Parametreleri Geçerli Seçenekler Parametre Açıklama BW Rezervasyonu Bu ayrım için rezerve edilmesi gereken toplam kullanılabilir bant genişliği yüzdesi. 0, tüm ayrımlar arasında eşit bant genişliği olduğunu gösterir. Değer 0-100 BW Limiti Bu ayrım için izin verilen maksimum kullanılabilir bant genişliği yüzdesi.
NetXtreme-E Kullanım Kılavuzu NPAR – Yapılandırma ve Kullanım Durumu Örneği NIC Bellek Tüketimini Azaltmayla İlgili Notlar Bu NIC'de desteklenen daha hızlı bağlantı hızları nedeniyle varsayılan alış arabelleği sayısı daha fazladır. Bağlantı hızı daha yüksek olduğunda belirli bir zaman aralığında daha fazla paket alınabilir ve sunucu sistemi alış kesintilerini işlemede geciktiğinde NIC'nin, kullanılabilir tüm alış arabellekleri kullanımdaysa paketleri bırakması gerekir.
NetXtreme-E Kullanım Kılavuzu RoCE – Yapılandırma ve Kullanım Durumu Örnekleri RoCE – Yapılandırma ve Kullanım Durumu Örnekleri Bu bölümde RoCE için yapılandırma ve kullanım durumu örnekleri verilmiştir. PF'ler veya VF'ler için RoCE'yi etkinleştirmek üzere kullanıcı, RDMA seçeneği sunucu ya da konuk işletim sisteminde etkin hale gelmeden önce BIOS'taki HII menüsünde RDMA seçimini etkinleştirmelidir. RDMA'yı tekli işlev modunda etkinleştirmek için (Sanallaştırma Modu Yok veya SR-IOV ise): 1.
NetXtreme-E Kullanım Kılavuzu RoCE – Yapılandırma ve Kullanım Durumu Örnekleri Derlemek için bnxt_re: $make • Harici OFED yüklemeyi gerektiren dağıtımlar: SLES11SP4 Lütfen bnxt_re sürücüsü derlemeden önce aşağıdaki bağlantıda yer alan OFED sürüm notlarına bakın ve OFED yükleyin. http://downloads.openfabrics.org/downloads/OFED/release_notes/OFED_3.18-2_release_notes Derlemek için bnxt_re: $export OFED_VERSION=OFED-3.18-2 $make Yükleme Linux'ta RoCE yüklemek için: 1. 20.06.04.
NetXtreme-E Kullanım Kılavuzu RoCE – Yapılandırma ve Kullanım Durumu Örnekleri Bilinen Sorunlar Bnxt_en ve Bnxt_re çift olarak çalışacak şekilde tasarlanmıştır. 1.7.x sürümü öncesi eski Bnxt_en sürücüleri RDMA'yı desteklemez ve Bnxt_re (RDMA) sürücüsüyle aynı anda yüklenemez. Bnxt_re'de eski Bnxt_en sürücülerin yüklü olması halinde kullanıcının bilgisayarında sistem arızası oluşabilir ve bilgisayar yeniden başlatılabilir. Kullanıcının Bnxt_en ve Bnxt_re modülünü aynı netxtreme-bnxt_en-<1.7.x>.tar.
NetXtreme-E Kullanım Kılavuzu RoCE – Yapılandırma ve Kullanım Durumu Örnekleri ServerRdmaCapable : True İstemci ve Sunucu Doğru sonuç verirse bu SMB bağlantısı üzerinde tüm dosya transferlerinde SMB kullanılır. 3.
NetXtreme-E Kullanım Kılavuzu RoCE – Yapılandırma ve Kullanım Durumu Örnekleri VMware ESX Sınırlamalar RoCE destekli sürücünün mevcut sürümü ESXi-6.5.0 GA modeli 4564106 veya daha üstünü gerektirir. BNXT RoCE Sürücüsü Gereklilikleri BNXTNET L2 sürücüsü, sürücü yüklenmeden önce disable_roce=0 modülü parametresiyle yüklenmelidir. Modül parametresini ayarlamak için şu komutu çalıştırın: esxcfg-module -s "disable_roce=0" bnxtnet Lütfen ESX6.5 L2 sürücü sürümü 20.6.9.
NetXtreme-E Kullanım Kılavuzu RoCE – Yapılandırma ve Kullanım Durumu Örnekleri Yarı Sanallaştırılmış RDMA Ağ Bağdaştırıcılarını Yapılandırma Yarı Sanallaştırılmış RDMA (PVRDMA) ağ bağdaştırıcılarını kurma ve kullanmayla ilgili ek bilgiler için lütfen aşağıdaki vmware bağlantısına bakın. https://pubs.vmware.com/vsphere-65/index.jsp#com.vmware.vsphere.networking.doc/GUID-4A5EBD44FB1E-4A83-BB47-BBC65181E1C2.html PVRDMA İçin Bir Sanal Merkez Yapılandırma PVRDMA için bir Sanal Merkez yapılandırma: 1.
NetXtreme-E Kullanım Kılavuzu RoCE – Yapılandırma ve Kullanım Durumu Örnekleri Linux Konuk İşletim Sisteminde VM'yi Yapılandırma Not: Kullanıcı, aşağıdaki yapılandırma adımlarına devam etmeden önce git dahil uygun geliştirme araçlarını yüklemelidir. 1. Aşağıdaki komutları kullanarak PVRDMA sürücüsünü ve kitaplığını indirin: git clone git://git.openfabrics.org/~aditr/pvrdma_driver.git git clone git://git.openfabrics.org/~aditr/libpvrdma.git 2. PVRDMA konuk sürücüsü ve kitaplığını derleyin ve yükleyin. 3.
NetXtreme-E Kullanım Kılavuzu DCBX – Veri Merkezi Köprüleme DCBX – Veri Merkezi Köprüleme Broadcom NetXtreme-E denetleyiciler IEEE802.1Qaz DCBX'in yanı sıra eski CEE DCBX spesifikasyonunu destekler. DCB yapılandırması, yerel olarak yapılandırılan ayarların bağlantı eşdüzeyiyle değiştirilmesiyle elde edilir. Bir bağlantını iki ucu farklı yapılandırılmış olabileceğinden DCBX, bağlantının hangi ucunun diğer uçtan parametre kabul etmeye hazır olduğunu belirtmek için bir “istekli” konsepti kullanır.
NetXtreme-E Kullanım Kılavuzu DCBX – Veri Merkezi Köprüleme DCBX Modu = Etkinleştirme (Yalnızca IEEE) Bu seçenek, kullanıcının DCBX'i belirtilen spesifikasyonlar etkinleştirmesine/devre dışı bırakmasına olanak tanır. IEEE yalnızca IEEE802.1Qaz DCBX'in seçili olduğunu gösterir. Windows Sürücü ayarı: Bellenim seviyesi ayarlarını yapmak için UEFI HII menüsünde belirtilen seçenekleri etkinleştirdikten sonra, Windows sürücüsü gelişmiş özelliklerinde aşağıdaki seçimi yapın.
NetXtreme-E Kullanım Kılavuzu DCBX – Veri Merkezi Köprüleme Oluşturulan Trafik Sınıfını görüntülemek için aşağıdakileri kullanın: C:\> Get-NetQoSTrafficClass Name Algorithm Bandwidth(%) Priority --------------------------[Default] ETS 70 0-3,5-7 SMB class ETS 30 4 Trafik Sınıfını değiştirmek için aşağıdakileri kullanın: PS C:\> Set-NetQoSTrafficClass -Name "SMB class" -BandwidthPercentage 40 PS C:\> get-NetQosTrafficClass Name Algorithm Bandwidth(%) Priority ----------------------------------------------
NetXtreme-E Kullanım Kılavuzu DCBX – Veri Merkezi Köprüleme Not: Yukarıdaki komut SMB için yeni bir politika oluşturur. –SMB, TCP bağlantı noktası 445 (SMB için ayrılmış) ile eşleşen bir giriş filtresidir. Bir paket TCP bağlantı noktası 445'e gönderilirse paket bir ağ miniport sürücüsüne aktarılmadan önce işletim sistemi tarafından 4 802.1p değeri ile etiketlenir.
NetXtreme-E Kullanım Kılavuzu Sık Sorulan Sorular QoS Politikasını kaldırmak için aşağıdakini kullanın: PS C:\> Remove-NetQosPolicy -Name "Network Management" Sık Sorulan Sorular • 25 G hızında AutoNeg'i destekliyor musunuz? Evet seçeneğini tıklatın. Daha fazla bilgi için lütfen bkz. “Otomatik Anlaşma Yapılandırması” sayfa 40. • SFP28 kablosunu QSFP bağlantı noktalarına nasıl bağlarım? QSFP ve 4xSFP28 bağlantı noktaları arasında breakout kabloları mevcuttur.
