Memoria persistente de NVDIMM-N de Dell EMC Guía del usuario February 2021 Rev.
Notas, precauciones y advertencias NOTA: Una NOTA indica información importante que le ayuda a hacer un mejor uso de su producto. PRECAUCIÓN: Una PRECAUCIÓN indica la posibilidad de daños en el hardware o la pérdida de datos, y le explica cómo evitar el problema. AVISO: Un mensaje de AVISO indica el riesgo de daños materiales, lesiones corporales o incluso la muerte. © 2017 - 2021 Dell Inc. o sus subsidiarias. Todos los derechos reservados.
Tabla de contenido Capítulo 1: Introducción...................................................................................................................5 Capítulo 2: Lista de cambios............................................................................................................ 6 Capítulo 3: Descripción general de NVDIMM-N.................................................................................. 7 Funcionamiento normal................................................................
Modo de bloques........................................................................................................................................................... 36 Modo DAX...................................................................................................................................................................... 36 Soporte para espacios de almacenamiento................................................................................................................
1 Introducción La memoria persistente NVDIMM-N de Dell EMC es una tecnología de memoria de clase disruptiva que le permite una mejora del rendimiento sin precedentes frente a las tecnologías de almacenamiento heredadas. Cada NVDIMM-N proporciona 16 GB de memoria no volátil y tiene el mismo factor de forma que un DIMM DDR4 de 288 patas estándar. El NVDIMM-N se encuentra en una ranura de memoria de CPU estándar, lo que ubica a los datos cerca del procesador.
2 Lista de cambios Tabla 2. Lista de cambios Versión Cambios A00 Versión original A01 Se agregó información de soporte de ESXi 6.7. Se eliminaron las erratas de Linux que ya no se aplican. Se realizaron ediciones al resto del documento para mayor claridad. A02 Se agregó información específica del servidor modular, soporte para R840, R940xa, cambios en el comportamiento del LED de BBU y ediciones en el resto del documento para mayor claridad. NVDIMM-N soportado en RHEL 7.
3 Descripción general de NVDIMM-N La siguiente ilustración es una descripción general del NVDIMM-N que muestra sus principales componentes e interfaces del sistema. Los dispositivos DRAM DDR4 son fundamentales para el NVDIMM-N ya que le permiten funcionar como un RDIMM. Los componentes que permiten al NVDIMM-N conservar los datos son la controladora, la memoria flash y los reguladores de voltaje de alimentación que también están integrados en DIMM. Ilustración 1.
Ilustración 2. Funcionamiento normal de NVDIMM-N Respaldo en flash En caso de que se produzca un apagado del servidor, un reinicio en frío o una pérdida de alimentación, se enviará una señal de guardado a la controladora de NVDIMM-N que, a su vez, activará la controladora de NVDIMM-N para respaldar todo el contenido de DRAM en el almacenamiento flash a bordo. El evento de guardado de NVDIMM-N se activa cada vez que el servidor está a punto de apagarse y la pérdida de alimentación del NVDIMM-N es inminente.
Restaurar a partir de flash Durante el encendido del servidor, el BIOS reinicializa la DRAM en el NVDIMM-N. El BIOS dirige la controladora de NVDIMM-N con la interfaz de administración de SMBus para restaurar el contenido de DRAM a partir del flash. La operación de restauración tarda aproximadamente un minuto. La duración es independiente de la cantidad de NVDIMM-N instalados en el servidor, ya que la restauración ocurre al mismo tiempo en todos los NVDIMM-N.
4 Hardware Temas: • • • • • Configuración de hardware del servidor Configuración de hardware de chasis modular Detalles del módulo de NVDIMM-N Batería Versiones de firmware de plataforma mínimas Configuración de hardware del servidor Actualmente, los NVDIMM-N son soportados en servidores PowerEdge T640, R640,R740/R740XD, R840, R940, R940xa, MX740c y MX840c. Cada servidor soporta de 1x a un máximo de 12x NVDIMM-N de 16 GB para obtener una capacidad total de memoria persistente total de 192 GB.
Tabla 3.
Ilustración 6. Diseño de la memoria de MX740c Tabla 4.
Tabla 4.
2. Aunque otras configuraciones pueden funcionar, no se han validado completamente y actualmente no son soportadas con Dell EMC. Configuración de hardware de chasis modular El chasis modular MX7000 ofrece actualmente dos servidores diferentes, que soportan NVDIMM-N: MX740c (2 conectores) y MX840c (4 conectores). Para que se detecte una condición de pérdida de alimentación, el chasis debe tener al menos un módulo de administración instalado.
Tabla 5. : Comportamiento del LED de NVDIMM-N (continuación) Funcionamiento de NVDIMM-N LED verde LED azul LED amarillo Guardado de la operación de restauración en curso Encendido Parpadeo rápido Apagado Batería Se requiere una batería para proporcionar alimentación de respaldo a fin de copiar contenidos de DRAM para realizar un flash.
Ilustración 8. Conectores de la tarjeta madre de R740/R740XD NOTA: Las ubicaciones del conector serán diferentes para cada servidor. Para obtener más información, consulte el Manual de instalación y servicio de su servidor específico. Ilustración 9. Instrucciones para la instalación de la batería de R740 NOTA: Las ubicaciones de instalación de la batería serán diferentes para cada servidor. Consulte el manual de instalación y servicio de su servidor específico para obtener instrucciones.
Versiones de firmware de plataforma mínimas Para que los módulos de NVDIMM-N funcionen en servidores PowerEdge, es necesario que las versiones de firmware de plataforma mínimas sean las siguientes: ● BIOS: 1.1.7 ● iDRAC: 3.00.00.00 NOTA: Determinados sistemas operativos requieren versiones mínimas específicas de firmware de BIOS, NVDIMM-N y/o iDRAC. Para obtener más información, consulte las secciones individuales de los sistemas operativos.
5 BIOS Temas: • • Ajustes de configuración del BIOS para NVDIMM-N Mensajes de error del BIOS Ajustes de configuración del BIOS para NVDIMM-N Esta sección se centra únicamente en las opciones de configuración del BIOS que afectan al funcionamiento de NVDIMM-N. Para obtener una descripción de todas las opciones de configuración, consulte el manual de instalación y servicio de cada servidor. La configuración del BIOS de memoria persistente se puede configurar en la configuración del sistema del BIOS.
Ilustración 11. Configuración de la memoria Intercalado de nodos Especifica si hay soporte para la arquitectura de memoria no uniforme (NUMA). Si este campo se establece en Activado, se admitirá el intercalado de memoria si se instala una configuración de memoria simétrica. Si el campo se configura en Disabled (Deshabilitado), el sistema admitirá las configuraciones de memoria (asimétrica) NUMA. Esta opción está establecida en Deshabilitada de manera predeterminada.
Ilustración 12. Pantalla de memoria persistente En la siguiente tabla, se describe cada opción disponible en la pantalla de configuración del BIOS. Tabla 7. Pantalla de configuración del BIOS Opción Descripción Intercalado de nodos Especifica si hay soporte para la arquitectura de memoria no uniforme (NUMA). Si este campo se establece en Activado, se admitirá el intercalado de memoria si se instala una configuración de memoria simétrica.
Tabla 7. Pantalla de configuración del BIOS (continuación) Opción Descripción borrado seguro de todos los no borra la información de estado del NVDIMM y se debe usar para eliminar datos o replanificar el NVDIMM-N. El restablecimiento y borrado de datos se producirán cuando el BIOS confirme que se deben guardar los cambios de configuración. DIMM Esta opción está establecida en Deshabilitar de manera predeterminada. NVDIMM-N Intercalado Habilita o deshabilita el intercalado de NVDIMM-N.
Ilustración 13. Pantalla de configuración del BIOS del sistema Mensajes de error del BIOS Cuando el BIOS detecta un error relacionado con NVDIMM-N durante la POST, el BIOS muestra un indicador de F1/F2 y un mensaje de error correspondiente. Aparecerán varios mensajes cuando se detecten varios errores. El BIOS también registrará un evento por cada error en el registro de eventos del sistema (SEL) del servidor y en el registro del ciclo de vida (LCL).
El módulo NVDIMM-N se configurará en modo de solo lectura. Quite la alimentación de entrada del sistema, vuelva a colocar el módulo NVDIMM-N y reinicie el servidor. Si el problema persiste, reemplace el módulo de memoria defectuoso identificado en el mensaje. UEFI0302 Configure un error de política de fuente de energía en el NVDIMM-N ubicado en [ubicación]. El módulo NVDIMM-N se configurará en modo de solo lectura.
6 Administración de iDRAC NVDIMM Temas: • • • Interfaz gráfica del usuario de iDRAC Administración remota Informe de errores de NVDIMM-N Interfaz gráfica del usuario de iDRAC La siguiente imagen muestra el panel de la interfaz gráfica del usuario (GUI) web de iDRAC al administrar de forma remota el servidor. Ilustración 14. Interfaz gráfica del usuario de iDRAC Estado de NVDIMM-N Seleccione el enlace Memoria en el panel para obtener más información sobre el estado de la memoria.
Ilustración 15. Estado de NVDIMM-N NOTA: 1. Todos los errores de NVDIMM-N se notificarán al sistema operativo y se registrarán en el Registro de eventos del sistema del servidor. El estado de condición de NVDIMM-N actualmente solo refleja los estados "Error que se puede corregir", "Se excedió el umbral" y "Error que no se puede corregir" en el NVDIMM-N. Los demás errores se notifican al sistema operativo y se registran, pero no se reflejan en el estado de condición de iDRAC/OM NVDIMM-N. 2.
Ilustración 16. Estado de BBU Erratas de mensajes de registro La siguiente errata afecta a la mensajería en el registro de eventos del sistema: ● Cuando UEFI0340 se registra en el registro de Lifecycle Controller, el registro de eventos del sistema y los registros de Lifecycle Controller pueden tener entradas con el siguiente mensaje: “Se produjo un evento no soportado”. Este mensaje se puede ignorar y se solucionará en una versión futura de iDRAC.
Tabla 10. Informe de errores de NVDIMM-N (continuación) ID Mensaje de evento Acción recomendada sobre el uso de NVDIMM, consulte el Manual del propietario del sistema en el sitio de soporte. MEM9030 El dispositivo del módulo doble de memoria en línea no volátil (NVDIMM) situado en la ranura [ubicación] no responde y está desactivado. Extraiga y vuelva a instalar el dispositivo del módulo de memoria en línea dual no volátil (NVDIMM).
Tabla 10. Informe de errores de NVDIMM-N (continuación) ID Mensaje de evento Acción recomendada no proporcione alimentación suficiente para guardar datos, en caso de pérdida de alimentación. MEM9037 El dispositivo del módulo doble de memoria en línea no volátil (NVDIMM) situado en la ranura [ubicación] llegó al final de la duración de su vida útil y se configuró en modo de protección contra escritura. Reemplace el dispositivo del módulo de memoria en línea dual no volátil (NVDIMM).
7 Comportamiento del servidor con los NVDIMM-N El comportamiento del servidor cambia ligeramente cuando hay NVDIMM-N instalados. Esta sección cubre las diferencias que se pueden observar cuando el servidor se apaga y se inicia. En esta sección también se describen las situaciones en las que el servidor se apagará automáticamente para garantizar que los datos de DRAM de NVDIMM-N se almacenen de forma segura en la memoria flash.
Boot (Inicio) El BIOS del servidor restaura los datos de DRAM de NVDIMM-N desde su flash a bordo durante el tiempo de arranque. El BIOS verifica que la batería de NVDIMM-N esté instalada y tenga carga suficiente para un evento de guardado en caso de una pérdida de alimentación. El BIOS también verifica que las fuentes de alimentación de los servidores instalados tengan el tamaño suficiente para la configuración del servidor.
8 Cambios de configuración de DIMM Dell EMC recomienda que respalde los contenidos de datos de NVDIMM-N en un almacenamiento externo antes de realizar cualquier cambio en la configuración de la memoria del servidor. Esto se aplica a NVDIMM-N y RDIMM. Debido a algoritmos de corrección de errores de memoria (ECC) únicos para cada ranura de memoria y configuración de memoria, NVDIMM-N puede generar errores después de un cambio en la configuración de la memoria.
9 Windows Temas: • • • • • • Requisitos del BIOS Configuración Controladores de Windows Memoria de clase de almacenamiento en Windows Server 2016 Memoria de clase de almacenamiento en Windows Server 2019 Errata de Windows Requisitos del BIOS Tanto Windows 2016 como 2019 requieren que la versión mínima del BIOS sea 1.6.13, de modo tal que los módulos de NVDIMM-N puedan utilizarse sin problemas.
Memoria de clase de almacenamiento en Windows Server 2016 Administrador de dispositivos Debajo de la imagen, se describen la vista del administrador de dispositivos de Windows para el dispositivo raíz de NVDIMM-N y las instancias de disco de NVDIMM-N en Windows Server 2016. Ilustración 18.
Ilustración 19. Identificación de los discos NVDIMM-N correctos El número de serie de cada NVDIMM-N es único y los valores de la ubicación física en PowerShell se pueden asignar en serigrafía mediante la siguiente tabla Tabla 11.
Ilustración 20. Con la GUI del administrador de dispositivos La información de ubicación anterior se puede traducir en serigrafía física mediante la siguiente tabla Tabla 12.
Tabla 12. Ubicación de la ranura DIMM (continuación) Ubicación Ubicación de la ranura DIMM 337 B12 Estado de condición y propiedades de NVDIMM-N El estado de condición de NVDIMM-N se puede consultar utilizando el siguiente comando de PowerShell. Ilustración 21. Estado de condición y propiedades de NVDIMM-N El controlador nativo de Windows puede manejar diferentes eventos de condición. Para obtener más detalles sobre las diversas condiciones de estado, consulte la documentación de Windows (https://docs.
Soporte para espacios de almacenamiento Windows Server 2016 soporta dispositivos de NVDIMM-N que permiten operaciones de entrada/salida (I/O) extremadamente rápidas. Un método atractivo para usar estos dispositivos es como una caché con reescritura, para lograr latencias de escritura bajas. En el blog de Microsoft, se explica cómo configurar un espacio de almacenamiento duplicado con una caché con reescritura de NVDIMM-N duplicado como unidad virtual.
Visión general de la arquitectura de controladores Hay dos tipos de objetos de dispositivo relacionados con la memoria persistente en Windows Server: discos físicos de NVDIMM y discos de memoria persistente lógica por encima del controlador físico. En el administrador de dispositivos, los NVDIMM físicos aparecen en “Dispositivos de memoria”, mientras que los discos lógicos se encuentran en “Discos de memoria persistente”. Ilustración 25.
Ilustración 27. Enumerar las regiones no utilizadas de PMEM, los dispositivos físicos de PMEM y los discos de PMEM Ilustración 28.
Cmdlets de PowerShell #Get-PmemDisk ● Devuelve uno o más discos de memoria persistente lógica. ● El objeto devuelto contiene información sobre el tamaño, el tipo de atomicidad, el estado y los dispositivos físicos subyacentes. #Get-PmemPhysicalDevice ● Devuelve uno o más dispositivos de memoria persistente física (NVDIMM). ● El objeto devuelto contiene información sobre los tamaños, el RFIC, la ubicación del dispositivo y el estado/funcionamiento.
Ilustración 30. Visibilidad en PowerShell Configuración de NVDIMM-N para máquinas virtuales de Hyper-V En el artículo al que se hace referencia aquí, Cmdlets para configurar dispositivos de memoria persistente para VM de Hyper-V, se proporciona información detallada sobre la configuración de VM de Hyper-V con NVDIMM-N compatible con JEDEC. Comportamiento de RO de NVDIMM-N Windows Server 2019 Por diseño, Windows Server 2019 administra NVDIMM-N de manera distinta que Windows Server 2016.
dispositivo de memoria de clase de almacenamiento (SCM). Esto significa que se crea el espacio de nombres y se lo considera como WAD para WS2019. Solución alternativa: ninguna.
10 Linux El hardware de NVDIMM-N es soportado en las versiones 7.3, 7.4, 7.5 y 7.6 de RHEL. Temas: • • • • • • • • Identifique y configure el dispositivo de memoria persistente (PMEM) Instalación Verificación del sistema de archivos existente Modo de solo lectura de NVDIMM-N Intercalado Utilidad de administración Funciones de RHEL 7.
Instalación Vuelque el ISO de RHEL en la unidad USB a través del comando dd. # dd if=/home/dell/RHEL7.3.iso of=/dev/sdb bs=4M conv=noerror,sync El BIOS inicia el kernel de Linux desde la unidad USB. Siga los pasos en pantalla para finalizar la instalación de RHEL. Tras finalizar la instalación, reinicie el servidor. Para obtener instrucciones detalladas sobre la instalación, consulte https://access.redhat.com/documentation/en-US/ Red_Hat_Enterprise_Linux/7/html/Installation_Guide/index.
Cuando el SO esté en ejecución, $ su Los 6 NVDIMM-N de CPU0 se muestran como/dev/pmem0, los 6 NVDIMM-N de CPU1 se muestran como /dev/pmem1. # ls /dev/pmem* Vea el tamaño de /dev/pmem0 y /dev/pmem1: cada uno debería tener un tamaño de aproximadamente 6*16 GB = 96 GB, ya que cada NVDIMM-N es de 16 GB. # lsblk Cree el sistema de archivos de xfs para /dev/pmem0 y /dev/pmem1 # mkfs.
Monte /dev/pmem0 y /dev/pmem1 # mount -t xfs -o dax /dev/pmem0 /mnt/nvdimm0 Para ver si se puede escribir en /dev/pmem0 y /dev/pmem1 # touch /mnt/nvdimm0/write.txt # shutdown Utilidad de administración Utilidad de administración ‘ndctl’ && mdadm 1. Presione el botón de encendido en el servidor. 2. Siga la orientación de la Sección 4 para configurar el BIOS. 3. Active la memoria de persistencia, desactive "Intercalado de NVDIMM", desactive "NVDIMM de solo lectura". 4.
mdadm Crear RAID de software en los NVDIMM-N. Digamos que hay 6 dispositivos, /dev/pmem0.. /dev/pmem5. Cree el directorio /mnt/md0 /mnt/md1 /mnt/md2 /mnt/md5 /mnt/md6. $ mkdir -p /mnt/md0 Cree RAID 0 $ mdadm --create --verbose /dev/md0 --level=0 --raid-devices=6 /dev/pmem0 /dev/pmem1 /dev/ pmem2 /dev/pmem3 /dev/pmem4 /dev/pmem5 $ cat /proc/mdstat $ mkfs.
Este comando se debe ejecutar tantas veces como módulos NVDIMM-N conectados al sistema haya. ● $ ndctl create-namespace Para obtener más información sobre cómo usar la utilidad ndctl, consulte la guía del usuario en https://docs.pmem.io/ndctl-users-guide Erratas de Linux La siguiente errata afecta a RHEL 7.6: ● El parche para que la utilidad ndctl funcione se puede descargar aquí: https://access.redhat.com/solutions/3920221 ● Red Hat Enterprise Linux 7.
11 ESXi Temas: • • • • • • • Configuración Almacenamiento Compatibilidad con sistemas operativos invitados que admiten NVDIMM Estado de la condición general Información de registro operativo y de diagnóstico Errores de NVDIMM-N Error de ESXi Configuración A partir de ESXi, se admite el hardware de la versión de NVDIMM-N 6.7. Los dispositivos de NVDIMM-N se detectarán en el inicio con espacios de nombres generados automáticamente.
exclusiva el NVDIMM-N en caso de que la información sea necesaria para la solución de problemas. La siguiente columna indica el espacio libre y se espera que sea “0 B” para todos los dispositivos NVDIMM-N que están totalmente asignado y funcionan correctamente. La condición debe ser normal. Se ofrece una explicación detallada de la condición en la sección “Overall health Status” (estado de la condición general) a continuación.
Ilustración 32. Conjuntos de intercalados mientras está deshabilitado Interleaving (Intercalado) Si Interleaving (intercalado) está habilitado en la configuración F2 del BIOS, entonces el NVDIMM-N completo se dividirá en bloques según el socket de CPU. Se mostrará un total de dos conjuntos de intercalados con la capacidad adicional para el socket de CPU que se muestra como un conjunto de intercalados. Ilustración 33.
Ilustración 34. Almacenes de datos Compatibilidad con sistemas operativos invitados que admiten NVDIMM ● ● ● ● ● ● ● Windows Server 2016, compilación 14393 y posteriores Actualización de aniversario de Windows 10, versión 1607 y posteriores RedHat Enterprise Linux 7.4 y posteriores SUSE Enterprise Linux 12 SP2 y posteriores Photon OS 1.0, revisión 2 y posteriores CentOS 7.4 y posteriores Ubuntu 17.
Información de registro operativo y de diagnóstico ESXi tiene muchos registros disponibles para diagnosticar el comportamiento del sistema que se encuentra en la sección "Monitor" de la interfaz de usuario. También puede crear un paquete de soporte completa que agrupan todos los registros en un enlace sencillo para su descarga. Firmware obsoleto ESXi requiere que los módulos NVDIMM-N tengan una imagen de firmware de 9324 como mínimo. Si tienen firmware anterior, no se comportarán correctamente.
Errores de NVDIMM-N En la mayoría de los casos en los que los módulos NVDIMM-N presentan un error, el comportamiento del nivel del sistema será que el módulo NVDIMM-N defectuoso se coloca en un estado de solo lectura. Esto hará que las VM asignadas a CUALQUIER módulo NVDIMM-N en el sistema no enciendan, incluidas las VM asignadas al módulo NVDIMM-N defectuoso.
Error de ESXi Ninguno en este momento ESXi 55
12 Erratas generales NVDIMM-N no es compatible con PPR en productos de 14G y el código de registro de error que se puede corregir no diferencia RDIMM y NVDIMM-N. En consecuencia, se muestra el mensaje de error "MEM0802 -The memory health monitor feature has detected a degradation in the DIMM installed in DIMM. Reboot system to initiate self-heal process" y, en el próximo inicio, el PPR de MRC omitirá NVDIMM-N. Solución alternativa: ninguna.
