Como indica el sitio web (https://sc23.supercomputing.org/), SC23 es “La Conferencia Internacional de 2023 sobre Computación, Redes, Almacenamiento y Análisis de Alto Rendimiento”. La descripción de la conferencia nos da una idea de los desafíos asociados con HPC y la IA en la actualidad. Se necesita una combinación de hardware (procesadores, aceleradores gráficos y de red, y almacenamiento de alta velocidad) como componentes básicos del hardware. Para "pegar" la pila de hardware, se necesita una capa de infraestructura de software totalmente habilitada y definida por software.

Este blog describe varios productos que SUSE ofrece para crear soluciones HPC e IA y cómo colaboramos con nuestras alianzas de Silicon para brindar a nuestros clientes opciones más amplias al implementar sus propias soluciones.

Bloques de construcción para HPC e IA.

Los componentes básicos disponibles para construir infraestructuras de HPC e IA en la actualidad son más variados que nunca.

Por el lado de la infraestructura de hardware:

Mientras que en el pasado los principales proveedores de Silicon tenían sus respectivos “carriles de nado” de productos (por ejemplo, CPU, GPU, redes), hoy en día los clientes enfrentan un conjunto cada vez mayor de opciones de los principales proveedores (por ejemplo, Arm, AMD e Intel®, por nombrar algunos). pocos) a través de múltiples opciones de entrega (Edge, Centro de datos o Nube). Algunos productos son “pura sangre” de rendimiento, mientras que otros apuntan al “rendimiento por vatio” (eficiencia energética).

Los diseñadores y fabricantes de equipos de servidores, almacenamiento y redes necesitan diseñar nuevas plataformas que aprovechen el nuevo canal de Silicon. Estos diseñadores deben abordar dos demandas en competencia: por un lado, construir algo "único y diferenciado" y, al mismo tiempo, lograr economías de escala de fabricación (y ahorros de costos) mediante la construcción de una plataforma base capaz de soportar diferentes opciones de procesadores y aceleradores de los proveedores de silicio.

Por el lado de la infraestructura de software:

Existe una necesidad continua de lo que yo llamo computación de alto rendimiento (HPC) "tradicional" con aplicaciones que se ejecutan en múltiples nodos básicos. El ecosistema de aplicaciones HPC existente continúa creciendo y prosperando. Las plataformas de sistemas operativos que admiten estos entornos deben poder reconocer y utilizar procesadores, GPU y tarjetas SmartNIC más nuevos. En algunos casos, el proveedor de Silicon ofrece nuevas funciones "en código" y el proveedor del sistema operativo debe poder consumir y admitir estas funciones de manera oportuna.

Las cargas de trabajo de inteligencia artificial, como el aprendizaje automático (ML), si bien están disponibles a través de múltiples opciones de entrega, tienden a consumirse en forma de opciones nativas de la nube, como contenedores, y pueden administrarse a través de plataformas de orquestación como Kubernetes.

Y no olvidemos las opciones de entrega: los clientes pueden implementar su solución en la nube, en un centro de datos tradicional de tipo HPC o tal vez como una plataforma perimetral que realiza cargas de trabajo de IA.

Poniéndolo todo junto: el valor de las asociaciones:

dadas todas las opciones con infraestructura de hardware y software y opciones de entrega, puede resultar algo desalentador encontrar la solución de HPC y/o IA adecuada que cumpla o supere los requisitos y al mismo tiempo reduzca los riesgos de implementación y uso. costos.

Son las relaciones entre los diseñadores y proveedores de Silicon, los diseñadores y fabricantes de plataformas y los proveedores de infraestructura de software como SUSE las que brindan opciones a los clientes.

A través de una colaboración continua, empresas como SUSE prueban las nuevas tecnologías de silicio a nivel de software y luego las certifican como parte de ofertas de hardware o basadas en la nube junto con IHV y CSP, respectivamente. Los resultados de los esfuerzos de prueba y certificación brindan a los clientes tranquilidad y la capacidad de asegurar soporte para sus configuraciones implementadas.

Los esfuerzos de SUSE durante los últimos doce meses:

en lo que respecta a HPC e IA, SUSE ha estado ocupado durante los últimos doce meses. Algunos de nuestros logros con las diferentes alianzas de Silicon y socios de IHV incluyen (pero no se limitan a):

AMD:

Nueva guía de ajuste del rendimiento de SUSE Linux Enterprise Server para procesadores AMD EPYCTM.

El complemento de dispositivo GPU de AMD ahora está disponible para su fácil consumo a través de Rancher Marketplace.

Ecosistema de brazo:

SLES para Arm disponible para Ampere Altra y Altra Max a través de CSP o plataformas IHV como el servidor RL300 Gen11 de Hewlett-Packard Enterprise.

Soporte creciente para más componentes del ecosistema SUSE Rancher en Arm64. Tanto RKE2 (experimental) como K3 (producción) están disponibles para la arquitectura aarch64.

Intel®:

Continuamos probando y certificando procesadores Intel® XeonTM y la habilitación ascendente asociada como parte de nuestro proceso de desarrollo de SUSE Linux Enterprise Server. SUSE también apoya los esfuerzos de HPE en la próxima supercomputadora Aurora.

Los complementos optimizados por Intel ahora están disponibles a través de Rancher Marketplace para los clientes que buscan adoptar aceleradores de hardware Intel en su ecosistema de IA nativo de la nube.

Resumen: Colaboraciones laborales que permiten a los clientes elegir.

El enfoque de SUSE hacia los clientes es simple pero valioso: trabajamos con nuestros socios para ofrecerle un amplio conjunto de opciones. Queremos que usted, el cliente, tenga opciones basadas en tecnologías de código abierto que cumplan o superen sus requisitos.

Cuando se trata de HPC e IA, el compromiso con los socios de Silicon es clave. Tener los componentes fundamentales totalmente habilitados y respaldados permite al resto del ecosistema (IHV, CSP) desarrollar soluciones basadas en SUSE y otras tecnologías de código abierto.