Cómo la optimización de la IA afecta el diseño del centro de datos

Jun 25, 2023

por Colin Ryan

hace 2 días

Tate Cantrell. Imagen: Pawel Swider

Tate Cantrell de Verne Global analiza las implicaciones que la IA tiene en el diseño de los centros de datos, desde complejos requisitos de refrigeración hasta protocolos de seguridad a nivel de la OTAN.

Recientemente, Meta compartió detalles de sus planes para avances en IA, que incluían un diseño de centro de datos optimizado para IA, afirmando que el nuevo diseño admitirá "hardware de IA refrigerado por líquido y una red de IA de alto rendimiento que conecta miles de chips de IA para centros de datos". -Clústeres de entrenamiento de IA a escala”.

La compañía también afirmó que el nuevo diseño será más rápido y rentable de construir. Pero, ¿cómo afecta realmente la optimización de la IA a las complejidades del diseño del centro de datos?

Para averiguarlo, hablamos con Tate Cantrell, director de tecnología de Verne Global, quien nos dio una idea de las muchas formas en que cambia el diseño del centro de datos para adaptarse a la operatividad adecuada de la IA.

"El diseño del centro de datos es una tarea compleja que consiste en equilibrar la demanda de energía, los requisitos de refrigeración, la alta seguridad, los niveles extremos de confiabilidad y el acceso de alta velocidad a las redes", dijo Cantrell.

"Los modelos de IA requieren una intensidad y densidad de computación mucho mayores, lo que añade una nueva dimensión de complejidad a los desafíos del diseño de centros de datos tradicionales".

Según Cantrell, algunos de los parámetros centrales afectados por el alojamiento de modelos de IA son la fuente de energía y la confiabilidad; la necesidad de racks de servidores de mayor densidad; y escalabilidad.

“Un centro de datos tradicional que no esté diseñado para estas condiciones extremas no podrá ofrecer un rendimiento confiable. En última instancia, la industria de los centros de datos necesita un diseño modificado para poder seguir el ritmo de las demandas de la tecnología de IA”.

Pero, ¿por qué los modelos de IA necesitan computación de alta densidad? Cantrell dijo que esto se debe a que la computación con IA requiere "conexiones de red de latencia extremadamente baja entre servidores dentro del centro de datos".

“La densidad media de rack hace unos años era de 5 kW por rack. Pero la última generación de supercomputadoras con IA requiere mucho más de la infraestructura del centro de datos.

“Solo cuatro de estos sistemas en un rack podrían consumir más de 40kW y ocupar solo el 60% del espacio de un rack informático típico. Por lo tanto, si los centros de datos quieren manejar eficazmente el hardware de IA, necesitarán ser capaces de realizar este tipo de computación de alta densidad”.

Según Cantrell, la mayoría de los centros de datos convencionales no están equipados para manejar la “enorme” computación necesaria para entrenar redes neuronales de IA, particularmente en términos de refrigeración.

Mientras que los centros de datos tradicionales dependen de bastidores de servidores muy espaciados para ayudar con la refrigeración, las aplicaciones de aprendizaje automático requieren bastidores colocados muy juntos, ya que optimizan la latencia y la capacidad del ancho de banda entre servidores, al tiempo que minimizan el costo general de implementación.

"Para aumentar la complejidad, los sistemas enfriados por aire que están colocados demasiado juntos pueden provocar deficiencias de enfriamiento, ya que los requisitos extremos de flujo de aire de los servidores de alta capacidad pueden chocar entre sí y crear contrapresión en los ventiladores de enfriamiento dentro del equipo", Cantrell agregado.

“Por lo tanto, los centros de datos deben equilibrar las presiones financieras de reducir el espacio de la sala de datos con la necesidad de proporcionar suficiente espacio para una refrigeración adecuada.

"Ésta será una de las razones por las que veremos acelerarse la creciente adopción de la refrigeración líquida".

Como si los complejos requisitos de refrigeración no fueran suficientes, Cantrell dice que los centros de datos también necesitarán ser "estructuralmente capaces de manejar equipos pesados" para permitir el movimiento de gabinetes informáticos de IA pesados, que podrían pesar más de 1,5 toneladas cuando estén completamente configurados.

'La propia IA también tiene un papel que desempeñar en lo que respecta a la seguridad del centro de datos'

Cantrell dice que la infraestructura de los centros de datos debe poder estar a la altura de las demandas de “conectividad, agilidad y escalabilidad” para poder albergar y analizar los conjuntos de datos cada vez más grandes en los que se entrenan los modelos de IA.

“Estas demandas variarán a medida que se desarrollen nuevas aplicaciones, se retiren las aplicaciones antiguas y se adapten las cargas de trabajo para satisfacer las necesidades actuales de las empresas.

"Lo que sigue siendo lo mismo es que todo debe diseñarse para proporcionar el rendimiento óptimo para cualquier aplicación".

Cantrell también cree que las empresas comenzarán a "crear sus propios motores propietarios paralelos para mantener su ventaja competitiva en el mercado", añadiendo que empresas como Google y Microsoft competirán para operar y entrenar estos sistemas independientes mientras "ofrecen un ecosistema de datos". fuentes para emparejar con la información confidencial de capacitación de una empresa”.

"Esta competencia para desarrollar recursos informáticos paralelos impulsará a la industria hacia innovaciones como la destilación de conocimientos a nivel de algoritmo e innovaciones como la refrigeración líquida en la capa del centro de datos".

En términos de conectividad, Cantrell dice que los centros de datos necesitarán “redes de hoja y columna de este a oeste de baja latencia que puedan soportar tanto el tráfico de producción como la parte de aprendizaje automático de la IA”.

Además de adaptar la infraestructura de red y la reestructuración interna, la presencia de modelos de IA en los centros de datos introduce consideraciones de seguridad únicas.

Cantrell dijo que es vital que los centros de datos "prioricen la seguridad física de los activos de IA críticos para el negocio".

"Si alguien puede acceder al modelo y, lo que es más importante, a los pesos asociados con el modelo, se podría acceder fácilmente a la composición de todos los datos que se han incluido en el entrenamiento del modelo de IA".

Cantrell citó esto como una de las razones por las que el campus del centro de datos islandés de Verne Global se construyó en una antigua base altamente segura de la OTAN.

Añadió que proteger estos activos de IA requiere múltiples capas de seguridad, incluidos “protocolos de identificación estrictos, múltiples puntos de desafío, CCTV, patrullas físicas y personal en el sitio las 24 horas del día, los 7 días de la semana, así como jaulas de servidores, bastidores de seguridad y detección biométrica”.

“La propia IA también tiene un papel que desempeñar en lo que respecta a la seguridad del centro de datos. La tecnología puede examinar, perfilar y reconocer ciberataques a una velocidad y escala que simplemente no es posible para los humanos”.

Diez cosas que necesitas saber directamente en tu bandeja de entrada todos los días de la semana. Regístrese para elResumen diario, resumen de noticias esenciales de ciencia y tecnología de Silicon Republic.

En profundidad: más sobre Verne Global

Relacionado: almacenamiento de energía, centros de datos, datos, Verne Global, IA, almacenamiento de datos, Brand Insights

Colin Ryan es redactor y corrector en Silicon Republic.

[email protected]

21 de julio de 2023

26 mayo 2023

27 de marzo de 2023

17 de julio de 2023

27 de julio de 2023

10 de julio de 2023

Hace 1 día

Hace 1 día

Hace 1 día

Hace 1 día

Hace 1 día

Hace 1 día

Hace 1 día

hace 2 días

hace 2 días

hace 2 días

hace 2 días

hace 2 días

hace 2 días

hace 2 días

hace 2 días

hace 2 días

hace 2 días

hace 2 días

hace 2 días

hace 2 días

hace 2 días

Hace 3 días

Hace 3 días

Hace 3 días