Optimizando el almacenamiento para las plataformas de supercomputación científica

Uno de los entornos de administración de datos más complejos actualmente es el de almacenamiento en niveles para plataformas de supercomputación, cuya arquitectura debe estar adaptada a los flujos de trabajo concretos que se van a ejecutar en las plataformas HPC. Recientemente, un equipo de investigadores del Laboratorio Nacional Lawrence Berkeley, en California, presentó una nueva arquitectura de software de administración de datos para flujos de trabajo científicos (MaDaTS) adaptada a la organización jerárquica de los sistemas HPC que se utilizan en la industria.

En ellos hay una complejidad cada vez mayor de sistemas de almacenamiento y memoria, con tecnologías como NVRAM, SSD, plataformas y tejidos de datos de nueva generación. Administrar estos conjuntos de datos en diferentes niveles es un reto que requiere de abstracciones de programación que faciliten el trabajo y extraigan todo el rendimiento posible de las plataformas de almacenamiento y computación. Este ha sido uno de los campos de estudio en los que han trabajado estos expertos, y ahora han presentado un documento en el que explican cómo han desarrollado estas abstracciones centradas en datos.

Explican que sus diseños permiten a los usuarios administrar un flujo de trabajo en torno a sus datos en la capa de almacenamiento, con un enfoque específico para simplificar la gestión de datos para flujos de trabajo científicos en los sistemas de almacenamiento en varios niveles, sacando el máximo partido a los recursos computacionales y a la capacidad de almacenamiento.

Han medido los gastos generales y la eficacia de las abstracciones de programación de MaDaTS que han desarrollado, y concluyen que se permiten utilizar de forma óptima la capacidad de almacenamiento disponible en los niveles de menor capacidad, así como simplifica la gestión de datos en todo el sistema, sin que el rendimiento se vea afectado.

Esto supondrá una mejora para las plataformas de almacenamiento en niveles heterogéneas que se utilizan en los sistemas de supercomputación científica, un campo en el que la industria se está esforzando por mejorar la tecnología y optimizar los sistemas. En este ámbito se incluyen desde la meteorología y las ciencias de la tierra al desarrollo de nuevos materiales, la ciencia de la salud y otros campos como la astrofísica y la inteligencia artificial.

Más información

¿Cuál es el futuro del mercado de almacenamiento? ¿Qué tecnologías son las más adecuadas? Si quieres obtener más información sobre un segmento en crecimiento puedes visitar la página de nuestro colaborador Western Digital