Almacenamiento de objetos en plataformas de supercomputación
- Noticias y Actualidad
Investigadores alemanes han estudiado a fondo las posibilidades que ofrece el uso de BlueStore para el almacenamiento de objetos Ceph en plataformas de computación de alto rendimiento. Aseguran que esta tecnología puede funcionar directamente en un dispositivo de bloque sin procesar, salvando los problemas que generan otros sistemas basados en Ceph, como Filestore y Kstore.
La computación de alto rendimiento está expandiéndose para dar servicio a nuevas aplicaciones que van desde el Big Data, el aprendizaje profundo, la inteligencia artificial y la investigación en diferentes campos de la ciencia. En este contexto las estrategias y tecnologías de almacenamiento tradicionales se están volviendo ineficaces. Por ello, la industria mira hacia el almacenamiento de objetos como una solución viable para el trabajo con grandes volúmenes de información y conjuntos de datos complejos.
Ciertos enfoques están siendo bien recibidos en el ámbito del almacenamiento HPC, como el uso de bibliotecas de alto nivel NetCDF, HDF5 y ADIOS2, entre otras, pero se han construido sobre interfaces y conceptos obsoletos de almacenamiento, y presentan ciertos problemas. Muchos de estos sistemas se basan en la interfaz POSIX, que en las últimas décadas se ha intentado sustituir por otros sistemas con una semántica más adecuada para los entornos de supercomputación.
Uno de los enfoques más prometedores es utilizar el almacenamiento de objetos basado en HDF5, pero los expertos afirman que es necesario contar con un backend de almacenamiento de objetos escalable. Una de las opciones que presenta más potencial es el sistema Ceph, aunque al utilizar un backend como Filestore o Kstore siguen presentándose problemas. Para buscar una solución más adecuada, varios investigadores de la Universidad Otto von Guericke, en Magdeburgo (Alemania), han estudiado el uso de BlueStore, con un backend para el marco de almacenamiento JULEA, que utiliza BlueStore sin la necesidad de usar un clúster Ceph a pleno rendimiento.
En su trabajo afirman haber reducido significativamente los requisitos previos para ejecutar este sistema de almacenamiento en un cúster de HPC existente. Explican que BlueStore funciona directamente en un dispositivo de bloque sin procesar, evitando las complicaciones de los backend de almacenamiento Ceph antes mencionados. Su artículo dice que, en una primera evaluación de esta propuesta, examinaron el rendimiento de BlueStore y lo compararon con una solución basada en POSIX.
Reconocen que su prototipo es funcional, pero no está lo suficientemente optimizado para mantenerse al día con este sistema heredado, pero ofrece un gran potencial para construir sistemas nuevos y más eficientes, no basados en las tecnologías tradicionales que están quedándose obsoletas ante el rápido avance de la supercomputación.
