Aceleran la deduplicación de datos en tiempo real

El volumen de información digital que llega a los centros de datos no para de crecer, y los operadores se enfrentan a un importante desafío para manejar toda la información entrante sin saturar constantemente sus plataformas de almacenamiento. Según las investigaciones de los principales expertos en tecnología, un porcentaje superior al 50% de los datos almacenados en las instalaciones son redundantes, lo que da una muestra del grave desaprovechamiento de espacio en los centros de datos.

Ante esta situación las organizaciones aplican técnicas de deduplicación, que permiten eliminar los duplicados existentes en distintas ubicaciones de las instalaciones. Pero la clave para aprovechar los recursos al máximo es hacer esto lo más rápidamente posible, para lo que se utilizan técnicas de deduplicación “in line”, que operan de forma proactiva a medida que llegan datos del exterior, liberando espacio constantemente.

Esta estrategia de deduplicación activa ayuda a resolver este problema, pero tiene un elevado costo en rendimiento de los procesadores principales, generalmente GPUs. Estos chips experimentan importantes picos de rendimiento y consumo energético, lo que a su vez genera una latencia general en el trabajo con datos. Para paliar este problema la industria está buscando soluciones más óptimas que permitan reducir al mínimo la redundancia de datos entrantes sin consumir tantos recursos de computación de las unidades principales.

Ahora, un grupo de investigadores de la Universidad de Corea del Sur ha publicado los resultados de u trabajo en el que proponen una solución mejor para la deduplicación en tiempo real. Consiste en la creación de una Unidad de Deduplicación (DU) independiente que permitiría reducir la latencia y el consumo de energía. Este módulo liberaría a los procesadores principales de las tareas de deduplicación, encargándose de la gran cantidad de accesos a la memoria que se producen en la GPU a causa de las estrategias convencionales de deduplicación.

Según lo describen sus diseñadores, “esta unidad o unidades de deduplicación se colocan en una matriz base o en una matriz de memoria apilada en 3D para mejorar el rendimiento”. Como resultado, afirman que se logra reducir el consumo de energía y la latencia en un 17,3% y un 45,5%, respectivamente, en comparación con el rendimiento registrado en una GPU convencional dedicada a la deduplicación. Y, además, han demostrado que la temperatura a la que llega la DU es inferior a la que se alcanza en los sistemas convencionales, lo que mejora la vida útil de los equipos.