Los nuevos desafíos del archivo de datos

Tribuna de Opinión De la fotografía al almacenamiento de datos Leer

Tribuna de opinión de Anna Baldrís, Business Development Manager Iberia de Fujifilm Recording Media

Los grandes retos de un crecimiento de datos exponencial

Según las últimas previsiones de IDC, el volumen de datos generados en todo el mundo superará los 180 zettabytes en 2025, lo que supone un crecimiento medio anual de casi el 40% en cinco años. 

Diversos estudios revelan que el 80% de todos estos datos generados serán no estructurados, es decir, grandes volúmenes de datos de diversa índole y de diferentes tamaños, que deberán ser recuperables y legibles en cualquier momento.

El crecimiento imparable de datos generados a nivel mundial, combinado con el aumento de las regulaciones en materia de conservación de datos a largo plazo, cada vez más estrictas y con periodos de preservación más amplios, provocará que en 2025 el volumen de datos a almacenar supere los 12 zettabytes, según las previsiones.

Sabemos, además, que entre el 60% y el 80% de estos datos almacenados rara vez serán consultados, pero deberán conservarse durante décadas, para cumplir con las normativas de cada sector y con las propias políticas de cada organización. Se estima que en 2025 el volumen de datos inactivos almacenados en los centros de datos rondará los 8 zettabytes.

Como si de pulmones se tratase, los centros de datos necesitan un porcentaje muy elevado de energía para su funcionamiento con un incremento del coste para el medio ambiente.

Por consiguiente, Fujifilm como fabricante de soluciones de archivo de datos, debe aportar al mercado soluciones que respondan a estos nuevos desafíos. Por un lado, ofreciendo soluciones que sean capaces de absorber el espectacular crecimiento de datos estructurados y no estructurados, en plena expansión, y por otro lado, garantizando la preservación de los datos almacenados durante varias décadas de forma rentable, segura y sostenible.

Todas las organizaciones se enfrentan a estos mismos desafíos

No se trata de un caso aislado, todo lo contrario, todas las compañías deben afrontar estos mismos retos. Vemos como los centros de datos, el sector de la teledetección o las redes sociales ven aumentar sus necesidades de capacidad con el aumento de su propia actividad mientras que el sector de media y broadcast, el ferroviario, el militar o la industria de transporte aéreo, por poner algunos ejemplos, ven disparar sus necesidades de capacidad con la introducción de nuevas aplicaciones, nuevos softwares o nuevas herramientas en el entorno de trabajo que generan un incremento de los datos digitales a almacenar, mientras que otros sectores como la banca o las empresas de seguros lo hacen por la acumulación de datos de sus clientes que ahora se ven obligados a conservar sobre periodos todavía más extensos en el tiempo.

El crecimiento exponencial de datos generados ha provocado un aumento de la demanda de servicios de cómputo y almacenamiento de datos en los últimos años y con ello un incremento del coste para el medio ambiente.

Las principales razones del auge del almacenamiento de objetos

La llegada del almacenamiento de objetos corresponde a esos cambios de ciclo que se producen cuando la cantidad global de datos generados en el mercado exige mayor escalabilidad y flexibilidad en el acceso a los datos almacenados. Actualmente, tener la capacidad de acceder, analizar y compartir rápidamente los datos archivados para generar valor se ha convertido en la prioridad estratégica de todas las empresas.

A finales de la década de 2000 se produjo una aceleración de la digitalización de contenidos, precisamente, cuando se decidió convertir los archivos en papel al formato digital. Hasta entonces el papel era, en términos absolutos, el mejor soporte para preservar datos a largo plazo: económico, con una huella ecológica inferior al archivo digital y con una longevidad de archivo muy superior, de casi 100 años. Sin embargo, la explosión de la información generada mostró los límites del archivo en papel. Cada vez resultaba más complicado gestionar, clasificar y ordenar tanta información, y acceder a ella se convertía en una tarea todavía más tediosa, que implicaba recorrer extensas salas de archivos con centenares de carpetas con miles de páginas para poder localizar la información deseada. Los usuarios necesitaban poder optar por una gestión de datos más ergonómica y cómoda. De ahí la necesidad de recurrir a los datos digitales y al almacenamiento de objetos para poder gestionar datos no estructurados a gran escala.

Actualmente los datos no estructurados son los que más abundan ya que pueden ser de cualquier índole: multimedia, imágenes, audio, datos de sensor, datos de texto, por citar algunos ejemplos. No estructurado significa simplemente que se trata de conjuntos de datos (colecciones grandes típicas de archivos) que no se almacenan en un formato de base de datos estructurado.

La estructura plana que ofrece el almacenamiento de objetos o archivos, al alojar los datos en un solo repositorio, en lugar de conservarlos como archivos en carpetas o como bloques en servidores, facilita la gestión de grandes volúmenes de datos no estructurados de distinto tamaño, de unos pocos bytes a terabytes, brindando una gran escalabilidad y flexibilidad. Este tipo de estructura favorece, además, la rápida localización de los datos almacenados gracias a los motores de búsqueda enriquecidos con metadatos que se convierten en una herramienta clave y eficaz para simplificar el acceso a los archivos digitales.

Observamos como determinados usuarios que deben gestionar grandes cantidades de información, optan por dejar de clasificar y almacenar sus archivos en las tradicionales "carpetas amarillas" de forma jerárquica para pasar a almacenarlos en una estructura plana, contando con un motor de búsqueda especialmente potente para poder localizar rápidamente sus archivos siempre que deban acceder a ellos.

Otro factor clave del éxito actual del almacenamiento de objetos es la facilidad de compartir conjuntos masivos de datos no estructurados entre distintos departamentos de una misma organización, distintas geografías, entidades corporativas, etc.

Importancia de la transmisión e intercambio de datos para generar valor

Constatamos una necesidad creciente en algunos segmentos de la economía de facilitar la colaboración entre más personas dentro de las organizaciones y, por consiguiente, de poder transmitir datos y acceder a ellos fácilmente desde cualquier lugar. Lo vemos en el sector bancario, en el científico donde es necesario recuperar los resultados realizados por distintos centros de investigación a un punto central. Y en el sector educativo, donde las universidades que promueven la investigación, fomentan las redes de trabajo colaborativo y la distribución de la información entre sus estudiantes e investigadores.

La industria y la transmisión televisiva también están interesadas en estas mejoras. En este ámbito, el amplio uso del protocolo S3 de Amazon, combinado con la propia naturaleza del almacenamiento de objetos, ha desempeñado un papel claramente positivo en esta dirección. La  transmisión por partes, soportada como opción, que no es exclusiva del almacenamiento de objetos, permite que ahora se puedan enviar archivos de tamaño mucho mayor. S3 es, además, un protocolo “abierto”, lo que significa que cualquier usuario podrá beneficiarse de las actualizaciones realizadas por cientos de desarrolladores de todo el mundo, ampliando considerablemente su escala de compatibilidad y consiguiendo, así, una fácil integración con la arquitectura existente. Simplificando la instalación del sistema y reduciendo la carga de trabajo.

Todas estas mejoras contribuyen a la idea de que, en el futuro, los datos ya no serán accesibles tan sólo por el individuo que los almacenó, sino para un gran número de usuarios. Vemos, por tanto, que el almacenamiento de objetos aporta grandes beneficios para este propósito.

Nuevos desafíos para los fabricantes de soluciones de almacenamiento de datos en cinta y principales preocupaciones de los usuarios respecto al uso del almacenamiento de objetos

Analizaré los retos a los que nos hemos visto confrontados los fabricantes a nivel de software, hardware y soporte de grabación de datos.

Como actor especializado en el almacenamiento de datos en cinta, a finales de la última década, nos dimos cuenta que no existía realmente un software que permitiera almacenar datos no estructurados en cinta para que los usuarios que utilizan este tipo de soluciones pudieran beneficiarse de las grandes ventajas que aporta la tecnología de cinta con el objetivo de aumentar la protección de sus datos, reducir los costes de archivo y garantizar la legibilidad de los mismos al cabo de varias décadas.

Los requisitos que establecimos al desarrollar nuestro software de archivo se centraban en lograr resolver las principales frustraciones de los usuarios del sector TI que exigían, entre otros aspectos, una gran interoperabilidad entre dispositivos y una fácil salida del contrato, sin ataduras a ningún proveedor. En otras palabras, por un lado, los usuarios nos pedían que les diéramos una gran libertad de elección en la composición de sus soluciones de almacenamiento. Por lo tanto, teníamos que crear un software de archivo que ofreciera una amplia compatibilidad tanto con las librerías de cintas existentes, como con el software de copia de seguridad que estaban utilizando. Y por otro lado, los usuarios nos reclamaban que existiera una salida posible y que ésta fuera simple y gratuita, para evitar que sus datos quedaran encorsetados en formatos propietarios. En concreto, teníamos que desarrollar una solución que les permitiera localizar el archivo, leerlo y guardarlo con un nuevo software, incluso una vez finalizada la suscripción de nuestro software Object Archive. Es decir, los usuarios querían poder reconstituir el índice, comprender la estructura de los archivos a pesar de la pérdida del software, etc. Para hacerlo posible tuvimos que desarrollar un formato de código abierto que permitiera la escritura de objetos en cinta, el OTFormat, que aporta grandes ventajas a este tipo de almacenamiento.

A nivel de hardware, sorprendentemente, no hemos recibido una fuerte demanda para mejorar la velocidad de escritura de las unidades de cinta, ya que es 3 veces más rápida que la del disco duro. Los usuarios nos piden, por el contrario, que produzcamos cintas con mayores densidades de grabación de datos para poder absorber mayores capacidades en un menor espacio y reducir así los costes de archivo al poder trabajar con soluciones más compactas. La encuesta realizada por Fujifilm a un amplio grupo de usuarios confirmó que el coste de almacenar una cinta fluctuaba entre los diez céntimos de euro y los 15 céntimos de euro por mes. Precisamente, para poder reducir estos costes de archivo, IBM está trabajando en el próximo lanzamiento de la siguiente generación de su tecnología de cinta Enterprise, la cinta 3592JF con la unidad TS1170, prevista para principios de 2023, que podrá contener más de 40TB nativos en un único cartucho de datos. Una auténtica revolución en el mercado de almacenamiento de datos que permitirá que en pocos meses un usuario pueda albergar 50 Petabytes de datos en el mínimo espacio, en tan solo 6,3m2.

En cuanto al soporte de grabación de datos, el empeño de Fujifilm para encontrar materiales alternativos que puedan aumentar la densidad de grabación de las cintas, ofreciendo además mayores rendimientos, ha permitido la utilización de las partículas Barium Ferrite (BaFe). Actualmente, nos encontramos en una fase de transición hacia la tecnología Strontium Ferrite (SrFe), patentada por Fujifilm en 2017, con un tamaño de partícula 40% inferior a la BaFe y con propiedades magnéticas equivalentes. En 2020 los equipos de I+D de Fujifilm e IBM alcanzaban conjuntamente un nuevo récord de grabación en cinta utilizando esta nueva tecnología que permitirá fabricar cintas con capacidades nativas de 580 Terabytes.

Este último récord de grabación en cinta, el quinto desde 2006, junto con la  hoja de ruta de la tecnología, marcada más allá de 2030, ofrece una gran tranquilidad a los usuarios y demuestra el gran potencial de desarrollo de la tecnología de cinta que dispone ya de los prototipos capaces de cubrir las necesidades de almacenamiento de los próximos 20 años.   

Tribuna de Opinión De la fotografía al almacenamiento de datos Leer 

Más información

Conoce más sobre el software FUJIFILM Object Archive