NetApp lanza un nuevo kit de herramientas de ciencia de datos para Kubernetes

La ciencia de datos es la base del aprendizaje automático, la inteligencia artificial y analítica avanzada de big data, entre otras tecnologías, y las organizaciones quieren adquirir estas capacidades para avanzar en la era digital. Aunque muchas están trabajando en pruebas de concepto para desarrollar un ecosistema de MLOps, a la hora de poner en producción sus proyectos de ciencia de datos sus iniciativas se estancan, debido a las grandes complejidades que deben hacer frente. Muchas de ellas tienen que ver con la gran cantidad de datos que se deben administrar para alimentar los modelos de aprendizaje automático y de IA iterativa.

Pero el avance de esta disciplina digital es imparable y, para abordar los retos que plantea, el proveedor de tecnología NetApp a lanzar un nuevo kit de herramientas de ciencia de datos para Kubernetes, respondiendo a las necesidades actuales de los desarrolladores de IA y ML. El principal asunto a resolver es que muchas de las herramientas de entrenamiento e implementación de modelos de IA actuales no llevan a cabo una buena gestión de datos. Y, la que lo hacen, son complejas de utilizar y obligan a gestionar los recursos de almacenamiento por separado para cada espacio de trabajo.

Para abordar estos problemas, NetApp ha desarrollado NetApp Data Science Toolkit for Kubernetes, un set que está incluido en la versión 1.2 de su herramienta NetApp Data Science Toolkit. Este kit permite abstraer los recursos de almacenamiento y las cargas de trabajo de Kubernetes hasta el nivel del espacio de trabajo de ciencia de datos. Y, como destacan sus creadores, una de sus mejores características es que todas sus capacidades están empaquetadas en una interfaz simple y fácil de usar, diseñada especialmente para científicos e ingenieros de datos, que adopta la forma de un programa Phyton.

El Kit de NetApp permite a los profesionales aprovisionar y destruir espacios de trabajo de JupyterLab en solo unos segundos, independientemente de su capacidad, que puede ser de Terabytes e, incluso de Petabytes. De esta forma se pueden almacenar todos los conjuntos de datos de entrenamiento de ML e IA directamente en los espacios de trabajo del proyecto, acabando con la anticuada forma de administración, en la que ambas categorías se separaban.

Así, todas las operaciones de almacenamiento interno y de Kubernetes se ejecutan automáticamente, sin necesidad de contar con un ingeniero de DevOps y un administrador de almacenamiento. Así, las capacidades de autoservicio pueden acelerar significativamente los proyectos de IA, eliminando los ciclos de solicitud-respuesta de TI, que consumen mucho tiempo.

Desde NetApp explican que con si kit de herramientas de ciencia de datos para Kubernetes los profesionales pueden crear casi instantáneamente un espacio de trabajo de JupyterLab en base a un espacio de trabajo existente, aunque este contenga un volumen de datos de petabytes. Asimismo, es posible clonar espacios de trabajo y modificarlos rápidamente, manteniendo el original como fuente. Este tipo de operaciones se basan en NetApp Trident, el orquestador de almacenamiento dinámico de clase empresarial de NetApp para Kubernetes, y en la tecnología de clonación altamente eficiente y probada de NetApp.

Finalmente, NetApp destaca que su Kit de herramientas de ciencia de datos para Kubernetes se puede utilizar junto con una plataforma de gestión de flujo de trabajo, como Apache Airflow o Kubeflow Pipelines, para automatizar varios flujos de trabajo de IA. Ya sea automatizando el aprovisionamiento del espacio de trabajo o el paso de clonación, así como la implementación de la trazabilidad de los flujos de trabajo de cumplimiento, entre otras muchas tareas.

Más información

¿Cuál es el futuro del mercado de almacenamiento? ¿Qué tecologías son las más adecuadas? Si quieres obtener más información sobre un segmento en crecimiento puedes visitar las páginas de nuestro colaborador NetApp.