Memorias de cambio de fase para redes neuronales recurrentes de impulsos
- Noticias y Actualidad
Investigadores suizos han investigado el uso de tecnologías de memoria de cambio de fase para mejorar la computación en memoria empleada en las redes neuronales recurrentes de impulsos. Según sus averiguaciones, la memoria SCM resistiva puede diseñarse para que el entrenamiento de este tipo de redes se haga de forma más eficiente y online.
Las redes neuronales de impulsos emulan el funcionamiento de las neuronas humanas de forma más realista que las redes neuronales artificiales clásicas. Esto ha llevado al desarrollo de las nuevas redes neuronales recurrentes (RNN) de impulsos, cuyos nodos que son capaces de trabajar con conjuntos de datos más grandes y relacionarse entre sí de forma más dinámica y efectiva. Pero esto requiere tecnologías de computación en memoria más eficaces integradas en cada uno d ellos dispositivos que integran una RNN.
Según los expertos el mayor desafío para dotar a cada nodo con capacidades de aprendizaje propias es la asignación temporal de créditos y lograr una dinámica de red más estable, incluso cuando la resolución de ponderación de esta asignación es limitada. Estas son características propias de las redes RNNs, y se ha demostrado que se acentúan estos problemas al usar sustratos memristivos para la computación en memoria local. Al enfrentarse al cuello de botella de Von-Newmann en estas arquitecturas se incrementa la variabilidad en el cálculo y en la memoria de trabajo de las redes neuronales recurrentes de impulsos.
Para resolver este problema un equipo de investigadores de la Universidad de Zúrich ha desarrollado un marco de simulación de matrices de barras cruzadas de arquitectura diferencial basado en un modelo de dispositivo de memoria de cambio de fase (PCM) más preciso y completo. Han sido capaces de entrenar una RNN de impulsos emulando los pesos, utilizando una regla de aprendizaje de e-prop propuesta recientemente, que según su apreciación se acerca a las condiciones ideales de actualización sináptica, pero que no se puede implementar con éxito en una memoria memristiva convencional, debido a las no-idealidades sustanciales de PCM.
En sus simulaciones han comparado el funcionamiento de su matriz con varios esquemas de actualización de peso ampliamente adaptados para resolver estas no-idealidades de los dispositivos. Y afirman haber demostrado que es posible aprovechar la acumulación de gradientes de la memoria de cambio de fase basada en sustratos memristivos para lograr el entrenamiento online de las redes neuronales recurrentes de impulsos e incrementar mucho su eficiencia.
Más información
¿Cuál es el futuro del mercado de almacenamiento? ¿Qué tecnologías son las más adecuadas? Si quieres obtener más información sobre un segmento en crecimiento puedes visitar la página de nuestro colaborador Western Digital
