Spiking neuronal network - Spiking neural network

El insecto está controlado por una red neuronal de púas para encontrar un objetivo en un terreno desconocido.
Artículo principal: red neuronal artificial

Las redes neuronales spiking ( SNN ) son redes neuronales artificiales que imitan más de cerca las redes neuronales naturales. Además del estado neuronal y sináptico , los SNN incorporan el concepto de tiempo en su modelo operativo . La idea es que las neuronas en el SNN no transmiten información en cada ciclo de propagación (como sucede con las redes típicas de perceptrones multicapa ), sino que transmiten información solo cuando un potencial de membrana  , una cualidad intrínseca de la neurona relacionada con su membrana eléctrica. carga: alcanza un valor específico, llamado umbral. Cuando el potencial de membrana alcanza el umbral, la neurona se dispara y genera una señal que viaja a otras neuronas que, a su vez, aumentan o disminuyen sus potenciales en respuesta a esta señal. Un modelo de neurona que se activa en el momento del cruce del umbral también se denomina modelo de neurona de picos .

El modelo de neuronas con picos más prominente es el modelo de integración y disparo con fugas . En el modelo de integración y disparo, el nivel de activación momentánea (modelado como una ecuación diferencial ) normalmente se considera que es el estado de la neurona, con picos entrantes que empujan este valor hacia arriba o hacia abajo, hasta que el estado eventualmente decae o - si el disparo se alcanza el umbral - la neurona se dispara. Después de disparar, la variable de estado se restablece a un valor más bajo.

Existen varios métodos de decodificación para interpretar el tren de picos salientes como un número de valor real, dependiendo de la frecuencia de picos (código de velocidad), el tiempo hasta el primer pico después de la estimulación o el intervalo entre picos.

Historia

Modelo de neurona pulsada
Sinapsis artificiales basadas en FTJ

Muchas redes neuronales artificiales multicapa están completamente conectadas , reciben información de cada neurona en la capa anterior y señalan cada neurona en la capa siguiente. Aunque estas redes han logrado avances en muchos campos, son biológicamente inexactas y no imitan el mecanismo de funcionamiento de las neuronas en el cerebro de un ser vivo.

Ver también: modelo de neurona biológica

El modelo de Hodgkin-Huxley de inspiración biológica de una neurona en punta se propuso en 1952. Este modelo describe cómo se inician y propagan los potenciales de acción . La comunicación entre neuronas, que requiere el intercambio de neurotransmisores químicos en la brecha sináptica , se describe en varios modelos, como el modelo de integración y disparo , el modelo de FitzHugh-Nagumo (1961-1962) y el modelo de Hindmarsh-Rose (1984) . El modelo de integración y disparo con fugas (o un derivado) se usa comúnmente ya que es más fácil de calcular que el modelo de Hodgkin-Huxley.

Apuntalamientos

La teoría de la información explica cómo la información es codificada y decodificada por una serie de trenes de pulsos, es decir, potenciales de acción. Por tanto, una cuestión fundamental de la neurociencia es determinar si las neuronas se comunican mediante una tasa o un código temporal . La codificación temporal sugiere que una sola neurona en punta puede reemplazar cientos de unidades ocultas en una red neuronal sigmoidea .

Una red neuronal con picos considera información temporal. La idea es que no todas las neuronas se activan en cada iteración de propagación (como es el caso en una red típica de perceptrones multicapa ), sino solo cuando su potencial de membrana alcanza un cierto valor. Cuando se activa una neurona, produce una señal que se transmite a las neuronas conectadas, aumentando o disminuyendo su potencial de membrana.

En una red neuronal con picos, el estado actual de la neurona se define como su nivel de activación (modelado como una ecuación diferencial). Un pulso de entrada hace que el valor del estado actual aumente durante un período de tiempo y luego disminuya gradualmente. Se han elaborado esquemas de codificación para interpretar estas secuencias de impulsos de salida como un número, teniendo en cuenta tanto la frecuencia de impulsos como el intervalo de impulsos. Se puede establecer un modelo de red neuronal basado en el tiempo de generación de pulsos. La codificación de picos se adopta en esta nueva red neuronal. Usando el tiempo exacto de ocurrencia del pulso, una red neuronal puede emplear más información y ofrecer una mayor potencia de cálculo.

Las redes neuronales acopladas por pulsos (PCNN) a menudo se confunden con los SNN. Un PCNN puede verse como una especie de SNN.

El enfoque SNN utiliza una salida binaria (señal / sin señal) en lugar de la salida continua de las ANN tradicionales. Además, los entrenamientos de pulso no son fáciles de interpretar. Pero el entrenamiento del pulso aumenta la capacidad de procesar datos espacio-temporales (o clasificación continua de datos sensoriales del mundo real). El espacio se refiere al hecho de que las neuronas se conectan solo a las neuronas cercanas para que puedan procesar bloques de entrada por separado (similar a la CNN que usa filtros). El tiempo se refiere al hecho de que el entrenamiento de pulsos se produce a lo largo del tiempo, de modo que la información perdida en la codificación binaria se puede recuperar de la información de tiempo. Esto evita la complejidad adicional de una red neuronal recurrente (RNN). Resulta que las neuronas de impulso son unidades computacionales más poderosas que las neuronas artificiales tradicionales.

SNN es teóricamente más poderoso que las redes de segunda generación, sin embargo, los problemas de capacitación de SNN y los requisitos de hardware limitan su uso. Aunque se encuentran disponibles métodos de aprendizaje biológico no supervisado, como el aprendizaje de Hebbian y el STDP , ningún método de entrenamiento supervisado eficaz es adecuado para SNN que pueda proporcionar un mejor rendimiento que las redes de segunda generación. Activación basada pico de SNN no es diferenciable por lo que es difícil de desarrollar descenso de gradiente métodos de entrenamiento basados para realizar el error de propagación hacia atrás , aunque algunos algoritmos recientes como NormAD y multicapa NormAD han demostrado un buen rendimiento de la formación a través aproximación adecuada de la pendiente de la activación basada pico .

Las SNN tienen costos computacionales mucho mayores para simular modelos neuronales realistas que las ANN tradicionales.

Aplicaciones

En principio, las SNN pueden aplicarse a las mismas aplicaciones que las ANN tradicionales. Además, los SNN pueden modelar el sistema nervioso central de organismos biológicos, como un insecto que busca alimento sin conocimiento previo del medio ambiente. Debido a su relativo realismo, se pueden utilizar para estudiar el funcionamiento de los circuitos neuronales biológicos . Partiendo de una hipótesis sobre la topología de un circuito neuronal biológico y su función, las grabaciones de este circuito se pueden comparar con la salida del SNN correspondiente, evaluando la plausibilidad de la hipótesis. Sin embargo, hay una falta de mecanismos de entrenamiento efectivos para los SNN, que pueden ser inhibidores para algunas aplicaciones, incluidas las tareas de visión por computadora.

A partir de 2019, las SNN se quedan atrás de las ANN en términos de precisión, pero la brecha está disminuyendo y ha desaparecido en algunas tareas.

Software

Una amplia gama de software de aplicación puede simular SNN. Este software se puede clasificar según sus usos:

Simulación SNN

Aprendizaje no supervisado con sinapsis ferroeléctricas

Estos simulan modelos neuronales complejos con un alto nivel de detalle y precisión. Las redes grandes suelen requerir un procesamiento prolongado. Los candidatos incluyen:

Hardware

Predecir el aprendizaje de STDP con sinapsis ferroeléctricas
Modelo de enrutamiento de malla de neurona a neurona

Las futuras arquitecturas neuromórficas comprenderán miles de millones de tales nanosinapsis, que requieren una comprensión clara de los mecanismos físicos responsables de la plasticidad. Se han utilizado sistemas experimentales basados ​​en uniones de túneles ferroeléctricos para demostrar que el STDP puede aprovecharse de la conmutación de polarización heterogénea. A través de imágenes de sonda de exploración combinadas, transporte eléctrico y dinámica molecular a escala atómica, las variaciones de conductancia pueden modelarse mediante la inversión de dominios dominada por nucleación. Las simulaciones muestran que las matrices de nanosinapsis ferroeléctricas pueden aprender de manera autónoma a reconocer patrones de una manera predecible, abriendo el camino hacia el aprendizaje no supervisado .

Aprendizaje no supervisado con sinapsis ferroeléctricas
  • Akida NSoC de Brainchip afirma tener efectivamente 1.2 millones de neuronas y 10 mil millones de sinapsis
  • Neurogrid es una placa que puede simular redes neuronales con picos directamente en el hardware. (Universidad Stanford)
  • SpiNNaker (Spiking Neural Network Architecture) utiliza procesadores ARM como los componentes básicos de una plataforma informática masivamente paralela basada en un modelo talamocortical de seis capas . ( Universidad de Manchester ) El sistema SpiNNaker se basa en modelos numéricos que se ejecutan en tiempo real en chips multinúcleo digitales personalizados que utilizan la arquitectura ARM . Proporciona chips digitales personalizados, cada uno con dieciocho núcleos y una RAM local compartida de 128 Mbyte, con un total de más de 1.000.000 de núcleos. Un solo chip puede simular 16.000 neuronas con ocho millones de sinapsis de plástico ejecutándose en tiempo real.
  • TrueNorth es un procesador que contiene 5.400 millones de transistores que consume solo 70 milivatios ; la mayoría de los procesadores de las computadoras personales contienen aproximadamente 1.400 millones de transistores y requieren 35 vatios o más. IBM se refiere al principio de diseño detrás de TrueNorth como computación neuromórfica . Su propósito principal es el reconocimiento de patrones. Si bien los críticos dicen que el chip no es lo suficientemente poderoso, sus partidarios señalan que esta es solo la primera generación, y las capacidades de las iteraciones mejoradas quedarán claras. (IBM)
  • El Procesador Asíncrono Neuromórfico Dinámico (DYNAP) combina circuitos analógicos de subumbral no homogéneos, de baja potencia y lentos, y circuitos digitales programables rápidos. Es compatible con redes neuronales reconfigurables, de uso general y en tiempo real de neuronas en punta. Esto permite la implementación de arquitecturas de procesamiento neuronal basadas en picos en tiempo real en las que la memoria y el cálculo están co-localizados. Resuelve el problema del cuello de botella de von Neumann y permite la comunicación multiplexada en tiempo real de eventos de picos para la realización de redes masivas. Redes recurrentes, redes de alimentación hacia adelante, redes convolucionales, redes atractor , redes eco-estatales , redes profundas , y las redes de fusión de sensores son algunas de las posibilidades.
Microarquitectura básica de alto nivel
  • Loihi es un chip Intel de 14 nm que ofrece 128 núcleos y 130.000 neuronas en un paquete de 60 mm. Integra una amplia gama de características, como conectividad jerárquica, compartimentos dendríticos, retrasos sinápticos y reglas de aprendizaje sináptico programables. Al ejecutar una forma convolucional de picos del algoritmo localmente competitivo, Loihi puede resolver problemas de optimización LASSO con un producto de retardo de energía superior en más de tres órdenes de magnitud en comparación con los solucionadores convencionales que se ejecutan en un isoproceso / voltaje / área de CPU. Un sistema de investigación de 64 Loihi ofrece un sistema neuromórfico de 8 millones de neuronas. Loihi es aproximadamente 1,000 veces más rápido que una CPU y 10,000 veces más eficiente en términos de energía.
  • BrainScaleS se basa en emulaciones físicas de modelos de neuronas, sinapsis y plasticidad con conectividad digital, que se ejecutan hasta diez mil veces más rápido que en tiempo real. Fue desarrollado por el Proyecto Europeo del Cerebro Humano . El sistema BrainScaleS contiene 20 obleas de silicio de 8 pulgadas en tecnología de proceso de 180 nm. Cada oblea incorpora 50 x 106 sinapsis de plástico y 200.000 neuronas biológicamente realistas. El sistema no ejecuta código preprogramado sino que evoluciona de acuerdo con las propiedades físicas de los dispositivos electrónicos, funcionando hasta 10 mil veces más rápido que el tiempo real.

Benchmarks

Las capacidades de clasificación de las redes de spiking entrenadas de acuerdo con métodos de aprendizaje no supervisados ​​se han probado en los conjuntos de datos de referencia comunes, como el conjunto de datos Iris, Wisconsin Breast Cancer o Statlog Landsat. Se han utilizado varios enfoques para la codificación de información y el diseño de redes. Por ejemplo, una red feedforward de 2 capas para la agrupación y clasificación de datos. Con base en la idea propuesta en Hopfield (1995), los autores implementaron modelos de campos receptivos locales que combinan las propiedades de las funciones de base radial (RBF) y neuronas de picos para convertir señales de entrada (datos clasificados) que tienen una representación de punto flotante en una representación de picos.

Ver también

Referencias

enlaces externos