Una red neuronal es un sistema compuesto de muchos elementos procesadores simples operando en paralelo, cuya función es determinada por la estructura de la red, fuerza en las conexiones y el procesamiento realizado por los elementos computacionales en los nodos.

Otras definiciones nos dicen que:

Las redes neuronales son una forma de un sistema computarizado multi-proceso con:

• Elementos de procesamiento sencillos.
• Alto grado de interconexión.
• Mensajes simples escalares.
• Interacción adaptable entre elementos.

El concepto de Red Neuronal Artificial está inspirado en las Redes Neuronales Biológicas. Una Red Neuronal Biológica, es un dispositivo no lineal altamente paralelo, caracterizado por su robustez y su tolerancia a fallos. Sus principales características son las siguientes:

• Aprendizaje mediante adaptación de sus pesos sinápticos a los cambios en el entorno.
• Manejo de imprecisión, ruido e información probabilística.
• Generalización a partir de ejemplos.

Las Redes Neuronales Artificiales intentan imitar algunas, o todas, de estas características. Este paradigma de programación difiere de las secuencias de instrucciones en que la información se encuentra almacenada en las conexiones sinápticas. Cada neurona es un procesador elemental con operaciones muy primitivas como la suma ponderada de sus pesos de entrada y la amplificación o umbralización de esta suma.

Una Red Neuronal viene caracterizada por su topología, por la intensidad de la conexión entre sus pares de neuronas (pesos), por las propiedades de los nodos y por las reglas de actualización de pesos. Las reglas de actualización, también llamadas de aprendizaje, controlan los pesos y/o estados de los elementos de procesados (neuronas).

Los principales aspectos de este modelo de computación distribuida son los siguientes:

• Un conjunto de unidades de procesamiento.
• Un estado de activación a_k para cada unidad, que es equivalente a la salida de la unidad.
• Conexiones entre unidades, generalmente definida por un peso W_jk, que determina el efecto de la unidad j sobre la unidad k.
• Una regla de propagación que determina la entrada de la unidad S_ka partir de sus entradas externas.
• Una función de activación F_k que determina el estado de activación en función de la entrada de la unidad (en algunos casos la función de activación tiene en cuenta la activación actual de la unidad).
• Una entrada externa (u offset llamado también umbral) b_k para cada unidad.
• Un método para modificar los valores de los pesos (regla de aprendizaje).
• Un entorno de trabajo en el que sistema opere, compuesto por señales de entrada y, si es necesario, señales de error.

Normalmente, la dinámica de actuación es definir una función objetivo que representa el estado completo de la red y localizar el conjunto de mínimos de esa función que se corresponden con los diferentes estados estables de la red.