a)  Algoritmo de Gradiente Conjugado (CGBP)
CGBP converge a un mínimo de una función cuadrática en un número finito de iteraciones. El procedimiento general para localizar un mínimo de una función en una dirección requiere:

Localizar el intervalo donde se encuentra
Reducir el intervalo

Algoritmo

• La primera dirección en buscar es un paso descendente.

(3.30)

(3.31)

• Tomar el paso y escoger la razón de aprendizaje para minimizar el error en esa dirección.

(3.32)

• Seleccionar la siguiente dirección de acuerdo con:

(3.33)

Donde:

Localización del intervalo
Se evalúa el índice de desempeño de un punto inicial F(X0). Se evalúa la función en un segundo punto, el cual tiene una distancia d del punto inicial, a lo largo de la dirección de búsqueda P0. Se continúa evaluando sucesivamente el índice de desempeño de los nuevos puntos, duplicando la distancia entre estos.

Figura 3.18  Localización del Intervalo

Reducción del intervalo
Esto involucra la evaluación de la función en puntos dentro del intervalo.

Figura 3.19 (a) Intervalo sin reducir.  (b) Reducción del intervalo entre a y b

b)  Algoritmo LMBP

• Presentar todas las entradas a la red y calcular las salidas correspondientes y los errores.
• Calcular la suma de los errores cuadráticos en todas las entradas.
• Calcular la matriz Jacobina.
• Después de inicializar, calcule las sensibilidades con el algoritmo de retropropagación.
• Aumente las matrices en las sensibilidades de Marquardt.
• Calcule los elementos de la matriz Jacobina.
• Solucione para obtener el cambio en los pesos.
• Recalcule la suma del error cuadrático con los nuevos pesos.

• Si esta nueva suma de cuadrados es más pequeña, que el calculado en el paso 1, entonces divida mk en u, actualice los pesos y regrese al paso 1.
• Si la suma de los cuadrados no es reducida, entonces multiplique mk por u y regrese al paso 3.

Figura 3.20 Trayectoria del algoritmo LMBP

El LMBP es el algoritmo más rápido que se ha probado para entrenar redes neuronales multicapa de tamaño moderado.

Su principal inconveniente es los requerimientos de memoria; si la red tiene más de unos cuantos cientos de paramentos  el algoritmo se vuelve impráctico.