El algoritmo de retropropagación fue el mayor avance en el campo de la investigación de las redes neuronales. Sin embargo el algoritmo resulta demasiado lento para aplicaciones prácticas.

Cuando se aplica el algoritmo básico de retropropagación a problemas prácticos el tiempo de entrenamiento puede llevar días e incluso semanas de cómputo. Por lo que se ha investigado en la búsqueda de métodos para acelerar el algoritmo de convergencia.

La investigación de algoritmos más veloces se clasifica en dos categorías: