learning schedule
December 15, 2020•64 words
Variación del hyperparámetro learning rate para optimizar la búsqueda del mínimo global de la función de coste.
Primero definimos una función de variación, por ejemplo:
def learning_schedule(t):
return t0 / (t + t1)
Posteriormente llamamos a esa función en cada una de las iteraciones antes de actualizar los parámetros de la red neuronal:
eta = learning_schedule(epoch * m + i)