Según un informe de la casa del webmaster del 26 de julio, los investigadores de la Universidad de Stanford han desarrollado un nuevo optimizador llamado Sophia, que puede reducir a la mitad el tiempo de pre-entrenamiento de los modelos de lenguaje. En comparación con el optimizador de Adam, Sophia puede resolver el problema del modelo de lenguaje más rápido. Sophia utiliza una estimación ligera de la matriz hessiana diagonal como condición previa para el optimizador de segundo orden. Después de la actualización, el recorte por elementos se realiza tomando la media del gradiente y dividiéndola por la media de la arpillera estimada. Además, Sophia también puede adaptarse a grandes cambios de parámetros en las tareas de modelado del lenguaje.
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
Según un informe de la casa del webmaster del 26 de julio, los investigadores de la Universidad de Stanford han desarrollado un nuevo optimizador llamado Sophia, que puede reducir a la mitad el tiempo de pre-entrenamiento de los modelos de lenguaje. En comparación con el optimizador de Adam, Sophia puede resolver el problema del modelo de lenguaje más rápido. Sophia utiliza una estimación ligera de la matriz hessiana diagonal como condición previa para el optimizador de segundo orden. Después de la actualización, el recorte por elementos se realiza tomando la media del gradiente y dividiéndola por la media de la arpillera estimada. Además, Sophia también puede adaptarse a grandes cambios de parámetros en las tareas de modelado del lenguaje.