Согласно отчету веб-мастера от 26 июля, исследователи из Стэнфордского университета разработали новый оптимизатор под названием Sophia, который может вдвое сократить время предварительной подготовки языковых моделей. По сравнению с оптимизатором Adam, Sophia может быстрее решить проблему языковой модели. Sophia использует облегченную оценку диагональной матрицы Гессе в качестве предварительного условия для оптимизатора второго порядка. После обновления выполняется поэлементное отсечение путем взятия среднего значения градиента и деления на среднее значение предполагаемого гессиана. Кроме того, Sophia также может адаптироваться к большим изменениям параметров в задачах языкового моделирования.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Согласно отчету веб-мастера от 26 июля, исследователи из Стэнфордского университета разработали новый оптимизатор под названием Sophia, который может вдвое сократить время предварительной подготовки языковых моделей. По сравнению с оптимизатором Adam, Sophia может быстрее решить проблему языковой модели. Sophia использует облегченную оценку диагональной матрицы Гессе в качестве предварительного условия для оптимизатора второго порядка. После обновления выполняется поэлементное отсечение путем взятия среднего значения градиента и деления на среднее значение предполагаемого гессиана. Кроме того, Sophia также может адаптироваться к большим изменениям параметров в задачах языкового моделирования.