Згідно зі звітом веб-майстра від 26 липня, дослідники зі Стенфордського університету розробили новий оптимізатор під назвою Sophia, який може вдвічі скоротити час попереднього навчання мовних моделей. Порівняно з оптимізатором Adam, Sophia може швидше вирішити проблему мовної моделі. Софія використовує спрощену оцінку діагональної матриці Гессе як передумову для оптимізатора другого порядку. Після оновлення виконується поелементне відсікання, беручи середнє градієнта та ділячи його на середнє значення Гессе. Крім того, Sophia також може адаптуватися до великих змін параметрів у завданнях моделювання мови.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Згідно зі звітом веб-майстра від 26 липня, дослідники зі Стенфордського університету розробили новий оптимізатор під назвою Sophia, який може вдвічі скоротити час попереднього навчання мовних моделей. Порівняно з оптимізатором Adam, Sophia може швидше вирішити проблему мовної моделі. Софія використовує спрощену оцінку діагональної матриці Гессе як передумову для оптимізатора другого порядку. Після оновлення виконується поелементне відсікання, беручи середнє градієнта та ділячи його на середнє значення Гессе. Крім того, Sophia також може адаптуватися до великих змін параметрів у завданнях моделювання мови.