據站長之家7 月26 日報導，斯坦福大學的研究人員開發了一種名為Sophia 的新型優化器，可將語言模型的預訓練時間縮短一半。相比於Adam 優化器，Sophia 可以更快地解決語言模型的問題。 Sophia 通過輕量級估計對角Hessian 矩陣作為二階優化器的預條件。在更新之後，通過取梯度的平均值除以估計Hessian 的平均值來進行元素級別的剪切。此外，Sophia 還可以適應語言建模任務中的大參數變化。