ウェブマスターの家が7月26日に報じたところによると、スタンフォード大学の研究者らは、言語モデルの事前トレーニング時間を半分に短縮できる「Sophia」と呼ばれる新しいオプティマイザーを開発したという。 Adam オプティマイザーと比較して、Sophia は言語モデルの問題をより速く解決できます。 Sophia は、2 次オプティマイザーの前提条件として、対角ヘッセ行列の軽量推定を使用します。更新後、勾配の平均を取得し、推定されたヘッセ行列の平均で割ることにより、要素ごとのクリッピングが実行されます。さらに、Sophia は言語モデリング タスクにおける大きなパラメーターの変更にも適応できます。