Pinwan, 22 Eylül'de Arxiv sayfasına göre Suzhou Üniversitesi'nden bir araştırma ve geliştirme ekibinin yakın zamanda OpenBA adı verilen açık kaynaklı bir seq2 seq modelini başlattığını bildirdi. OpenBA'nın 15 milyar parametreli iki dilli asimetrik seq2 seq modeli olduğu ve aynı zamanda Çin açık kaynak model topluluğuna katılan ilk büyük dil modeli çeşidi olduğu bildiriliyor. Makale, araştırmacıların OpenBA modelini sıfırdan eğitmek için verimli teknoloji ve üç aşamalı bir eğitim stratejisi kullandıklarını gösteriyor. Deneyler, OpenBA'nın BELEBELE kıyaslamasında LLaMA-70 B'den daha iyi performans gösterdiğini, MMLU kıyaslamasında BLOOM-176 B'den daha iyi ve C-_ (sert) kıyaslamada GLM-130 B'den daha iyi performans gösterdiğini gösteriyor.
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Pinwan, 22 Eylül'de Arxiv sayfasına göre Suzhou Üniversitesi'nden bir araştırma ve geliştirme ekibinin yakın zamanda OpenBA adı verilen açık kaynaklı bir seq2 seq modelini başlattığını bildirdi. OpenBA'nın 15 milyar parametreli iki dilli asimetrik seq2 seq modeli olduğu ve aynı zamanda Çin açık kaynak model topluluğuna katılan ilk büyük dil modeli çeşidi olduğu bildiriliyor. Makale, araştırmacıların OpenBA modelini sıfırdan eğitmek için verimli teknoloji ve üç aşamalı bir eğitim stratejisi kullandıklarını gösteriyor. Deneyler, OpenBA'nın BELEBELE kıyaslamasında LLaMA-70 B'den daha iyi performans gösterdiğini, MMLU kıyaslamasında BLOOM-176 B'den daha iyi ve C-_ (sert) kıyaslamada GLM-130 B'den daha iyi performans gösterdiğini gösteriyor.