Представляємо найдосконалішу китайську модель Llama2 у Китаї

Автор: FlagAlpha

Джерело: Llama Chinese Community

Джерело зображення: створено Unbounded AI

вступ

31 липня китайська спільнота Llama взяла на себе ініціативу в завершенні першої великої моделі китайської версії Llama2-13B у внутрішньому розумінні, яка значно оптимізувала та покращила китайські можливості Llama2 з нижньої частини моделі. Безсумнівно, щойно китайська версія Llama2 буде випущена, вона відкриє нову еру великомасштабних моделей у Китаї!

| Найсильніший у світі, але слабкий у китайській

Llama2 наразі є найпотужнішою великою моделлю з відкритим вихідним кодом у світі, але її китайські можливості потребують термінового вдосконалення.

Будучи найпотужнішою великою моделлю з відкритим кодом у сфері штучного інтелекту, Llama2 попередньо навчений на основі 2 трильйонів даних токенів і налаштований на 1 мільйоні даних, позначених людиною, щоб отримати модель діалогу. У багатьох порівняльних тестах, включаючи міркування, програмування, діалог і перевірку знань, продуктивність значно краща, ніж у великих мовних моделях з відкритим кодом, таких як MPT, Falcon і перше покоління LLaMA. Також вона вперше порівнюється з комерційним GPT-3.5. , серед багатьох моделей з відкритим кодом Будьте унікальними.

Хоча дані попереднього навчання Llama2 подвоїлися порівняно з першим поколінням, частка китайських даних попереднього навчання все ще дуже мала і становить лише 0,13%, що також призводить до слабкої китайської здатності оригінального Llama2.

Ми поставили деякі запитання китайською мовою та виявили, що в більшості випадків Llama2 не міг відповісти на запитання китайською або відповідав на запитання змішаною китайською та англійською мовами. Тому Llama2 потрібно оптимізувати на основі великомасштабних китайських даних, щоб Llama2 мав кращі китайські можливості.

З цією метою велика модельна команда докторантів із провідних вітчизняних університетів заснувала китайську спільноту Llama та розпочала навчання великої китайської моделі Llama2.

| Провідна китайська спільнота лам

Китайська спільнота Llama є провідною великою китайською спільнотою з відкритим кодом у Китаї, Github досягає 4,7 тис. зірок. Її очолюють команди докторантів з Університету Цінхуа, Університету Цзяотун і Університету Чжецзян, і об’єднує понад 60 старших інженерів у галузі ШІ. області та понад 2000 найкращих талантів у різних галузях.

Посилання на спільноту:

Історія спільноти:

| Перша попередньо навчена китайська модель Llama2!

Не твік! Замість цього він навчається з нуля на основі китайського корпусу 200B!

Китайська спільнота Llama є першою в Китаї, яка завершила справжню китайську версію моделі 13B Llama2: Llama2-Chinese-13B, яка значно оптимізує та покращує китайські можливості Llama2 з нижньої частини моделі.

Китайська культура Llama2 може розвиватися приблизно двома шляхами:

1. На основі наявного набору даних китайських інструкцій налаштуйте інструкції попередньо навченої моделі, щоб базова модель могла узгоджуватися з можливостями запитань і відповідей китайською мовою. Перевагами цього маршруту є низька вартість, невелика кількість даних для точного налаштування інструкцій, менші потреби в обчислювальних ресурсах і можливість швидко реалізувати прототип китайської Llama.

Але недоліки також очевидні. Точне налаштування може стимулювати лише існуючу китайську здатність базової моделі. Однак, оскільки Llama2 має менше даних про навчання китайською мовою, здатність, яку можна стимулювати, також обмежена. Вона лікує симптоми, але не корінь і фундаментально покращує китайські можливості моделі Llama2. Вам все одно потрібно почати з попереднього навчання.

2. Попередня підготовка на основі великомасштабного китайського корпусу. Недоліком маршруту є висока вартість! Потрібні не тільки великомасштабні високоякісні китайські дані, а й масштабні обчислювальні ресурси. Але перевага також очевидна, тобто він може оптимізувати китайські можливості з нижньої частини моделі, справді усунути першопричину проблеми та впровадити потужні китайські можливості у великі моделі з ядра!

Щоб реалізувати повну китайську велику модель з ядра, ми обрали другий шлях! Ми зібрали партію високоякісних наборів даних китайського корпусу та оптимізували велику модель Llama2, починаючи з попереднього навчання. Деякі дані перед навчанням такі:

Дані попереднього навчання першої моделі Llama2-Chinese-13B містять 200 B. У майбутньому ми продовжуватимемо ітераційне оновлення Llama2-Chinese та поступово збільшуватимемо дані попереднього навчання до 1T токенів. Крім того, ми будемо поступово відкривати китайську переднавчальну версію моделі 70B, тому слідкуйте за оновленнями!

Ми досліджували велику модель з різних аспектів, таких як загальні знання, розуміння мови, творчі здібності, логічне мислення, програмування коду, робочі навички тощо, і отримали задовільні результати!

Частина ефектів показана нижче:

загальні знання

Розуміння мови

Творчі здібності

Логічні міркування

Програмування коду

працездатність

🏅Пілотний план китайської спільноти лами🏅

Зосереджуючись на довгостроковому розвитку та швидкій ітерації спільноти, з одного боку, він надає професійні технічні послуги кожному ентузіасту ШІ, який з ентузіазмом і амбіціями інвестує в хвилю великих моделей; з іншого боку, він дозволяє кожному Щоб взяти на себе лідерство в епоху розвитку штучного інтелекту та отримати ресурси з усіх аспектів, ми запустимо першу фазу Пілотного плану китайської спільноти Llama на обмежений час! Кожен учасник програми Espier отримає такі переваги «7TOP»:

1. Модель ТОП

Приєднавшись, ви можете отримати право використовувати першу попередньо навчену китайську версію моделі Llama2-Chinese-13B у Китаї (версія без точного налаштування), і в майбутньому ми продовжуватимемо покращувати китайські можливості ядро моделі на основі даних більшого масштабу, а також надаватиме пріоритет Кожен учасник Пілотної програми надає найдосконалішу версію моделі.

2. Технологія ТОП

Найпрофесійнішу технічну групу великомасштабних моделей очолює команда докторантів із кращих вітчизняних університетів. Незалежно від того, чи йдеться про найсучасніші технічні питання чи про глибокий теоретичний аналіз, ми запропонуємо вам найсучасніші рішення.

3. Високий сервіс

У програмі Espier ви отримаєте персоналізоване керівництво 1V1, незалежно від того, коли та де, якщо у вас є запитання, ми відповімо на них вчасно. Ми прагнемо надавати всебічну підтримку, щоб допомогти вам швидко реалізувати застосування великих моделей Llama2 і забезпечити безперебійну реалізацію технологічних проривів. Якщо ваша компанія зіткнеться з проблемами, пов'язаними з великими моделями, ми також допоможемо вам їх проаналізувати та вирішити.

4. Викладання ТОП

Режим навчання, що поєднує теорію та реальний бій, допоможе вам оцінити таємниці великих моделей. Від технічного аналізу великих моделей до пояснень ключових алгоритмів і документів, створення приватизованих великих моделей з нуля та навчання на великих галузевих моделях, ми крок за кроком навчимо вас досягати технологічного прогресу. Конспект курсу виглядає наступним чином:

картина

5. Топ ресурсів

У нас найбільша китайська спільнота Llama у Китаї, Github досягає 4,7 тисяч зірок і збирає понад 2000 найкращих талантів. Тут ви спілкуватиметеся з інвесторами штучного інтелекту, генеральними директорами-підприємцями та лідерами в різних галузях, а також шукатимете комплексні послуги, такі як співпраця, інвестиції, просування по службі та підбір персоналу. Знайдіть роботу/партнера/інвестуйте/продайте товари, ми можемо задовольнити ваші потреби. Це золота платформа для технічних талантів для обміну знаннями та навичками. Ви можете знайти найкращих експертів із усіх сфер життя для спільного спілкування та обговорення.

6. ТОП діяльності

Ми не лише проводимо регулярні онлайн-заходи, але й надаємо технічні презентації та обмін на офлайн-заходах, щоб розширити можливості різних галузей на основі моделі Llama2. Надайте вам можливість безпосередньо спілкуватися з провідними експертами, дозволяючи вам рухатися вперед пліч-о-пліч з лідерами галузі. Незалежно від того, чи ви новачок у техніці, чи досвідчена велика корова, ми надамо вам чудову можливість шукати майбутнє з найкращими технічними талантами світу!

7. Найвища обчислювальна потужність

Спільнота надає студентам канали обчислювальної потужності, що дозволяє використовувати їх за нижчою ціною, ніж ринкова. Ми розуміємо важливість обчислювальної потужності для технологічного розвитку та надаємо вам ефективну та стабільну підтримку обчислювальної потужності, щоб допомогти вам продемонструвати свій стиль у технічній сфері.