Переслано оригінальний заголовок: Шлях майбутнього розвитку AI+Web3 (2): Розділ інфраструктури

Інфраструктура - це детермінована напрямок росту розвитку штучного інтелекту

1. Зростаючий попит на обчислення штучного інтелекту

У останні роки попит на обчислювальну потужність стрімко зростав, особливо після появи великого моделі LLM. Цей вибух попиту на обчислювальну потужність для штучного інтелекту значно позначився на ринку високопродуктивних обчислень. Дані від OpenAI показують помітну тенденцію з 2012 року, коли потужність, використана для навчання найбільших моделей штучного інтелекту, зростала експоненційно, подвоюючись кожні 3-4 місяці в середньому, перевищуючи темп приросту, передбачений Законом Мура. Зростаючий попит на додатки зі штучним інтелектом призвів до стрімкого зростання потреби в обчислювальному обладнанні. Прогнози показують, що до 2025 року попит на обчислювальне обладнання, диктований додатками зі штучним інтелектом, очікується зрости на приблизно 10% до 15%.

За допомогою попиту на обчислювальну потужність штучного інтелекту виробник апаратного забезпечення GPU NVIDIA спостерігав постійний ріст доходів від центру обробки даних. У другому кварталі 2023 року доходи від центру обробки даних склали 10,32 мільярда доларів, що позначає зростання на 141% від другого кварталу 2023 року та помітний стрибок на 171% порівняно з аналогічним періодом попереднього року. Кінець кінцем, до четвертого кварталу фінансового року 2024 сегмент центру обробки даних склав понад 83% від загального доходу, досвіджуючи одночасний зріст на 409%, при цьому 40% припадає на сценарії великої інференції моделей, що свідчить про міцний попит на високопродуктивну обчислювальну потужність.

Одночасно потреба в великих обсягах даних накладає значні вимоги до зберігання та апаратної пам'яті. Особливо під час фази навчання моделі важливі обсяжні вхідні параметри та зберігання даних. Чіпи пам'яті, використовувані в AI серверах, передусім включають в себе пам'ять високої пропускної здатності (HBM), ОЗП та SSD. Робоче середовище для AI серверів повинно надавати збільшену ємність, покращену продуктивність, зменшену латентність та швидкі часи відгуку. За розрахунками Micron, обсяг ОЗП в AI серверах перевищує традиційні сервери вісьмикратно, тоді як кількість NAND перевищує стандарти традиційних серверів втричі.

2. Нерівноважність між пропозицією та попитом підвищує вартість обчислювальної потужності

Зазвичай обчислювальна потужність використовується переважно на етапах навчання, налаштування та висновків моделей ШІ, особливо під час фаз навчання та налаштування. У зв'язку зі збільшеними параметрами вводу даних, обчислювальними вимогами та підвищеною вимогою до міжзв'язку в паралельному обчислюванні, є потреба в більш потужному та взаємопов'язаному обладнанні ГПУ, часто у вигляді високопродуктивних кластерів ГПУ. При еволюції великих моделей обчислювальна складність збільшується лінійно, що вимагає більш потужного обладнання для відповіді на вимоги навчання моделі.

Беручи GPT-3 як приклад, з сценарієм, який передбачає близько 13 мільйонів незалежних відвідувань користувачів, відповідний попит на чіпи перевищив би 30 000 A100 GPU. Ці витрати на початкові інвестиції склали б неймовірні $800 мільйонів, із оцінкованими щоденними витратами на інференцію моделі на суму близько $700 000.

Водночас галузеві звіти вказують на те, що в четвертому кварталі 2023 року пропозиція графічних процесорів NVIDIA була серйозно обмежена в усьому світі, що призвело до помітного дисбалансу між попитом і пропозицією на ринках по всьому світу. Виробничі потужності NVIDIA були обмежені такими факторами, як TSMC, HBM, упаковка CoWos, і очікується, що «проблема серйозного дефіциту» графічного процесора H100 збережеться принаймні до кінця 2024 року.

Отже, підвищений попит на високопродуктивні відеокарти та обмеження постачання призвели до стрімкого зростання цін на поточні апаратні компоненти, такі як відеокарти. Особливо для компаній, які NVIDIA, що займають ключову позицію в ланцюжку виробництва, високі ціни ще більше підсилюються їхньою монополістичною домінантністю, що дозволяє їм збільшувати додаткову вартість. Наприклад, матеріальні витрати на карту NVIDIA H100 AI становлять приблизно 3000 доларів, але її ціна продажу досягла близько 35 000 доларів в середині 2023 року і навіть перевищила 40 000 доларів на eBay.

3. Штучний інтелект Інфраструктура приводить до зростання ланцюга промисловості

Звіт компанії Grand View Research показує, що розмір глобального ринку хмарного штучного інтелекту був оцінений у розмірі $62,63 мільярда у 2023 році, передбачається, що до 2030 року він досягне $647,6 мільярда, з річною зростанням на рівні 39,6%. Ці цифри підкреслюють значний потенціал зростання хмарних послуг зі штучним інтелектом та їх вагому внесок у загальний ланцюг галузі штучного інтелекту.

За оцінками a16z, суттєва частина коштів на ринку AIGC (штучний і глобальний обчислювальний) в кінцевому підсумку направляється на інфраструктурні компанії. В середньому компанії застосувань виділяють приблизно 20-40% свого доходу на інференцію та уточнення для кожного клієнта. Ці витрати, як правило, спрямовані на постачальника хмарних обчислень або постачальника моделей-сторонніх фірм, які, в свою чергу, виділяють приблизно половину доходу на хмарну інфраструктуру. Отже, розумно припустити, що 10-20% загального доходу, згенерованого AIGC, направляється постачальникам хмарних послуг.

Крім того, значна частина попиту на обчислювальну потужність зосереджена на навчанні великих моделей штучного інтелекту, включаючи різноманітні обширні моделі LLM. Особливо для стартапів, 80-90% витрат припадають на обчислювальну потужність штучного інтелекту. В цілому інфраструктура обчислювальної потужності штучного інтелекту, охоплюючи хмарне обчислення та апаратне забезпечення, очікується скласти більше 50% початкової вартості ринку.

Децентралізоване обчислення штучного інтелекту

Як раніше обговорювалося, поточна вартість централізованого обчислення ШШІ залишається високою, головним чином через зростаючий попит на інфраструктуру високої продуктивності для тренування ШШІ. Однак на ринку існує значна кількість невикористаної обчислювальної потужності, що призводить до розбіжності між пропозицією та попитом. Ключові фактори, що спричиняють цей дисбаланс, включають:

• Обмеженість пам'яті призводить до того, що складність моделі не має лінійного зв'язку з кількістю необхідних ГПУ. Поточні ГПУ мають переваги обчислювальної потужності, але для навчання моделі необхідно зберігати велику кількість параметрів у пам'яті. Наприклад, для навчання моделі з 175 мільярдами параметрів, як у GPT-3, потрібно зберігати понад 1 терабайт даних у пам'яті - більше, ніж будь-яке ГПУ, доступне на сьогоднішній день, що потребує більше ГПУ для паралельних обчислень та зберігання, що в свою чергу призводить до бездіяльності обчислювальної потужності ГПУ. Наприклад, від GPT-3 до GPT-4 розмір параметрів моделі збільшився приблизно в 10 разів, але кількість необхідних ГПУ зросла в 24 рази (не враховуючи збільшення часу навчання моделі). За відповідними аналізами, OpenAI використовувала приблизно 2.15e25 FLOPS під час навчання GPT-4 і провела навчання приблизно на 25 000 ГПУ A100 протягом 90-100 днів з використанням обчислювальної потужності приблизно від 32% до 36%.

У відповідь на вищезазначені виклики, розробка високопродуктивних мікросхем або спеціалізованих ASIC-мікросхем, призначених для завдань штучного інтелекту, є важливим напрямком, який досліджується численними розробниками та великими підприємствами. Ще одним підходом є комплексне використання наявних обчислювальних ресурсів для створення розподіленої обчислювальної мережі з метою зменшення витрат на обчислювальну потужність шляхом оренди, спільного використання та ефективного планування ресурсів. Крім того, на ринку зараз існує надлишок простоюмовних графічних процесорів та ЦП. Хоча окремі пристрої можуть бути менш потужними в обчислювальному плані, вони можуть ефективно відповідати поточним обчислювальним вимогам у конкретних сценаріях або у поєднанні з високопродуктивними мікросхемами. Надзвичайно важливо мати достатню кількість ресурсів, оскільки витрати можуть бути додатково зменшені завдяки розподіленому плануванню мережі.

Отже, зрушення до розподіленої обчислювальної потужності виросло як ключовий напрямок у розвитку інфраструктури ШШІ. Одночасно, з урахуванням концептуального співвідношення між Web3 та розподіленими системами, децентралізовані мережі обчислювальної потужності стали основною увагою в ландшафті інфраструктури Web3+ШШІ. Наразі, децентралізовані платформи обчислювальної потужності на ринку Web3, як правило, пропонують ціни, що на 80%-90% нижчі, ніж централізовані хмарні обчислювальні послуги.

Хоча зберігання відіграє важливу роль в ІШ-інфраструктурі, централізоване зберігання має виразні переваги щодо масштабу, використовуваності та низької затримки. Проте через помітні ефективності вартості, розподілені обчислювальні мережі мають значний ринковий потенціал і можуть отримати суттєві користі від стрімкого розширення ринку ШІ.

• Висновування моделей і навчання малих моделей представляють фундаментальні сценарії для поточних розподілених обчислювальних потужностей. Розосередження обчислювальних ресурсів у розподілених системах неминуче створює проблеми зв'язку між графічними процесорами, що потенційно може призвести до зниження обчислювальної продуктивності. Отже, розподілені обчислювальні потужності найбільше підходять для сценаріїв, які вимагають мінімального зв'язку і можуть ефективно підтримувати паралельні завдання. Ці сценарії включають фазу висновків великих моделей штучного інтелекту та невеликих моделей із відносно меншою кількістю параметрів, що мінімізує вплив на продуктивність. Забігаючи наперед, у міру розвитку додатків штучного інтелекту міркування стає критичною вимогою на прикладному рівні. Враховуючи, що більшості компаній не вистачає потужностей для самостійного навчання великих моделей, розподілені обчислювальні потужності зберігають значний довгостроковий ринковий потенціал.
• Є зростання високопродуктивних розподілених навчальних фреймворків, спеціально розроблених для паралельного обчислення великого масштабу. Інноваційні відкриті розподілені обчислювальні фреймворки, такі як PyTorch, Ray та DeepSpeed, надають розробникам міцну фундаментальну підтримку для використання розподіленої обчислювальної потужності у навчанні моделей. Цей прогрес покращує застосування розподіленої обчислювальної потужності на майбутньому ринку штучного інтелекту, сприяючи її інтеграції в різноманітні додатки штучного інтелекту.

Логіка наративу проектів інфраструктури AI+Web3

Сектор розподіленої інфраструктури штучного інтелекту виявляє міцний попит та значні перспективи довгострокового зростання, що робить його привабливою областю для інвестиційного капіталу. Наразі основні проекти в інфраструктурному рівні промисловості ШША+Web3 в основному зосереджені навколо децентралізованих обчислювальних мереж. Ці проекти підкреслюють низькі витрати як ключову перевагу, використовують токен-стимули для розширення своїх мереж та віддають перевагу обслуговуванню клієнтів у секторі ШША+Web3 як своєї основної мети. Цей сектор в основному складається з двох ключових рівнів:

1. Досить чиста децентралізована платформа обміну та оренди ресурсів хмарного обчислення: ранні проекти з штучного інтелекту, такі як Render Network, Akash Network, серед інших, відносяться до цієї категорії.

• Перевага у цьому секторі полягає в ресурсах обчислювальної потужності, які дозволяють отримати доступ до різноманітних постачальників, швидкому встановленню мережі та пропозиціям продуктів, які легкі у користуванні. Перші учасники ринку, такі як компанії з хмарними обчисленнями та гірники, мають вигідне положення для використання цієї можливості.
• З низькими порогами продуктивності та швидкими можливостями запуску встановлені платформи, такі як Render Network та Akash Network, продемонстрували помітний ріст та утримують конкурентну перевагу.
• Однак нові учасники ринку стикаються з викликами у вигляді продуктової однорідності. Поточна тенденція та низькі бар'єри для входу спричинили наплив проєктів, які акцентують увагу на спільному обчислювальному потужності та оренді. Хоча ці пропозиції не відрізняються, з'являється зростаюча потреба в відмінних конкурентних перевагах.
• Постачальники зазвичай спрямовують свою увагу на клієнтів з базовими обчислювальними потребами. Наприклад, Render Network спеціалізується на послугах рендерингу, тоді як Akash Network пропонує покращені ресурси ЦП. Хоча для базових завдань штучного інтелекту достатньо простої оренди обчислювальних ресурсів, цього недостатньо для задоволення всебічних потреб у складних процесах штучного інтелекту, таких як навчання, налаштування і виведення в інференції.

1. Пропонуючи послуги децентралізованого обчислення та робочого процесу машинного навчання, останнім часом численні нові проекти забезпечили значні інвестиції, зокрема Gensyn, io.net, Ritual та інші.

• Децентралізоване обчислення піднімає фундамент оцінки у галузі. Оскільки обчислювальна потужність виступає як вирішальний наратив у розвитку штучного інтелекту, проекти, що ґрунтуються на обчислювальній потужності, мають тенденцію пишатися більш міцними та високопотенційними бізнес-моделями, що призводить до вищих оцінок порівняно з чисто проміжними проектами.
• Послуги середнього рівня встановлюють відмінні переваги. Послуги, пропоновані середнім рівнем, служать конкурентними перевагами для цих обчислювальних інфраструктур, охоплюючи такі функції, як оракули та верифікатори, що полегшують синхронізацію обчислень у ланцюжку штучного інтелекту та поза ним, інструменти розгортання та управління, що підтримують загальний робочий процес ШІ, тощо. Робочий процес штучного інтелекту характеризується співпрацею, безперервним зворотним зв'язком і високою складністю, що вимагає обчислювальної потужності на різних етапах. Таким чином, рівень проміжного програмного забезпечення, який є зручним для користувача, легко спільним і здатним задовольнити складні потреби розробників ШІ, стає конкурентоспроможним активом, особливо в домені Web3, задовольняючи вимоги розробників Web3 до ШІ. Ці сервіси краще підходять для потенційних ринків додатків штучного інтелекту, виходячи за рамки базової обчислювальної підтримки.
• Команди проектів з професійними знаннями та досвідом в галузі управління та обслуговування ML зазвичай вважаються обов'язковими. Команди, які пропонують послуги середнього рівня, повинні мати комплексне розуміння всього робочого процесу ML для ефективного вирішення повних вимог життєвого циклу розробників. Хоча такі послуги часто використовують існуючі відкриті фреймворки та інструменти без потреби значних технічних інновацій, вони потребують команди з великим досвідом та міцними інженерними можливостями, що служить конкурентною перевагою для проекту.

Надаючи послуги за більш конкурентоспроможними цінами, ніж централізовані хмарні обчислювальні послуги, зберігаючи при цьому порівнянні можливості підтримки та користувацького досвіду, цей проект здобув визнання від відомих інвесторів. Однак підвищена технічна складність становить значний виклик. Наразі проект перебуває на етапі наративу та розвитку, і ще не має повністю запущеного продукту.

Представницький проект

1. Мережа Рендерінгу

Render Network є глобальною блокчейн-платформою для рендерингу, яка використовує розподілені GPU для надання творцям вартісних та ефективних послуг 3D-рендерингу. Після підтвердження творцем результатів рендерінгу блокчейн-мережа відправляє токени винагороди на вузли. Платформа має розподілену мережу планування та розподілу GPU, призначаючи завдання на основі використання вузлів, репутації та інших факторів для оптимізації обчислювальної ефективності, мінімізації простою ресурсів та зниження витрат.

Внутрішній токен платформи, RNDR, використовується як платіжна валюта в екосистемі. Користувачі можуть використовувати RNDR для оплати вартості послуг з рендерингу, тоді як постачальники послуг заробляють винагороду RNDR, надаючи обчислювальну потужність для виконання завдань з рендерингу. Вартість послуг рендерингу динамічно коригується відповідно до поточного використання мережі та інших відповідних показників.

Виявляється, що візуалізація є гарно підходящим і встановленим випадком використання архітектури розподіленої обчислювальної потужності. Природа завдань візуалізації дозволяє їх сегментацію на кілька підзадач, які виконуються паралельно, мінімізуючи міжзадачову комунікацію та взаємодію. Цей підхід пом'якшує недоліки архітектури розподіленого обчислювання, використовуючи при цьому розгалужену мережу вузлів GPU для забезпечення ефективності витрат.

Попит на мережу Render великий, користувачі відтворили понад 16 мільйонів кадрів та майже 500 000 сцен на платформі з моменту її створення в 2017 році. Обсяг відтворюваних завдань та активних вузлів продовжує зростати. Більше того, в першому кварталі 2023 року мережа Render представила нативно інтегрований набір інструментів стабільності AI, що дозволяє користувачам включати операції стабільності дифузії. Це розширення поза операціями відтворення свідчить про стратегічний крок у сферу застосування штучного інтелекту.

2.Gensyn.ai

Gensyn працює як глобальна мережа суперкомп'ютерів, що спеціалізується на обчисленнях глибокого навчання, використовуючи протокол L1 Polkadot. У 2023 році платформа забезпечила $43 мільйонів у фінансуванні серії A, очолюваному a16z. Архітектурна структура Gensyn виходить за межі кластера розподіленої обчислювальної потужності і охоплює систему верифікації верхнього рівня. Ця система забезпечує, що обширні обчислення поза ланцюжком відповідають вимогам ланцюжка через верифікацію блокчейну, створюючи безпечну машинне навчання мережу.

Щодо розподіленої обчислювальної потужності, Gensyn об'єднує спектр пристроїв, від центрів обробки даних з запасною потужністю до особистих ноутбуків з потенційними графічними процесорами. Він об'єднує ці пристрої в єдиний віртуальний кластер, доступний розробникам для використання за запитом від однорідних до однорідних. Gensyn має на меті створити ринок, де ціни диктуються ринковими силами, сприяючи інклюзивності та дозволяючи витратам на обчислення ML досягати справедливого рівня.

Система верифікації є ключовим концептом для Gensyn, спрямованим на підтвердження точності завдань машинного навчання, що були вказані. Вона вводить інноваційний підхід до верифікації, який охоплює ймовірнісне доказове навчання, протокол точного позиціонування на основі графів та Truebit. Ці основні технічні функції ігрового стимулування пропонують покращену ефективність порівняно з традиційними методами верифікації блокчейну. До учасників мережі входять подавці, розв'язувачі, верифікатори та розкривачі правди, які спільно сприяють процесу верифікації.

На основі обширних даних тестування, детально описаних у білій книзі протоколу Gensyn, помітні переваги платформи включають:

• Зменшення витрат на навчання моделі штучного інтелекту: Протокол Gensyn пропонує обчислення, еквівалентне NVIDIA V100 за оцінкованою вартістю приблизно $0,40 на годину, що становить 80% економії в порівнянні із AWS в обчисленні на вимогу.
• Підвищена ефективність у мережі перевірки безпечності: Результати тестів, викладені в білій книзі, свідчать про значне покращення часу навчання моделі за допомогою протоколу Gensyn. Часові накладні витрати бачили помітне покращення на 1 350% порівняно з реплікацією Truebit та надзвичайне покращення на 2 522 477% порівняно з Ethereum.

Однак, паралельно, розподілена обчислювальна потужність призводить до неодмінного збільшення часу навчання порівняно з місцевим навчанням, зумовленого викликами у комунікації та мережі. Згідно з тестовими даними, протокол Gensyn призводить приблизно до 46% збільшення часу витрат під час навчання моделі.

3.мережа Akash

Akash Network працює як розподілена платформа обчислень у хмарах, яка інтегрує різноманітні технічні елементи, щоб користувачі могли ефективно розгортати та керувати додатками в децентралізованому хмарному середовищі. У суті, воно пропонує користувачам можливість орендувати розподілені обчислювальні ресурси.

У основі Akash лежить мережа постачальників інфраструктур, розподілених по всьому світу, які пропонують ресурси CPU, GPU, пам'ять та сховище. Ці постачальники надають ресурси для оренди користувачам через верхній кластер Kubernetes. Користувачі можуть розгортати додатки у вигляді контейнерів Docker для використання вигідних інфраструктурних послуг. Крім того, Akash реалізує підхід "обертового аукціону" для подальшого зниження цін на ресурси. Згідно з оцінками на офіційному веб-сайті Akash, вартість послуг платформи приблизно на 80% нижча, ніж у централізованих серверів.

4.io.net

io.net є децентралізованою обчислювальною мережею, яка пов'язує глобально розподілені GPU для забезпечення обчислювальної підтримки для тренування та мислення моделей штучного інтелекту. Недавно завершивши раунд фінансування серії A на суму 30 мільйонів доларів, платформа тепер може похвалитися оцінкою в 1 мільярд доларів.

Відокремлено від платформ, таких як Render та Akash, io.net виходить як міцна та масштабована децентралізована обчислювальна мережа, яка складно пов'язана з кількома рівнями інструментів розробника. Її ключові особливості охоплюють:

• Агрегація різноманітних обчислювальних ресурсів: Доступ до графічних процесорів від незалежних дата-центрів, криптовалютних майнерів та проектів, таких як Filecoin та Render.
• Основна підтримка для вимог штучного інтелекту: Основні сервісні можливості включають пакетне запитування та обслуговування моделей, паралельне навчання, налаштування гіперпараметрів та підсилене навчання.
• Розширений технологічний стек для покращених робочих процесів хмарного середовища: охоплює широкий спектр інструментів оркестрації, ML-фреймворки для розподілу обчислювальних ресурсів, виконання алгоритмів, навчання моделей, операції виведення, рішення для зберігання даних, моніторинг GPU та інструменти управління.
• Можливості паралельного обчислення: Інтеграція Ray, відкритого розподіленого обчислювального фреймворку, використовуючи вбудований паралелізм Ray для беззусильної паралельності Python функцій для динамічного виконання завдань. Його оперативне сховище даних сприяє швидкому обміну даними між завданнями, усуваючи затримки серіалізації. Крім того, io.net виходить за межі Python, інтегруючи інші важливі фреймворки машинного навчання, такі як PyTorch та TensorFlow, підвищуючи масштабованість.

Щодо ціноутворення, офіційний веб-сайт io.net оцінює, що їхні тарифи будуть приблизно на 90% нижчі, ніж у централізованих хмарних обчислювальних сервісів.

Крім того, власний токен io.net, IO coin, в основному буде використовуватися як засіб оплати та винагород у системі. Замість цього замовники можуть прийняти модель, схожу на Helium, перетворюючи IO coin на стабільну валюту "IOSD points" для проведення транзакцій.

Відмова від відповідальності:

1. Цю статтю перепечатано з [GateWanxiang Blockchain], оригінальний заголовок - «AI+Web3 Future Development Road (2) ): Infrastructure», авторське право належить оригінальному автору [Wanxiang Blockchain]. Якщо є скарги на цей перепечаток, будь ласка, зв'яжіться Gate Learn Team, і вони оперативно це вирішать.

2. Відповідальність за відмову: Погляди та думки, висловлені в цій статті, належать виключно автору і не становлять жодних інвестиційних порад.

3. Переклади статті на інші мови виконуються командою Gate Learn. Без згадування Gate.io, перекладена стаття не може бути відтворена, поширена або узята на плагіат.