«Серп» NVIDIA – це не чіп штучного інтелекту

Першоджерело: лабораторія на основі кремнію

Автор: Бай Цзяцзя

Джерело зображення: Створено Unbounded AI

NVIDIA знову опинилася на порозі, цього разу не через її стрімку продуктивність, а через «інше серце» штучного інтелекту, такого як Microsoft, OpenAI та Google, який тримав його на долоні.

Як повідомляє The Information, Microsoft планує випустити свій перший чіп, призначений для штучного інтелекту, на своїй щорічній конференції розробників наступного місяця. Чіп призначений для серверів центрів обробки даних, які навчають і запускають великі мовні моделі (LLM). OpenAI також вивчає можливість створення власних чіпів штучного інтелекту. Публічна інформація показує, що OpenAI інвестувала щонайменше в 3 компанії-виробники мікросхем.

Чип власної розробки Google TPU повторюється до покоління v5. Раніше аналітики повідомляли новину про те, що обчислювальні ресурси Google більше, ніж у OpenAI, Meta, Amazon, Oracle і CoreWeave разом узятих, і його перевага полягає в наявності великої кількості TPU.

** Чому ці компанії хочуть виробляти ядра, на ринку було проведено багато аналізів, головним чином тому, що ціни на графічні процесори NVIDIA занадто високі, а виробничих потужностей недостатньо. Очікується, що завдяки власноруч розробленим чіпам вона послабить цінову владу NVIDIA в галузі чіпів штучного інтелекту, і в той же час матиме більшу стратегічну автономію, ніж компанії без самостійно розроблених чіпів. **

Але чи дійсно чіпи власної розробки можуть змусити Nvidia уповільнити серп у руках?

Один факт полягає в тому, що графічний процесор H100 на ринку подорожчав удвічі порівняно з початковою ціною, а попит все ще перевищує пропозицію. Навіть Google, яка «запустила» свої чіпи власної розробки, все ще закуповує чіпи NVIDIA у великих кількостях.

Чому?

Тому що продажі графічних процесорів NVIDIA настільки яскраві, що їх часто просто визначають як компанію з виробництва апаратного забезпечення. Але багато людей не знають, що у NVIDIA більше інженерів-програмістів, ніж інженерів апаратного забезпечення.

Сенс цього речення полягає в тому, що справжній рів NVIDIA походить не від нескінченної появи нових чіпів (звичайно, це теж примітно), а від програмно-апаратної екології. **

CUDA, з іншого боку, є першим насипом цього рову.

Справжній туз NVIDIA - CUDA

Про це у 2019 році заявив генеральний директор NVIDIA Дженсен Хуанг, представляючи історію корпоративного розвитку в Технологічному інституті Мілуокі.

«Застосування за застосуванням, поле за науковим полем, від молекулярної динаміки, обчислювальної фізики до астрофізики, фізики елементарних частинок, фізики високих енергій, ці різні наукові галузі починають впроваджувати нашу технологію, тому що це найкраще рішення для руху вперед». І ми глибоко пишаємося цим внеском. "

**Ця технологія, якою пишається NVIDIA, є CUDA. **

CUDA — це архітектура паралельних обчислень, запущена NVIDIA, і саме з її благословення графічні процесори можуть перевершити процесори та стати основою для виконання обчислень великих даних сьогодні. При виконанні того ж завдання графічні процесори NVIDIA, які підтримують системи CUDA, в 10-100 разів швидші за процесори.

Чому в CUDA така магія?

Центральні та графічні процесори — це комп'ютерні процесори, які можуть виконувати обчислювальні завдання, різниця полягає в тому, що центральні процесори краще справляються з лінійними обчисленнями, тоді як графічні процесори краще справляються з паралельними обчисленнями. Поширена аналогія в індустрії полягає в тому, що CPU схожий на університетського професора, може самостійно вирішувати різні складні завдання, але якщо діяти крок за кроком, GPU схожий на групу учнів початкової школи, одноядерна обчислювальна потужність не така хороша, як CPU, але перемога полягає у великій кількості ядер, можна обчислити одночасно.

З іншого боку, CUDA є естафетною паличкою, яка мобілізує цю групу учнів початкової школи. ** За посередництва CUDA дослідники та програмісти можуть спілкуватися з апаратними засобами за допомогою мов програмування, щоб перетворити складні математичні задачі на кілька простих невеликих задач, які розподіляються на кілька обчислювальних ядер графічного процесора. **

Як сказав Хуанг, CUDA стала «найкращим рішенням для наукових розробок», а величезні обчислювальні потужності стали першим вибором для створення суперкомп'ютерів.

11 жовтня Національна лабораторія Оук-Рідж при Міністерстві енергетики США оголосила, що розроблений ними суперкомп'ютер «Summit» може виконувати пікові операції з плаваючою комою 2 мільярди разів на секунду, що майже вдвічі перевищує швидкість суперкомп'ютера «Sunway Taihu Light».

Цей гігант обчислювальної потужності оснащений майже 28 000 графічними процесорами NVIDIA. Національна лабораторія Оук-Рідж є першим інститутом, який прийняв пакет NVIDIA «CUDA+GPU».

Фактично, з тих пір, як NVIDIA запустила CUDA в 2006 році, всі галузі, пов'язані з комп'ютерними обчисленнями, були майже сформовані в форму NVIDIA. 80% досліджень в аерокосмічній галузі, біологічних дослідженнях, механічному та рідинному моделюванні, а також дослідженні енергії проводяться на основі CUDA.

** Більше того, через повальне захоплення великими моделями, масштаби екологічних співробітників CUDA все ще подвоюються. **

Згідно з річним звітом NVIDIA за 2023 фінансовий рік, наразі з CUDA працюють 4 мільйони розробників. За 12 років NVIDIA досягла 2 мільйонів розробників, подвоївши це число за останні два з половиною роки, а CUDA зараз завантажили понад 40 мільйонів разів.

У той же час NVIDIA продовжує розширювати екосистему CUDA і запустила колекцію бібліотек програмного прискорення CUDA-X AI. Побудовані на основі CUDA, ці бібліотеки надають можливості оптимізації, необхідні для глибокого навчання, машинного навчання та високопродуктивних обчислень, а також є наскрізними платформами для прискорення науки про дані.

Екосистема CUDA процвітає, і графічний процесор, який її доповнює, став першим вибором для споживачів, а NVIDIA заробила багато грошей. Однак перед обличчям такого великого шматка пирога конкуренти, природно, не можуть просто дивитися на нього.

Наприклад, AMD запустила екологічну платформу ROCm, яка також сумісна з багатьма обчислювальними фреймворками; Triton від OpenAI вважається найсильнішим суперником CUDA; OpenCL, архітектура з відкритим вихідним кодом, розроблена Apple і пізніше підтримувана Khronos Group, спирається на успіх CUDA і максимально підтримує багатоядерні процесори, графічні процесори або інші прискорювачі. Google використовує модель «TPU+TensorFlow + Cloud» для залучення розробників та розширення клієнтів.

Але ці «теоретичні» конкуренти на практиці виявили всілякі проблеми.

У лютому Ділан Пател, головний аналітик дослідницької та консалтингової фірми Semi Analysis, написав статтю під назвою «Як руйнується монополія Nvidia CUDA в машинному навчанні - OpenAI Triton і PyTorch 2.0».

У повідомленні статті програміст сказав:

"Я на це сподіваюся, але я дуже, дуже скептично налаштований. Все, що я використовую, побудовано на CUDA. Насправді, на обладнанні, відмінному від NVidia, немає жодних функцій. «Насправді ефективний» — це не те саме, що «теоретично ефективний». Багато речей, які я використовую, підтримують ROCm в теорії, але на практиці, коли ви намагаєтеся його використовувати, ви отримуєте великі і маленькі помилки, і він вилітає або не працює. "

** Зауваження передових дослідників доводять, що перед NVIDIA, яка займала лідируючі позиції як у програмному, так і в апаратному забезпеченні та освоювала ринок протягом майже 20 років, принаймні на даному етапі, жодна компанія не може конкурувати з нею в лоб. **

** Імперія NVIDIA, народжена з "Перевинайдення світу"**

Чому так сталося, що NVIDIA затиснула козир CUDA? Минуло майже 18 років з моменту запуску CUDA в 2006 році, чому рів NVIDIA не тільки не був порушений, але і став все ширшим і ширшим?

За цими питаннями стоїть стандартна передумова – CUDA – це «правильний» напрямок. А на початку 21 століття, коли NVIDIA була в розпачі, цю фразу Хуан Дженсен тисячами разів повторював акціонерам і ринку. **

Якщо ми хочемо прекрасний світ, перше, що потрібно зробити, це змоделювати його. У певному сенсі, ідея є джерелом ери графічних процесорів, імітуючи ці складні закони фізики та представляючи їх у вигляді картинок. Однак додатки, що імітують закони фізики, не будуть падати з неба, і його потрібно буде розробляти по черзі.

Тому, навіть якщо було показано, що обчислювальна потужність графічних процесорів, швидше за все, перевершить центральні процесори в майбутньому, відсутність додатків, процес програмування занадто громіздкий, а відсутність низькорівневого представлення мови все одно змушує програмістів триматися від нього подалі.

У 2003 році Intel представила 4-ядерний процесор, і для того, щоб конкурувати, NVIDIA почала розробляти технологію уніфікованої архітектури обчислювальних пристроїв, або CUDA.

Ідея була запропонована головним науковим співробітником доктором Девідом Кірком, який пізніше переконав Дженсена Хуанга в тому, що всі майбутні графічні процесори NVIDIA повинні підтримувати CUDA. Через свою важливу роль у галузі комп'ютерних високопродуктивних обчислень, Кірк пізніше був відомий як «батько CUDA» і був обраний до Національної інженерної академії.

** Всі ці нагороди є післямовою, і проблема, яку Хуангу потрібно було вирішити в той час, полягала в тому, як змусити акціонерів прийняти той факт, що вартість продукту повинна подвоїтися, щоб боротися за майбутнє, де термін окупності може становити більше 10 років. **

Фактично, сумніви навколо CUDA тривали до настання ери штучного інтелекту, а ринкова вартість NVIDIA протягом багатьох років коливалася на рівні $1 млрд, а ціна акцій навіть впала до $1,50 через тягар додаткових витрат CUDA. Акціонери неодноразово висловлювали надію на те, що зосередяться на підвищенні прибутковості.

У 2010 році за чутками, Intel, на той час король процесорів, планує придбати Nvidia. «Війни чіпів» описують: «Для Intel ціна [придбання Nvidia] не є проблемою, питання в тому, яку позицію віддати Хуан Цзеньсюню». Однак обидві сторони так і не дійшли згоди, і врешті-решт вона не була вирішена. "

**За всі ці роки ведмежої NVIDIA Хуанг жодного разу не поставив під сумнів цінність CUDA. **

Щоб спонукати розробників писати програми та продемонструвати переваги графічних процесорів, Хуанг спочатку використав графічні процесори GeForce, які на той час вже мали великий ринок для геймерів, як основу для встановлення CUDA. Тоді була створена конференція під назвою GTC, щоб невпинно просувати CUDA по всьому світу.

Один із найбільш хвалених випадків останніх років полягає в тому, що у 2016 році Хуан Цзеньсюнь особисто вирушив до створеної тоді OpenAI для спілкування та представив DGX-1, оснащений 8 чіпами P100, який на той час був найпотужнішим обчислювальним графічним процесором NVIDIA з плаваючою комою.

Цей інцидент часто трактують як старе бачення Хуана, але для нього це лише чергова спроба зробити так, щоб CUDA стала найбільш звичною структурою для передових наукових дослідників.

На противагу рішучості NVIDIA, це Intel.

Як король ери процесорів, Intel повинна була стати найбільш конкурентоспроможним конкурентом NVIDIA.

Однак, після скасування плану дискретної графіки для конвергенції центрального та графічного процесорів у 2010 році, Intel втратила інтерес до прямої зустрічі з NVIDIA (звичайно, можна сказати, що вона втратила довіру, оскільки нанопроцес застопорився). ** Спочатку намагалася придбати NVIDIA, а потім розвернулася і конкурувала з Qualcomm на ринку мобільного базового діапазону, коли в 2015 році прокотилася перша хвиля буму штучного інтелекту, Intel, яка прокинулася з великою мрією, однією рукою придбала компанію з виробництва мікросхем у напрямку штучного інтелекту, і включила чіп AMD у власний системний чіп.

На жаль, на той момент частка ринку NVIDIA перевищила 60%, монополія CUDA почала формуватися, і в області графічних процесорів Intel більше не мала права сидіти за одним столом з NVIDIA.

DPU та DOCA, нове поле битви NVIDIA

У 2020 році у венчурному колі був популярний жарт.

— Що таке ДПУ?

«Аліпай прибув, 100 мільйонів юанів».

Як тільки ключове слово DPU спрацює, гроші покотяться.

Цей виток лихоманки DPU – саме те, що запустила NVIDIA.

У першій половині 2020 року NVIDIA придбала ізраїльську компанію з виробництва мережевих мікросхем Mellanox Technologies за 6,9 мільярда доларів і того ж року випустила BlueField-2 DPU, визначивши його як «третій основний чіп» після центральних і графічних процесорів.

**Так що ж таке ДПУ? **

**Основною функцією DPU є заміна центрального процесора та створення обчислювальної архітектури, орієнтованої на дані. **

Як ми всі знаємо, повна назва CPU - це центральний процесор, який, крім виконання завдань запуску додатків і виконання обчислень, також грає роль контролера потоку даних, переміщуючи дані між графічними процесорами, накопичувачами, FPGA та іншими пристроями.

Можна просто зрозуміти, що після того, як директор кидає складну задачу, вчитель (ЦП) її розбиває, а складніша частина вирішується сама, і це легко, але громіздко роздати учням (ГПУ) зробити. Раніше кількість питань була відносно невеликою, і вчитель все одно міг її розділити. Однак зі збільшенням кількості питань час на розбиття та розподіл питань забирає багато часу вчителя.

У цей час наймання людини, яка спеціалізується на розбивці та розподілі тем, стало ключем до підвищення загальної обчислювальної ефективності системи. І ДПУ – це та людина.

** В останні роки, зі швидким зростанням будівництва центрів обробки даних, пропускної здатності мережі та обсягу даних, а також уповільненням зростання продуктивності процесорів, стає все важче адаптуватися до потреб майбутніх обчислювальних чіпів, і з'явилися DPU. **Саме так її визначає веб-сайт NVIDIA - DPU є передовою обчислювальною платформою для інфраструктури центрів обробки даних.

Подібно до того, як графічний процесор підтримується екосистемою CUDA, Хуан Цзеньсюнь також адаптував програмну екологію для DPU і одночасно запустив DCA.

За допомогою DOCA розробники можуть програмувати майбутню інфраструктуру центру обробки даних, створюючи програмно-визначені, хмарні сервіси з прискоренням DPU та підтримувати захист із нульовою довірою, щоб задовольнити зростаючі вимоги до продуктивності та безпеки сучасного центру обробки даних.

На відміну від CUDA, і без того успішній NVIDIA більше не потрібно ретельно доводити ринку своє унікальне бачення, оскільки лихоманки DPU в колі венчурного капіталу достатньо, щоб проілюструвати це.

Однак, поряд з цим, конкуренція на ринку DPU набагато жорсткіша, ніж у графічних процесорів. **

Серед зарубіжних виробників Marvell, Intel і AMD розробили продукти для вирівнювання DPU або DPU. У Китаї також з'явилася низка стартапів DPU, таких як Yunbao Intelligence, Zhongke Yushu, Xinqiyuan, Yunmai Xinlian, Nebulas Zhilian і Dayu Zhixin.

Що стосується хмарних постачальників, то AWS і Alibaba Cloud від Amazon досягли масштабної комерційної архітектури DPU, а Tencent і ByteDance приєдналися до армії досліджень і розробок DPU, з яких Tencent випустила два покоління DPU, Metasequoia і Yinshan.

Цього разу, чи зможе NVIDIA покластися на програмну та апаратну екологію DPU+DOCA, щоб відтворити диво GPU+CUDA?

**Конкуренція за обчислювальні потужності між країнами та підприємствами загострюється, і опоненти не позбавлені можливостей, коли виробничі потужності обмежені, а екосистема DOCA ще не сформована. **