Перед обличчям майбутнього протистояння чіпів зі штучним інтелектом багато стартапів з виробництва мікросхем прагнуть спробувати і сподіваються одним махом зламати монополію NVIDIA. А MI300 від AMD насправді працює краще, ніж H100 при розгортанні моделі GPT-4 з контекстним вікном 32K?
Протистояння чіпів зі штучним інтелектом наближається!
Яке майбутнє чекає на стартапи розробників апаратного забезпечення штучного інтелекту?
Генеральний директор Tenstorrent Девід Беннетт прямо заявив, що в нашій галузі більшість стартапів в кінцевому підсумку виходять з бізнесу.
Як ви виживаєте? Він радить стартапам залишатися гнучкими та не обмежуватися вузькими сценаріями використання.
Беннетт має на увазі не нішевий ринок, а широку групу з десятків компаній, від SiMa.ai до Cerebras. Разом вони залучили мільярди доларів венчурного капіталу, щоб протистояти лідеру ринку Nvidia.
Беннет знає про це. Більше десяти років працював у сфері продажів в AMD.
А його нинішнім роботодавцем, генеральним директором Tenstorrent, є Джим Келлер, легенда апаратного забезпечення. Він розробив процесори Apple A4 і A4, які підтримують iPhone 4 і iPad 2, і відповідав за апаратну роботу на безпілотних автомобілях Tesla з 2016 по 2018 рік.
Компанія Tenstorrent, яка залучила понад 300 мільйонів доларів від таких інвесторів, як Fidelity Ventures і Hyundai Motor, прислухалася до поради Беннетта і надала все, від чіпів до хмарних обчислень.
Беннетт сказав, що сьогоднішні стартапи з виробництва мікросхем приблизно розриваються між «створенням спеціального обладнання для ШІ» та «покладанням на переважаючу модель».
Недоліки NVIDIA: Складно робити чіпи з нуля
Історія стартапу графічних процесорів NVIDIA зі штучним інтелектом фактично дає сьогоднішнім стартапам з виробництва мікросхем перевагу.
Графічний процесор спочатку був розроблений для живлення комп'ютерної графіки, але лише завдяки своїй здатності виконувати кілька обчислень паралельно він залишив свій слід у програмах штучного інтелекту.
Однак сюрприз приніс і зворотний бік для Nvidia — тепер Nvidia важко створювати чіпи з нуля, не впливаючи на існуючий бізнес графічних процесорів, що дає стартапам, що розвиваються, можливість створювати нове обладнання, створене спеціально для штучного інтелекту.
Наприклад, інженери Tenstorrent розробили чіп Grayskull для майбутніх розріджених нейронних мереж, де можна видаляти зайву інформацію.
Тим не менш, Беннетт стверджує, що стартапи, орієнтовані на створення чіпів для великих мовних моделей, занадто тісно пов'язані з архітектурою Transformer.
У цій архітектурі моделі, засновані на трансформаторах, по суті, передбачають наступне слово, яке з найбільшою ймовірністю з'явиться, тому їх критикують за те, що вони генерують відповіді, засновані на ймовірності, а не на міркуваннях.
Це означає, що ці модельні архітектури можуть не пережити нинішній бум штучного інтелекту.
Адже сьогоднішні LLM відносно недовговічні через швидкі темпи розвитку. Моделі, які вчора були гарячими, можуть зникнути через тиждень-два.
Ще одна сфера, яка є дуже ризикованою для компаній-виробників обладнання, – це виробництво мікросхем спеціально для висновків.
Представником цього є розробник мікросхем D-Matrix, який планує випустити спеціальний чіп для висновків у першій половині наступного року.
На перший погляд, така стратегія здається непоганою. Користувачі генеративних додатків штучного інтелекту зараз все частіше використовують існуючі власні моделі або моделі з відкритим вихідним кодом, а не створюють власні моделі з нуля.
Через це багато людей вважають, що потрібно витрачати більше грошей на висновування моделей, а не на навчання моделей.
Хоча це може бути розумним кроком з точки зору бізнесу, Беннетт стверджує, що занадто вузьке зосередження на висновках може відбити у розробників обладнання бажання обслуговувати інші варіанти використання, які можуть бути більш популярними.
Наприклад, для низькоточних обчислень, необхідних для запуску моделі, достатньо мікросхеми чистого висновку.
Однак, якщо розробники хочуть тонко налаштувати великі моделі, їм, швидше за все, знадобляться чіпи, здатні обробляти більш точні обчислення.
Передові чіпи, що об'єднують графічні та центральні процесори
Щоб вижити в майбутньому протистоянні чіпів зі штучним інтелектом, розробникам чіпів потрібно змінити архітектуру своїх чіпів.
Сьогодні більшість чіпів відокремлюють графічний процесор від центрального процесора. Перший здатний виконувати кілька обчислень одночасно, тоді як другий відповідає за виконання більш загальних інструкцій і управління більш широким спектром системних операцій.
Однак все більше передових чіпів, таких як суперчіп Grace Hopper від Nvidia і майбутній MI300A від AMD, об'єднують графічні процесори та центральні процесори.
Таке компонування дозволяє центральному процесору швидше готувати дані та завантажувати їх на графічний процесор, що прискорює навчання моделі.
Крім того, однією з найбільших перешкод, з якою стикаються апаратні стартапи, якщо вони хочуть зламати домінування Nvidia на ринку, є перевага програмного забезпечення.
Програмне забезпечення Cuda від Nvidia, яке використовується для написання додатків машинного навчання, може працювати лише на власних чіпах. І це фактично блокує розробників у графічних процесорах Nvidia.
AMD MI300 запускає GPT-4 більше 6
Гегемонію Nvidia так важко похитнути?
Журналісти напіваналізу Ділан Патель і Майрон Сє нещодавно написали, що MI300 від AMD буде значно кращим за H100 від NVIDIA з точки зору продуктивності!
За їхніми словами, із запуском нового MI300 AMD знаходиться на межі того, щоб стати єдиним конкурентом Nvidia і Google в області висновків LLM.
На противагу цьому, такі компанії, як Groq, SambaNova, Intel, Amazon, Microsoft та інші, як і раніше, не можуть конкурувати з нею.
Крім того, AMD інвестує значні кошти у власне програмне забезпечення RoCM, екосистему PyTorch і Triton від OpenAI у відповідь на рів NVIDIA на базі CUDA.
У міру того, як такі компанії, як Databricks, AI21, Lamini та Moreph, почали використовувати графічні процесори AMD для висновків/навчання, власна екосистема AMD ставала все більш повною.
За словами інсайдерів галузі, MI300, який має більше відеопам'яті, краще працює при розгортанні моделі GPT-4 з контекстним вікном 32K.
Зокрема, перевага продуктивності MI300 над H100 становить від 20% до 25%, залежно від довжини контексту та довжини/кількості токенів, що виводяться на запит.
У поєднанні з нижчою ціною MI300 буде значно кращим за H100 або навіть H200 від NVIDIA з точки зору економічної ефективності.
###
Великі виробники розмістили замовлення
Наразі Microsoft, Meta, Oracle, Google, Supermicro/Quantadirect, Amazon та інші компанії розмістили замовлення з AMD на близько 205 000 одиниць MI300.
З них 120 000 присвячені Microsoft, 25 000 — Meta, 12 000 — Oracle, 8 000 — Google, 5 000 — Amazon і 35 000 — іншим.
А через величезний обсяг очікується, що ціна покупки Microsoft MI300 буде набагато нижчою, ніж у інших клієнтів.
Для того, щоб розрахувати дохід, який MI300 принесе AMD в наступному році, його необхідно проаналізувати з двох точок зору: скільки поставок AMD може забезпечити, і скільки замовлять великі клієнти.
Що стосується поставок, виробничі потужності MI300 будуть поступово збільшуватися протягом року, але оскільки Nvidia B100 почне поставлятися в другому кварталі і значно збільшиться в третьому кварталі з появою більш економічно ефективної версії з повітряним охолодженням, це в значній мірі вплине на поставки AMD в четвертому кварталі.
У той же час необхідно також враховувати виробництво HBM, виробництво CoWoS, виробництво упаковки та кожен прискорювач, вироблений з використанням CoWoS виробниками пам'яті, включаючи Nvidia, AMD, Google/Broadcom, Meta/Broadcom, Intel/Al Chip, Amazon/Al Chip, Amazon/Marvell, Microsoft/GUC тощо.
Незважаючи на це, галузь, як і раніше, очікує, що MI300X відвантажить 110 000 одиниць у четвертому кварталі.
З боку клієнтів Microsoft, Meta, Oracle, Google, Supermicro/Quantadirect і Amazon є основними джерелами замовлень, але є також деякі замовлення з інших частин ланцюжка поставок, включаючи деякі MI300A для додатків на основі HPC.
З точки зору прибутку, Nvidia не демонструє жодних ознак зниження цін, а лише збільшила ємність/пропускну здатність HBM, тоді як ціна залишається незмінною. І порівняно з маржею прибутку Nvidia понад 80%, маржа прибутку AMD на MI300 ледве перевищує 50%.
Генеральний директор AMD Ліза Су заявила, що, виходячи зі швидкого прогресу компанії в галузі штучного інтелекту та зобов'язань клієнтів хмарних обчислень, очікується, що дохід від графічних процесорів центрів обробки даних досягне 400 мільйонів доларів у четвертому кварталі та перевищить 2 мільярди доларів у 2024 році.
Це збільшення також зробить MI300 найшвидшим продуктом в історії AMD, продажі якого досягнуть 1 мільярда доларів.
У зв'язку з цим індустрія більш оптимістично налаштована щодо продажів MI300X, які, як очікується, досягнуть $3,5 млрд.
Судячи з поточної ринкової частки AMD менше 0,1% у сфері навчання та висновків LLM, ринкова частка AMD у сфері центрів обробки даних продовжуватиме неухильно зростати.
Ресурси:
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Історія AMD MI300 Nvidia H100? Продуктивність GPT-4 перевищує 25%, і ось-ось розпочнеться протистояння чіпів зі штучним інтелектом
Джерело статті: Новий Чжиюань
Протистояння чіпів зі штучним інтелектом наближається!
Яке майбутнє чекає на стартапи розробників апаратного забезпечення штучного інтелекту?
Генеральний директор Tenstorrent Девід Беннетт прямо заявив, що в нашій галузі більшість стартапів в кінцевому підсумку виходять з бізнесу.
Як ви виживаєте? Він радить стартапам залишатися гнучкими та не обмежуватися вузькими сценаріями використання.
Беннетт має на увазі не нішевий ринок, а широку групу з десятків компаній, від SiMa.ai до Cerebras. Разом вони залучили мільярди доларів венчурного капіталу, щоб протистояти лідеру ринку Nvidia.
Беннет знає про це. Більше десяти років працював у сфері продажів в AMD.
А його нинішнім роботодавцем, генеральним директором Tenstorrent, є Джим Келлер, легенда апаратного забезпечення. Він розробив процесори Apple A4 і A4, які підтримують iPhone 4 і iPad 2, і відповідав за апаратну роботу на безпілотних автомобілях Tesla з 2016 по 2018 рік.
Беннетт сказав, що сьогоднішні стартапи з виробництва мікросхем приблизно розриваються між «створенням спеціального обладнання для ШІ» та «покладанням на переважаючу модель».
Недоліки NVIDIA: Складно робити чіпи з нуля
Історія стартапу графічних процесорів NVIDIA зі штучним інтелектом фактично дає сьогоднішнім стартапам з виробництва мікросхем перевагу.
Графічний процесор спочатку був розроблений для живлення комп'ютерної графіки, але лише завдяки своїй здатності виконувати кілька обчислень паралельно він залишив свій слід у програмах штучного інтелекту.
Однак сюрприз приніс і зворотний бік для Nvidia — тепер Nvidia важко створювати чіпи з нуля, не впливаючи на існуючий бізнес графічних процесорів, що дає стартапам, що розвиваються, можливість створювати нове обладнання, створене спеціально для штучного інтелекту.
Наприклад, інженери Tenstorrent розробили чіп Grayskull для майбутніх розріджених нейронних мереж, де можна видаляти зайву інформацію.
У цій архітектурі моделі, засновані на трансформаторах, по суті, передбачають наступне слово, яке з найбільшою ймовірністю з'явиться, тому їх критикують за те, що вони генерують відповіді, засновані на ймовірності, а не на міркуваннях.
Це означає, що ці модельні архітектури можуть не пережити нинішній бум штучного інтелекту.
Адже сьогоднішні LLM відносно недовговічні через швидкі темпи розвитку. Моделі, які вчора були гарячими, можуть зникнути через тиждень-два.
Ще одна сфера, яка є дуже ризикованою для компаній-виробників обладнання, – це виробництво мікросхем спеціально для висновків.
Представником цього є розробник мікросхем D-Matrix, який планує випустити спеціальний чіп для висновків у першій половині наступного року.
Через це багато людей вважають, що потрібно витрачати більше грошей на висновування моделей, а не на навчання моделей.
Хоча це може бути розумним кроком з точки зору бізнесу, Беннетт стверджує, що занадто вузьке зосередження на висновках може відбити у розробників обладнання бажання обслуговувати інші варіанти використання, які можуть бути більш популярними.
Наприклад, для низькоточних обчислень, необхідних для запуску моделі, достатньо мікросхеми чистого висновку.
Однак, якщо розробники хочуть тонко налаштувати великі моделі, їм, швидше за все, знадобляться чіпи, здатні обробляти більш точні обчислення.
Передові чіпи, що об'єднують графічні та центральні процесори
Щоб вижити в майбутньому протистоянні чіпів зі штучним інтелектом, розробникам чіпів потрібно змінити архітектуру своїх чіпів.
Сьогодні більшість чіпів відокремлюють графічний процесор від центрального процесора. Перший здатний виконувати кілька обчислень одночасно, тоді як другий відповідає за виконання більш загальних інструкцій і управління більш широким спектром системних операцій.
Однак все більше передових чіпів, таких як суперчіп Grace Hopper від Nvidia і майбутній MI300A від AMD, об'єднують графічні процесори та центральні процесори.
Таке компонування дозволяє центральному процесору швидше готувати дані та завантажувати їх на графічний процесор, що прискорює навчання моделі.
Крім того, однією з найбільших перешкод, з якою стикаються апаратні стартапи, якщо вони хочуть зламати домінування Nvidia на ринку, є перевага програмного забезпечення.
Програмне забезпечення Cuda від Nvidia, яке використовується для написання додатків машинного навчання, може працювати лише на власних чіпах. І це фактично блокує розробників у графічних процесорах Nvidia.
AMD MI300 запускає GPT-4 більше 6
Гегемонію Nvidia так важко похитнути?
Журналісти напіваналізу Ділан Патель і Майрон Сє нещодавно написали, що MI300 від AMD буде значно кращим за H100 від NVIDIA з точки зору продуктивності!
На противагу цьому, такі компанії, як Groq, SambaNova, Intel, Amazon, Microsoft та інші, як і раніше, не можуть конкурувати з нею.
Крім того, AMD інвестує значні кошти у власне програмне забезпечення RoCM, екосистему PyTorch і Triton від OpenAI у відповідь на рів NVIDIA на базі CUDA.
У міру того, як такі компанії, як Databricks, AI21, Lamini та Moreph, почали використовувати графічні процесори AMD для висновків/навчання, власна екосистема AMD ставала все більш повною.
За словами інсайдерів галузі, MI300, який має більше відеопам'яті, краще працює при розгортанні моделі GPT-4 з контекстним вікном 32K.
У поєднанні з нижчою ціною MI300 буде значно кращим за H100 або навіть H200 від NVIDIA з точки зору економічної ефективності.
Великі виробники розмістили замовлення
Наразі Microsoft, Meta, Oracle, Google, Supermicro/Quantadirect, Amazon та інші компанії розмістили замовлення з AMD на близько 205 000 одиниць MI300.
З них 120 000 присвячені Microsoft, 25 000 — Meta, 12 000 — Oracle, 8 000 — Google, 5 000 — Amazon і 35 000 — іншим.
А через величезний обсяг очікується, що ціна покупки Microsoft MI300 буде набагато нижчою, ніж у інших клієнтів.
Що стосується поставок, виробничі потужності MI300 будуть поступово збільшуватися протягом року, але оскільки Nvidia B100 почне поставлятися в другому кварталі і значно збільшиться в третьому кварталі з появою більш економічно ефективної версії з повітряним охолодженням, це в значній мірі вплине на поставки AMD в четвертому кварталі.
У той же час необхідно також враховувати виробництво HBM, виробництво CoWoS, виробництво упаковки та кожен прискорювач, вироблений з використанням CoWoS виробниками пам'яті, включаючи Nvidia, AMD, Google/Broadcom, Meta/Broadcom, Intel/Al Chip, Amazon/Al Chip, Amazon/Marvell, Microsoft/GUC тощо.
Незважаючи на це, галузь, як і раніше, очікує, що MI300X відвантажить 110 000 одиниць у четвертому кварталі.
З точки зору прибутку, Nvidia не демонструє жодних ознак зниження цін, а лише збільшила ємність/пропускну здатність HBM, тоді як ціна залишається незмінною. І порівняно з маржею прибутку Nvidia понад 80%, маржа прибутку AMD на MI300 ледве перевищує 50%.
Це збільшення також зробить MI300 найшвидшим продуктом в історії AMD, продажі якого досягнуть 1 мільярда доларів.
У зв'язку з цим індустрія більш оптимістично налаштована щодо продажів MI300X, які, як очікується, досягнуть $3,5 млрд.
Судячи з поточної ринкової частки AMD менше 0,1% у сфері навчання та висновків LLM, ринкова частка AMD у сфері центрів обробки даних продовжуватиме неухильно зростати.