Đối mặt với cuộc cạnh tranh chip AI sắp tới, nhiều công ty khởi nghiệp chip đang háo hức thử và hy vọng phá vỡ sự độc quyền của NVIDIA trong một cú trượt ngã. Và MI300 của AMD thực sự hoạt động tốt hơn H100 khi triển khai mô hình GPT-4 với cửa sổ ngữ cảnh 32K?
Cuộc so tài chip AI đang đến!
Tương lai sẽ ra sao đối với các công ty khởi nghiệp phát triển phần cứng AI?
Giám đốc điều hành Tenstorrent David Bennett thẳng thắn tuyên bố rằng trong ngành của chúng tôi, hầu hết các công ty khởi nghiệp cuối cùng đều phá sản.
Làm thế nào để bạn sống sót? Ông khuyên các công ty khởi nghiệp nên linh hoạt và tránh giới hạn bản thân trong các trường hợp sử dụng hẹp.
Bennett không đề cập đến một thị trường ngách, mà là một nhóm rộng lớn gồm hàng chục công ty, từ SiMa.ai đến Cerebras. Cùng nhau, họ đã huy động được hàng tỷ đô la vốn đầu tư mạo hiểm để đối đầu với công ty dẫn đầu thị trường, Nvidia.
Bennett biết điều này. Ông đã làm việc trong lĩnh vực bán hàng tại AMD trong hơn một thập kỷ.
Và chủ nhân hiện tại của ông, CEO của Tenstorrent, là Jim Keller, một huyền thoại phần cứng. Ông đã phát triển bộ vi xử lý A4 và A4 của Apple hỗ trợ iPhone 4 và iPad 2, đồng thời chịu trách nhiệm về công việc phần cứng trên những chiếc xe tự lái của Tesla từ năm 2016 đến năm 2018.
Tenstorrent, công ty đã huy động được hơn 300 triệu USD từ các nhà đầu tư như Fidelity Ventures và Hyundai Motor, đã làm theo lời khuyên của Bennett để cung cấp mọi thứ từ chip đến điện toán đám mây.
Bennett nói rằng các công ty khởi nghiệp chip ngày nay gần như bị giằng xé giữa việc "tạo ra phần cứng chuyên dụng cho AI" và "dựa vào mô hình hiện hành".
**Nhược điểm của NVIDIA: Rất khó để chế tạo chip từ đầu **
Câu chuyện về công ty khởi nghiệp GPU chip AI của NVIDIA thực sự mang lại lợi thế cho các công ty khởi nghiệp chip ngày nay.
Bộ xử lý đồ họa ban đầu được thiết kế để cung cấp năng lượng cho đồ họa máy tính, nhưng chỉ vì khả năng thực hiện nhiều phép tính song song mà nó đã tạo được dấu ấn trong các ứng dụng AI.
Tuy nhiên, điều bất ngờ cũng mang lại nhược điểm cho Nvidia - giờ đây rất khó để Nvidia xây dựng chip từ đầu mà không ảnh hưởng đến hoạt động kinh doanh GPU hiện tại của mình, điều này mang lại cho các công ty khởi nghiệp mới nổi cơ hội xây dựng phần cứng mới được xây dựng đặc biệt cho AI.
Ví dụ, các kỹ sư của Tenstorrent đã thiết kế chip Grayskull cho các mạng thần kinh thưa thớt trong tương lai, nơi thông tin dư thừa có thể được loại bỏ.
Tuy nhiên, Bennett lập luận rằng các công ty khởi nghiệp tập trung vào việc xây dựng chip cho các mô hình ngôn ngữ lớn bị ràng buộc quá chặt chẽ với kiến trúc Transformer .
Trong kiến trúc này, các mô hình dựa trên Transformer về cơ bản dự đoán từ tiếp theo có nhiều khả năng xuất hiện nhất, vì vậy chúng đã bị chỉ trích vì tạo ra các phản ứng dựa trên xác suất hơn là lý luận.
Điều này có nghĩa là các kiến trúc mô hình này có thể không tồn tại trong sự bùng nổ AI hiện tại.
Xét cho cùng, LLM ngày nay tương đối ngắn ngủi do tốc độ phát triển nhanh chóng. Các mô hình nóng ngày hôm qua có thể biến mất trong một hoặc hai tuần.
Một lĩnh vực khác rất rủi ro đối với các công ty phần cứng là sản xuất chip đặc biệt để suy luận.
Một đại diện của điều này là nhà phát triển chip D-Matrix, có kế hoạch phát hành một con chip chuyên dụng để suy luận trong nửa đầu năm tới.
Thoạt nhìn, chiến lược này có vẻ tốt. Người dùng các ứng dụng AI tạo ra hiện đang ngày càng tận dụng các mô hình nguồn mở hoặc độc quyền hiện có, thay vì xây dựng các mô hình của riêng họ từ đầu.
Bởi vì điều này, nhiều người tin rằng nên chi nhiều tiền hơn cho suy luận mô hình hơn là đào tạo mô hình.
Mặc dù đây có thể là một bước đi thông minh từ góc độ kinh doanh, Bennett lập luận rằng việc tập trung quá hẹp vào suy luận có thể ngăn cản các nhà phát triển phần cứng phục vụ các trường hợp sử dụng khác có thể phổ biến hơn.
Ví dụ, đối với các tính toán có độ chính xác thấp cần thiết để chạy mô hình, một chip suy luận thuần túy là đủ.
Tuy nhiên, nếu các nhà phát triển muốn tinh chỉnh các mô hình lớn, rất có thể họ sẽ cần chip có thể xử lý các tính toán chính xác cao hơn.
** Chip tiên tiến, kết hợp GPU và CPU lại với nhau **
Để tồn tại trong cuộc cạnh tranh chip AI sắp tới, các nhà phát triển chip cần thay đổi kiến trúc chip của họ.
Ngày nay, hầu hết các chip đều tách GPU ra khỏi CPU. Cái trước có khả năng thực hiện nhiều phép tính đồng thời, trong khi cái sau chịu trách nhiệm thực hiện các lệnh chung hơn và quản lý một phạm vi hoạt động hệ thống rộng hơn.
Tuy nhiên, ngày càng có nhiều chip tiên tiến, chẳng hạn như siêu chip Grace Hopper của Nvidia và MI300A sắp tới của AMD, đang kết hợp GPU và CPU lại với nhau.
Bố cục này cho phép CPU chuẩn bị dữ liệu nhanh hơn và tải dữ liệu lên GPU, giúp tăng tốc độ đào tạo mô hình.
Ngoài ra, một trong những rào cản lớn nhất mà các công ty khởi nghiệp phần cứng phải đối mặt nếu họ muốn phá vỡ sự thống trị thị trường của Nvidia là lợi thế phần mềm.
Phần mềm Cuda của Nvidia, được sử dụng để viết các ứng dụng học máy, chỉ có thể chạy trên chip của riêng mình. Và điều này có hiệu quả khóa các nhà phát triển vào GPU Nvidia.
**AMD MI300 chạy GPT-4 hơn 6 **
Quyền bá chủ của Nvidia khó lung lay?
Các phóng viên bán phân tích Dylan Patel và Myron Xie gần đây đã đăng rằng MI300 của AMD sẽ tốt hơn đáng kể so với H100 của NVIDIA về hiệu suất chi phí!
Với sự ra mắt của MI300 mới, AMD đang trên đà trở thành đối thủ cạnh tranh duy nhất của Nvidia và Google trong lĩnh vực suy luận LLM.
Ngược lại, các công ty như Groq, SambaNova, Intel, Amazon, Microsoft và các công ty khác vẫn không thể cạnh tranh với nó.
Ngoài ra, AMD đã đầu tư rất nhiều vào phần mềm RoCM của riêng mình, hệ sinh thái PyTorch và Triton của OpenAI để đáp ứng với hào nước dựa trên CUDA của NVIDIA.
Khi các công ty như Databricks, AI21, Lamini và Moreph bắt đầu sử dụng GPU AMD để suy luận / đào tạo, hệ sinh thái riêng của AMD ngày càng trở nên hoàn thiện hơn.
Theo những người trong ngành, MI300, có nhiều bộ nhớ video hơn, hoạt động tốt hơn khi triển khai mô hình GPT-4 với cửa sổ ngữ cảnh 32K.
Cụ thể, lợi thế hiệu suất của MI300 so với H100 là từ 20% đến 25%, tùy thuộc vào độ dài ngữ cảnh và độ dài / số lượng mã thông báo đầu ra cho mỗi truy vấn.
Cùng với mức giá thấp hơn, MI300 sẽ tốt hơn đáng kể so với H100 của NVIDIA hoặc thậm chí H200 về hiệu suất chi phí.
###
** Các nhà sản xuất lớn đã đặt hàng **
Hiện tại, Microsoft, Meta, Oracle, Google, Supermicro / Quantadirect, Amazon và các công ty khác đã đặt hàng với AMD cho khoảng 205.000 đơn vị MI300.
Trong số này, 120.000 dành riêng cho Microsoft, 25.000 cho Meta, 12.000 cho Oracle, 8.000 cho Google, 5.000 cho Amazon và 35.000 cho những người khác.
Và vì khối lượng khổng lồ, giá mua MI300 của Microsoft dự kiến sẽ thấp hơn nhiều so với các khách hàng khác.
Để tính toán doanh thu mà MI300 sẽ mang lại cho AMD trong năm tới, nó cần được phân tích từ hai góc độ: AMD có thể đảm bảo bao nhiêu nguồn cung và bao nhiêu khách hàng lớn sẽ đặt hàng.
Về phía cung, năng lực sản xuất MI300 sẽ tăng dần trong năm, nhưng vì Nvidia B100 sẽ bắt đầu xuất xưởng vào quý II và tăng đáng kể trong quý III với việc giới thiệu phiên bản làm mát bằng không khí hiệu quả hơn về chi phí, điều này sẽ ảnh hưởng lớn đến các lô hàng của AMD trong quý IV.
Đồng thời, cũng cần xem xét việc sản xuất HBM, sản xuất CoWoS, sản xuất bao bì và từng máy gia tốc được sản xuất bằng CoWoS bởi các nhà sản xuất bộ nhớ, bao gồm Nvidia, AMD, Google / Broadcom, Meta / Broadcom, Intel / Al Chip, Amazon / Al Chip, Amazon / Marvell, Microsoft / GUC, v.v.
Mặc dù vậy, ngành công nghiệp vẫn kỳ vọng MI300X sẽ xuất xưởng 110.000 chiếc trong quý IV.
Về phía khách hàng, Microsoft, Meta, Oracle, Google, Supermicro / Quantadirect và Amazon là những nguồn đơn đặt hàng chính, nhưng cũng có một số đơn đặt hàng từ các bộ phận khác của chuỗi cung ứng, bao gồm một số MI300A cho các ứng dụng dựa trên HPC.
Về lợi nhuận, Nvidia chưa có dấu hiệu giảm giá mà chỉ tăng dung lượng/băng thông HBM trong khi giá vẫn giữ nguyên. Và so với biên lợi nhuận hơn 80% của Nvidia, biên lợi nhuận của AMD trên MI300 chỉ hơn 50%.
Giám đốc điều hành AMD Lisa Su cho biết, dựa trên sự tiến bộ nhanh chóng của công ty trong lĩnh vực AI và cam kết mua hàng của khách hàng điện toán đám mây, doanh thu GPU trung tâm dữ liệu dự kiến sẽ đạt 400 triệu USD trong quý IV và vượt 2 tỷ USD vào năm 2024.
Sự gia tăng này cũng sẽ khiến MI300 trở thành sản phẩm nhanh nhất trong lịch sử AMD đạt doanh thu 1 tỷ USD.
Về vấn đề này, ngành công nghiệp lạc quan hơn về doanh số của MI300X, dự kiến sẽ đạt 3,5 tỷ USD.
Đánh giá từ thị phần hiện tại của AMD dưới 0,1% trong không gian đào tạo và suy luận LLM, thị phần của AMD trong lĩnh vực trung tâm dữ liệu sẽ tiếp tục tăng trưởng ổn định.
Tài nguyên:
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
AMD MI300 truyền thuyết Nvidia H100? Hiệu suất của GPT-4 vượt quá 25% và cuộc so tài chip AI sắp bắt đầu
Nguồn bài viết: New Zhiyuan
Cuộc so tài chip AI đang đến!
Tương lai sẽ ra sao đối với các công ty khởi nghiệp phát triển phần cứng AI?
Giám đốc điều hành Tenstorrent David Bennett thẳng thắn tuyên bố rằng trong ngành của chúng tôi, hầu hết các công ty khởi nghiệp cuối cùng đều phá sản.
Làm thế nào để bạn sống sót? Ông khuyên các công ty khởi nghiệp nên linh hoạt và tránh giới hạn bản thân trong các trường hợp sử dụng hẹp.
Bennett không đề cập đến một thị trường ngách, mà là một nhóm rộng lớn gồm hàng chục công ty, từ SiMa.ai đến Cerebras. Cùng nhau, họ đã huy động được hàng tỷ đô la vốn đầu tư mạo hiểm để đối đầu với công ty dẫn đầu thị trường, Nvidia.
Bennett biết điều này. Ông đã làm việc trong lĩnh vực bán hàng tại AMD trong hơn một thập kỷ.
Và chủ nhân hiện tại của ông, CEO của Tenstorrent, là Jim Keller, một huyền thoại phần cứng. Ông đã phát triển bộ vi xử lý A4 và A4 của Apple hỗ trợ iPhone 4 và iPad 2, đồng thời chịu trách nhiệm về công việc phần cứng trên những chiếc xe tự lái của Tesla từ năm 2016 đến năm 2018.
Bennett nói rằng các công ty khởi nghiệp chip ngày nay gần như bị giằng xé giữa việc "tạo ra phần cứng chuyên dụng cho AI" và "dựa vào mô hình hiện hành".
**Nhược điểm của NVIDIA: Rất khó để chế tạo chip từ đầu **
Câu chuyện về công ty khởi nghiệp GPU chip AI của NVIDIA thực sự mang lại lợi thế cho các công ty khởi nghiệp chip ngày nay.
Bộ xử lý đồ họa ban đầu được thiết kế để cung cấp năng lượng cho đồ họa máy tính, nhưng chỉ vì khả năng thực hiện nhiều phép tính song song mà nó đã tạo được dấu ấn trong các ứng dụng AI.
Tuy nhiên, điều bất ngờ cũng mang lại nhược điểm cho Nvidia - giờ đây rất khó để Nvidia xây dựng chip từ đầu mà không ảnh hưởng đến hoạt động kinh doanh GPU hiện tại của mình, điều này mang lại cho các công ty khởi nghiệp mới nổi cơ hội xây dựng phần cứng mới được xây dựng đặc biệt cho AI.
Ví dụ, các kỹ sư của Tenstorrent đã thiết kế chip Grayskull cho các mạng thần kinh thưa thớt trong tương lai, nơi thông tin dư thừa có thể được loại bỏ.
Trong kiến trúc này, các mô hình dựa trên Transformer về cơ bản dự đoán từ tiếp theo có nhiều khả năng xuất hiện nhất, vì vậy chúng đã bị chỉ trích vì tạo ra các phản ứng dựa trên xác suất hơn là lý luận.
Điều này có nghĩa là các kiến trúc mô hình này có thể không tồn tại trong sự bùng nổ AI hiện tại.
Xét cho cùng, LLM ngày nay tương đối ngắn ngủi do tốc độ phát triển nhanh chóng. Các mô hình nóng ngày hôm qua có thể biến mất trong một hoặc hai tuần.
Một lĩnh vực khác rất rủi ro đối với các công ty phần cứng là sản xuất chip đặc biệt để suy luận.
Một đại diện của điều này là nhà phát triển chip D-Matrix, có kế hoạch phát hành một con chip chuyên dụng để suy luận trong nửa đầu năm tới.
Bởi vì điều này, nhiều người tin rằng nên chi nhiều tiền hơn cho suy luận mô hình hơn là đào tạo mô hình.
Mặc dù đây có thể là một bước đi thông minh từ góc độ kinh doanh, Bennett lập luận rằng việc tập trung quá hẹp vào suy luận có thể ngăn cản các nhà phát triển phần cứng phục vụ các trường hợp sử dụng khác có thể phổ biến hơn.
Ví dụ, đối với các tính toán có độ chính xác thấp cần thiết để chạy mô hình, một chip suy luận thuần túy là đủ.
Tuy nhiên, nếu các nhà phát triển muốn tinh chỉnh các mô hình lớn, rất có thể họ sẽ cần chip có thể xử lý các tính toán chính xác cao hơn.
** Chip tiên tiến, kết hợp GPU và CPU lại với nhau **
Để tồn tại trong cuộc cạnh tranh chip AI sắp tới, các nhà phát triển chip cần thay đổi kiến trúc chip của họ.
Ngày nay, hầu hết các chip đều tách GPU ra khỏi CPU. Cái trước có khả năng thực hiện nhiều phép tính đồng thời, trong khi cái sau chịu trách nhiệm thực hiện các lệnh chung hơn và quản lý một phạm vi hoạt động hệ thống rộng hơn.
Tuy nhiên, ngày càng có nhiều chip tiên tiến, chẳng hạn như siêu chip Grace Hopper của Nvidia và MI300A sắp tới của AMD, đang kết hợp GPU và CPU lại với nhau.
Bố cục này cho phép CPU chuẩn bị dữ liệu nhanh hơn và tải dữ liệu lên GPU, giúp tăng tốc độ đào tạo mô hình.
Ngoài ra, một trong những rào cản lớn nhất mà các công ty khởi nghiệp phần cứng phải đối mặt nếu họ muốn phá vỡ sự thống trị thị trường của Nvidia là lợi thế phần mềm.
Phần mềm Cuda của Nvidia, được sử dụng để viết các ứng dụng học máy, chỉ có thể chạy trên chip của riêng mình. Và điều này có hiệu quả khóa các nhà phát triển vào GPU Nvidia.
**AMD MI300 chạy GPT-4 hơn 6 **
Quyền bá chủ của Nvidia khó lung lay?
Các phóng viên bán phân tích Dylan Patel và Myron Xie gần đây đã đăng rằng MI300 của AMD sẽ tốt hơn đáng kể so với H100 của NVIDIA về hiệu suất chi phí!
Ngược lại, các công ty như Groq, SambaNova, Intel, Amazon, Microsoft và các công ty khác vẫn không thể cạnh tranh với nó.
Ngoài ra, AMD đã đầu tư rất nhiều vào phần mềm RoCM của riêng mình, hệ sinh thái PyTorch và Triton của OpenAI để đáp ứng với hào nước dựa trên CUDA của NVIDIA.
Khi các công ty như Databricks, AI21, Lamini và Moreph bắt đầu sử dụng GPU AMD để suy luận / đào tạo, hệ sinh thái riêng của AMD ngày càng trở nên hoàn thiện hơn.
Theo những người trong ngành, MI300, có nhiều bộ nhớ video hơn, hoạt động tốt hơn khi triển khai mô hình GPT-4 với cửa sổ ngữ cảnh 32K.
Cùng với mức giá thấp hơn, MI300 sẽ tốt hơn đáng kể so với H100 của NVIDIA hoặc thậm chí H200 về hiệu suất chi phí.
** Các nhà sản xuất lớn đã đặt hàng **
Hiện tại, Microsoft, Meta, Oracle, Google, Supermicro / Quantadirect, Amazon và các công ty khác đã đặt hàng với AMD cho khoảng 205.000 đơn vị MI300.
Trong số này, 120.000 dành riêng cho Microsoft, 25.000 cho Meta, 12.000 cho Oracle, 8.000 cho Google, 5.000 cho Amazon và 35.000 cho những người khác.
Và vì khối lượng khổng lồ, giá mua MI300 của Microsoft dự kiến sẽ thấp hơn nhiều so với các khách hàng khác.
Về phía cung, năng lực sản xuất MI300 sẽ tăng dần trong năm, nhưng vì Nvidia B100 sẽ bắt đầu xuất xưởng vào quý II và tăng đáng kể trong quý III với việc giới thiệu phiên bản làm mát bằng không khí hiệu quả hơn về chi phí, điều này sẽ ảnh hưởng lớn đến các lô hàng của AMD trong quý IV.
Đồng thời, cũng cần xem xét việc sản xuất HBM, sản xuất CoWoS, sản xuất bao bì và từng máy gia tốc được sản xuất bằng CoWoS bởi các nhà sản xuất bộ nhớ, bao gồm Nvidia, AMD, Google / Broadcom, Meta / Broadcom, Intel / Al Chip, Amazon / Al Chip, Amazon / Marvell, Microsoft / GUC, v.v.
Mặc dù vậy, ngành công nghiệp vẫn kỳ vọng MI300X sẽ xuất xưởng 110.000 chiếc trong quý IV.
Về lợi nhuận, Nvidia chưa có dấu hiệu giảm giá mà chỉ tăng dung lượng/băng thông HBM trong khi giá vẫn giữ nguyên. Và so với biên lợi nhuận hơn 80% của Nvidia, biên lợi nhuận của AMD trên MI300 chỉ hơn 50%.
Sự gia tăng này cũng sẽ khiến MI300 trở thành sản phẩm nhanh nhất trong lịch sử AMD đạt doanh thu 1 tỷ USD.
Về vấn đề này, ngành công nghiệp lạc quan hơn về doanh số của MI300X, dự kiến sẽ đạt 3,5 tỷ USD.
Đánh giá từ thị phần hiện tại của AMD dưới 0,1% trong không gian đào tạo và suy luận LLM, thị phần của AMD trong lĩnh vực trung tâm dữ liệu sẽ tiếp tục tăng trưởng ổn định.