"Liềm" của NVIDIA không phải là chip AI

Nguồn gốc: Phòng thí nghiệm dựa trên silicon

Tác giả: Bai Jiajia

Nguồn hình ảnh: Được tạo bởi Unbounded AI

NVIDIA đã một lần nữa được đặt lên đỉnh, lần này không phải vì hiệu suất tăng vọt, mà vì "trái tim khác biệt" của trí tuệ nhân tạo như Microsoft, OpenAI và Google, những người đã nắm giữ nó trong lòng bàn tay.

Theo The Information, Microsoft có kế hoạch ra mắt chip đầu tiên được thiết kế cho trí tuệ nhân tạo tại hội nghị nhà phát triển hàng năm vào tháng tới. Con chip này được thiết kế cho các máy chủ trung tâm dữ liệu đào tạo và chạy các mô hình ngôn ngữ lớn (LLM). OpenAI cũng đang khám phá việc tạo ra chip AI của riêng mình. Thông tin công khai cho thấy OpenAI đã đầu tư vào ít nhất 3 công ty chip.

TPU chip tự phát triển của Google được lặp lại sang thế hệ v5. Trước đây, các nhà phân tích đã phá vỡ tin tức rằng tài nguyên sức mạnh tính toán của Google nhiều hơn OpenAI, Meta, Amazon, Oracle và CoreWeave cộng lại, và lợi thế của nó đến từ việc có một số lượng lớn TPU.

** Tại sao các công ty này muốn sản xuất lõi, đã có nhiều phân tích trên thị trường, chủ yếu là do giá GPU của NVIDIA quá cao và năng lực sản xuất không đủ. Thông qua các chip tự phát triển, nó được kỳ vọng sẽ làm suy yếu sức mạnh định giá của NVIDIA trong lĩnh vực chip trí tuệ nhân tạo, đồng thời có quyền tự chủ chiến lược hơn so với các công ty không có chip tự phát triển. **

Nhưng liệu những con chip tự phát triển có thực sự buộc Nvidia phải làm chậm lưỡi liềm trong tay?

Một thực tế là GPU H100 trên thị trường đã tăng gấp đôi giá gốc và nhu cầu vẫn vượt quá cung. Ngay cả Google, công ty đã "tung ra" chip tự phát triển của mình, vẫn đang mua chip của NVIDIA với số lượng lớn.

Tại sao?

Bởi vì doanh số GPU của NVIDIA rất sáng sủa nên họ thường được định nghĩa đơn giản là một công ty phần cứng. Nhưng điều mà nhiều người không biết là NVIDIA có nhiều kỹ sư phần mềm hơn kỹ sư phần cứng.

Ý nghĩa đằng sau câu này là hào thực sự của NVIDIA không bao giờ đến từ sự xuất hiện vô tận của các chip mới (tất nhiên, điều này cũng đáng chú ý), mà từ hệ sinh thái phần mềm và phần cứng. **

CUDA, mặt khác, là bờ kè đầu tiên của con hào này.

**Át chủ bài thực sự của NVIDIA - CUDA **

Năm 2019, Giám đốc điều hành NVIDIA Jensen Huang đã nói điều này khi giới thiệu lịch sử phát triển doanh nghiệp tại Viện Công nghệ Milwaukee.

"Ứng dụng sau khi ứng dụng, lĩnh vực sau lĩnh vực khoa học, từ động lực học phân tử, vật lý tính toán, đến vật lý thiên văn, vật lý hạt, vật lý năng lượng cao, các lĩnh vực khoa học khác nhau này đang bắt đầu áp dụng công nghệ của chúng tôi bởi vì đó là giải pháp tốt nhất tiến về phía trước." Và chúng tôi vô cùng tự hào về sự đóng góp này. "

**Công nghệ này mà NVIDIA tự hào là CUDA. **

CUDA là một kiến trúc điện toán song song do NVIDIA đưa ra và với sự ban phước của nó, GPU có thể đánh bại CPU và trở thành nền tảng để chạy điện toán dữ liệu lớn ngày nay. Với cùng một tác vụ đang chạy, GPU NVIDIA hỗ trợ hệ thống CUDA nhanh hơn CPU từ 10 đến 100 lần.

Tại sao CUDA lại có phép thuật này?

CPU và GPU đều là bộ xử lý máy tính có thể thực hiện các tác vụ tính toán, sự khác biệt là CPU tốt hơn trong việc tính toán tuyến tính, trong khi GPU tốt hơn trong việc tính toán song song. Một sự tương tự phổ biến trong ngành là CPU giống như một giáo sư đại học, có thể giải quyết các vấn đề phức tạp khác nhau một cách độc lập, nhưng để tiến hành từng bước, GPU giống như một nhóm học sinh tiểu học, sức mạnh tính toán lõi đơn không tốt bằng CPU, nhưng chiến thắng nằm ở số lượng lõi lớn, có thể được tính toán cùng một lúc.

CUDA, mặt khác, là dùi cui huy động nhóm học sinh tiểu học này. ** Với sự hòa giải của CUDA, các nhà nghiên cứu và lập trình viên có thể nói chuyện với các cơ sở phần cứng thông qua các ngôn ngữ lập trình để chuyển đổi các vấn đề toán học phức tạp thành nhiều vấn đề nhỏ đơn giản được phân phối cho nhiều lõi tính toán của GPU. **

Như Huang đã nói, CUDA đã trở thành "giải pháp tốt nhất cho sự phát triển khoa học", và sức mạnh tính toán khổng lồ đã trở thành lựa chọn đầu tiên để xây dựng siêu máy tính.

Ngày 11/10, Phòng thí nghiệm Quốc gia Oak Ridge thuộc Bộ Năng lượng Mỹ thông báo siêu máy tính "Summit" mà họ phát triển có thể thực hiện các hoạt động dấu phẩy động cực đại 2 tỷ lần mỗi giây, gần gấp đôi tốc độ của siêu máy tính "Sunway Taihu Light".

Người khổng lồ sức mạnh tính toán này được trang bị gần 28.000 GPU NVIDIA. Phòng thí nghiệm quốc gia Oak Ridge là viện đầu tiên áp dụng gói "CUDA + GPU" của NVIDIA.

Trên thực tế, kể từ khi NVIDIA ra mắt CUDA vào năm 2006, tất cả các lĩnh vực liên quan đến điện toán máy tính gần như đã được định hình thành hình dạng của NVIDIA. 80% nghiên cứu về hàng không vũ trụ, nghiên cứu khoa học sinh học, mô phỏng cơ học và chất lỏng, và thăm dò năng lượng được thực hiện trên cơ sở CUDA.

**Hơn nữa, được thúc đẩy bởi cơn sốt của các mô hình lớn, quy mô của các cộng tác viên sinh thái CUDA vẫn đang tăng gấp đôi. **

Theo báo cáo thường niên năm tài chính 2023 của NVIDIA, 4 triệu nhà phát triển hiện đang làm việc với CUDA. NVIDIA đã đạt 2 triệu nhà phát triển trong 12 năm, tăng gấp đôi con số đó trong hai năm rưỡi qua và CUDA hiện đã được tải xuống hơn 40 triệu lần.

Đồng thời, NVIDIA vẫn đang mở rộng hệ sinh thái CUDA và ra mắt bộ sưu tập các thư viện tăng tốc phần mềm, CUDA-X AI. Được xây dựng trên CUDA, các thư viện này cung cấp khả năng tối ưu hóa cần thiết cho học sâu, học máy và điện toán hiệu suất cao và là nền tảng đầu cuối để tăng tốc khoa học dữ liệu.

Hệ sinh thái CUDA đang bùng nổ và GPU bổ sung cho nó đã trở thành lựa chọn hàng đầu cho người tiêu dùng và NVIDIA đã kiếm được rất nhiều tiền. Tuy nhiên, khi đối mặt với một miếng bánh lớn như vậy, các đối thủ đương nhiên không thể chỉ nhìn vào nó.

Ví dụ, AMD đã ra mắt nền tảng sinh thái ROCm, cũng tương thích với nhiều khung máy tính; Triton của OpenAI được coi là đối thủ mạnh nhất của CUDA; OpenCL, một kiến trúc mã nguồn mở được thiết kế bởi Apple và sau đó được duy trì bởi Khronos Group, dựa trên thành công của CUDA và hỗ trợ CPU đa lõi, GPU hoặc các bộ tăng tốc khác càng nhiều càng tốt. Google sử dụng mô hình "TPU + TensorFlow + Cloud" để thu hút các nhà phát triển và mở rộng khách hàng.

Nhưng những đối thủ cạnh tranh "lý thuyết" này đã phơi bày tất cả các loại vấn đề trong thực tế.

Vào tháng 2, Dylan Patel, nhà phân tích chính tại công ty tư vấn và nghiên cứu chất bán dẫn Semi Analysis, đã viết một bài báo có tiêu đề "Sự độc quyền CUDA của Nvidia trong học máy đang phá vỡ như thế nào - OpenAI Triton và PyTorch 2.0".

Trong thông điệp của bài viết, một lập trình viên cho biết:

"Tôi hy vọng như vậy, nhưng tôi rất, rất hoài nghi. Mọi thứ tôi sử dụng đều được xây dựng trên CUDA. Trên thực tế, không có tính năng nào trên phần cứng không phải NVidia. "Thực sự hiệu quả" không giống như "hiệu quả về mặt lý thuyết". Rất nhiều thứ tôi sử dụng hỗ trợ ROCm trên lý thuyết, nhưng trong thực tế, khi bạn cố gắng sử dụng nó, bạn sẽ gặp phải các lỗi lớn nhỏ và nó bị treo hoặc không hoạt động. "

** Nhận xét của các nhà nghiên cứu tuyến đầu chứng minh rằng trước NVIDIA, công ty đã giữ vị trí hàng đầu về cả phần mềm và phần cứng và phát triển thị trường trong gần 20 năm, ít nhất là ở giai đoạn này, không công ty nào có thể cạnh tranh trực tiếp với nó. **

** Đế chế NVIDIA, ra đời từ "Reinventing the World"**

Tại sao NVIDIA lại chèn ép con át chủ bài của CUDA? Gần 18 năm đã trôi qua kể từ khi CUDA ra mắt vào năm 2006, tại sao hào nước của NVIDIA không những không bị xâm phạm mà còn ngày càng rộng hơn?

Có một tiền đề mặc định đằng sau những câu hỏi này - CUDA là hướng đi "đúng". Và vào đầu thế kỷ 21, khi NVIDIA tuyệt vọng, cụm từ này Huang Jensen đã lặp đi lặp lại với các cổ đông và thị trường hàng nghìn lần. **

Nếu chúng ta muốn có một thế giới tuyệt vời, điều đầu tiên cần làm là mô phỏng nó. Theo một cách nào đó, ý tưởng là nguồn gốc của kỷ nguyên GPU, mô phỏng những định luật vật lý phức tạp đó và trình bày chúng dưới dạng hình ảnh. Tuy nhiên, các ứng dụng mô phỏng các định luật vật lý sẽ không rơi từ trên trời xuống và nó sẽ cần được phát triển từng cái một.

Do đó, ngay cả khi sức mạnh tính toán của GPU đã được chứng minh là có khả năng vượt qua CPU trong tương lai, việc thiếu ứng dụng, quá trình lập trình quá cồng kềnh và việc thiếu biểu diễn ngôn ngữ cấp thấp vẫn khiến các lập trình viên tránh xa nó.

Năm 2003, Intel giới thiệu CPU 4 lõi và để cạnh tranh, NVIDIA bắt đầu phát triển công nghệ kiến trúc thiết bị điện toán thống nhất, hay CUDA.

Ý tưởng này được đề xuất bởi nhà khoa học trưởng Tiến sĩ David Kirk, người sau đó đã thuyết phục Jensen Huang rằng tất cả các GPU trong tương lai của NVIDIA phải hỗ trợ CUDA. Vì vai trò quan trọng của mình trong lĩnh vực máy tính hiệu năng cao, Kirk sau này được biết đến như là "cha đẻ của CUDA" và được bầu vào Học viện Kỹ thuật Quốc gia.

** Những giải thưởng này đều là lời bạt, và vấn đề mà Huang cần giải quyết vào thời điểm đó là làm thế nào để các cổ đông chấp nhận rằng chi phí của sản phẩm cần tăng gấp đôi để đấu tranh cho một tương lai mà thời gian hoàn vốn có thể là hơn 10 năm. **

Trên thực tế, những nghi ngờ xung quanh CUDA vẫn tiếp tục cho đến đêm trước kỷ nguyên AI và giá trị thị trường của NVIDIA dao động ở mức 1 tỷ đô la trong nhiều năm và giá cổ phiếu thậm chí còn giảm xuống còn 1,50 đô la do lực cản của chi phí bổ sung của CUDA. Các cổ đông đã nhiều lần đưa ra hy vọng rằng họ sẽ tập trung vào việc cải thiện lợi nhuận.

Năm 2010, Intel, vua CPU vào thời điểm đó, được đồn đại là đang lên kế hoạch mua lại Nvidia. "Chip Wars" mô tả, "Đối với Intel, giá [của việc mua lại Nvidia] không phải là vấn đề, câu hỏi đặt ra là vị trí nào để trao cho Huang Jenxun." Tuy nhiên, hai bên không bao giờ đạt được thỏa thuận, và cuối cùng, nó đã không được giải quyết. "

** Trong tất cả những năm NVIDIA giảm giá, Huang chưa bao giờ đặt câu hỏi về giá trị của CUDA. **

Để lôi kéo các nhà phát triển viết ứng dụng và chứng minh lợi ích của GPU, Huang trước tiên đã sử dụng GPU GeForce, vốn đã có thị trường rộng lớn cho các game thủ vào thời điểm đó, làm cơ sở để cài đặt CUDA. Sau đó, một hội nghị có tên GTC đã được tạo ra để quảng bá không mệt mỏi CUDA trên toàn thế giới.

Một trong những trường hợp được ca ngợi nhất trong những năm gần đây là vào năm 2016, Huang Jenxun đã đích thân đến OpenAI để giao tiếp và trình bày một DGX-1 được trang bị 8 chip P100, đây là GPU điện toán dấu phẩy động mạnh nhất của NVIDIA tại thời điểm đó.

Sự cố này thường được hiểu là tầm nhìn cũ của Huang, nhưng đối với ông, đó chỉ là một nỗ lực khác để đảm bảo rằng CUDA là khuôn khổ quen thuộc nhất cho các nhà nghiên cứu khoa học tiên tiến.

Trái ngược với quyết tâm của NVIDIA, đó là Intel.

Là vua của kỷ nguyên CPU, Intel lẽ ra phải trở thành đối thủ cạnh tranh nhất của NVIDIA.

Tuy nhiên, sau khi hủy bỏ kế hoạch đồ họa rời cho CPU và GPU hội tụ vào năm 2010, Intel đã mất hứng thú đối đầu với NVIDIA (tất nhiên, có thể nói rằng họ đã mất tự tin vì quá trình nano bị đình trệ). ** Đầu tiên cố gắng mua lại NVIDIA, sau đó quay lại và cạnh tranh với Qualcomm trong thị trường băng tần cơ sở di động, khi làn sóng bùng nổ trí tuệ nhân tạo đầu tiên quét vào năm 2015, Intel, người thức dậy với một giấc mơ lớn đã mua lại một công ty chip theo hướng trí tuệ nhân tạo bằng một tay và kết hợp chip của AMD vào chip hệ thống của riêng mình.

Thật không may, vào thời điểm đó, thị phần của NVIDIA đã vượt quá 60%, độc quyền CUDA đã bắt đầu hình thành và trong lĩnh vực GPU, Intel không còn đủ điều kiện để ngồi cùng bàn với NVIDIA.

DPU và DOCA, chiến trường mới của NVIDIA

Vào năm 2020, có một trò đùa phổ biến trong giới đầu tư mạo hiểm.

"DPU là gì?"

"Alipay đến, 100 triệu nhân dân tệ."

Ngay sau khi từ khóa DPU được kích hoạt, tiền sẽ lăn vào.

Vòng sốt DPU này chính xác là những gì NVIDIA đặt ra.

Trong nửa đầu năm 2020, NVIDIA đã mua lại công ty chip mạng Mellanox Technologies của Israel với giá 6,9 tỷ USD và ra mắt DPU BlueField-2 trong cùng năm, xác định đây là "chip chính thứ ba" sau CPU và GPU.

**Vậy chính xác thì DPU là gì? **

**Chức năng cốt lõi của DPU là thay thế CPU và thiết lập kiến trúc điện toán tập trung vào dữ liệu. **

Như chúng ta đã biết, tên đầy đủ của CPU là bộ xử lý trung tâm, ngoài việc đảm nhận nhiệm vụ chạy ứng dụng và thực hiện tính toán, còn đóng vai trò là bộ điều khiển luồng dữ liệu, di chuyển dữ liệu giữa GPU, lưu trữ, FPGA và các thiết bị khác.

Bạn có thể hiểu đơn giản là sau khi hiệu trưởng đưa ra một bài toán khó, giáo viên (CPU) tách nó ra, và phần phức tạp hơn được tự giải quyết, và việc phân phối cho học sinh (GPU) thực hiện thì dễ dàng nhưng rườm rà. Trước đây, số lượng câu hỏi tương đối ít, giáo viên vẫn có thể chia ra. Tuy nhiên, khi số lượng câu hỏi tăng lên, thời gian phân chia và phân phối câu hỏi chiếm rất nhiều thời gian của giáo viên.

Tại thời điểm này, việc thuê một người chuyên chia nhỏ và phân phối các chủ đề đã trở thành chìa khóa để nâng cao hiệu quả tính toán tổng thể của hệ thống. Và DPU chính là người đó.

** Trong những năm gần đây, với sự phát triển nhanh chóng của việc xây dựng trung tâm dữ liệu, băng thông mạng và khối lượng dữ liệu, và sự chậm lại trong tăng trưởng hiệu suất CPU, việc thích ứng với nhu cầu của chip điện toán trong tương lai và DPU ngày càng trở nên khó khăn hơn. **Đây là cách nó được xác định bởi trang web NVIDIA - DPU là một nền tảng điện toán tiên tiến cho cơ sở hạ tầng trung tâm dữ liệu.

Cũng giống như GPU được hỗ trợ bởi hệ sinh thái CUDA, Huang Jenxun cũng điều chỉnh hệ sinh thái phần mềm cho DPU và ra mắt DOCA cùng một lúc.

Với DOCA, các nhà phát triển có thể lập trình cơ sở hạ tầng trung tâm dữ liệu trong tương lai bằng cách tạo các dịch vụ được xác định bằng phần mềm, hoạt động trên đám mây, được tăng tốc DPU và hỗ trợ bảo vệ không tin cậy để đáp ứng nhu cầu bảo mật và hiệu suất ngày càng tăng của trung tâm dữ liệu hiện đại.

Không giống như CUDA, NVIDIA đã thành công không còn cần phải chứng minh tầm nhìn độc đáo của mình với thị trường, vì cơn sốt DPU trong giới đầu tư mạo hiểm là đủ để minh họa điều này.

Tuy nhiên, cùng với đó, sự cạnh tranh trên thị trường DPU khốc liệt hơn nhiều so với GPU. **

Trong số các nhà sản xuất nước ngoài, Marvell, Intel và AMD đã phát triển các sản phẩm căn chỉnh DPU hoặc DPU. Một số công ty khởi nghiệp DPU cũng đã xuất hiện ở Trung Quốc, chẳng hạn như Yunbao Intelligence, Zhongke Yushu, Xinqiyuan, Yunmai Xinlian, Nebulas Zhilian, và Dayu Zhixin.

Về các nhà cung cấp đám mây, AWS của Amazon và Alibaba Cloud đã đạt được kiến trúc DPU thương mại quy mô lớn, và Tencent và ByteDance đã gia nhập đội quân nghiên cứu và phát triển DPU, trong đó Tencent đã tung ra hai thế hệ DPU, Metasequoia và Yinshan.

Lần này, liệu NVIDIA có thể dựa vào hệ sinh thái phần mềm và phần cứng của DPU + DOCA, để tái tạo phép màu của GPU + CUDA không?

** Sự cạnh tranh về sức mạnh tính toán giữa các quốc gia và doanh nghiệp ngày càng gay gắt, và các đối thủ không phải là không có cơ hội khi năng lực sản xuất bị hạn chế và hệ sinh thái DOCA chưa hình thành. **