Từ khi bắt đầu tiết lộ rằng OpenAI đã bí mật đào tạo GPT-5, đến sự làm rõ sau đó của Sam Altman; Sau đó, khi nói đến việc cần bao nhiêu GPU H100 để đào tạo GPT-5, Giám đốc điều hành của DeepMind, Suleyman đã phỏng vấn OpenAI, người đang bí mật đào tạo GPT-5.
Và sau đó là một vòng suy đoán mới.
Xen kẽ với dự đoán táo bạo của Altman rằng GPT-10 sẽ xuất hiện trước năm 2030, nhiều hơn tổng số trí thông minh của con người, là một đám mây AGI thực sự.
và sau đó đến mô hình đa phương thức OpenAI gần đây có tên Gobi, và lời kêu gọi mạnh mẽ cho mô hình Gimini của Google, cuộc cạnh tranh giữa hai gã khổng lồ sắp bắt đầu.
Trong một thời gian, tiến bộ mới nhất trong các mô hình ngôn ngữ lớn đã trở thành chủ đề nóng nhất trong vòng tròn.
Để diễn giải một bài thơ cổ, "vẫn cầm pipa và che một nửa khuôn mặt" để mô tả nó, nó khá phù hợp. Tôi chỉ không biết khi nào mình mới có thể thực sự "come out sau một thời gian dài".
Tóm tắt dòng thời gian
Những gì chúng ta sẽ nói hôm nay liên quan trực tiếp đến GPT-5, và đó là một phân tích của người bạn cũ Gary Marcus của chúng tôi.
Điểm cốt lõi chỉ là một câu: GPT-4 đến 5 không đơn giản như mở rộng kích thước của mô hình, mà là một sự thay đổi trong toàn bộ mô hình AI. Và từ quan điểm này, OpenAI, công ty đã phát triển GPT-4, không nhất thiết phải là công ty đạt 5 đầu tiên.
Nói cách khác, khi mô hình cần thay đổi, sự tích lũy trước đó không thể chuyển giao được.
Nhưng trước khi chúng ta đi vào quan điểm của Marcus, chúng ta hãy xem xét ngắn gọn những gì đã xảy ra với GPT-5 huyền thoại gần đây và những gì lĩnh vực dư luận đã nói.
Lúc đầu, Karpathy, người đồng sáng lập OpenAI, đã tweet rằng H100 là một chủ đề nóng được tìm kiếm bởi những người khổng lồ và mọi người đều quan tâm đến việc ai có thứ này và có bao nhiêu.
Sau đó, có rất nhiều cuộc thảo luận về việc mỗi công ty cần đào tạo bao nhiêu GPU H100.
Đó là về nó.
GPT-4 có thể đã được huấn luyện trên khoảng 10.000-25.000 chiếc A100
Meta khoảng 21000 A100
Tesla khoảng 7000 A100
AI ổn định là khoảng 5000 A100
Falcon-40B được huấn luyện trên 384 A100
Về điều này, Musk cũng tham gia thảo luận, theo Musk, việc đào tạo GPT-5 có thể mất từ 30.000 đến 50.000 H100.
Trước đó, Morgan Stanley cũng đưa ra dự đoán tương tự, nhưng con số tổng thể ít hơn một chút so với Musk nói, khoảng 25.000 GPU.
Tất nhiên, làn sóng đưa GPT-5 lên bàn đàm phán, Sam Altman phải ra mặt để bác bỏ những tin đồn, cho thấy OpenAI không đào tạo GPT-5.
Một số cư dân mạng táo bạo suy đoán rằng lý do tại sao OpenAI phủ nhận nó có lẽ chỉ là thay đổi tên của mô hình thế hệ tiếp theo, không phải GPT-5.
Dù sao, theo Sam Altman, chính vì thiếu GPU mà rất nhiều kế hoạch bị trì hoãn. Ông thậm chí còn nói rằng ông không muốn quá nhiều người sử dụng GPT-4.
Sự khao khát GPU trong toàn ngành là như nhau. Theo thống kê, tổng số GPU mà tất cả các gã khổng lồ công nghệ yêu cầu phải là hơn 430.000. Đó là một số tiền khổng lồ, gần 15 tỷ đô la.
Nhưng nó hơi quá vòng vo để đẩy GPT-5 ngược qua số lượng GPU, vì vậy Suleyman, người sáng lập DeepMind, đã trực tiếp "búa" trong một cuộc phỏng vấn, nói rằng OpenAI đang bí mật đào tạo GPT-5, đừng che giấu nó.
Tất nhiên, trong cuộc phỏng vấn đầy đủ, Suleyman cũng đã nói về rất nhiều tin đồn lớn trong ngành, chẳng hạn như tại sao DeepMind bị tụt lại phía sau trong cuộc cạnh tranh với OpenAI, rõ ràng nó không bị tụt hậu quá nhiều về thời gian.
Ngoài ra còn có rất nhiều thông tin nội bộ, chẳng hạn như những gì đã xảy ra khi Google mua lại nó vào thời điểm đó. Nhưng những điều này ít liên quan đến GPT-5 và những người bạn quan tâm có thể tự tìm hiểu.
Nói chung, làn sóng này là tiến bộ mới nhất của GPT-5 bởi các ông lớn trong ngành, khiến mọi người nghi ngờ.
Sau đó, Sam Altman nói trong một kết nối trực tiếp, "Tôi nghĩ trước năm 2030, AGI sẽ xuất hiện, được gọi là GPT-10, nhiều hơn tổng số trí thông minh của con người."
Một mặt, nó mạnh dạn dự đoán, và mặt khác, nó phủ nhận rằng nó đang đào tạo GPT-5, điều này khiến những người khác khó thực sự biết OpenAI đang làm gì.
Trong mối liên hệ này, Altman đã hình dung ra rất nhiều kịch bản trong tương lai. Ví dụ, anh ta hiểu AGI như thế nào, AGI sẽ xuất hiện khi nào, OpenAI sẽ làm gì nếu AGI thực sự xuất hiện và cả nhân loại nên làm gì.
Nhưng về tiến độ thực tế, Altman lên kế hoạch theo cách này, "Tôi đã nói với mọi người trong công ty rằng mục tiêu của chúng tôi là cải thiện hiệu suất của các nguyên mẫu của chúng tôi lên 10% sau mỗi 12 tháng."
"Nếu bạn đặt mục tiêu đó ở mức 20%, nó có thể hơi quá cao."
Đó là một sự sắp xếp cụ thể. Nhưng kết nối giữa 10% và 20% và GPT-5 không rõ ràng.
Giá trị nhất là sau đây - mô hình đa phương thức Gobi của OpenAI.
Trọng tâm là cuộc cạnh tranh nóng bỏng giữa Google và OpenAI, ở giai đoạn nào.
Trước khi nói về Gobi, chúng ta phải nói về GPT-vision. Thế hệ mô hình này rất mạnh mẽ. Chụp ảnh phác thảo, gửi trực tiếp đến GPT và trang web sẽ tạo cho bạn sau vài phút.
Chưa kể đến việc viết mã.
Sau khi GPT-vision kết thúc, OpenAI có thể tung ra một mô hình lớn đa phương thức mạnh mẽ hơn, có tên mã là Gobi.
Không giống như GPT-4, Gobi được xây dựng từ đầu trên một mô hình đa phương thức.
Điều này cũng khơi dậy sự quan tâm của người xem - Gobi có phải là GPT-5 huyền thoại?
Tất nhiên, chúng tôi không biết Gobi đã đến đâu, và không có tin tức chắc chắn.
Suleyman kiên quyết rằng Sam Altman có thể không nói sự thật khi gần đây anh ta nói rằng họ không huấn luyện GPT-5.
Marcus Xem
Để bắt đầu bằng cách nói rằng hoàn toàn có khả năng không có sản phẩm tiền phát hành nào trong lịch sử công nghệ (ngoại trừ iPhone) được mong đợi nhiều hơn GPT-5.
Không chỉ vì người tiêu dùng nhiệt tình với nó, không chỉ vì một loạt các công ty đang có kế hoạch bắt đầu lại từ đầu xung quanh nó, và thậm chí một số chính sách đối ngoại được xây dựng xung quanh GPT-5.
Ngoài ra, sự ra đời của GPT-5 cũng có thể làm trầm trọng thêm cuộc chiến chip vừa leo thang hơn nữa.
Marcus cho biết cũng có những người nhắm mục tiêu cụ thể vào mô hình quy mô dự kiến của GPT-5 và yêu cầu nó tạm ngừng sản xuất.
Tất nhiên, có khá nhiều người rất lạc quan và một số người tưởng tượng rằng GPT-5 có thể loại bỏ, hoặc ít nhất là xua tan rất nhiều, nhiều mối quan tâm mà mọi người có về các mô hình hiện có, chẳng hạn như không đáng tin cậy, xu hướng thiên vị và xu hướng đổ những điều vô nghĩa có thẩm quyền.
Nhưng Marcus tin rằng ông không bao giờ rõ liệu chỉ cần xây dựng một mô hình lớn hơn có thực sự giải quyết được những vấn đề này hay không.
Hôm nay, một số phương tiện truyền thông nước ngoài đã đưa tin rằng một dự án khác của OpenAI, Arrakis, nhằm mục đích tạo ra các mô hình nhỏ hơn và hiệu quả hơn, nhưng đã bị ban lãnh đạo cao nhất hủy bỏ vì nó không đáp ứng các mục tiêu mong đợi.
Marcus nói rằng hầu như tất cả chúng ta đều nghĩ rằng GPT-4 sẽ ra mắt GPT-5 càng sớm càng tốt, và GPT-5 thường được tưởng tượng là mạnh hơn nhiều so với GPT-4, vì vậy Sam đã khiến mọi người ngạc nhiên khi phủ nhận điều đó.
Đã có rất nhiều suy đoán về điều này, chẳng hạn như các vấn đề về GPU được đề cập ở trên và OpenAI có thể không có đủ tiền mặt để đào tạo các mô hình này (nổi tiếng là tốn kém để đào tạo).
Nhưng một lần nữa, OpenAI hầu như không được tài trợ tốt như bất kỳ công ty khởi nghiệp nào. Đối với một công ty vừa huy động được 10 tỷ USD, thậm chí 500 triệu USD trong đào tạo không phải là không thể.
Một cách khác để đặt nó là OpenAI nhận ra rằng chi phí đào tạo một mô hình hoặc chạy nó sẽ rất cao và họ không chắc liệu họ có thể kiếm được lợi nhuận với những chi phí đó hay không.
Điều đó dường như có ý nghĩa nào đó.
Lập luận thứ ba, và ý kiến của Marcus, là OpenAI đã thực hiện một số thử nghiệm chứng minh khái niệm trong bài thuyết trình của Altman vào tháng Năm, nhưng họ không hài lòng với kết quả.
Cuối cùng, họ có thể kết luận rằng nếu GPT-5 chỉ là phiên bản mở rộng của GPT-4, thì nó sẽ không đáp ứng được kỳ vọng và không đạt được các mục tiêu đặt trước.
Nếu kết quả chỉ gây thất vọng hoặc thậm chí là một trò đùa, thì việc đào tạo GPT-5 không đáng để chi hàng trăm triệu đô la.
Trên thực tế, LeCun cũng đang nghĩ như vậy.
GPT đi từ 4 đến 5, nhiều hơn chỉ 4plus. 4 đến 5 nên là loại tạo ra kỷ nguyên.
Điều cần thiết ở đây là một mô hình mới, không chỉ nhân rộng mô hình.
Vì vậy, về mặt thay đổi mô hình, tất nhiên, công ty càng giàu thì càng có nhiều khả năng đạt được mục tiêu này. Nhưng sự khác biệt là nó không phải là OpenAI nữa. Bởi vì sự thay đổi mô hình là một con đường mới, kinh nghiệm hoặc tích lũy trong quá khứ có thể không được sử dụng nhiều.
Tương tự, từ quan điểm kinh tế, nếu nó đúng như Marcus gợi ý, thì việc phát triển GPT-5 tương đương với việc bị hoãn vô thời hạn. Không ai biết khi nào công nghệ mới sẽ đến.
Nó giống như bây giờ các phương tiện năng lượng mới thường có phạm vi hàng trăm km, và nếu bạn muốn kéo dài hàng ngàn dặm, bạn cần công nghệ pin mới. Ngoài kinh nghiệm và vốn, cũng có thể cần một chút may mắn và cơ hội để đột phá các công nghệ mới.
Nhưng trong mọi trường hợp, nếu Marcus đúng, thì giá trị thương mại của GPT-5 chắc chắn sẽ giảm đi rất nhiều trong tương lai.
Tài nguyên:
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Marcus đánh giá GPT-5! Một mô hình mới là rất cần thiết và OpenAI không có lợi thế
Nguồn gốc: New Zhiyuan
Tin tức về GPT-5 gần đây đã lan truyền trở lại.
Từ khi bắt đầu tiết lộ rằng OpenAI đã bí mật đào tạo GPT-5, đến sự làm rõ sau đó của Sam Altman; Sau đó, khi nói đến việc cần bao nhiêu GPU H100 để đào tạo GPT-5, Giám đốc điều hành của DeepMind, Suleyman đã phỏng vấn OpenAI, người đang bí mật đào tạo GPT-5.
Và sau đó là một vòng suy đoán mới.
Xen kẽ với dự đoán táo bạo của Altman rằng GPT-10 sẽ xuất hiện trước năm 2030, nhiều hơn tổng số trí thông minh của con người, là một đám mây AGI thực sự.
và sau đó đến mô hình đa phương thức OpenAI gần đây có tên Gobi, và lời kêu gọi mạnh mẽ cho mô hình Gimini của Google, cuộc cạnh tranh giữa hai gã khổng lồ sắp bắt đầu.
Trong một thời gian, tiến bộ mới nhất trong các mô hình ngôn ngữ lớn đã trở thành chủ đề nóng nhất trong vòng tròn.
Để diễn giải một bài thơ cổ, "vẫn cầm pipa và che một nửa khuôn mặt" để mô tả nó, nó khá phù hợp. Tôi chỉ không biết khi nào mình mới có thể thực sự "come out sau một thời gian dài".
Tóm tắt dòng thời gian
Những gì chúng ta sẽ nói hôm nay liên quan trực tiếp đến GPT-5, và đó là một phân tích của người bạn cũ Gary Marcus của chúng tôi.
Điểm cốt lõi chỉ là một câu: GPT-4 đến 5 không đơn giản như mở rộng kích thước của mô hình, mà là một sự thay đổi trong toàn bộ mô hình AI. Và từ quan điểm này, OpenAI, công ty đã phát triển GPT-4, không nhất thiết phải là công ty đạt 5 đầu tiên.
Nói cách khác, khi mô hình cần thay đổi, sự tích lũy trước đó không thể chuyển giao được.
Nhưng trước khi chúng ta đi vào quan điểm của Marcus, chúng ta hãy xem xét ngắn gọn những gì đã xảy ra với GPT-5 huyền thoại gần đây và những gì lĩnh vực dư luận đã nói.
Lúc đầu, Karpathy, người đồng sáng lập OpenAI, đã tweet rằng H100 là một chủ đề nóng được tìm kiếm bởi những người khổng lồ và mọi người đều quan tâm đến việc ai có thứ này và có bao nhiêu.
GPT-4 có thể đã được huấn luyện trên khoảng 10.000-25.000 chiếc A100
Meta khoảng 21000 A100
Tesla khoảng 7000 A100
AI ổn định là khoảng 5000 A100
Falcon-40B được huấn luyện trên 384 A100
Về điều này, Musk cũng tham gia thảo luận, theo Musk, việc đào tạo GPT-5 có thể mất từ 30.000 đến 50.000 H100.
Trước đó, Morgan Stanley cũng đưa ra dự đoán tương tự, nhưng con số tổng thể ít hơn một chút so với Musk nói, khoảng 25.000 GPU.
Tất nhiên, làn sóng đưa GPT-5 lên bàn đàm phán, Sam Altman phải ra mặt để bác bỏ những tin đồn, cho thấy OpenAI không đào tạo GPT-5.
Một số cư dân mạng táo bạo suy đoán rằng lý do tại sao OpenAI phủ nhận nó có lẽ chỉ là thay đổi tên của mô hình thế hệ tiếp theo, không phải GPT-5.
Sự khao khát GPU trong toàn ngành là như nhau. Theo thống kê, tổng số GPU mà tất cả các gã khổng lồ công nghệ yêu cầu phải là hơn 430.000. Đó là một số tiền khổng lồ, gần 15 tỷ đô la.
Nhưng nó hơi quá vòng vo để đẩy GPT-5 ngược qua số lượng GPU, vì vậy Suleyman, người sáng lập DeepMind, đã trực tiếp "búa" trong một cuộc phỏng vấn, nói rằng OpenAI đang bí mật đào tạo GPT-5, đừng che giấu nó.
Tất nhiên, trong cuộc phỏng vấn đầy đủ, Suleyman cũng đã nói về rất nhiều tin đồn lớn trong ngành, chẳng hạn như tại sao DeepMind bị tụt lại phía sau trong cuộc cạnh tranh với OpenAI, rõ ràng nó không bị tụt hậu quá nhiều về thời gian.
Ngoài ra còn có rất nhiều thông tin nội bộ, chẳng hạn như những gì đã xảy ra khi Google mua lại nó vào thời điểm đó. Nhưng những điều này ít liên quan đến GPT-5 và những người bạn quan tâm có thể tự tìm hiểu.
Nói chung, làn sóng này là tiến bộ mới nhất của GPT-5 bởi các ông lớn trong ngành, khiến mọi người nghi ngờ.
Sau đó, Sam Altman nói trong một kết nối trực tiếp, "Tôi nghĩ trước năm 2030, AGI sẽ xuất hiện, được gọi là GPT-10, nhiều hơn tổng số trí thông minh của con người."
Trong mối liên hệ này, Altman đã hình dung ra rất nhiều kịch bản trong tương lai. Ví dụ, anh ta hiểu AGI như thế nào, AGI sẽ xuất hiện khi nào, OpenAI sẽ làm gì nếu AGI thực sự xuất hiện và cả nhân loại nên làm gì.
Nhưng về tiến độ thực tế, Altman lên kế hoạch theo cách này, "Tôi đã nói với mọi người trong công ty rằng mục tiêu của chúng tôi là cải thiện hiệu suất của các nguyên mẫu của chúng tôi lên 10% sau mỗi 12 tháng."
"Nếu bạn đặt mục tiêu đó ở mức 20%, nó có thể hơi quá cao."
Giá trị nhất là sau đây - mô hình đa phương thức Gobi của OpenAI.
Trọng tâm là cuộc cạnh tranh nóng bỏng giữa Google và OpenAI, ở giai đoạn nào.
Trước khi nói về Gobi, chúng ta phải nói về GPT-vision. Thế hệ mô hình này rất mạnh mẽ. Chụp ảnh phác thảo, gửi trực tiếp đến GPT và trang web sẽ tạo cho bạn sau vài phút.
Chưa kể đến việc viết mã.
Không giống như GPT-4, Gobi được xây dựng từ đầu trên một mô hình đa phương thức.
Điều này cũng khơi dậy sự quan tâm của người xem - Gobi có phải là GPT-5 huyền thoại?
Suleyman kiên quyết rằng Sam Altman có thể không nói sự thật khi gần đây anh ta nói rằng họ không huấn luyện GPT-5.
Marcus Xem
Để bắt đầu bằng cách nói rằng hoàn toàn có khả năng không có sản phẩm tiền phát hành nào trong lịch sử công nghệ (ngoại trừ iPhone) được mong đợi nhiều hơn GPT-5.
Không chỉ vì người tiêu dùng nhiệt tình với nó, không chỉ vì một loạt các công ty đang có kế hoạch bắt đầu lại từ đầu xung quanh nó, và thậm chí một số chính sách đối ngoại được xây dựng xung quanh GPT-5.
Ngoài ra, sự ra đời của GPT-5 cũng có thể làm trầm trọng thêm cuộc chiến chip vừa leo thang hơn nữa.
Marcus cho biết cũng có những người nhắm mục tiêu cụ thể vào mô hình quy mô dự kiến của GPT-5 và yêu cầu nó tạm ngừng sản xuất.
Tất nhiên, có khá nhiều người rất lạc quan và một số người tưởng tượng rằng GPT-5 có thể loại bỏ, hoặc ít nhất là xua tan rất nhiều, nhiều mối quan tâm mà mọi người có về các mô hình hiện có, chẳng hạn như không đáng tin cậy, xu hướng thiên vị và xu hướng đổ những điều vô nghĩa có thẩm quyền.
Nhưng Marcus tin rằng ông không bao giờ rõ liệu chỉ cần xây dựng một mô hình lớn hơn có thực sự giải quyết được những vấn đề này hay không.
Hôm nay, một số phương tiện truyền thông nước ngoài đã đưa tin rằng một dự án khác của OpenAI, Arrakis, nhằm mục đích tạo ra các mô hình nhỏ hơn và hiệu quả hơn, nhưng đã bị ban lãnh đạo cao nhất hủy bỏ vì nó không đáp ứng các mục tiêu mong đợi.
Marcus nói rằng hầu như tất cả chúng ta đều nghĩ rằng GPT-4 sẽ ra mắt GPT-5 càng sớm càng tốt, và GPT-5 thường được tưởng tượng là mạnh hơn nhiều so với GPT-4, vì vậy Sam đã khiến mọi người ngạc nhiên khi phủ nhận điều đó.
Đã có rất nhiều suy đoán về điều này, chẳng hạn như các vấn đề về GPU được đề cập ở trên và OpenAI có thể không có đủ tiền mặt để đào tạo các mô hình này (nổi tiếng là tốn kém để đào tạo).
Nhưng một lần nữa, OpenAI hầu như không được tài trợ tốt như bất kỳ công ty khởi nghiệp nào. Đối với một công ty vừa huy động được 10 tỷ USD, thậm chí 500 triệu USD trong đào tạo không phải là không thể.
Một cách khác để đặt nó là OpenAI nhận ra rằng chi phí đào tạo một mô hình hoặc chạy nó sẽ rất cao và họ không chắc liệu họ có thể kiếm được lợi nhuận với những chi phí đó hay không.
Điều đó dường như có ý nghĩa nào đó.
Lập luận thứ ba, và ý kiến của Marcus, là OpenAI đã thực hiện một số thử nghiệm chứng minh khái niệm trong bài thuyết trình của Altman vào tháng Năm, nhưng họ không hài lòng với kết quả.
Cuối cùng, họ có thể kết luận rằng nếu GPT-5 chỉ là phiên bản mở rộng của GPT-4, thì nó sẽ không đáp ứng được kỳ vọng và không đạt được các mục tiêu đặt trước.
Nếu kết quả chỉ gây thất vọng hoặc thậm chí là một trò đùa, thì việc đào tạo GPT-5 không đáng để chi hàng trăm triệu đô la.
Trên thực tế, LeCun cũng đang nghĩ như vậy.
GPT đi từ 4 đến 5, nhiều hơn chỉ 4plus. 4 đến 5 nên là loại tạo ra kỷ nguyên.
Điều cần thiết ở đây là một mô hình mới, không chỉ nhân rộng mô hình.
Vì vậy, về mặt thay đổi mô hình, tất nhiên, công ty càng giàu thì càng có nhiều khả năng đạt được mục tiêu này. Nhưng sự khác biệt là nó không phải là OpenAI nữa. Bởi vì sự thay đổi mô hình là một con đường mới, kinh nghiệm hoặc tích lũy trong quá khứ có thể không được sử dụng nhiều.
Tương tự, từ quan điểm kinh tế, nếu nó đúng như Marcus gợi ý, thì việc phát triển GPT-5 tương đương với việc bị hoãn vô thời hạn. Không ai biết khi nào công nghệ mới sẽ đến.
Nó giống như bây giờ các phương tiện năng lượng mới thường có phạm vi hàng trăm km, và nếu bạn muốn kéo dài hàng ngàn dặm, bạn cần công nghệ pin mới. Ngoài kinh nghiệm và vốn, cũng có thể cần một chút may mắn và cơ hội để đột phá các công nghệ mới.
Nhưng trong mọi trường hợp, nếu Marcus đúng, thì giá trị thương mại của GPT-5 chắc chắn sẽ giảm đi rất nhiều trong tương lai.
Tài nguyên: