11 دقيقة لإنهاء تدريب GPT-3! تجتاح Nvidia H100 8 اختبارات معيارية MLPerf ، وسيتم إصدار الجيل التالي من بطاقات الرسومات في غضون 25 عامًا

** المصدر: ** Xinzhiyuan

** المقدمة: ** فاز الرئيس هوانغ مرة أخرى! في أحدث اختبار معياري MLPerf ، نجح H100 في تعيين 8 سجلات اختبار. وفقًا لوسائل الإعلام الأجنبية ، قد يتم إصدار الجيل التالي من بطاقات الرسومات المخصصة للمستهلكين في عام 2025.

في أحدث اختبار معياري للتدريب MLPerf ، سجلت وحدة معالجة الرسومات H100 أرقامًا قياسية جديدة في جميع الاختبارات الثمانية!

اليوم ، يسيطر NVIDIA H100 إلى حد كبير على جميع الفئات وهو GPU الوحيد المستخدم في معيار LLM الجديد.

أكملت مجموعة مكونة من 3584 وحدة معالجة رسومات H100 معيارًا واسعًا يعتمد على GPT-3 في 11 دقيقة فقط.

يعتمد معيار MLPerf LLM على نموذج GPT-3 الخاص بـ OpenAI ويحتوي على 175 مليار معلمة.

تقدر Lambda Labs أن تدريب مثل هذا النموذج الكبير يتطلب حوالي 3.14E23 FLOPS من الحساب.

** 11 دقيقة لتدريب GPT-3 على كيفية تكوين الوحش **

تم تطوير النظام الأعلى تصنيفًا على معايير LLM و BERT لمعالجة اللغة الطبيعية (NLP) بالاشتراك مع NVIDIA و Inflection AI.

مُستضاف بواسطة CoreWeave ، وهو مزود خدمة سحابية متخصص في أحمال العمل المُسرعة من خلال وحدة معالجة الرسومات على مستوى المؤسسات.

يجمع النظام 3584 مسرعات NVIDIA H100 مع 896 معالجات Intel Xeon Platinum 8462Y +.

لأن Nvidia قدمت محرك Transformer جديدًا في H100 ، والذي تم تصميمه خصيصًا لتسريع تدريب نموذج المحولات والاستدلال ، وزيادة سرعة التدريب بمقدار 6 مرات.

الأداء الذي يمكن أن تقدمه CoreWeave من السحابة قريب جدًا مما يمكن أن تقدمه Nvidia من كمبيوتر عملاق يعمل بالذكاء الاصطناعي يعمل في مركز بيانات محلي.

هذا بفضل الشبكات ذات زمن الوصول المنخفض لشبكة NVIDIA Quantum-2 InfiniBand التي تستخدمها CoreWeave.

نظرًا لأن عدد وحدات معالجة الرسومات H100 المشاركة في التدريب يتوسع من المئات إلى أكثر من 3000.

يمكّن التحسين الجيد مجموعة التكنولوجيا بأكملها من تحقيق مقياس أداء شبه خطي في اختبار LLM المتطلب.

إذا تم تقليل عدد وحدات معالجة الرسومات إلى النصف ، فإن الوقت اللازم لتدريب نفس النموذج يزيد إلى 24 دقيقة.

إظهار أن إمكانات كفاءة النظام ككل ، مع زيادة وحدات معالجة الرسومات ، هي فائقة الخطية.

السبب الرئيسي هو أن Nvidia نظرت في هذه المشكلة منذ بداية تصميم وحدة معالجة الرسومات ، باستخدام تقنية NVLink لتحقيق الاتصال بكفاءة بين وحدات معالجة الرسومات.

من بين 90 نظامًا تم اختبارها ، تم تسريع 82 نظامًا باستخدام وحدات معالجة الرسومات NVIDIA.

كفاءة تدريب بطاقة واحدة

مقارنة وقت تدريب كتلة النظام

تستخدم أنظمة مراجعة Intel في أي مكان من 64 إلى 96 معالجات Intel Xeon Platinum 8380 و 256 إلى 389 مسرعات Intel Habana Gaudi2.

ومع ذلك ، قدمت Intel GPT-3 بوقت تدريب قدره 311 دقيقة.

بالمقارنة مع Nvidia ، فإن النتائج بائسة بعض الشيء.

** محلل: Nvidia لديها الكثير من المزايا **

يعتقد محللو الصناعة أن الميزة التقنية لـ Nvidia في GPU واضحة جدًا.

كمزود للبنية التحتية للذكاء الاصطناعي ، ينعكس موقعها المهيمن في الصناعة أيضًا في ثبات النظام البيئي الذي بنته Nvidia على مر السنين.

يعتمد مجتمع الذكاء الاصطناعي أيضًا بشكل كبير على برنامج Nvidia.

تعتمد جميع أطر عمل الذكاء الاصطناعي تقريبًا على مكتبات وأدوات CUDA الأساسية التي توفرها Nvidia.

كما أنه يوفر أدوات وحلول متكاملة للذكاء الاصطناعي.

بالإضافة إلى دعم مطوري الذكاء الاصطناعي ، تواصل Nvidia الاستثمار في أدوات على مستوى المؤسسات لإدارة أعباء العمل والنماذج.

في المستقبل المنظور ، سيكون موقع Nvidia الرائد في الصناعة مستقرًا للغاية.

وأشار المحللون كذلك إلى أن الوظائف القوية وكفاءة نظام NVIDIA لتدريب الذكاء الاصطناعي في السحابة ، كما هو موضح في نتائج اختبار MLPerf ، هي أكبر عاصمة لـ NVIDIA "حرب المستقبل".

** الجيل التالي من وحدة معالجة الرسومات Ada Lovelace ، تم إصدارها في عام 2025 **

نشر Zhiye Liu ، وهو كاتب مستقل في Tom's Hardware ، مقالًا يعرض خططًا للجيل القادم من بطاقات الرسومات Nvidia Ada Lovelace.

ليس هناك شك في قدرة H100 على تدريب النماذج الكبيرة.

باستخدام 3584 H100s فقط ، يمكن تدريب طراز GPT-3 في 11 دقيقة فقط.

في مؤتمر صحفي عُقد مؤخرًا ، شاركت Nvidia خارطة طريق جديدة توضح بالتفصيل منتجات الجيل التالي ، بما في ذلك خليفة GeForce RTX 40-series Ada Lovelace GPUs ، والتي تعد الأولى من أفضل بطاقات رسومات الألعاب المتوفرة اليوم.

وفقًا لخارطة الطريق ، تخطط Nvidia لإطلاق بطاقة الرسومات "Ada Lovelace-Next" في عام 2025.

إذا استمر مخطط التسمية الحالي ، فيجب إدراج الجيل التالي من منتجات GeForce على أنها سلسلة GeForce RTX 50.

وفقًا للمعلومات التي حصلت عليها منظمة المتسللين الأمريكية الجنوبية LAPSU $ ، من المحتمل أن يتم تسمية Hopper Next باسم Blackwell.

على بطاقات الرسومات الخاصة بالمستهلكين ، تحافظ Nvidia على إيقاع تحديث لمدة عامين.

أطلقوا باسكال في عام 2016 ، وتورنج في عام 2018 ، وأمبير في عام 2020 ، وأدا لوفليس في عام 2022.

إذا تم إطلاق خليفة Ada Lovelace في عام 2025 هذه المرة ، فإن Nvidia ستكسر بلا شك الإيقاع المعتاد.

أحدث انفجار الذكاء الاصطناعي مؤخرًا طلبًا كبيرًا على وحدات معالجة الرسومات NVIDIA ، سواء كانت أحدث H100 أو الجيل السابق A100.

وفقًا للتقارير ، طلبت شركة تصنيع كبرى لوحدات معالجة رسومات Nvidia بقيمة مليار دولار هذا العام.

على الرغم من قيود التصدير ، تظل بلدي أحد أكبر أسواق Nvidia في العالم.

(يُقال في سوق Huaqiangbei للإلكترونيات في Shenzhen ، أنه يمكنك شراء عدد صغير من Nvidia A100s مقابل 20000 دولار لكل منها ، أي ضعف السعر المعتاد.)

في هذا الصدد ، قامت Nvidia بضبط بعض منتجات الذكاء الاصطناعي وأصدرت وحدات SKU محددة مثل H100 أو A800 لتلبية متطلبات التصدير.

قام Zhiye Liu بتحليل هذا ، ومن منظور آخر ، فإن لوائح التصدير مفيدة بالفعل لشركة Nvidia ، لأنها تعني أنه يجب على عملاء مصنعي الرقائق شراء المزيد من المتغيرات من وحدة معالجة الرسومات الأصلية للحصول على نفس الأداء.

يمكن أن يفهم هذا أيضًا سبب إعطاء Nvidia الأولوية لإنشاء وحدات معالجة الرسومات الحوسبية بدلاً من وحدات معالجة الرسومات للألعاب.

تشير التقارير الأخيرة إلى أن Nvidia قد عززت إنتاج وحدات معالجة الرسومات ذات الدرجة الحاسوبية.

لا تواجه منافسة جدية من مجموعة منتجات AMD RDNA 3 ، ولا تشكل Intel تهديدًا خطيرًا لاحتكار GPU الثنائي ، لذلك يمكن أن تتعطل Nvidia من جانب المستهلك.

في الآونة الأخيرة ، وسعت Nvidia مجموعة منتجاتها GeForce RTX 40 مع GeForce RTX 4060 و GeForce RTX 4060 Ti.

هناك إمكانية لوجود GeForce RTX 4050 ، جنبًا إلى جنب مع RTX 4080 Ti أو GeForce RTX 4090 Ti في الأعلى ، إلخ.

إذا تم إجبار Nvidia على ذلك ، فيمكنها أيضًا إخراج منتج من إصدار Turing القديم ، وتحديث Ada Lovelace ، وإعطائه معالجة "فائقة" ، وتوسيع تشكيلة Ada بشكل أكبر.

أخيرًا ، قال Zhiye Liu إنه على الأقل هذا العام أو العام المقبل ، لن يتم تحديث بنية Lovelace حقًا.

مراجع:

شاهد النسخة الأصلية
المحتوى هو للمرجعية فقط، وليس دعوة أو عرضًا. لا يتم تقديم أي مشورة استثمارية أو ضريبية أو قانونية. للمزيد من الإفصاحات حول المخاطر، يُرجى الاطلاع على إخلاء المسؤولية.
  • أعجبني
  • تعليق
  • مشاركة
تعليق
0/400
لا توجد تعليقات
  • تثبيت