أظهرت الأبحاث أن أداء روبوتات المحادثة مثل ChatGPT قد يتدهور بمرور الوقت بسبب تدهور جودة بيانات التدريب.
· نماذج التعلم الآلي عرضة لتسمم البيانات وتعطل النماذج ، مما قد يقلل بشكل كبير من جودة مخرجاتها.
يعد المصدر الموثوق للمحتوى أمرًا بالغ الأهمية لمنع تدهور أداء روبوتات المحادثة ، مما يخلق تحديات لمطوري الذكاء الاصطناعي في المستقبل.
تتعلم روبوتات المحادثة الحديثة باستمرار ويتغير سلوكها دائمًا ، ولكن قد ينخفض أداءها أو يتحسن.
يقلب البحث الأخير الافتراض القائل بأن "التعلم يعني دائمًا التقدم" ، الأمر الذي له آثار على مستقبل ChatGPT وأقرانه. للحفاظ على تشغيل روبوتات الدردشة ، يجب على مطوري الذكاء الاصطناعي معالجة تحديات البيانات الناشئة.
** ChatGPT يزداد غباءً بمرور الوقت **
تشير دراسة نُشرت مؤخرًا إلى أن روبوتات المحادثة قد تكون أقل قدرة على أداء مهام معينة بمرور الوقت.
للوصول إلى هذا الاستنتاج ، قارن الباحثون ناتج نموذج اللغة الكبيرة (LLM) GPT-3.5 و GPT-4 في مارس ويونيو 2023. في غضون ثلاثة أشهر فقط ، لاحظوا تغييرات جذرية في النماذج التي تقوم عليها ChatGPT.
على سبيل المثال ، في مارس من هذا العام ، تمكنت GPT-4 من تحديد الأعداد الأولية بدقة تصل إلى 97.6٪. بحلول يونيو ، انخفضت دقتها إلى 2.4 في المائة.
ردود GPT-4 (يسار) و GPT-3.5 (يمين) على نفس السؤال في مارس ويونيو (المصدر: arXiv)
قيمت التجربة أيضًا سرعة النموذج في الإجابة على الأسئلة الحساسة ، وقدرته على إنشاء رمز ، وقدرته على التفكير بصريًا. عبر جميع المهارات التي اختبروها ، لاحظ الفريق أن جودة مخرجات الذكاء الاصطناعي تدهورت بمرور الوقت.
** تحديات مع بيانات التدريب في الوقت الفعلي **
يعتمد التعلم الآلي (ML) على عملية تدريبية حيث يمكن لنماذج الذكاء الاصطناعي محاكاة الذكاء البشري من خلال معالجة كميات كبيرة من المعلومات.
على سبيل المثال ، استفاد تطوير LLM الذي يشغل روبوتات المحادثة الحديثة من توفر عدد كبير من المستودعات عبر الإنترنت. وتشمل هذه مجموعات البيانات التي تم تجميعها من مقالات ويكيبيديا ، مما يمكّن روبوتات المحادثة من التعلم من خلال هضم أكبر مجموعة من المعارف البشرية التي تم إنشاؤها على الإطلاق.
ولكن الآن ، تم إصدار أدوات مثل ChatGPT على نطاق واسع. يمتلك المطورون تحكمًا أقل بكثير في بيانات التدريب المتغيرة باستمرار.
تكمن المشكلة في أن مثل هذه النماذج يمكنها أيضًا "التعلم" لإعطاء إجابات خاطئة. إذا تدهورت جودة بيانات التدريب ، فسوف تتدهور مخرجاتها أيضًا. يمثل هذا تحديًا لروبوتات الدردشة الديناميكية ، والتي تتطلب دفقًا ثابتًا من محتوى الويب المسروق.
** يمكن أن يؤدي تسمم البيانات إلى تدهور أداء روبوت المحادثة **
نظرًا لأن روبوتات المحادثة تميل إلى الاعتماد على المحتوى المأخوذ من الويب ، فهي معرضة بشكل خاص لنوع من التلاعب يُعرف باسم تسمم البيانات.
هذا هو بالضبط ما حدث لـ Twitter bot Tay في Microsoft في عام 2016. بعد أقل من 24 ساعة من إطلاقه ، بدأ سلف ChatGPT في نشر تغريدات تحريضية ومسيئة. سرعان ما أوقفه مطورو Microsoft مؤقتًا وبدأوا من جديد.
كما اتضح ، فإن المتصيدون السيبرانيون يرسلون البريد العشوائي إلى الروبوت منذ البداية ، ويتلاعبون بقدرته على التعلم من تفاعلاته مع الجمهور. بعد إساءة استخدام جيش 4channer ، فليس من المستغرب أن يبدأ تاي في ترديد خطاب الكراهية.
مثل Tay ، فإن روبوتات المحادثة المعاصرة هي نتاج بيئتها وهي عرضة لهجمات مماثلة. حتى ويكيبيديا ، وهي مهمة جدًا في تطوير LLM ، يمكن استخدامها لتسميم بيانات تدريب التعلم الآلي.
ومع ذلك ، فإن البيانات التالفة عمدًا ليست المصدر الوحيد للمعلومات الخاطئة التي يحتاج مطورو برامج الدردشة الآلية إلى الحذر منها.
** تحطم النموذج: قنبلة زمنية لروبوتات الدردشة؟ **
مع تزايد شعبية أدوات الذكاء الاصطناعي ، ينتشر المحتوى الذي يتم إنشاؤه بواسطة الذكاء الاصطناعي أيضًا. ولكن ماذا يحدث للماجستير المدربين على مجموعات بيانات كشط الويب إذا تم إنشاء المزيد والمزيد من المحتوى نفسه عن طريق التعلم الآلي؟
تم استكشاف هذا السؤال في استطلاع حديث لتأثير العودية على نماذج التعلم الآلي. الإجابات التي وجدها لها آثار كبيرة على مستقبل الذكاء الاصطناعي التوليدي.
وجد الباحثون أنه عندما تم استخدام المواد التي تم إنشاؤها بواسطة الذكاء الاصطناعي كبيانات تدريبية ، بدأت نماذج التعلم الآلي في نسيان ما تعلموه سابقًا.
لقد صاغوا مصطلح "انهيار النموذج" ، مشيرين إلى أن عائلات الذكاء الاصطناعي المختلفة تميل جميعها إلى التدهور عند تعرضها لمحتوى من صنع الإنسان.
في إحدى التجارب ، أنشأ الفريق حلقة تغذية مرتدة بين نموذج التعلم الآلي لتوليد الصور ومخرجاته.
بعد الملاحظة ، وجدوا أنه بعد كل تكرار ، يضخم النموذج أخطائه ويبدأ في نسيان البيانات التي تم إنشاؤها في الأصل من قبل البشر. بعد 20 حلقة ، يكون الإخراج مشابهًا لمجموعة البيانات الأصلية تقريبًا.
إخراج نموذج ML لتوليد الصور (المصدر: arXiv)
لاحظ الباحثون نفس اتجاه التدهور عند تنفيذ سيناريو مماثل مع LL.M. أيضًا ، مع كل تكرار ، تحدث أخطاء مثل العبارات المتكررة والكلام المكسور بشكل متكرر.
وفقًا لذلك ، تتكهن الدراسة بأن الأجيال القادمة من ChatGPT قد تكون معرضة لخطر انهيار النموذج. إذا قام الذكاء الاصطناعي بإنشاء المزيد والمزيد من المحتوى عبر الإنترنت ، فقد يتدهور أداء روبوتات المحادثة ونماذج التعلم الآلي الأخرى.
** محتوى موثوق تحتاجه لمنع تدهور أداء روبوت المحادثة **
من الآن فصاعدًا ، ستصبح مصادر المحتوى الموثوقة ذات أهمية متزايدة لمنع الآثار المهينة للبيانات منخفضة الجودة. تمتلك تلك الشركات التي تتحكم في الوصول إلى ما هو مطلوب لتدريب نماذج التعلم الآلي المفتاح لمزيد من الابتكار.
بعد كل شيء ، ليس من قبيل المصادفة أن عمالقة التكنولوجيا الذين لديهم ملايين المستخدمين هم أسماء كبيرة في الذكاء الاصطناعي.
في الأسبوع الماضي وحده ، أصدرت Meta أحدث إصدار من LLM Llama 2 ، وطرح Google ميزات جديدة لـ Bard ، وكانت هناك تقارير تفيد بأن Apple كانت تستعد لدخول المعركة.
سواء كان ذلك بسبب تسمم البيانات ، أو العلامات المبكرة لانهيار النموذج ، أو عوامل أخرى ، لا يمكن تجاهل خطر تدهور الأداء من قبل مطوري برامج الدردشة الآلية.
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
تدهور أداء Chatbot: تهدد تحديات البيانات بتوليد مستقبل الذكاء الاصطناعي
هذه المقالة بإيجاز:
أظهرت الأبحاث أن أداء روبوتات المحادثة مثل ChatGPT قد يتدهور بمرور الوقت بسبب تدهور جودة بيانات التدريب.
· نماذج التعلم الآلي عرضة لتسمم البيانات وتعطل النماذج ، مما قد يقلل بشكل كبير من جودة مخرجاتها.
يعد المصدر الموثوق للمحتوى أمرًا بالغ الأهمية لمنع تدهور أداء روبوتات المحادثة ، مما يخلق تحديات لمطوري الذكاء الاصطناعي في المستقبل.
تتعلم روبوتات المحادثة الحديثة باستمرار ويتغير سلوكها دائمًا ، ولكن قد ينخفض أداءها أو يتحسن.
يقلب البحث الأخير الافتراض القائل بأن "التعلم يعني دائمًا التقدم" ، الأمر الذي له آثار على مستقبل ChatGPT وأقرانه. للحفاظ على تشغيل روبوتات الدردشة ، يجب على مطوري الذكاء الاصطناعي معالجة تحديات البيانات الناشئة.
** ChatGPT يزداد غباءً بمرور الوقت **
تشير دراسة نُشرت مؤخرًا إلى أن روبوتات المحادثة قد تكون أقل قدرة على أداء مهام معينة بمرور الوقت.
للوصول إلى هذا الاستنتاج ، قارن الباحثون ناتج نموذج اللغة الكبيرة (LLM) GPT-3.5 و GPT-4 في مارس ويونيو 2023. في غضون ثلاثة أشهر فقط ، لاحظوا تغييرات جذرية في النماذج التي تقوم عليها ChatGPT.
على سبيل المثال ، في مارس من هذا العام ، تمكنت GPT-4 من تحديد الأعداد الأولية بدقة تصل إلى 97.6٪. بحلول يونيو ، انخفضت دقتها إلى 2.4 في المائة.
ردود GPT-4 (يسار) و GPT-3.5 (يمين) على نفس السؤال في مارس ويونيو (المصدر: arXiv)
قيمت التجربة أيضًا سرعة النموذج في الإجابة على الأسئلة الحساسة ، وقدرته على إنشاء رمز ، وقدرته على التفكير بصريًا. عبر جميع المهارات التي اختبروها ، لاحظ الفريق أن جودة مخرجات الذكاء الاصطناعي تدهورت بمرور الوقت.
** تحديات مع بيانات التدريب في الوقت الفعلي **
يعتمد التعلم الآلي (ML) على عملية تدريبية حيث يمكن لنماذج الذكاء الاصطناعي محاكاة الذكاء البشري من خلال معالجة كميات كبيرة من المعلومات.
على سبيل المثال ، استفاد تطوير LLM الذي يشغل روبوتات المحادثة الحديثة من توفر عدد كبير من المستودعات عبر الإنترنت. وتشمل هذه مجموعات البيانات التي تم تجميعها من مقالات ويكيبيديا ، مما يمكّن روبوتات المحادثة من التعلم من خلال هضم أكبر مجموعة من المعارف البشرية التي تم إنشاؤها على الإطلاق.
ولكن الآن ، تم إصدار أدوات مثل ChatGPT على نطاق واسع. يمتلك المطورون تحكمًا أقل بكثير في بيانات التدريب المتغيرة باستمرار.
تكمن المشكلة في أن مثل هذه النماذج يمكنها أيضًا "التعلم" لإعطاء إجابات خاطئة. إذا تدهورت جودة بيانات التدريب ، فسوف تتدهور مخرجاتها أيضًا. يمثل هذا تحديًا لروبوتات الدردشة الديناميكية ، والتي تتطلب دفقًا ثابتًا من محتوى الويب المسروق.
** يمكن أن يؤدي تسمم البيانات إلى تدهور أداء روبوت المحادثة **
نظرًا لأن روبوتات المحادثة تميل إلى الاعتماد على المحتوى المأخوذ من الويب ، فهي معرضة بشكل خاص لنوع من التلاعب يُعرف باسم تسمم البيانات.
هذا هو بالضبط ما حدث لـ Twitter bot Tay في Microsoft في عام 2016. بعد أقل من 24 ساعة من إطلاقه ، بدأ سلف ChatGPT في نشر تغريدات تحريضية ومسيئة. سرعان ما أوقفه مطورو Microsoft مؤقتًا وبدأوا من جديد.
كما اتضح ، فإن المتصيدون السيبرانيون يرسلون البريد العشوائي إلى الروبوت منذ البداية ، ويتلاعبون بقدرته على التعلم من تفاعلاته مع الجمهور. بعد إساءة استخدام جيش 4channer ، فليس من المستغرب أن يبدأ تاي في ترديد خطاب الكراهية.
مثل Tay ، فإن روبوتات المحادثة المعاصرة هي نتاج بيئتها وهي عرضة لهجمات مماثلة. حتى ويكيبيديا ، وهي مهمة جدًا في تطوير LLM ، يمكن استخدامها لتسميم بيانات تدريب التعلم الآلي.
ومع ذلك ، فإن البيانات التالفة عمدًا ليست المصدر الوحيد للمعلومات الخاطئة التي يحتاج مطورو برامج الدردشة الآلية إلى الحذر منها.
** تحطم النموذج: قنبلة زمنية لروبوتات الدردشة؟ **
مع تزايد شعبية أدوات الذكاء الاصطناعي ، ينتشر المحتوى الذي يتم إنشاؤه بواسطة الذكاء الاصطناعي أيضًا. ولكن ماذا يحدث للماجستير المدربين على مجموعات بيانات كشط الويب إذا تم إنشاء المزيد والمزيد من المحتوى نفسه عن طريق التعلم الآلي؟
تم استكشاف هذا السؤال في استطلاع حديث لتأثير العودية على نماذج التعلم الآلي. الإجابات التي وجدها لها آثار كبيرة على مستقبل الذكاء الاصطناعي التوليدي.
وجد الباحثون أنه عندما تم استخدام المواد التي تم إنشاؤها بواسطة الذكاء الاصطناعي كبيانات تدريبية ، بدأت نماذج التعلم الآلي في نسيان ما تعلموه سابقًا.
لقد صاغوا مصطلح "انهيار النموذج" ، مشيرين إلى أن عائلات الذكاء الاصطناعي المختلفة تميل جميعها إلى التدهور عند تعرضها لمحتوى من صنع الإنسان.
في إحدى التجارب ، أنشأ الفريق حلقة تغذية مرتدة بين نموذج التعلم الآلي لتوليد الصور ومخرجاته.
بعد الملاحظة ، وجدوا أنه بعد كل تكرار ، يضخم النموذج أخطائه ويبدأ في نسيان البيانات التي تم إنشاؤها في الأصل من قبل البشر. بعد 20 حلقة ، يكون الإخراج مشابهًا لمجموعة البيانات الأصلية تقريبًا.
إخراج نموذج ML لتوليد الصور (المصدر: arXiv)
لاحظ الباحثون نفس اتجاه التدهور عند تنفيذ سيناريو مماثل مع LL.M. أيضًا ، مع كل تكرار ، تحدث أخطاء مثل العبارات المتكررة والكلام المكسور بشكل متكرر.
وفقًا لذلك ، تتكهن الدراسة بأن الأجيال القادمة من ChatGPT قد تكون معرضة لخطر انهيار النموذج. إذا قام الذكاء الاصطناعي بإنشاء المزيد والمزيد من المحتوى عبر الإنترنت ، فقد يتدهور أداء روبوتات المحادثة ونماذج التعلم الآلي الأخرى.
** محتوى موثوق تحتاجه لمنع تدهور أداء روبوت المحادثة **
من الآن فصاعدًا ، ستصبح مصادر المحتوى الموثوقة ذات أهمية متزايدة لمنع الآثار المهينة للبيانات منخفضة الجودة. تمتلك تلك الشركات التي تتحكم في الوصول إلى ما هو مطلوب لتدريب نماذج التعلم الآلي المفتاح لمزيد من الابتكار.
بعد كل شيء ، ليس من قبيل المصادفة أن عمالقة التكنولوجيا الذين لديهم ملايين المستخدمين هم أسماء كبيرة في الذكاء الاصطناعي.
في الأسبوع الماضي وحده ، أصدرت Meta أحدث إصدار من LLM Llama 2 ، وطرح Google ميزات جديدة لـ Bard ، وكانت هناك تقارير تفيد بأن Apple كانت تستعد لدخول المعركة.
سواء كان ذلك بسبب تسمم البيانات ، أو العلامات المبكرة لانهيار النموذج ، أو عوامل أخرى ، لا يمكن تجاهل خطر تدهور الأداء من قبل مطوري برامج الدردشة الآلية.