يحذر الباحثون من أن النماذج اللغوية الكبيرة تبدأ في التفكير بشكل أقل جودة وتنتج أخطاء في كثير من الأحيان إذا تم تدريبها على كميات كبيرة من المحتوى منخفض الجودة، وخاصة على الشبكات الاجتماعية. جاء ذلك في العمل المنشور على خادم الطباعة المسبقة arXiv، تقارير خدمة الأخبار طبيعة.

قام علماء من جامعة تكساس في أوستن بدراسة تأثير البيانات “غير المرغوب فيها” – المنشورات القصيرة والسطحية والمواد المثيرة – على سلوك الذكاء الاصطناعي. ركز التحليل على قدرة النماذج على استخلاص المعلومات من النصوص الطويلة، ومنطق الاستجابات، والأخلاق، وعرض النموذج “للسمات الشخصية”.

اتضح أنه كلما زادت نسبة هذه البيانات في التدريب، كلما تخطيت النماذج في كثير من الأحيان الخطوات المنطقية وإعطاء إجابات غير صحيحة، بما في ذلك في الاختبارات مع اختيار الخيارات. يذكر زعيم الأبحاث تشانغيانغ وانغ مبدأ هندسي قديم للذكاء الاصطناعي: “القمامة تدخل، القمامة تخرج”. التحليل الجديد يؤكد فقط أهمية اختيار البيانات.

استخدم العلماء مليون مشاركة عامة من إحدى الشبكات الاجتماعية الشهيرة لإعادة تدريب النماذج مفتوحة المصدر Llama 3 وQwen. اللاما هو نموذج موجه نحو التعليمات، في حين أن كوين هو نموذج موجه نحو المنطق.

تأثير المحتوى السيئ على الذكاء الاصطناعي

بعد التدريب على بيانات منخفضة الجودة، غيرت لاما سلوكها: وفقًا لنتائج الاستبيانات النفسية القياسية، انخفضت سماتها “الإيجابية” وزادت السمات السلبية، بما في ذلك علامات النرجسية وحتى الاعتلال النفسي.

ومحاولات تصحيح الوضع – على سبيل المثال، التدريب الإضافي على البيانات عالية الجودة أو تعديل التعليمات – لم تسفر إلا عن نتائج جزئية. كان النموذج لا يزال يفتقد خطوات مهمة في الاستدلال.

ويقول الخبراء إن هذه النتائج تسلط الضوء على الحاجة إلى تصفية بيانات التدريب بشكل صارم، وخاصة تلك المثيرة والمشوهة. خلاف ذلك تواجه أنظمة الذكاء الاصطناعي خطر “تدهور” جودة استجاباتها – انخفاض. وتظل مسألة ما إذا كانت التغييرات السلبية قابلة للعكس إذا تم “تغذية” النموذج لاحقًا ببيانات جيدة مفتوحة.

يصبح الموضوع ذا أهمية خاصة وسط الأخبار التي تفيد بأن الشبكات الاجتماعية تعتزم توسيع مجموعة محتوى المستخدم للتدريب على الذكاء الاصطناعي – على سبيل المثال، تخطط LinkedIn لاستخدام البيانات من المستخدمين الأوروبيين في أنظمتها التوليدية اعتبارًا من نوفمبر.