يتم القبض على Meta معايير AI مع Llama 4
خلال عطلة نهاية الأسبوع ، انخفض Meta جديدان نماذج لاما 4: نموذج أصغر يسمى Scout ، و Maverick ، وهو نموذج متوسط الحجم الذي تدعي الشركة أنه يمكنه التغلب على GPT-4O و Gemini 2.0 Flash “عبر مجموعة واسعة من المعايير التي تم الإبلاغ عنها على نطاق واسع.” سرعان ما قام مافريك بتأمين الرقم الثاني على موقع Lmarena ، وهو موقع معايير الذكاء الاصطناعي حيث يقارن البشر المخرجات من أنظمة مختلفة والتصويت على أفضل. في ميتا بيان صحفي، سلطت الشركة الضوء على درجة مافريك ELO في 1417 ، والتي وضعتها فوق Openai's 4O وتحت Gemini 2.5 Pro. (تعني درجة ELO العليا أن النموذج يفوز في كثير من الأحيان في الساحة عند الذهاب وجهاً لوجه مع المنافسين.) بدا أن الإنجاز يضع LAMA 4 المفتوح في Meta على أنه منافس جاد لنماذج حديثة ، مغلقة من Openai ، Andthropic ، و Google. بعد ذلك ، اكتشف باحثو الذكاء الاصطناعى الذين يحفرون من خلال وثائق Meta شيئًا غير عادي. في الطباعة الدقيقة ، يعترف Meta بأن إصدار Maverick الذي تم اختباره على Lmarena ليس هو نفسه المتاح للجمهور. وفقًا لمواد Meta الخاصة ، فقد نشرت “إصدار الدردشة التجريبية” من Maverick إلى Lmarena الذي تم “تحسينه للمحاكمة” على وجه التحديد. نشر على X بعد يومين من إطلاق النموذج. “كان يجب أن يكون Meta أكثر وضوحًا أن” LAMA-4-MAVERICK-03-26-EXPERIMENTAL “كان نموذجًا مخصصًا لتحسين التفضيلات البشرية. ونتيجة لذلك ، فإننا نقوم بتحديث سياساتنا المتصدرين على تعزيز التزامنا بالمرور من أجل التعقيد المعرض ، حتى لا يحدث هذا الارتباك في المستقبل.” Maverick ليس صراحة ضد قواعد Lmarena ، وقد شارك الموقع المخاوف حول ألعاب النظام واتخذت خطوات “لمنع الزائد والتسرب القياسي”. عندما تتمكن الشركات من تقديم إصدارات تم ضبطها خصيصًا من نماذجها للاختبار مع إصدار إصدارات مختلفة للجمهور ، فإن التصنيفات القياسية مثل Lmarena تصبح أقل جدوى كمؤشرات للأداء الحقيقي. “عندما خرجت Llama 4 ، كانت حقيقة أنها جاءت في المرتبة الثانية في الساحة ، بعد Gemini 2.5 Pro – التي أثارت إعجابي حقًا ، وأنا أركل نفسي لعدم قراءة المطبوعة الصغيرة.” بعد فترة وجيزة من إطلاق Meta Maverick and Scout ، بدأ مجتمع الذكاء الاصطناعي الحديث عن شائعات قامت أن Meta أيضًا بتدريب نماذج Llama 4 على الأداء بشكل أفضل على المعايير مع إخفاء قيودها الحقيقية. نائب الرئيس من الذكاء الاصطناعى التوليدي في ميتا ، أحمد الدهلي ، تناول الاتهامات في منشور على x: “لقد سمعنا أيضًا ادعاءات أننا تدربنا على مجموعات الاختبارات – هذا ببساطة غير صحيح ولن نفعل ذلك أبدًا. أفضل فهمنا هو أن الجودة المتغيرة التي يراها الناس يرجع إلى الحاجة إلى استقرار التطبيقات.” “إنه إصدار مربك للغاية بشكل عام.” لاحظت أيضا تم إصدار LLAMA 4 في وقت غريب. السبت لا يميل إلى أن يكون عندما تنخفض أخبار منظمة العفو الدولية الكبيرة. بعد أن سئل شخص ما على المواضيع عن سبب إطلاق Llama 4 خلال عطلة نهاية الأسبوع ، مارك زوكربيرج ، الرئيس التنفيذي لشركة Meta رد: “هذا عندما كان جاهزًا”. “إنه إصدار مربك للغاية بشكل عام” ، كما يقول ويليسون ، الذي يتبع عن كثب ويوثق نماذج الذكاء الاصطناعي. “إن درجة النموذج التي حصلنا عليها هناك لا قيمة لها تمامًا. لا يمكنني حتى استخدام النموذج الذي حصلوا على درجة عالية.” لم يكن مسار Meta لإطلاق Llama 4 سلسًا تمامًا. حسب لتقرير حديث من المعلومات ، قامت الشركة بإعادة الإطلاق مرارًا وتكرارًا بسبب فشل النموذج في تلبية التوقعات الداخلية. هذه التوقعات مرتفعة بشكل خاص بعد أن أصدرت شركة Deepseek ، وهي شركة AI Open Open Open-AI من الصين ، نموذجًا مفتوحًا للوزن يولد طنًا من الطنانة. في الآونة الأخيرة ، يضع نموذج محسّن في Lmarena المطورين في وضع صعب. عند اختيار نماذج مثل Llama 4 لتطبيقاتها ، فإنها تتطلع بشكل طبيعي إلى معايير التوجيه. ولكن كما هو الحال بالنسبة لـ Maverick ، يمكن أن تعكس هذه المعايير القدرات غير المتوفرة فعليًا في النماذج التي يمكن للجمهور الوصول إليها. كما يتسارع تطوير الذكاء الاصطناعي ، توضح هذه الحلقة كيف أصبحت المعايير سترات معركة. كما يوضح كيف أن Meta حريص على أن ينظر إليه كقائد منظمة العفو الدولية ، حتى لو كان ذلك يعني لعب النظام. (tagstotranslate) AI
المصدر
