قام الباحثون بتدريب منافس Openai في نصف ساعة بأقل من 50 دولارًا
للقيام بذلك ، استخدم الباحثون في جامعة ستانفورد وجامعة واشنطن طريقة تُعرف باسم التقطير – والتي تسمح للموديلات الأصغر بالاستخلاص من الإجابات التي تنتجها الإجابات الكبيرة – لتحسين S1 باستخدام إجابات من نموذج التفكير في Google ، Gemini 2.0 Flash Thinking التجريبي. جوجل شروط الخدمة لاحظ أنه لا يمكنك استخدام واجهة برمجة تطبيقات Gemini “لتطوير نماذج تتنافس مع” نماذج AI للشركة. وصلت Verge إلى Google مع طلب للتعليق ولكنها لم تسمع على الفور. الباحثون يعتمدون على S1 على QWEN2.5 ، وهو نموذج مفتوح المصدر من Alibaba Cloud. لقد بدأوا في البداية بمجموعة من 59000 سؤال لتدريب النموذج ، لكنهم وجدوا أن مجموعة البيانات الأكبر لا تقدم “مكاسب كبيرة” على مجموعة من 1000 فقط. يقول الباحثون إنهم قاموا بتدريب النموذج على 16 NVIDIA H100 GPU. يستخدم نموذج S1 أيضًا تقنية تسمى تحجيم وقت الاختبار ، مما يسمح للنموذج “بالتفكير” لفترة أطول من الوقت قبل إنتاج إجابة. كما هو مذكور في الورقة ، أجبر الباحثون النموذج على مواصلة التفكير من خلال إضافة “الانتظار” إلى استجابة النموذج. يقول الورقة: “هذا يمكن أن يقود النموذج إلى إجابته ، وغالبًا ما يحدد خطوات التفكير غير الصحيحة”. ناشئة منظمة العفو الدولية الصاخبة Deepseek سعت إلى التكرار مع إطلاق نموذج R1 الخاص به الذي يدعي أنه تم تدريبه على جزء صغير من التكلفة. اتهم Openai منذ ذلك الحين Deepseek من تقطير المعلومات من نماذجها لبناء منافس ، ينتهك شروط الخدمة. أما بالنسبة لـ S1 ، يزعم الباحثون أن S1 “يتجاوز O1-Preview على أسئلة الرياضيات في المنافسة بنسبة تصل إلى 27 ٪”. يهدد نماذج الذكاء الاصطناعى الأصغر والأرخص برفع الصناعة بأكملها. يمكن أن يثبتوا أن الشركات الكبرى مثل Openai و Microsoft و Meta و Google لا تحتاج إلى إنفاق مليارات الدولارات تدريب الذكاء الاصطناعي، بينما بناء ضخمة مراكز البيانات المملوءة بآلاف من وحدات معالجة الرسومات Nvidia. (tagstotranslate) AI
المصدر
